Fallstudie-holotourCase study - HoloTour

Holotour für Microsoft hololens bietet immersive persönliche 3D-Touren von berühmten Standorten auf der ganzen Welt.HoloTour for Microsoft HoloLens provides immersive 3D personal tours of iconic locations around the world. Wie Designer, Entwickler, Producer, audiodesigner und Entwickler, die an diesem Projekt arbeiten, haben Sie herausgefunden. das Erstellen eines überzeugender realen 3D-Renderings eines bekannten Standorts ist eine einzigartige Mischung aus Creative und Logical Wizardry.As the designers, artists, producers, audio designers, and developers working on this project found out, creating a convincingly real 3D rendering of a well-known location takes a unique blend of creative and technological wizardry. Diese Fallstudie führt Sie durch den Prozess des Erstellens und Erstellens der Inhalte, die für holotour verwendet werden.This case study will walk through the process of capturing and creating the content used for HoloTour.

Die TechnologieThe tech

Mit holotour wollten wir es den Benutzern ermöglichen, einige der weltweit größten Ziele zu besuchen – wie etwa die Ruinen von Machu Picchu in Peru oder den modernen Tag Piazza Navona in Italien – direkt von ihren eigenen Wohnräumen.With HoloTour, we wanted to make it possible for people to visit some of the world’s most amazing destinations—like the ruins of Machu Picchu in Peru or the modern day Piazza Navona in Italy—right from their own living rooms. Unser Team hat das Ziel von holotour gemacht, um Ihnen die Meinung zu vermitteln, dass Sie wirklich da sind.Our team made it the goal of HoloTour to “make you feel like you’re really there.” Die mehr als nur Bilder oder Videos benötigte Leistung.The experience needed to be more than just pictures or videos. Durch die Nutzung der eindeutigen Anzeige, Nachverfolgung und Audiotechnologie von hololens haben wir angenommen, dass wir Sie praktisch an einen anderen Ort transportieren können.By leveraging the unique display, tracking, and audio technology of HoloLens we believed we could virtually transport you to another place. Wir müssen die Sehenswürdigkeiten, Sounds und dreidimensionalen Geometrie aller besuchten Orte erfassen und diese dann in unserer APP neu erstellen.We would need to capture the sights, sounds, and three-dimensional geometry of every location we visited and then recreate that within our app.

Um dies zu erreichen, benötigen wir ein 360 °-Kamera-Rig mit direktionaler Audioerfassung.In order to do this, we needed a 360° camera rig with directional audio capture. Die Erfassung musste bei äußerst hoher Auflösung durchgeführt werden, sodass das Material bei der Wiedergabe auf einem hololens knackig aussehen würde und die Kameras nah beieinander positioniert werden müssen, um das Zusammenfügen von Artefakten zu minimieren.It needed to capture at extremely high resolution, so that the footage would look crisp when played back on a HoloLens and the cameras would need to be positioned close together in order to minimize stitching artifacts. Wir wollten eine vollständige sphärischen Abdeckung, nicht nur am Horizont, sondern auch über und unter Ihnen.We wanted full spherical coverage, not just along the horizon, but above and below you as well. Das Rig musste auch portabel sein, damit wir es auf der ganzen Welt nutzen konnten.The rig also needed to be portable so that we could take it all over the world. Wir haben die verfügbaren Optionen für "offshelf" ausgewertet und erkannt, dass Sie einfach nicht gut genug waren, um unsere Vision zu verwirklichen – entweder aufgrund von Auflösung, Kosten oder Größe.We evaluated available off-the-shelf options and realized they simply weren’t good enough to realize our vision – either because of resolution, cost, or size. Wenn wir ein Kamera-Rig nicht gefunden haben, das unsere Anforderungen erfüllt, müssten wir eine selbst erstellen.If we couldn’t find a camera rig that satisfied our needs, we would have to build one ourselves.

Aufbauen des RiggsBuilding the rig

Die erste Version –, die aus dem Karton, Velcro, dem Kanalband und 14-GoPro-Kameras stammt – war etwas, das MacGyver als stolz war.The first version—made from cardboard, Velcro, duct tape, and 14 GoPro cameras—was something MacGyver would have been proud of. Nach der Überprüfung sämtlicher Lösungen von Low-End-Lösungen bis hin zu benutzerdefinierten Anlagen waren GoPro-Kameras letztendlich die beste Option für uns, da Sie klein und kostengünstig waren und einen leicht zu verwendenden Speicherplatz hatten.After reviewing everything from low-end solutions to custom manufactured rigs, GoPro cameras were ultimately the best option for us because they were small, affordable, and had easy-to-use memory storage. Der kleine Formfaktor war besonders wichtig, da es uns ermöglichte, Kameras relativ nah zu platzieren – die geringere Entfernung zwischen den Kameras, desto kleiner die zusammen fügenden Artefakte.The small form factor was especially important because it allowed us to place cameras fairly close together—the smaller the distance between cameras, the smaller the stitching artifacts will be. Dank unserer einzigartigen Kamera Anordnung konnten wir vollständige Kugel Abdeckung und genug Überlappungen erzielen, um Kameras Intelligent auszurichten und einige Artefakte während des zusammenfassende Vorgangs zu glätten.Our unique camera arrangement allowed us to get full sphere coverage plus enough overlap to intelligently align cameras and smooth out some artifacts during the stitching process.

Die Verwendung der räumlichen Audiofunktionen in hololens ist entscheidend für die Erstellung einer überzeugenden, immersiven Darstellung.Taking advantage of the spatial sound capabilities on HoloLens is critical to creating a convincingly real immersive experience. Wir haben ein vier-Mikrofon-Array unter den Kameras auf dem Stativ verwendet, das in vier Richtungen Sound von der Kamera aufzeichnen würde, sodass wir ausreichend Informationen zur Erstellung räumlicher Sounds in unseren Kulissen erhalten.We used a four-microphone array situated beneath the cameras on the tripod, which would capture sound from the location of our camera in four directions, giving us enough information to create spatial sounds in our scenes.

Unser 360 °-Kamera-Rig ist für das Drehen außerhalb des Pantheon eingerichtet.

Unser 360 °-Kamera-Rig ist für das Drehen außerhalb des Pantheon eingerichtet.Our 360° camera rig set up for filming outside the Pantheon.

Wir testen unser hausgemachtes Rig, indem wir es in den Rattlesnake-Grat in der Nähe von Seattle übernommen und die Kulissen am Anfang der Wanderung erfasst haben.We tested out our homemade rig by taking it up to Rattlesnake Ridge near Seattle, capturing the scenery at the top of the hike. Das Ergebnis, obwohl es deutlich weniger hoch ist als die Orte, die Sie heute in holotour sehen, gab uns Vertrauen, dass unser Rig-Design gut genug war, um Ihnen das Gefühl zu geben, dass Sie wirklich da sind.The result, though significantly less polished than the locations you see in HoloTour today, gave us confidence that our rig design was good enough to make you feel like you’re really there.

Wir haben unser rig von Velcro und Pappe auf einen 3D-gedruckten Kamera-Gehäuse aktualisiert und externe Akku Pakete für die GoPro-Kameras gekauft, um die Akku Verwaltung zu vereinfachen.We upgraded our rig from Velcro and cardboard to a 3D-printed camera housing and bought external battery packs for the GoPro cameras to simplify battery management. Wir haben dann einen umfassenderen Test durchgeführt, um zu San Francisco zu gehen und eine Miniatur Tour durch die Stadt und die legendäre Golden Gate Bridge zu erstellen.We then did a more extensive test, traveling down to San Francisco to create a miniature tour of the city’s coast and the iconic Golden Gate bridge. Dieses Kamera-Rig ist das, was wir für die meisten unserer Erfassungen der Standorte, die Sie in holotour besucht haben, verwendet haben.This camera rig is what we used for most of our captures of the locations you visit in HoloTour.

Die 360 °-Kamera-Rig-Verfilmung in Machu Picchu.

Die 360 °-Kamera-Rig-Verfilmung in Machu Picchu.The 360° camera rig filming in Machu Picchu.

Abläufe im HintergrundBehind the scenes

Vor dem Filmen mussten wir herausfinden, welche Standorte wir in unsere virtuelle Tour einschließen wollten.Before filming, we needed to figure out which locations we wanted to include on our virtual tour. Rom war der erste Ort, der ausgeliefert werden soll, und wir wollten ihn richtig machen, also haben wir uns entschlossen, eine pfadtour durchzuführen.Rome was the first location we intended to ship and we wanted to get it right, so we decided to do a scouting trip in advance. Wir haben ein Team von sechs Personen – einschließlich Künstlern, Designern und Producer – an die Websites gesendet, die wir in Erwägung gezogen haben.We sent a team of six people—including artists, designers, and producers—for an in-person visit to the sites we were considering. Die Fahrt hat ungefähr 9 Tage gedauert – 2,5 für Reisen, den Rest für die-Verfilmung.The trip took about 9 days – 2.5 for travel, the rest for filming. (Bei Machu Picchu haben wir uns entschieden, einen Scout-Trip durchzuführen, im Voraus zu forschen und einige Tage Puffer für das Filmen zu reservieren.)(For Machu Picchu we opted not to do a scout trip, researching in advance and booking a few days of buffer for filming.)

In Rom nahm das Team Fotos der einzelnen Bereiche auf und gab interessante Fakten sowie praktische Überlegungen aus, z. b. wie schwierig es ist, zu jedem Ort zu reisen und wie schwierig es ist, aufgrund von Menschen oder Einschränkungen zu filtern.While in Rome, the team took photos of each area and noted interesting facts as well as practical considerations, such as how hard it is to travel to each spot and how difficult it would be to film because of crowds or restrictions. Dies mag in einem Urlaub klingen, aber es ist viel Arbeit.This may sound like a vacation, but it’s a lot of work. Tage, die früh am Morgen gestartet werden und bis Abend nicht angehalten werden.Days started early in the morning and would go non-stop until evening. Jede Nacht wurde das Buch für das Team in Seattle hochgeladen, um es zu überprüfen.Each night, footage was uploaded for the team back in Seattle to review.

Unsere Erfassungs Besatzung in Rom.

Unsere Erfassungs Besatzung in Rom.Our capture crew in Rome.

Nachdem der Scout-Trip abgeschlossen wurde, wurde für das eigentliche drehen ein endgültiger Plan erstellt.After the scout trip was completed, a final plan was made for actual filming. Dies erforderte eine detaillierte Liste, in der wir an dem Tag und zu dem Zeitpunkt, an dem wir uns befanden, eine detaillierte Liste der Filme aufgingThis required a detailed list of where we were going to film, on what day, and at what time. Jeden Tag ist das Ausland teuer, sodass diese Fahrten effizient sein müssen.Every day overseas is expensive, so these trips needed to be efficient. Wir haben Handbücher und Handler in Rom gebucht, um uns zu helfen und jeden Tag von vor dem Sonnenaufgang bis nach dem Sonnenuntergang vollständig zu nutzen.We booked guides and handlers in Rome to help us and fully used every day from before sunrise to after sunset. Wir müssen das beste Material erzielen, damit Sie das Gefühl haben, dass Sie wirklich da sind.We need to get the best footage possible in order to make you feel like you’re really there.

Erfassen des VideosCapturing the video

Das Ausführen einiger einfacher Dinge während der Erfassung kann die Nachbearbeitung erheblich vereinfachen.Doing a few simple things during capture can make post-processing much easier. Wenn Sie z. b. Bilder von mehreren Kameras zusammenfügen, erhalten Sie visuelle Artefakte, da jede Kamera eine etwas andere Ansicht hat.For example, whenever you stitch together images from multiple cameras, you end up with visual artifacts because each camera has a slightly different view. Je näher die Objekte der Kamera sind, desto größer ist der Unterschied zwischen den Ansichten und desto größer die zusammen fügenden Artefakte.The closer objects are to the camera, the larger the difference between the views, and the larger the stitching artifacts will be. Hier ist eine einfache Möglichkeit, das Problem visuell darzustellen: halten Sie Ihren Ziehpunkt vor dem Gesicht, und betrachten Sie ihn nur mit einem Auge.Here's an easy way to visualize the problem: hold your thumb up in front of your face and look at it with only one eye. Wechseln Sie jetzt zu Augen.Now switch eyes. Sie werden feststellen, dass der Ziehpunkt relativ zum Hintergrund bewegt wird.You’ll see that your thumb appears to move relative to the background. Wenn Sie Ihren Ziehpunkt nicht mehr von Ihrem Gesicht halten und das Experiment wiederholen, scheint Ihr Thumb-Steuer Vorgang weniger zu verschieben.If you hold your thumb further away from your face and repeat the experiment, your thumb will appear to move less. Diese sichtbare Bewegung ähnelt dem Problem, das wir mit der zusammen Fügung konfrontiert haben: Ihre Augen sehen, wie die Kameras, nicht genau dasselbe Bild, da Sie durch eine kleine Entfernung voneinander getrennt sind.That apparent movement is similar to the stitching problem we faced: Your eyes, like our cameras, don’t see the exact same image because they are separated by a little distance.

Da es viel einfacher ist, die schlechtesten Artefakte während der Verfilmung zu vermeiden, als Sie bei der Nachbearbeitung zu korrigieren, haben wir versucht, Personen und Dinge weit weg von der Kamera zu halten.Because it’s much easier to prevent the worst artifacts while filming than it is to correct them in post-processing, we tried to keep people and things far away from the camera in the hopes we could eliminate the need to stitch close-up objects. Eine große Herausforderung im Zusammenhang mit der Kamera war wahrscheinlich eine der größten Herausforderungen, die bei der Ausführung aufgetreten sind, und wir mussten kreativ werden, damit Sie funktionieren.Maintaining a large clearing around our camera was probably one of the biggest challenges we had during shooting and we had to get creative to make it work. Das Arbeiten mit lokalen Handbüchern war eine große Hilfe bei der Verwaltung von Menschen, aber wir stellten auch fest, dass die Verwendung von Vorzeichen – und manchmal kleine Kegel oder Bohnen Behälter – zum Markieren des drehraums Recht effektiv war, insbesondere, da wir nur eine kurze Menge von Material an jedem Ort erhalten mussten.Working with local guides was a huge help in managing crowds, but we also found that using signs—and sometimes small cones or bean bags—to mark our filming space was reasonably effective, especially since we only needed to get a short amount of footage at each location. Häufig ist die beste Möglichkeit, eine gute Erfassung zu erzielen, nur sehr früh am Morgen zu erreichen, bevor die meisten Benutzer angezeigt werden.Often the best way to get a good capture was to just to arrive very early in the morning, before most people showed up.

Einige andere nützliche Erfassungs Techniken stammen direkt von herkömmlichen filmpraktiken.Some other useful capture techniques come straight from traditional film practices. Wir haben z. b. eine Farbkorrektur Karte für alle unsere Kameras verwendet und Referenz Fotos von Texturen und Objekten aufgezeichnet, die wir möglicherweise später benötigen.For example, we used a color correction card on all of our cameras and captured reference photos of textures and objects we might need later.

Eine grobe Kürzung von Machu Picchu, die die Farbkorrektur Karte anzeigt.

Eine grobe Ausschneide von Pantheon-Footage vor dem zusammenfügen.A rough cut of Pantheon footage before stitching.

Verarbeiten des VideosProcessing the video

Die Erfassung von 360 °-Inhalten ist nur der erste Schritt – eine Menge an Verarbeitung ist erforderlich, um die von uns erfassten Rohdaten der Kamera in die endgültigen Ressourcen zu konvertieren, die in holotour angezeigt werden.Capturing 360° content is only the first step—a lot of processing is needed to convert the raw camera footage we captured into the final assets you see in HoloTour. Nachdem wir wieder Home waren, mussten wir das Video aus 14 verschiedenen Kamera Feeds nehmen und in ein einzelnes kontinuierliches Video mit minimalen Artefakten umwandeln.Once we were back home we needed to take the video from 14 different camera feeds and turn it into a single continuous video with minimal artifacts. Unser Kunst Team hat eine Reihe von Tools verwendet, um das erfasste Material zu kombinieren und zu polieren. Wir haben eine Pipeline entwickelt, um die Verarbeitung so weit wie möglich zu optimieren.Our art team used a number of tools to combine and polish the captured footage and we developed a pipeline to optimize the processing as much as possible. Das Material muss zusammengefügt, farblich korrigiert und dann zusammengesetzt werden, um ablenkend Ende Elemente und Artefakte zu entfernen oder zusätzliche Taschen zu leben und Bewegung hinzuzufügen. das Ziel ist, dieses Gefühl zu verbessern, das tatsächlich vorhanden ist.The footage had to be stitched together, color corrected, and then composited to remove distracting elements and artifacts or to add supplemental pockets of life and motion, all with the goal to enhance that feeling of actually being there.

Eine grobe Ausschneide von Pantheon-Footage vor dem zusammenfügen.

Eine grobe Ausschneide von Pantheon-Footage vor dem zusammenfügen.A rough cut of Pantheon footage before stitching.

Um die Videos zusammenzufassen, haben wir ein Tool namens PTGui verwendet und in unsere Verarbeitungs Pipeline integriert.To stitch the videos together, we used a tool called PTGui and integrated it into our processing pipeline. Im Rahmen der Nachbearbeitung haben wir weiterhin Frames aus unseren Videos extrahiert und ein Muster gefunden, das für einen dieser Frames gut aussieht.As part of post-processing we extracted still frames from our videos and found a stitching pattern that looked good for one of those frames. Anschließend haben wir dieses Muster auf ein benutzerdefiniertes Plug-in angewendet, das wir geschrieben haben, das es unseren Videokünstlern ermöglichte, das Kontext Muster direkt zu optimierenWe then applied that pattern to a custom plugin we wrote that allowed our video artists to fine tune and tweak the stitching pattern directly while compositing in After Effects.

Screenshot der PTGui, die das angeheftete Pantheon-Material anzeigt.

Screenshot der PTGui, die das angeheftete Pantheon-Material anzeigt.Screenshot of PTGui showing the stitched Pantheon footage.

VideowiedergabeVideo playback

Nachdem die Verarbeitung des Materials abgeschlossen ist, haben wir ein nahtloses Video, aber es ist eine außerordentlich große –-Auflösung von 8 KB.After processing of the footage is completed, we have a seamless video but it’s extraordinarily large—around 8K resolution. Das Decodieren von Videos ist aufwendig, und es gibt nur wenige Computer, auf denen ein 8K-Video verarbeitet werden kann. die nächste Herausforderung war, das Video auf hololens wiederzugeben.Decoding video is expensive and there are very few computers that can handle an 8K video so the next challenge was finding a way to play this video back on HoloLens. Wir haben eine Reihe von Strategien entwickelt, um die Kosten für das Decodieren zu vermeiden, während der Benutzer die Meinung hat, dass er das gesamte Video anzeigen würde.We developed a number of strategies to avoid the cost of decoding while still making the user feel like they were viewing the entire video.

Die einfachste Optimierung besteht darin, die Decodierung von Teilen des Videos zu vermeiden, die sich nicht wesentlich ändern.The easiest optimization is to avoid decoding parts of the video that don’t change much. Wir haben ein Tool geschrieben, mit dem Bereiche in jeder Szene identifiziert werden, die nur wenig oder gar keine Bewegung haben.We wrote a tool to identify areas in each scene that have little or no motion. Für diese Regionen wird ein statisches Bild angezeigt, anstatt ein Video für jeden Frame zu decodieren.For those regions we show a static image rather than decoding a video each frame. Um dies zu ermöglichen, haben wir das riesige Video in wesentlich kleinere Blöcke aufgeteilt.To make this possible, we divided up the massive video into much smaller chunks.

Wir haben außerdem sichergestellt, dass jedes Pixel, das wir decodiert haben, am effektivsten verwendet wurde.We also made sure that every pixel we decoded was used most effectively. Wir haben mit Komprimierungs Techniken experimentieren, um die Größe des Videos zu verringern. die Video Bereiche werden entsprechend den Polygonen der Geometrie aufgeteilt, auf die Sie projiziert wird. Wir haben UVS angepasst und die Videos basierend auf der Detailgenauigkeit verschiedener Polygone neu verpackt.We experimented with compression techniques to lower the size of the video; we split the video regions according to the polygons of the geometry it would be projected onto; we adjusted UVs and repacked the videos based on how much detail different polygons included. Das Ergebnis dieser Aufgabe ist, dass ein einzelnes KB-Video in viele Blöcke integriert wurde, die fast unverständlich aussehen, bis Sie ordnungsgemäß in die Szene projiziert werden.The result of this work is that what started as a single 8k video turned into many chunks that look almost unintelligible until they are properly re-projected into the scene. Für einen Spielentwickler, der die Textur Zuordnung und die UV-Verpackung versteht, wird dies wahrscheinlich auch bekannt sein.For a game developer who understands texture mapping and UV packing, this will probably look familiar.

Eine vollständige Ansicht des Pantheon vor Optimierungen.

Eine vollständige Ansicht des Pantheon vor Optimierungen.A full view of the Pantheon before optimizations.

Die Rechte Hälfte des Pantheon, die für die Videowiedergabe verarbeitet wird.

Die Rechte Hälfte des Pantheon, die für die Videowiedergabe verarbeitet wird.The right half of the Pantheon, processed for video playback.

Beispiel für einen einzelnen Videobereich nach Optimierung und Verpackung.

Beispiel für einen einzelnen Videobereich nach Optimierung und Verpackung.Example of a single video region after optimization and packing.

Ein weiterer Trick wurde verwendet, um das Decodieren von Videos zu vermeiden, die Sie nicht aktiv anzeigenAnother trick we used was to avoid decoding video you aren’t actively viewing. In holotour sehen Sie nur einen Teil der vollständigen Szene.While in HoloTour, you can only see part of the full scene at any given moment. Wir decodieren nur Videos innerhalb oder kurz außerhalb ihrer Ansicht (Field of View, FOV).We only decode videos within or shortly outside of your field of view (FOV). Wenn Sie Ihre Kopfzeile drehen, beginnen wir mit der Wiedergabe der Bereiche des Videos, die sich nun in Ihrem FOV befinden, und spielen nicht mehr, wenn Sie sich nicht mehr in der Hand befinden.As you rotate your head, we start playing the regions of the video that are now in your FOV and stop playing ones that are no longer within it. Die meisten Leute bemerken dies nicht, aber wenn Sie sich schnell umdrehen, sehen Sie, dass das Video ein zweites Mal beginnt – in der Zwischenzeit wird ein statisches Bild angezeigt, das dann wieder auf das Video zurückkehrt, sobald es bereit ist.Most people won’t even notice this is happening, but if you turn around rapidly, you’ll see the video takes a second to start— in the meantime you’ll see a static image which then fades back to video once it’s ready.

Damit diese Strategie funktioniert, haben wir ein umfassendes Videowiedergabe System entwickelt.To make this strategy work we developed an extensive video playback system. Wir haben den Wiedergabe Code auf niedriger Ebene optimiert, um den Video Wechsel extrem effizient zu gestalten.We optimized the low level playback code in order to make video switching extremely efficient. Außerdem mussten wir unsere Videos auf besondere Weise codieren, um die schnelle Umstellung auf jedes Video zu ermöglichen.Additionally, we had to encode our videos in a special way to make it possible to rapidly switch to any video at any time. Diese Wiedergabe Pipeline hat eine beträchtliche Menge an Entwicklungszeit benötigt, sodass wir Sie in Phasen implementiert haben.This playback pipeline took a significant amount of development time so we implemented it in stages. Wir haben mit einem einfacheren System begonnen, das weniger effizient war, aber Entwicklern und Künstlern ermöglichte, an der Arbeit zu arbeiten und Sie langsam in ein stabileres Wiedergabe System zu verbessern, das es uns ermöglichte, an der abschließenden Qualitäts Leiste zu liefern.We started with a simpler system that was less efficient, but allowed designers and artists to work on the experience, and slowly improved it to a more robust playback system that allowed us to ship at the final quality bar. Dieses endgültige System verfügte über benutzerdefinierte Tools, die wir in Unity erstellt haben, um das Video in der Szene einzurichten und die Wiedergabe-Engine zu überwachen.This final system had custom tools we created within Unity to set up the video within the scene and monitor the playback engine.

Neuerstellen von Near-Space-Objekten in 3DRecreating near-space objects in 3D

Videos bilden die Mehrzahl der Elemente, die in holotour angezeigt werden, aber es gibt eine Reihe von 3D-Objekten, die in Ihrer Nähe angezeigt werden, wie z. b. das Zeichnen in der Piazza Navona, den springenden Bereich außerhalb des Pantheon oder die heiße Luft Sprechblase, die Sie für Luft Szenen nutzen.Videos make up the majority of what you see in HoloTour, but there are a number of 3D objects that appear close to you, such as the painting in Piazza Navona, the fountain outside the Pantheon, or the hot air balloon you stand in for aerial scenes. Diese 3D-Objekte sind wichtig, da die Wahrnehmung der Menschen Tiefe sehr gut ist, aber noch nicht sehr gut ist.These 3D objects are important because human depth perception is very good up close, but not very good far away. Wir können uns das Video in der Entfernung ansehen, aber um den Benutzern zu ermöglichen, ihren Platz zu durchlaufen und sich zu fühlen, benötigen nahe gelegene Objekte Tiefe.We can get away with video in the distance, but to allow users to walk around their space and feel like they’re really there, nearby objects need depth. Diese Vorgehensweise ähnelt der Vorgehensweise, die Sie in einem Natural History-Museum sehen können – Bild eines Diorama, das physische Landschaft, Werke und tierische Proben im Vordergrund enthält, aber zu einem clever maskierten Matt-zeichnen im Hintergrund.This technique is similar to the sort of thing you might see in a natural history museum—picture a diorama that has physical landscaping, plants, and animal specimens in the foreground, but recedes into a cleverly masked matte painting in the background.

Einige Objekte sind einfach 3D-Ressourcen, die wir erstellt und der Szene hinzugefügt haben, um die Leistung zu verbessern.Some objects are simply 3D assets we created and added to the scene to enhance the experience. Das Zeichnen und der Hot Air-Sprechblase fallen in diese Kategorie, da Sie nicht vorhanden waren, als wir gedreht haben.The painting and the hot air balloon fall into this category because they weren’t present when we filmed. Ähnlich wie bei Game-Assets wurden Sie von einem 3D-Experten in unserem Team erstellt und entsprechend angepasst.Similar to game assets, they were created by a 3D artist on our team and textured appropriately. Wir platzieren diese in den Kulissen, in denen Sie sich befinden, und die Spiel-Engine kann Sie in den beiden hololens-anzeigen, sodass Sie als 3D-Objekt angezeigt werden.We place these in our scenes near where you stand, and the game engine can render them to the two HoloLens displays so that they appear as a 3D object.

Andere Assets, wie z. b. der Spring-Brunnen außerhalb des Pantheon, sind echte Objekte, die an den Standorten vorhanden sind, an denen wir Videoaufnahmen, aber um diese Objekte aus dem Video und 3D zu bringen, müssen wir eine Reihe von Dingen durchführen.Other assets, like the fountain outside the Pantheon, are real objects that exist in the locations where we're shooting video, but to bring these objects out of the video and into 3D, we have to do a number of things.

Zuerst benötigen wir weitere Informationen zu jedem Objekt.First, we need additional information about each object. Am Speicherort für die Film Erstellung hat unser Team viele Verweise auf diese Objekte aufgezeichnet, damit wir über ausreichend ausführliche Bilder verfügen, um die Texturen genau neu erstellen zu können.While on location for filming, our team captured a lot of reference footage of these objects so that we would have enough detailed images to accurately recreate the textures. Das Team hat außerdem einen Photogrammetrie -Scan durchgeführt, bei dem ein 3D-Modell aus Dutzenden von 2D-Images erstellt wird, was uns ein grobes Modell des Objekts in perfekter Größe bietet.The team also performed a photogrammetry scan, which constructs a 3D model from dozens of 2D images, giving us a rough model of the object at perfect scale.

Wenn wir unser Material verarbeiten, werden Objekte, die später durch eine 3D-Darstellung ersetzt werden, aus dem Video entfernt.As we process our footage, objects that will later be replaced with a 3D representation are removed from the video. Das 3D-Asset basiert auf dem photogrammmetrikmodell, wurde aber bereinigt und von unseren Künstlern vereinfacht.The 3D asset is based on the photogrammetry model but cleaned up and simplified by our artists. Für einige Objekte können wir Teile des Videos verwenden – wie z. b. die Wasser Textur auf dem Springbrunnen – aber der größte Teil des Brunnens ist jetzt ein 3D-Objekt, das es Benutzern ermöglicht, Tiefe zu erkennen und Sie in einem begrenzten Bereich in der Umgebung zu durchlaufen.For some objects, we can use parts of the video—such as the water texture on the fountain—but most of the fountain is now a 3D object, which allows users to perceive depth and walk around it in a limited space in the experience. Das vorhanden sein von fast-Space-Objekten wie diesem erhöht den Sinn von Realismus und hilft dabei, die Benutzer am virtuellen Speicherort zu durchführen.Having near-space objects like this greatly adds to the sense of realism and helps to ground the users in the virtual location.

Pantheon-Material mit dem entfernten Brunnen.

Pantheon-Material mit dem entfernten Brunnen.Pantheon footage with the fountain removed. Sie wird durch ein 3D-Medienobjekt ersetzt.It will be replaced with a 3D asset.

SchlussbemerkungenFinal thoughts

Natürlich gab es noch mehr zum Erstellen dieses Inhalts als das, was wir hier besprochen haben.Obviously, there was more to creating this content than what we've discussed here. Es gibt ein paar Szenen – wir möchten Sie als "unmögliche Perspektiven" bezeichnen – einschließlich der heiß Luft Sprechblase und des gladiatorkampfes im Kolosseum, der einen kreativeren Ansatz hat.There are a few scenes—we like to call them "impossible perspectives"—including the hot air balloon ride and the gladiator fight in the Colosseum, which took a more creative approach. Diese werden in einer zukünftigen Fallstudie behandelt.We'll address these in a future case study.

Wir hoffen, dass die gemeinsame Nutzung von Lösungen für einige der größeren Herausforderungen, die wir während der Produktion hatten, für andere Entwickler hilfreich ist und Sie darauf aufmerksam sind, dass Sie einige dieser Techniken verwenden, um Ihre eigenen immersiven Erfahrungen für hololens zu entwickeln.We hope that sharing solutions to some of the bigger challenges we had during production is helpful to other developers and that you're inspired to use some of these techniques to create your own immersive experiences for HoloLens. (Wenn Sie dies tun, stellen Sie sicher, dass Sie es für uns im hololens-App-Entwicklungsforumfreigeben!)(And if you do, please make sure to share it with us on the HoloLens App Development forum!)

Über die AutorenAbout the authors

David Haley David Haley ist leitender Entwickler, der mehr über Kamera-und Videowiedergabe erfahren hat, als er von der Arbeit an holotour war.David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Danny Askew Danny Askew ist ein Video, das sichergestellt hat, dass Ihre Reise durch Rom so tadellos wie möglich war.Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.
Jason Syltebo Jason syltebo ist ein audiodesigner, der sicherstellt, dass Sie die Sound Landschaft jedes besuchten Ziels sehen können, auch wenn Sie zurückkehren.Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time. Travis Steiner Travis Steiner ist ein Entwurfs Leiter, der Standorte erforscht und durchsucht, Reisepläne erstellt und eine Weiterleitung auf der Website durchgeführt hat.Travis Steiner is a Design Director who researched and scouted locations, created trip plans, and directed filming on site.

Siehe auchSee also