Case Study-HoloTourCase study - HoloTour

HoloTour per Microsoft HoloLens fornisce tour personali immersivi 3D di posizioni iconiche in tutto il mondo.HoloTour for Microsoft HoloLens provides immersive 3D personal tours of iconic locations around the world. I progettisti, gli artisti, i produttori, i progettisti e gli sviluppatori che lavorano su questo progetto hanno scoperto che la creazione di un rendering 3D in modo convincente di una posizione nota accetta una combinazione univoca di creazioni guidate creative e tecnologiche.As the designers, artists, producers, audio designers, and developers working on this project found out, creating a convincingly real 3D rendering of a well-known location takes a unique blend of creative and technological wizardry. In questo case study verrà illustrato il processo di acquisizione e creazione del contenuto utilizzato per HoloTour.This case study will walk through the process of capturing and creating the content used for HoloTour.

Il TechThe tech

Con HoloTour, abbiamo voluto consentire agli utenti di visitare alcune delle destinazioni più straordinarie del mondo, come le rovine di Machu Picchu in Perù o il giorno moderno Piazza Navona in Italia, direttamente dalle proprie chat room.With HoloTour, we wanted to make it possible for people to visit some of the world’s most amazing destinations—like the ruins of Machu Picchu in Peru or the modern day Piazza Navona in Italy—right from their own living rooms. Il nostro team ha fatto in modo che l'obiettivo di HoloTour sia quello di essere veramente in realtà.Our team made it the goal of HoloTour to “make you feel like you’re really there.” L'esperienza necessaria per non solo immagini o video.The experience needed to be more than just pictures or videos. Sfruttando la tecnologia di visualizzazione, rilevamento e audio univoca di HoloLens, abbiamo creduto che avessimo potuto trasmetterti virtualmente in un'altra posizione.By leveraging the unique display, tracking, and audio technology of HoloLens we believed we could virtually transport you to another place. Sarebbe necessario acquisire i punti di vista, i suoni e la geometria tridimensionale di ogni località visitata e quindi ricrearla all'interno dell'app.We would need to capture the sights, sounds, and three-dimensional geometry of every location we visited and then recreate that within our app.

A tale scopo, era necessario un rig della fotocamera 360 ° con acquisizione audio direzionale.In order to do this, we needed a 360° camera rig with directional audio capture. È stato necessario acquisire una risoluzione estremamente elevata, in modo che il metraggio risulti nitido quando viene riprodotto in una HoloLens e le fotocamere devono essere posizionate vicino per ridurre al minimo gli artefatti.It needed to capture at extremely high resolution, so that the footage would look crisp when played back on a HoloLens and the cameras would need to be positioned close together in order to minimize stitching artifacts. È stata voluta una copertura sferica completa, non solo lungo l'orizzonte, ma anche sopra e sotto.We wanted full spherical coverage, not just along the horizon, but above and below you as well. Il rig doveva anche essere portabile in modo da poterlo usare in tutto il mondo.The rig also needed to be portable so that we could take it all over the world. Sono state valutate le opzioni disponibili e sono state realizzate che non sono state sufficientemente valide per realizzare la nostra visione, a causa della risoluzione, dei costi o delle dimensioni.We evaluated available off-the-shelf options and realized they simply weren’t good enough to realize our vision – either because of resolution, cost, or size. Se non è stato possibile trovare un rig della fotocamera che soddisfi le proprie esigenze, è necessario crearne uno.If we couldn’t find a camera rig that satisfied our needs, we would have to build one ourselves.

Creazione del rigBuilding the rig

La prima versione, fatta da cartoni, Velcro, Duct Tape e 14 fotocamere GoPro, era una sorta di MacGyver.The first version—made from cardboard, Velcro, duct tape, and 14 GoPro cameras—was something MacGyver would have been proud of. Dopo aver esaminato tutti gli elementi, dalle soluzioni di basso livello ai rig prodotti personalizzati, le fotocamere GoPro erano alla fine l'opzione migliore per Microsoft perché erano piccole, convenienti e avevano un archivio di memoria di facile utilizzo.After reviewing everything from low-end solutions to custom manufactured rigs, GoPro cameras were ultimately the best option for us because they were small, affordable, and had easy-to-use memory storage. Il fattore di forma piccolo è stato particolarmente importante perché ci ha consentito di collocare le fotocamere in modo abbastanza vicino, minore è la distanza tra le fotocamere, minore sarà la distanza degli artefatti.The small form factor was especially important because it allowed us to place cameras fairly close together—the smaller the distance between cameras, the smaller the stitching artifacts will be. La nostra disposizione esclusiva per la fotocamera ci ha consentito di ottenere la copertura completa della sfera, oltre a una sovrapposizione sufficiente per allineare in modo intelligente le fotocamere e smussare alcuni artefatti durante il processo di Unione.Our unique camera arrangement allowed us to get full sphere coverage plus enough overlap to intelligently align cameras and smooth out some artifacts during the stitching process.

Sfruttare le funzionalità audio spaziali in HoloLens è essenziale per la creazione di un'esperienza immersiva convincente.Taking advantage of the spatial sound capabilities on HoloLens is critical to creating a convincingly real immersive experience. È stato usato un array a quattro microfoni situato sotto le fotocamere sul treppiede, che consente di acquisire un suono dalla posizione della nostra fotocamera in quattro direzioni, dandoci informazioni sufficienti per creare suoni spaziali nelle nostre scene.We used a four-microphone array situated beneath the cameras on the tripod, which would capture sound from the location of our camera in four directions, giving us enough information to create spatial sounds in our scenes.

Il nostro rig della fotocamera 360 ° configurato per la cinematografia all'esterno del Pantheon.

Il nostro rig della fotocamera 360 ° configurato per la cinematografia all'esterno del Pantheon.Our 360° camera rig set up for filming outside the Pantheon.

Abbiamo testato il nostro rig casalingo portandolo alla cresta dei serpenti in prossimità di Seattle, acquisendo lo scenario nella parte superiore dell'escursione.We tested out our homemade rig by taking it up to Rattlesnake Ridge near Seattle, capturing the scenery at the top of the hike. Il risultato, sebbene significativamente meno lucido rispetto a quello visualizzato in HoloTour oggi, ci ha confidato che la progettazione di un rig era abbastanza efficace da garantire che ci si trovi davvero.The result, though significantly less polished than the locations you see in HoloTour today, gave us confidence that our rig design was good enough to make you feel like you’re really there.

Il nostro rig è stato aggiornato da Velcro e cartonato a una fotocamera a stampa 3D e hanno acquistato batterie esterne per le fotocamere GoPro per semplificare la gestione della batteria.We upgraded our rig from Velcro and cardboard to a 3D-printed camera housing and bought external battery packs for the GoPro cameras to simplify battery management. È stato quindi testato un test più esteso, che è stato girato fino a San Francisco per creare una presentazione in miniatura della costa della città e del Golden Gate Bridge iconico.We then did a more extensive test, traveling down to San Francisco to create a miniature tour of the city’s coast and the iconic Golden Gate bridge. Questo rig della fotocamera è quello che abbiamo usato per la maggior parte delle nostre acquisizioni dei percorsi visitati in HoloTour.This camera rig is what we used for most of our captures of the locations you visit in HoloTour.

Il 360 ° rig della fotocamera che si sta filmando in Machu Picchu.

Il 360 ° rig della fotocamera che si sta filmando in Machu Picchu.The 360° camera rig filming in Machu Picchu.

Dietro le quinteBehind the scenes

Prima di filmarlo, era necessario scoprire quali sono le località da includere nella nostra presentazione virtuale.Before filming, we needed to figure out which locations we wanted to include on our virtual tour. Roma è stata la prima sede per la spedizione e volevamo ottenerla, quindi abbiamo deciso di eseguire un viaggio di scouting in anticipo.Rome was the first location we intended to ship and we wanted to get it right, so we decided to do a scouting trip in advance. Abbiamo inviato un team di sei persone, inclusi gli artisti, i progettisti e i produttori, per una visita al posto dei siti considerati.We sent a team of six people—including artists, designers, and producers—for an in-person visit to the sites we were considering. Il viaggio ha richiesto circa 9 giorni, 2,5 per le corse, il resto per il film.The trip took about 9 days – 2.5 for travel, the rest for filming. Per Machu Picchu abbiamo scelto di non eseguire una corsa Scout, una ricerca preliminare e la prenotazione di alcuni giorni di buffer per il film.(For Machu Picchu we opted not to do a scout trip, researching in advance and booking a few days of buffer for filming.)

Mentre a Roma, il team ha fotografato le foto di ogni area e ha notato i fatti interessanti, oltre a considerazioni pratiche, ad esempio il modo in cui è difficile passare a ogni punto e quanto è difficile eseguire il film a causa di folle o restrizioni.While in Rome, the team took photos of each area and noted interesting facts as well as practical considerations, such as how hard it is to travel to each spot and how difficult it would be to film because of crowds or restrictions. Questo può sembrare una vacanza, ma è molto lavoro.This may sound like a vacation, but it’s a lot of work. I giorni sono iniziati prima della mattina e non vengono interrotti fino alla sera.Days started early in the morning and would go non-stop until evening. Ogni notte, il metraggio è stato caricato per tornare al team a Seattle.Each night, footage was uploaded for the team back in Seattle to review.

Il nostro team di acquisizione a Roma.

Il nostro team di acquisizione a Roma.Our capture crew in Rome.

Al termine del viaggio Scout, è stato creato un piano finale per il filming effettivo.After the scout trip was completed, a final plan was made for actual filming. Questa operazione richiedeva un elenco dettagliato di dove ci si stava filmando, il giorno e l'ora.This required a detailed list of where we were going to film, on what day, and at what time. Ogni giorno all'estero è costoso, quindi questi viaggi necessitano di efficienza.Every day overseas is expensive, so these trips needed to be efficient. Abbiamo prenotato guide e gestori a Roma per aiutarci a usare completamente tutti i giorni da prima dell'alba al tramonto.We booked guides and handlers in Rome to help us and fully used every day from before sunrise to after sunset. È necessario ottenere il miglior metraggio possibile per fare in modo che ci si trovi davvero.We need to get the best footage possible in order to make you feel like you’re really there.

Acquisizione del videoCapturing the video

Eseguire alcune operazioni semplici durante l'acquisizione può semplificare notevolmente la post-elaborazione.Doing a few simple things during capture can make post-processing much easier. Ad esempio, ogni volta che si uniscono immagini da più fotocamere, si verificano elementi visivi perché ogni fotocamera ha una visualizzazione leggermente diversa.For example, whenever you stitch together images from multiple cameras, you end up with visual artifacts because each camera has a slightly different view. Gli oggetti più vicini sono la fotocamera, maggiore è la differenza tra le visualizzazioni e più grande sarà l'Unione degli artefatti.The closer objects are to the camera, the larger the difference between the views, and the larger the stitching artifacts will be. Ecco un modo semplice per visualizzare il problema: tenere il dito davanti alla faccia e osservarlo con un solo occhio.Here's an easy way to visualize the problem: hold your thumb up in front of your face and look at it with only one eye. Ora cambia gli occhi.Now switch eyes. Si noterà che il pollice sembra essere spostato rispetto allo sfondo.You’ll see that your thumb appears to move relative to the background. Se si tiene il cursore oltre il viso e si ripete l'esperimento, il cursore appare meno.If you hold your thumb further away from your face and repeat the experiment, your thumb will appear to move less. Questo movimento apparente è simile al problema che abbiamo affrontato: gli occhi, come le nostre fotocamere, non vedono esattamente la stessa immagine perché sono separati da una distanza minima.That apparent movement is similar to the stitching problem we faced: Your eyes, like our cameras, don’t see the exact same image because they are separated by a little distance.

Poiché è molto più semplice evitare gli artefatti peggiori durante il film che è necessario correggere durante la post-elaborazione, si è tentato di evitare la necessità di unire gli oggetti di chiusura alla fotocamera, nella speranza di eliminare la necessità di unire gli oggetti di chiusura.Because it’s much easier to prevent the worst artifacts while filming than it is to correct them in post-processing, we tried to keep people and things far away from the camera in the hopes we could eliminate the need to stitch close-up objects. La gestione di una grande deselezione della nostra fotocamera era probabilmente una delle principali problemi riscontrati durante la fase di Shooting.Maintaining a large clearing around our camera was probably one of the biggest challenges we had during shooting and we had to get creative to make it work. Lavorare con le guide locali è stato un enorme aiuto nella gestione delle folle, ma è stato anche scoperto che l'uso di segni, a volte piccoli coni o sacchetti di fagioli, per contrassegnare lo spazio di film era ragionevolmente efficace, soprattutto perché era necessario solo ottenere una breve quantità di metraggio in ogni posizione.Working with local guides was a huge help in managing crowds, but we also found that using signs—and sometimes small cones or bean bags—to mark our filming space was reasonably effective, especially since we only needed to get a short amount of footage at each location. Spesso il modo migliore per ottenere una buona acquisizione è stato quello di raggiungere il primo mattino, prima che la maggior parte delle persone si trovino.Often the best way to get a good capture was to just to arrive very early in the morning, before most people showed up.

Altre tecniche di acquisizione utili provengono direttamente dalle procedure tradizionali di film.Some other useful capture techniques come straight from traditional film practices. Ad esempio, è stata usata una scheda di correzione dei colori su tutte le fotocamere e sono state acquisite foto di riferimento di trame e oggetti che potrebbero essere necessari in seguito.For example, we used a color correction card on all of our cameras and captured reference photos of textures and objects we might need later.

Un taglio approssimativo di Machu Picchu che mostra la scheda di correzione dei colori.

Una riduzione approssimativa del metraggio Pantheon prima dell'Unione.A rough cut of Pantheon footage before stitching.

Elaborazione del videoProcessing the video

L'acquisizione del contenuto di 360 ° è solo il primo passaggio, ma è necessaria una grande elaborazione per convertire il metraggio della fotocamera non elaborato che è stato acquisito nelle risorse finali visualizzate in HoloTour.Capturing 360° content is only the first step—a lot of processing is needed to convert the raw camera footage we captured into the final assets you see in HoloTour. Una volta tornato a casa, era necessario portare il video da 14 diversi feed della fotocamera e convertirlo in un unico video continuo con elementi minimi.Once we were back home we needed to take the video from 14 different camera feeds and turn it into a single continuous video with minimal artifacts. Il nostro team di arte ha usato diversi strumenti per combinare e lucidare il metraggio acquisito ed è stata sviluppata una pipeline per ottimizzare l'elaborazione quanto più possibile.Our art team used a number of tools to combine and polish the captured footage and we developed a pipeline to optimize the processing as much as possible. Il metraggio doveva essere assemblato, colorato con correzione e poi composito per rimuovere gli elementi e gli artefatti di dispersione o per aggiungere ulteriori sacche di vita e movimento, il tutto con l'obiettivo di migliorare la sensazione di essere effettivamente disponibili.The footage had to be stitched together, color corrected, and then composited to remove distracting elements and artifacts or to add supplemental pockets of life and motion, all with the goal to enhance that feeling of actually being there.

Una riduzione approssimativa del metraggio Pantheon prima dell'Unione.

Una riduzione approssimativa del metraggio Pantheon prima dell'Unione.A rough cut of Pantheon footage before stitching.

Per unire i video, è stato usato uno strumento denominato PTGui che è stato integrato nella pipeline di elaborazione.To stitch the videos together, we used a tool called PTGui and integrated it into our processing pipeline. Nell'ambito della post-elaborazione abbiamo estratto ancora i frame dai nostri video ed è stato trovato un modello di Unione che sembrava adatto per uno di questi frame.As part of post-processing we extracted still frames from our videos and found a stitching pattern that looked good for one of those frames. Il modello è stato quindi applicato a un plug-in personalizzato scritto che consentiva ai nostri artisti video di ottimizzare e modificare direttamente il modello di Unione durante la composizione in After Effects.We then applied that pattern to a custom plugin we wrote that allowed our video artists to fine tune and tweak the stitching pattern directly while compositing in After Effects.

Screenshot di PTGui che mostra il metraggio Pantheon ricamato.

Screenshot di PTGui che mostra il metraggio Pantheon ricamato.Screenshot of PTGui showing the stitched Pantheon footage.

Riproduzione di videoVideo playback

Una volta completata l'elaborazione del metraggio, abbiamo un video senza problemi, ma è eccezionalmente grande, intorno alla risoluzione di 8K.After processing of the footage is completed, we have a seamless video but it’s extraordinarily large—around 8K resolution. La decodifica del video è costosa e ci sono pochissimi computer che possono gestire un video da 8 a 8, quindi il prossimo problema è stato trovare un modo per riprodurre questo video in HoloLens.Decoding video is expensive and there are very few computers that can handle an 8K video so the next challenge was finding a way to play this video back on HoloLens. Sono state sviluppate diverse strategie per evitare il costo della decodifica, pur continuando a sembrare che l'utente stesse visualizzando l'intero video.We developed a number of strategies to avoid the cost of decoding while still making the user feel like they were viewing the entire video.

L'ottimizzazione più semplice consiste nell'evitare di decodificare parti del video che non cambiano molto.The easiest optimization is to avoid decoding parts of the video that don’t change much. È stato scritto uno strumento che consente di identificare le aree in ogni scena che hanno un minimo o nessun movimento.We wrote a tool to identify areas in each scene that have little or no motion. Per queste aree viene mostrata un'immagine statica anziché decodificare un video per ogni frame.For those regions we show a static image rather than decoding a video each frame. Per rendere possibile questa operazione, abbiamo diviso il video di grandi dimensioni in blocchi molto più piccoli.To make this possible, we divided up the massive video into much smaller chunks.

Si è inoltre verificato che ogni pixel decodificato è stato usato in modo più efficace.We also made sure that every pixel we decoded was used most effectively. Abbiamo sperimentato le tecniche di compressione per ridurre le dimensioni del video; le aree video vengono suddivise in base ai poligoni della geometria su cui verrebbe proiettata; sono state modificate le UV e sono stati riconfezionati i video in base alla quantità di dettagli inclusi nei diversi poligoni.We experimented with compression techniques to lower the size of the video; we split the video regions according to the polygons of the geometry it would be projected onto; we adjusted UVs and repacked the videos based on how much detail different polygons included. Il risultato di questo lavoro è che ciò che è stato avviato come un singolo video a 8 KB si è trasformato in molti blocchi che sembrano quasi incomprensibili fino a quando non vengono riproiettati correttamente nella scena.The result of this work is that what started as a single 8k video turned into many chunks that look almost unintelligible until they are properly re-projected into the scene. Per uno sviluppatore di giochi che riconosce il mapping delle trame e la compressione UV, probabilmente avrà un aspetto familiare.For a game developer who understands texture mapping and UV packing, this will probably look familiar.

Vista completa del Pantheon prima delle ottimizzazioni.

Vista completa del Pantheon prima delle ottimizzazioni.A full view of the Pantheon before optimizations.

Metà destra del Pantheon, elaborata per la riproduzione video.

Metà destra del Pantheon, elaborata per la riproduzione video.The right half of the Pantheon, processed for video playback.

Esempio di una singola area video dopo l'ottimizzazione e la compressione.

Esempio di una singola area video dopo l'ottimizzazione e la compressione.Example of a single video region after optimization and packing.

Un altro espediente usato è stato quello di evitare la decodifica del video non visualizzato attivamente.Another trick we used was to avoid decoding video you aren’t actively viewing. In HoloTour è possibile visualizzare solo parte della scena completa in un determinato momento.While in HoloTour, you can only see part of the full scene at any given moment. I video vengono decodificati solo all'interno o all'esterno del campo di visualizzazione (FOV).We only decode videos within or shortly outside of your field of view (FOV). Quando si ruota la testa, si inizia a riprodurre le aree del video che ora si trovano nel FOV e si smette di giocare con quelli che non sono più al suo interno.As you rotate your head, we start playing the regions of the video that are now in your FOV and stop playing ones that are no longer within it. La maggior parte degli utenti non noterà neanche questo problema, ma se si gira rapidamente, si noterà che il video richiede un secondo avvio, nel frattempo verrà visualizzata un'immagine statica che, successivamente, tornerà a video una volta pronta.Most people won’t even notice this is happening, but if you turn around rapidly, you’ll see the video takes a second to start— in the meantime you’ll see a static image which then fades back to video once it’s ready.

Per far funzionare questa strategia è stato sviluppato un sistema di riproduzione video completo.To make this strategy work we developed an extensive video playback system. È stato ottimizzato il codice per la riproduzione di basso livello per rendere estremamente efficiente il cambio video.We optimized the low level playback code in order to make video switching extremely efficient. Inoltre, abbiamo dovuto codificare i nostri video in modo speciale per consentire il passaggio rapido a qualsiasi video in qualsiasi momento.Additionally, we had to encode our videos in a special way to make it possible to rapidly switch to any video at any time. Questa pipeline di riproduzione ha impiegato una quantità significativa di tempo di sviluppo, quindi è stata implementata in fasi.This playback pipeline took a significant amount of development time so we implemented it in stages. Si è iniziato con un sistema più semplice che era meno efficiente, ma i progettisti e gli artisti consentivano di lavorare sull'esperienza e lo hanno migliorato lentamente in un sistema di riproduzione più affidabile che ci consentiva di fornire alla barra di qualità finale.We started with a simpler system that was less efficient, but allowed designers and artists to work on the experience, and slowly improved it to a more robust playback system that allowed us to ship at the final quality bar. Questo sistema finale aveva strumenti personalizzati creati in Unity per configurare il video nella scena e monitorare il motore di riproduzione.This final system had custom tools we created within Unity to set up the video within the scene and monitor the playback engine.

Ricreazione di oggetti near-space in 3DRecreating near-space objects in 3D

I video rappresentano la maggior parte degli elementi visualizzati in HoloTour, ma sono disponibili numerosi oggetti 3D che si trovano vicino all'utente, ad esempio il disegno in Piazza Navona, la fontana al di fuori del Pantheon o il palloncino ad aria calda per le scene aeree.Videos make up the majority of what you see in HoloTour, but there are a number of 3D objects that appear close to you, such as the painting in Piazza Navona, the fountain outside the Pantheon, or the hot air balloon you stand in for aerial scenes. Questi oggetti 3D sono importanti perché la percezione della profondità umana è molto corretta, ma non molto lontano.These 3D objects are important because human depth perception is very good up close, but not very good far away. Possiamo uscire dalla distanza dei video, ma per consentire agli utenti di aggirare il proprio spazio e come sono in realtà, gli oggetti vicini necessitano di profondità.We can get away with video in the distance, but to allow users to walk around their space and feel like they’re really there, nearby objects need depth. Questa tecnica è simile a quella che può essere visualizzata in un Museo di cronologia naturale, che illustra un diorama che presenta un landscape fisico, piante e campioni di animali in primo piano, ma si riferisce a un disegno opaco mascherato in background.This technique is similar to the sort of thing you might see in a natural history museum—picture a diorama that has physical landscaping, plants, and animal specimens in the foreground, but recedes into a cleverly masked matte painting in the background.

Alcuni oggetti sono semplicemente asset 3D creati e aggiunti alla scena per migliorare l'esperienza.Some objects are simply 3D assets we created and added to the scene to enhance the experience. Il disegno e la mongolfiera rientrano in questa categoria perché non erano presenti durante il film.The painting and the hot air balloon fall into this category because they weren’t present when we filmed. Analogamente alle risorse dei giochi, sono state create da un artista 3D del team e con trama appropriata.Similar to game assets, they were created by a 3D artist on our team and textured appropriately. Questi elementi vengono posizionati nelle nostre scene vicino a dove si trova e il motore di gioco può eseguirne il rendering nelle due visualizzazioni HoloLens in modo che vengano visualizzate come oggetto 3D.We place these in our scenes near where you stand, and the game engine can render them to the two HoloLens displays so that they appear as a 3D object.

Altre risorse, come la fontana al di fuori del Pantheon, sono oggetti reali presenti nei percorsi in cui stiamo girando video, ma per portare gli oggetti fuori dal video e in 3D, dobbiamo eseguire una serie di operazioni.Other assets, like the fountain outside the Pantheon, are real objects that exist in the locations where we're shooting video, but to bring these objects out of the video and into 3D, we have to do a number of things.

Per prima cosa, sono necessarie informazioni aggiuntive su ogni oggetto.First, we need additional information about each object. In questo caso, il nostro team ha acquisito una grande quantità di filmati di riferimento di questi oggetti in modo da disporre di immagini dettagliate sufficienti per ricreare le trame in modo accurato.While on location for filming, our team captured a lot of reference footage of these objects so that we would have enough detailed images to accurately recreate the textures. Il team ha anche eseguito un'analisi fotogrammetria , che costruisce un modello 3D da decine di immagini 2D, offrendo un modello di base dell'oggetto su scala perfetta.The team also performed a photogrammetry scan, which constructs a 3D model from dozens of 2D images, giving us a rough model of the object at perfect scale.

Durante l'elaborazione del nostro metraggio, gli oggetti che verranno sostituiti con una rappresentazione 3D verranno rimossi dal video.As we process our footage, objects that will later be replaced with a 3D representation are removed from the video. L'asset 3D è basato sul modello fotogrammetria, ma è stato pulito e semplificato dagli artisti.The 3D asset is based on the photogrammetry model but cleaned up and simplified by our artists. Per alcuni oggetti, è possibile usare parti del video, ad esempio la trama dell'acqua sulla Fontana, ma la maggior parte della fontana è ora un oggetto 3D, che consente agli utenti di percepire la profondità e aggirarlo in uno spazio limitato nell'esperienza.For some objects, we can use parts of the video—such as the water texture on the fountain—but most of the fountain is now a 3D object, which allows users to perceive depth and walk around it in a limited space in the experience. La presenza di oggetti near-space come questo consente di aumentare in modo sostanziale il senso di realismo e consente di instradare gli utenti nella posizione virtuale.Having near-space objects like this greatly adds to the sense of realism and helps to ground the users in the virtual location.

Metraggio Pantheon con la Fontana rimossa.

Metraggio Pantheon con la Fontana rimossa.Pantheon footage with the fountain removed. Verrà sostituito con un asset 3D.It will be replaced with a 3D asset.

Considerazioni finaliFinal thoughts

Ovviamente, c'era ancora di più per creare questo contenuto rispetto a quello che abbiamo discusso qui.Obviously, there was more to creating this content than what we've discussed here. Ci sono alcune scene: ci piace denominarle "prospettive impossibili", tra cui la corsa a mongolfiera e la lotta gladiatore nel Colosseo, che ha adottato un approccio più creativo.There are a few scenes—we like to call them "impossible perspectives"—including the hot air balloon ride and the gladiator fight in the Colosseum, which took a more creative approach. Questi verranno affrontati in un case study futuro.We'll address these in a future case study.

Ci auguriamo che la condivisione di soluzioni ad alcune delle principali problemi riscontrati durante la produzione sia utile per altri sviluppatori e che tu sia ispirato a usare alcune di queste tecniche per creare esperienze immersive per HoloLens.We hope that sharing solutions to some of the bigger challenges we had during production is helpful to other developers and that you're inspired to use some of these techniques to create your own immersive experiences for HoloLens. In tal caso, assicurati di condividerlo con noi nel Forum sullo sviluppo di app per HoloLens.(And if you do, please make sure to share it with us on the HoloLens App Development forum!)

Informazioni sugli autoriAbout the authors

David Haley David Haley è uno sviluppatore senior che ha appreso altre informazioni sui rig della fotocamera e la riproduzione video di quanto pensi possa essere usato in HoloTour.David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Danny Askew Danny storta è un artista video che ha avuto la certezza che il suo percorso attraverso Roma fosse il più perfetto possibile.Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.
Jason Syltebo Jason Syltebo è una finestra di progettazione audio che ha avuto la certezza di poter provare il paesaggio appropriato di ogni destinazione visitata, anche quando si torna indietro nel tempo.Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time. Travis Steiner Travis Steiner è un Director di progettazione che ha eseguito ricerche e percorsi Scout, ha creato piani di viaggio e ha diretto il film sul sito.Travis Steiner is a Design Director who researched and scouted locations, created trip plans, and directed filming on site.

Vedere ancheSee also