Case Study: creazione di prospettive impossibili per HoloTourCase study - Creating impossible perspectives for HoloTour

L'esperienza di HoloTour per Microsoft HoloLens è stata indimenticata.We wanted your experiences in HoloTour for Microsoft HoloLens to be unforgettable. Oltre alle interruzioni turistiche tradizionali, abbiamo pianificato alcune "prospettive impossibili", ovvero momenti che sarebbe impossibile sperimentare in qualsiasi tour, ma che, grazie alla tecnologia di HoloLens, avremmo potuto portare direttamente alla tua sala da visita.In addition to the traditional tourist stops, we planned out some "impossible perspectives" – moments that would be impossible to experience on any tour but which, via the technology in HoloLens, we could bring directly to your living room. Per creare il contenuto di queste esperienze è necessario adottare alcune tecniche diverse da quelle del processo di acquisizione standard.Creating the content for these experiences required some different techniques than our standard capture process.

La richiesta di contenutoThe content challenge

Ci sono alcune scene nell'esperienza HoloTour, ad esempio il giro di mongolfiera a caldo di Roma e la lotta tra i gladiatori presso il Colosseo nell'antica Roma, che offrono visualizzazioni univoche che non verranno visualizzate altrove.There are certain scenes in the HoloTour experience—such as the hot air balloon ride over modern-day Rome and the gladiatorial fight at the Colosseum in ancient Rome—that provide unique views you won't see anywhere else. Questi istanti hanno lo scopo di entusiasmare e stupire l'utente, rendendo il viaggio in HoloTour più di una semplice esperienza didattica.These moments are meant to excite and amaze you, making your trip through HoloTour more than just an educational experience. Sono i momenti in cui ci si vuole ricordare e si è entusiasti di informare altri utenti.They are the moments we want you to remember and get excited to tell other people about. Dal momento che non è stato possibile portare il rig della fotocamera verso l'alto e non è ancora stato eseguito il mastering, ognuna di queste "prospettive impossibili" ha chiamato un approccio speciale per la creazione di contenuti.Since we couldn't take our camera rig up into the sky and we haven't (yet) mastered time travel, each of these "impossible perspectives" called for a special approach to creating content.

Dietro le quinteBehind the scenes

La creazione di questi momenti e prospettive univoci è stata necessaria oltre alla semplice creazione di filmati e modifiche.Creating these unique moments and perspectives required more than just filming and editing. È stata impiegata una notevole quantità di tempo, persone con molte competenze diverse e un po' di magia di Hollywood.It took a tremendous amount of time, people with many different skills, and a little bit of Hollywood magic.

Visualizzazione di Roma da un pallone ad aria caldaViewing Rome from a hot air balloon

Dai primi giorni della pianificazione, sapevamo che volevamo eseguire le viste aeree in HoloTour.From our early planning days, we knew we wanted to do aerial views in HoloTour. Vedendo Roma dal cielo ti offre una prospettiva che la maggior parte degli utenti non è mai in grado di vedere e in che modo i punti di riferimento più diffusi si trovano a livello spaziale.Seeing Rome from the sky gives you a perspective that most people never get to see and a sense of how popular landmarks are spatially located. Il tentativo di acquisire questo comportamento con la fotocamera e il rig microfonici esistenti sarebbe stato estremamente complesso, ma fortunatamente non era necessario.Trying to capture this ourselves with our existing camera and microphone rig would have been tremendously difficult, but luckily we didn’t have to.

Prima di tutto, è importante spiegare che tutti i percorsi visitati in HoloTour sono in movimento.First, it's important to explain that all of the locations you visit in HoloTour have movement in them. Il nostro obiettivo è quello di fare in modo che tu sia davvero in realtà e, dal momento che sei circondato da un movimento ovunque ti trovi in realtà, le nostre destinazioni virtuali necessarie per fornire anche lo spostamento ambientale.Our goal was to make you “feel like you’re really there” and since you’re surrounded by movement everywhere you go in real life, our virtual destinations needed to convey ambient movement as well. Ad esempio, quando si visita il Pantheon durante il viaggio, si vedranno le persone che vagano in tutto il piazzale e si uniscono i passaggi.For instance, when you visit the Pantheon on your trip, you’ll see people wandering throughout the plaza and congregating on the steps. Il movimento in background ti aiuta a farti sentire come se fossi in realtà nella posizione, anziché in un ambiente statico a fasi.The background motion helps to make you feel like you’re really standing in the location, rather than in a staged, static environment.

Per creare le visualizzazioni aeree per la corsa in mongolfiera, abbiamo collaborato con altri team di Microsoft per ottenere l'accesso alle immagini panoramiche aeree di Roma.To create the aerial views for the balloon ride, we worked with other teams at Microsoft to get access to aerial panoramic imagery of Rome. La qualità di queste immagini è stata eccellente e la visualizzazione era sorprendente, ma quando le abbiamo usate in scena senza modifiche, si sono rilevati inevitabili rispetto alle altre parti del tour e la mancanza di movimento era distrazione.The quality of these images was excellent and the view was stunning, but when we used them in the scenes without modification, they felt lifeless compared to the other parts of the tour and the lack of motion was distracting.

Il basket del pallone ad aria calda, Mobile su Roma.The hot air balloon basket, floating over Rome.
Basket ad aria calda, Mobile su RomaThe hot air balloon basket, floating over Rome

Per garantire che le località aeree soddisfino la stessa barra di qualità delle altre destinazioni, abbiamo deciso di trasformare le fotografie statiche in scene in continua evoluzione.To ensure the aerial locations met the same quality bar as other destinations, we decided to transform the static photographs into living, moving scenes. Il primo passaggio consiste nel modificare l'immagine e il movimento composito al suo interno.The first step was to edit the image and composite motion into it. L'autore di effetti visivi è stato contratto per aiutare Microsoft a eseguire questa operazione.We contracted a visual effects artist to help us with this. La modifica è stata eseguita per mostrare lentamente i cloud, gli uccelli che volano da e un aereo o un elicottero occasionale attraversando l'orizzonte.Editing was done to show clouds slowly drifting, birds flying by, and an occasional plane or helicopter traversing the skyline. A fondo, sono state effettuate numerose automobili per guidare le strade.On the ground, a number of cars were made to drive the streets. Se si è passati al tour di Roma in HoloTour, è improbabile che si sia in grado di riconoscere in modo esplicito uno di questi spostamenti.If you’ve been on the tour of Rome in HoloTour, it’s unlikely that you were explicitly aware of any of this movement. Si tratta di un'ottima soluzione.That’s actually great! Il lieve movimento non è concepito per attirare gli occhi, ma senza questi piccoli tocchi, le persone hanno notato immediatamente che era un'immagine statica nella scena.The subtle motion isn’t meant to catch your eye, but without these little touches, people noticed immediately that it was a static image in the scene.

La seconda cosa da fare è fornire un punto di vista da cui visualizzare la scena.The second thing we did was give you a vantage point from which to view the scene. Non ci si farà sentire come se fosse semplicemente a mezz'aria, quindi è stato creato un modello 3D di un fumetto e ci si trova all'interno.You won’t feel like you’re really there if it looks like you’re simply floating in midair, so we created a 3D model of a balloon and placed you inside of it. In questo modo è possibile aggirare il fumetto ed esaminare il bordo per ottenere un punto di vista migliore.This allows you to walk around the balloon and look over the edge to get a better viewpoint. Abbiamo scoperto che questo è un modo naturale e divertente per sperimentare le immagini aeree.We found this to be a natural and fun way to experience the aerial imagery.

L'esperienza di mongolfiera a caldo presenta problematiche uniche per il nostro team audio, perché la logistica ha impedito ai microfoni di passare da migliaia di metri a Roma.The hot air balloon experience presented unique challenges for our audio team, as logistics prevented us from having microphones hovering thousands of feet over Rome. Fortunatamente, abbiamo avuto una grande quantità di acquisizione audio di ambiente da tutte le città che potevamo usare durante la fase di post-produzione.Luckily, we had a large amount of ambient audio capture from all over the city that we were able to use during post-production. Gli emettitori audio sono stati inseriti nelle rispettive posizioni da dove sono stati acquisiti da zero.We placed audio emitters at their relative locations from where they were captured from the ground. L'audio è stato filtrato in modo da sembrare distante, come se fosse stato sentito dal punto di vista di un utente che si trovava nel pallone ad aria calda, offrendo un paesaggista autentico e direzionale per la scena.The audio was then filtered to sound distant, as if you were hearing it from the perspective of someone riding in the hot air balloon, providing an authentic, directional soundscape for the scene.

Tempo di viaggio verso la Roma anticaTime traveling to ancient Rome

I rimanenti dei monumenti e delle costruzioni a Roma sono impressionanti anche 2000 anni dopo la loro costruzione, ma sapevamo che avevamo un'opportunità unica di dimostrare cosa sarebbe stato come tornare indietro nel tempo e osservare queste strutture come sono apparse nell'antica Roma.The remnants of monuments and buildings throughout Rome are impressive even two thousand years after their construction, but we knew we had a unique opportunity to show you what it would be like to go back in time and see these structures as they appeared in ancient Rome.

Naturalmente, non è presente alcun video o immagine statica del Colosseo come appare al momento della compilazione, quindi è necessario crearne uno personalizzato.Naturally, there isn’t any video footage or static imagery) of the Colosseum as it appeared when it was built, so we needed to create our own. Era necessario eseguire molte ricerche per apprendere il maggior numero possibile della struttura. conoscere i materiali da cui è stato creato, esaminare i diagrammi dell'architettura e leggere le descrizioni storiche per ottenere informazioni sufficienti per poter creare una ricreazione virtuale.We had to do a lot of research to learn as much about the structure as we could; understanding the materials it was made from, reviewing architectural diagrams, and reading historical descriptions to get enough information to be able to make a virtual recreation.

Il giorno moderno rovine del Colosseo con una sovrapposizione che mostra il piano dell'Arena, come sarebbe stato osservato nell'antica Roma.The modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome.
Il giorno moderno rovine del Colosseo con una sovrapposizione che mostra il piano dell'Arena come sarebbe stato osservato nell'antica RomaThe modern day ruins of the Colosseum with an overlay showing the arena floor as it would have looked in ancient Rome

La prima cosa che volevamo fare era migliorare i tour tradizionali con sovrapposizioni didattiche.The first thing we wanted to do was enhance traditional tours with educational overlays. In HoloTour quando si visitano i ruderi del Colosseo così come si trova oggi, il piano dell'Arena viene trasformato per illustrare il modo in cui sarebbe stato osservato durante l'uso, incluse le aree di gestione temporanea elaborate.In HoloTour when you visit the ruins of the Colosseum as it stands today, the arena floor is transformed to show you how it would have looked during use, including the elaborate underground staging areas. In una presentazione normale è possibile che queste informazioni siano state descritte ed è possibile provare a immaginarla, ma in HoloTour è possibile visualizzarla effettivamente.On a normal tour you might have this information described to you and you could try to imagine it, but in HoloTour you can actually see it.

Per una sovrapposizione come questa, abbiamo fatto in modo che i nostri artisti corrispondano al punto di vista del nostro metraggio di acquisizione e creiamo l'immagine sovrapposta manualmente.For an overlay like this we had our artists match the viewpoint of our capture footage and create the overlay image by hand. Il punto di vista deve corrispondere in modo che, quando si sostituisce il video con l'immagine, entrambi si allineano correttamente.The perspective needs to match so that when we replace the video with our image both will align properly.

Gestione temporanea del gladiatoreStaging the gladiator fight

Sebbene le sovrapposizioni siano un modo accattivante per insegnare agli utenti la cronologia, ciò che era più entusiasta è stato quello di trasportarsi indietro nel tempo.While overlays are an engaging way to teach people about history, what we were most excited about was transporting you back in time. La sovrimpressione è stata un'immagine ancora da un particolare punto di vista, ma il tempo di viaggio richiederebbe la modellazione dell'intero Colosseum e, come illustrato in precedenza, era necessario avere un movimento nella scena per far sentire la sua vita.The overlay was just a still image from a particular viewpoint, but time traveling would require the entire Colosseum to be modeled, and, as discussed above, we needed to have motion in the scene to make it feel alive. Il raggiungimento di una notevole quantità di lavoro.Achieving that took a considerable amount of effort.

Questa impresa era troppo grande per il nostro team, quindi il nostro team artistico lavorava con Whiskytree, una società di effetti esterni che in genere funziona sugli effetti visivi per i film hollywoodiani.This undertaking was too large for our team to do alone, so our art team worked with Whiskytree, an external effects company that typically works on visual effects for Hollywood movies. Whiskytree ci ha aiutato a ricreare il Colosseo nel suo apogeo, che ci ha permesso di insegnare alla struttura mentre si trovava sul pavimento dell'Arena e di creare una vista di una lotta gladiatore dalla scatola dell'imperatore.Whiskytree helped us recreate the Colosseum in its heyday, allowing us to teach you about the structure while standing on the arena floor and to create a view of a gladiator fight from the emperor’s box. La folla allegra e i banner ondeggianti aggiungono il lieve movimento necessario per far sembrare che si tratta di luoghi reali e non solo immagini.The cheering crowds and waving banners add the subtle motion necessary to make it feel like these are real places and not just images.

Il Colosseo ricreato, come visto dal piano Arena.The recreated Colosseum as seen from the arena floor. Quando vengono visualizzati in HoloTour, i banner sventolano al vento, offrendo una sensazione di movimento.When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.
Il Colosseo ricreato, come visto dal piano Arena. Quando vengono visualizzati in HoloTour, i banner sventolano al vento, offrendo una sensazione di movimento.The recreated Colosseum as seen from the arena floor. When viewed in HoloTour, the banners flutter in the breeze, giving a feeling of motion.

La presentazione di Roma culmina con la lotta gladiatore.The tour of Rome culminates with the gladiator fight. Whiskytree ci ha fornito le simulazioni Arena e 3D per la folla con rendering come video, ma è stato necessario aggiungere i gladiatori sul piano Arena.Whiskytree provided us with the arena and 3D crowd simulations rendered as video, but we needed to add in the gladiators on the arena floor. Questa parte del processo ha avuto un aspetto analogo a quello di una produzione di video Hollywood rispetto a un progetto di Game Studio Incubation.This part of our process looked more like a Hollywood video production than a project from an incubation game studio. I membri del team hanno eseguito il mapping di una sequenza di lotte approssimativa e la loro raffinata con un coreografo.Members of our team mapped out a rough fight sequence and then refined it with a choreographer. Abbiamo assunto gli attori per organizzare la nostra battaglia fittizia e abbiamo acquistato armature, in modo che possano sembrare la parte.We hired actors to stage our mock battle and purchased armor so they would look the part. Infine, abbiamo girato l'intera scena su una schermata verde.Finally, we filmed the whole scene against a green screen.

I nostri gladiatori, ricevendo istruzioni tra.Our gladiators, getting instructions between takes.
Il nostro gladiatiors, ottenendo istruzioni traOur gladiatiors, getting instructions between takes

Questa scena si trova nella casella dell'imperatore, il che significava che tutto il metraggio era necessario da questa prospettiva.This scene places you in the Emperor’s box, which meant that all the footage needed to be from that perspective. Se abbiamo girato da dove i gladiatori stavano combattendo nell'Arena, non saremmo riusciti a comporre correttamente la sequenza di lotte in un secondo momento, quindi mettiamo l'operatore della fotocamera in un ascensore a forbice molto alto, guardando la sequenza di lotte per il film.If we filmed from where the gladiators were fighting on the arena floor, we wouldn't have been able to correctly composite the fight sequence in later, so we put our camera operator up in a very tall scissor lift, looking down on the fight sequence for filming.

Ottenere la prospettiva giusta: il film da un lift a forbice.Getting the right perspective: filming from a scissor lift.
Ottenere la prospettiva giusta: film da un lift a forbiceGetting the right perspective: filming from a scissor lift

Nel corso della fase di post-produzione, i gladiatori sono stati compositi sul pavimento dell'Arena e la prospettiva era corretta, ma è rimasto un problema: le ombre dei gladiatori nella schermata verde sono state rimosse come parte del processo di composizione.In post-production, the gladiators were composited onto the arena floor and the perspective was correct, but one issue remained: the shadows of the gladiators on the green screen were removed as part of the compositing process. Senza ombre, sembrava che i gladiatori fossero fluttuati in aria.Without shadows, it looked like the gladiators were floating in the air. Fortunatamente, Whiskytree è la soluzione ideale per risolvere questo tipo di problema e hanno usato una parte della procedura guidata tecnica per aggiungere ombre alla nostra scena.Luckily, Whiskytree is great at solving just this kind of problem and they used a bit of technical wizardry to add shadows back into our scene. Il risultato è quello che viene visualizzato oggi nella presentazione.The result is what you see in the tour today.

Informazioni sugli autoriAbout the authors

David Haley David Haley è uno sviluppatore senior che ha appreso altre informazioni sui rig della fotocamera e la riproduzione video di quanto pensi possa essere usato in HoloTour.David Haley is a Senior Developer who learned more about camera rigs and video playback than he thought possible from working on HoloTour. Jason Syltebo Jason Syltebo è una finestra di progettazione audio che ha avuto la certezza di poter provare il paesaggio appropriato di ogni destinazione visitata, anche quando si torna indietro nel tempo.Jason Syltebo is an Audio Designer who made sure you could experience the soundscape of every destination you visit, even when you go back in time.
Danny Askew Danny storta è un artista video che ha avuto la certezza che il suo percorso attraverso Roma fosse il più perfetto possibile.Danny Askew is a Video Artist who made sure your journey through Rome was as flawless as possible.

Vedere ancheSee also