Case Study: progettazione di suoni spaziali per HoloTourCase study: Spatial sound design for HoloTour

I video panoramici e i paesaggi olografici sono solo parte della formula per una presentazione di Microsoft HoloLens immersiva.Panoramic videos and holographic scenery are only part of the formula for an immersive Microsoft HoloLens tour. Questo articolo descrive come è stato usato il suono per verificare che l'utente sia effettivamente in ogni località di HoloTour.This article describes how sound was used to make you feel like you're actually in each HoloTour location.

Il TechThe tech

Le bellissime immagini e le scene olografiche visualizzate in HoloTour sono solo una parte di un'esperienza di realtà mista credibile.The beautiful imagery and holographic scenes that you see in HoloTour are only one part of a believable mixed-reality experience. Mentre gli ologrammi vengono visualizzati solo davanti a un utente, HoloLens può fornire un suono spaziale da tutte le direzioni, che fornisce un'esperienza sensoriale più completa.While holograms only appear in front of a user, HoloLens can deliver spatial sound from all directions, which provides a more-complete sensory experience.

Il suono spaziale fornisce indicazioni per indicare una direzione che l'utente deve attivare o per consentire all'utente di sapere se sono presenti più ologrammi da visualizzare all'interno del proprio spazio.Spatial sound provides cues to indicate a direction the user should turn or to let the user know there are more holograms to see within their space. Possiamo anche alleghi un suono direttamente a un ologramma e aggiorniamo continuamente la direzione e la distanza con cui l'ologramma è dall'utente.We can also attach a sound directly to a hologram and continually update the direction and distance that the hologram is from the user. Questa tecnica fa sembrare che il suono provenga direttamente da tale oggetto.This technique makes it seem as if the sound is coming directly from that object.

Per HoloTour, è stato voluto sfruttare le funzionalità audio spaziali di HoloLens, quindi è stato creato un ambiente di ambiente di 360 gradi sincronizzato con il video per rivelare le evidenziazioni soniche di posizioni specifiche.For HoloTour, we wanted to take advantage of the spatial sound capabilities of HoloLens, so we created a 360-degree ambient environment that's synchronized with the video to reveal the sonic highlights of specific locations.

Dietro le quinteBehind the scenes

Sono state create esperienze HoloTour in due posizioni diverse: Roma e Machu Picchu.We created HoloTour experiences of two different locations: Rome and Machu Picchu. Per fare in modo che questi tour siano autentici e accattivanti, abbiamo voluto acquisire l'audio dalle posizioni in cui abbiamo girato invece di usare suoni generici.To make these tours feel authentic and compelling, we wanted to capture audio from the locations where we filmed instead of using generic sounds.

Acquisizione dell'audioCapturing the audio

Nel case study sull'acquisizione del contenuto visivo per HoloTour, si parla della progettazione del rig della fotocamera.In our case study about capturing the visual content for HoloTour, we talk about the design of our camera rig. È costituito da 14 fotocamere GoPro in un'abitazione stampata in 3D progettata per adattarsi al treppiede.It consisted of 14 GoPro cameras in a 3D-printed housing that was designed to fit the tripod. Per acquisire audio, è stato aggiunto un array a quattro microfoni sotto le fotocamere.To capture audio, we added a quad-microphone array below the cameras. Il suono si inserisce in un'unità di registrazione compatta a quattro canali alla base del treppiede.The sound feeds into a compact four-channel recording unit at the base of the tripod. Sono stati scelti microfoni che erano abbastanza piccoli da evitare di interferire con le fotocamere.We chose microphones that did well but were small enough to avoid interfering with the cameras.

Rig fotocamera e microfono personalizzatiCustom-made camera and microphone rig
Rig fotocamera e microfono personalizzatiCustom camera and microphone rig

Questa configurazione acquisisce il suono in quattro direzioni.This setup captures sound in four directions. Sono state registrate informazioni sufficienti per ricreare un panorama uditivo 3D del suono spaziale, che è possibile sincronizzare successivamente con il video di 360 gradi.We recorded enough information to re-create a 3D aural panorama of spatial sound, which we could later synchronize to the 360-degree video.

Una sfida dell'audio dell'array della fotocamera è che si è alla mercé dei suoni fuori fotocamera, ad esempio sirene, aeroplani o venti elevati.One challenge of the camera-array audio is that you're at the mercy of off-camera sounds, such as sirens, airplanes, or high winds. Per assicurarsi di avere tutti gli elementi validi necessari, abbiamo usato i registratori stereo e mono mobile per acquisire il suono asincrono e di ambiente in punti specifici di interesse in ogni posizione.To make sure we had all the sound elements we needed, we used stereo and mono mobile recorders to capture asynchronous, ambient sound at specific points of interest in each location. Queste registrazioni consentono al sound designer di pulire contenuto per aggiungere interesse e migliorare la direzionalità in fase di post-produzione.These recordings give the sound designer clean content to add interest and improve directionality in post-production.

Ogni giorno di acquisizione genera molti file.Every capture day generates many files. Quindi, è stato importante sviluppare un sistema per tenere traccia dei file corrispondenti a una posizione specifica o a una foto.So it was important to develop a system to track which files correspond to a particular location or camera shot. L'unità di registrazione è stata configurata per il nome automatico dei file per data e il numero "Take".Our recording unit was set up to automatically name files by date and "take" number. È stato eseguito il backup dei file in unità esterne alla fine di ogni giorno.We backed up files to external drives at the end of each day. È stato inoltre rilevato che è importante denominare verbalmente l'inizio delle registrazioni audio.We also found it important to verbally slate the beginning of the audio recordings. Questa precauzione consente di identificare facilmente il contenuto nel caso in cui si verifichino problemi di nome file.This precaution allows easy contextual identification of the content in case file-name problems occur. È anche importante visualizzare visivamente l'acquisizione di rig della fotocamera, perché il video e l'audio sono stati registrati come supporti separati e devono essere sincronizzati durante la fase di post-produzione.It was also important to visually slate the camera rig capture, because the video and audio were recorded as separate media and had to be synchronized during post-production.

Modifica dell'audioEditing the audio

Tornando a Studio dopo il viaggio di acquisizione, il primo passaggio per l'assemblaggio di un'esperienza direzionale e coinvolgente è la revisione di tutti i file audio acquisiti per un percorso.Back at the studio after the capture trip, the first step in assembling a directional and immersive aural experience is to review all the captured audio for a location. Si scelgono le procedure consigliate e si identificano le evidenziazioni che è possibile applicare durante l'integrazione.We pick the best takes and identify highlights that can be applied during integration. L'audio viene quindi modificato e pulito.The audio is then edited and cleaned up. Ad esempio, un Blast clacson che dura un secondo e si ripete alcune volte potrebbe essere sostituito con audio di ambiente più silenzioso dalla stessa sessione di acquisizione.For example, a car horn blast that lasts a second or so and repeats a few times might be replaced with quieter ambient audio from the same capture session.

Dopo aver impostato la modifica video per un percorso, la finestra di progettazione audio può sincronizzare l'audio corrispondente.After the video edit for a location is set, the sound designer can synchronize the corresponding audio. A questo punto, vengono valutate sia le acquisizioni del suono della fotocamera sia quelle dei dispositivi mobili per decidere quali elementi compilano la migliore scena audio immersiva.At this point, we assess both the camera-rig and mobile sound captures to decide which elements would build the best immersive audio scene. Si è rivelato utile inserire tutti gli elementi acustici in un editor audio e creare simulazioni lineari veloci per sperimentare idee combinate diverse.We found it useful to put all the sound elements into an audio editor and build quick linear mock-ups to experiment with different mix ideas. Questo passaggio ha fornito idee migliori in merito al momento in cui è giunto il momento di creare le scene HoloTour effettive.This step gave us better-formed ideas for when it came time to build the actual HoloTour scenes.

Assemblaggio della scenaAssembling the scene

Il primo passaggio per la creazione di una scena di ambiente 3D consiste nel creare un letto di suoni di ciclo di ambiente di background generale che supporteranno altre funzionalità e gli elementi audio interattivi in una scena.The first step to building a 3D ambient scene is to create a bed of general background ambient looping sounds that will support other features and interactive sound elements in a scene. Viene adottato un approccio olistico all'implementazione come determinato dai criteri di progettazione per una particolare scena.We take a holistic approach to implementation as determined by the design criteria for any particular scene. Alcune scene possono essere indicizzate in base all'acquisizione della fotocamera sincronizzata.Some scenes might index toward using the synchronized camera capture. Più momenti "cinematografici" possono richiedere un approccio curato che si basa su suoni, elementi interattivi e musica disposti in modo discreta.More "cinematic" moments might require a curated approach that relies on discretely placed sounds, interactive elements, and music.

Quando è stato indicizzato nell'audio di acquisizione della fotocamera, abbiamo inserito gli emettitori audio spaziali abilitati per il suono che corrispondono all'orientamento direzionale delle fotocamere.When we indexed on the camera-capture audio, we placed spatial sound-enabled ambient audio emitters that corresponded to the directional orientation of the cameras. La visualizzazione della fotocamera a nord riproduce l'audio dal microfono Nord e, allo stesso modo, per le altre direzioni cardinali.The north camera view plays audio from the north microphone, and likewise for the other cardinal directions. Questi emettitori sono bloccati a livello globale, il che significa che le modifiche apportate cambiano quando gli utenti hanno la testa.These emitters are world-locked, which means the sound changes when users turn their heads. Questa tecnica consente di modellare efficacemente il suono che si trova in tale posizione.This technique effectively models the sound of standing at that location. Ascoltare Piazza Navona o il Pantheon per esempi di scene che usano una combinazione di audio acquisita dalla fotocamera.Listen to Piazza Navona or The Pantheon for examples of scenes that use a good mix of camera-captured audio.

In un approccio diverso, talvolta viene riprodotto un ambiente stereo a ciclo con emettitori di suoni spaziali posizionati intorno alla scena.In a different approach, we sometimes play looping stereo ambience with spatial sound emitters that are placed around the scene. Questi emettitori svolgono suoni monouso di volume casuale, pitch e frequenza del trigger.These emitters play one-off sounds of randomized volume, pitch, and trigger frequency. Questa tecnica crea un ambiente con un senso di direzionalità migliorato.This technique creates ambience that has an enhanced sense of directionality. In Aguas Aliens, ad esempio, è possibile scoprire in che modo ciascun quadrante del panorama dispone di emettitori specifici che evidenziano aree specifiche della geografia, ma che interagiscono per creare un ambiente immersivo generale.In Aguas Alienates, for example, you can hear how each quadrant of the panorama has specific emitters that highlight specific areas of the geography but work together to create an overall immersive ambience.

SuggerimentiTips and tricks

Esistono altri modi per evidenziare la direzionalità e migliorare l'immersione per sfruttare appieno le funzionalità audio spaziali di HoloLens.There are other ways to highlight directionality and improve immersion to make full use of the spatial sound capabilities of HoloLens. Un elenco è disponibile qui.We've provided a list here. Attendere questi effetti la volta successiva che si prova a HoloTour.Listen for these effects the next time that you try HoloTour.

  • Cerca destinazioni: Questi suoni vengono attivati quando si esamina un oggetto specifico o un'area del frame olografico.Look targets: These sounds are triggered when you look at a specific object or area of the holographic frame. Si osservi, ad esempio, il caffè sul lato strada a Roma, Piazza Navona, per attivare leggermente i suoni del ristorante occupato.For example, look toward the street-side café in Rome's Piazza Navona to subtly trigger busy-restaurant sounds.
  • Visione locale: Il percorso, sebbene HoloTour, contenga alcuni "ritmi", in cui la Guida introduttiva, aiutata dagli ologrammi, Esplora un argomento in modo approfondito.Local vision: The journey though HoloTour contains certain "beats" where your tour guide, aided by holograms, explores a topic in-depth. Ad esempio, poiché la facciata del Pantheon si risolve per rivelare l'Oculus, il riverbero audio che è stato inserito come emettitore 3D dall'interno del Pantheon invita l'utente a esplorare l'interno.For instance, as the façade of the Pantheon dissolves to reveal the oculus, reverberating audio that was placed as a 3D emitter from inside the Pantheon encourages the user to explore the interior.
  • Direzionalità avanzata: In molte scene, abbiamo inserito i suoni in diversi modi per aggiungere la direzionalità.Enhanced directionality: Within many scenes, we placed sounds in various ways to add to directionality. Nella scena Pantheon, ad esempio, il suono della fontana è stato inserito come un emettitore separato abbastanza vicino all'utente che poteva ottenere un senso di "Sonic parallasse" mentre aggirano lo spazio di riproduzione.In the Pantheon scene, for example, the sound of the fountain was placed as a separate emitter close enough to the user that they could get a sense of "sonic parallax" as they walk around the play space. Nella scena Salinas de Mara del Perù, i suoni dei singoli flussi sono stati inseriti come emettitori distinti per creare un ambiente di ambiente più immersivo, che circonda l'utente con i suoni autentici di tale percorso.In Peru's Salinas de Maras scene, the sounds of individual little streams were placed as separate emitters to build a more immersive ambient environment, surrounding the user with the authentic sounds of that location.
  • Emettitore spline: Questi emettitori si spostano nello spazio 3D in base alla posizione visiva dell'oggetto a cui sono collegati.Spline emitter: These emitters move in 3D space based on the visual position of the object that they're attached to. Un esempio è il treno di Machu Picchu, in cui è stato usato un emettitore spline per fornire un senso di direzionalità e movimento distinti.An example is the train in Machu Picchu, where we used a spline emitter to give a distinct sense of directionality and movement.
  • Musica e SFX: Alcuni aspetti di HoloTour che rappresentano un approccio più stilizzato o cinematografico usano musica e effetti audio per aumentare l'impatto emotivo.Music and SFX: Certain aspects of HoloTour that represent a more stylized or cinematic approach use music and sound effects to heighten emotional impact. Ad esempio, la battaglia gladiatore alla fine della tournée di Roma USA effetti speciali come whooshes e Stingers per rafforzare l'effetto delle etichette visualizzate in background.For example, the gladiator battle at the end of the Rome tour uses special effects like whooshes and stingers to strengthen the effect of labels that appear in the scenes.

Vedi ancheSee also