Fallstudie: Rumslig ljuddesign för HoloTour
Panoramavideor och holografiska landskap är bara en del av formeln för en uppslukande Microsoft HoloLens rundtur. Den här artikeln beskriver hur ljud användes för att få dig att känna att du faktiskt befinner dig på varje HoloTour-plats.
Tekniken
De vackra bilder och holografiska scener som du ser i HoloTour är bara en del av en trovärdig mixad verklighetsupplevelse. Hologram visas bara framför en användare, men HoloLens kan leverera rumsligt ljud från alla håll, vilket ger en mer komplett sensorisk upplevelse.
Rumsligt ljud ger signaler för att ange en riktning som användaren ska vända eller för att låta användaren veta att det finns fler hologram att se inom deras utrymme. Vi kan också koppla ett ljud direkt till ett hologram och kontinuerligt uppdatera den riktning och det avstånd som hologrammet kommer från användaren. Den här tekniken gör att det verkar som om ljudet kommer direkt från objektet.
För HoloTour ville vi dra nytta av funktionerna för rumsligt ljud i HoloLens, så vi skapade en 360-graders omgivningsmiljö som synkroniseras med videon för att avslöja ljudhöjdpunkterna på specifika platser.
I bakgrunden
Vi skapade HoloTour upplevelser av två olika platser: Rom och Machu Picchu. För att få dessa turer att kännas autentiska och övertygande ville vi fånga ljud från de platser där vi filmade istället för att använda generiska ljud.
Spela in ljudet
I vår fallstudie om att fånga det visuella innehållet för HoloTour pratar vi om utformningen av vår kamerarigg. Den bestod av 14 GoPro-kameror i ett 3D-tryckt hus som var utformat för att passa stativet. För att spela in ljud lade vi till en matris med fyra mikrofoner under kamerorna. Ljudet matas in i en kompakt inspelningsenhet med fyra kanaler vid stativets bas. Vi valde mikrofoner som gjorde bra men var tillräckligt små för att undvika att störa kamerorna.
Anpassad kamera- och mikrofonrigg
Den här installationen fångar upp ljud i fyra riktningar. Vi spelade in tillräckligt med information för att återskapa ett 3D-aural panorama av rumsligt ljud, som vi senare kunde synkronisera till 360-gradersvideon.
En utmaning med kameramatrisljudet är att du är utlämnad åt ljud utanför kameran, till exempel sirener, flygplan eller hårda vindar. För att se till att vi hade alla ljudelement vi behövde använde vi stereo- och monomobilinspelare för att fånga asynkront, omgivande ljud vid specifika platser av intresse för varje plats. Dessa inspelningar ger ljuddesignern rent innehåll för att öka intresset och förbättra riktningarna i efterproduktionen.
Varje inspelningsdag genererar många filer. Så det var viktigt att utveckla ett system för att spåra vilka filer som motsvarar en viss plats eller kamerabild. Vår inspelningsenhet har konfigurerats för att automatiskt namnge filer efter datum och "ta"-nummer. Vi säkerhetskopierade filer till externa enheter i slutet av varje dag. Vi tyckte också att det var viktigt att verbalt skiffer början av ljudinspelningarna. Den här försiktighetsåtgärden gör det enkelt att kontextuellt identifiera innehållet om filnamnsproblem uppstår. Det var också viktigt att visuellt skiffer kamera rigg fånga, eftersom video och ljud spelades in som separata media och måste synkroniseras under efterproduktion.
Redigera ljudet
Tillbaka i studion efter inspelningsresan är det första steget i att montera en riktad och uppslukande ljudupplevelse att granska allt insamlat ljud för en plats. Vi väljer de bästa hämtningarna och identifierar höjdpunkter som kan tillämpas under integreringen. Ljudet redigeras och rensas sedan. Till exempel kan en bilhornsexplosion som varar en sekund eller så och upprepas några gånger ersättas med tystare omgivande ljud från samma inspelningssession.
När videoredigeringen för en plats har angetts kan ljuddesignern synkronisera motsvarande ljud. Vid denna tidpunkt utvärderar vi både kamerariggen och mobila ljudinspelningar för att bestämma vilka element som skulle bygga den bästa uppslukande ljudscenen. Vi fann det användbart att placera alla ljudelement i en ljudredigerare och skapa snabba linjära modeller för att experimentera med olika mixidéer. Det här steget gav oss bättre utformade idéer för när det var dags att bygga de faktiska HoloTour-scenerna.
Montera scenen
Det första steget för att skapa en 3D-omgivningsscen är att skapa en säng med allmänna bakgrundsljud som stöder andra funktioner och interaktiva ljudelement i en scen. Vi tar ett helhetsgrepp på implementeringen enligt designkriterierna för en viss scen. Vissa scener kan indexeras mot att använda den synkroniserade kamerainspelningen. Mer "filmiska" ögonblick kan kräva en kuraterad metod som förlitar sig på diskret placerade ljud, interaktiva element och musik.
När vi indexerade på kamerainspelningsljudet placerade vi rumsliga ljudaktiverade omgivande ljudavsändare som motsvarade kamerornas riktningsorientering. Den norr kameran beskådar leker ljud från den norr mikrofonen, och jämväl för de andra kardinala riktningarna. Dessa sändare är världslåst, vilket innebär att ljudet ändras när användarna vänder på huvudet. Den här tekniken modellerar effektivt ljudet av att stå på den platsen. Lyssna på Piazza Navona eller The Pantheon för exempel på scener som använder en bra blandning av kamera-fångat ljud.
I ett annat tillvägagångssätt spelar vi ibland loopande stereoambiens med rumsliga ljudavsändare som placeras runt scenen. Dessa avsändare spelar upp enstaka ljud av slumpmässig volym, tonhöjd och utlösarfrekvens. Den här tekniken skapar en atmosfär som har en förbättrad riktningskänsla. I Aguas Alienates kan du till exempel höra hur varje kvadrant i panoramat har specifika avsändare som lyfter fram specifika områden i geografin men arbetar tillsammans för att skapa en övergripande fördjupande atmosfär.
Tips
Det finns andra sätt att lyfta fram riktning och förbättra nedsänkningen för att utnyttja HoloLens rumsliga ljudfunktioner fullt ut. Vi har angett en lista här. Lyssna efter dessa effekter nästa gång du provar HoloTour.
- Sök efter mål: Dessa ljud utlöses när du tittar på ett specifikt objekt eller område i den holografiska ramen. Titta till exempel mot gatucaféet på Piazza Navona i Rom för att subtilt utlösa upptagna restaurangljud.
- Lokal vision: Resan genom HoloTour innehåller vissa "beats" där din reseguide, med hjälp av hologram, utforskar ett ämne på djupet. Till exempel, som fasaden av Pantheon upplöses för att avslöja oculus, reverbererande ljud som placerades som en 3D-avsändare inifrån Pantheon uppmuntrar användaren att utforska interiören.
- Förbättrad riktning: I många scener placerade vi ljud på olika sätt för att lägga till riktning. I Pantheon-scenen placerades till exempel ljudet från fontänen som en separat avsändare tillräckligt nära användaren för att de skulle kunna få en känsla av "sonisk parallax" när de går runt i spelområdet. I Perus Salinas de Maras-scen placerades ljudet från enskilda små strömmar som separata avsändare för att bygga en mer uppslukande omgivande miljö, som omger användaren med de autentiska ljuden på den platsen.
- Spline-avsändare: Dessa avsändare flyttas i 3D-utrymme baserat på det visuella objektets position som de är kopplade till. Ett exempel är tåget i Machu Picchu, där vi använde en spline-avsändare för att ge en distinkt känsla av riktning och rörelse.
- Musik och SFX: Vissa aspekter av HoloTour som representerar ett mer stiliserat eller filmiskt tillvägagångssätt använder musik och ljudeffekter för att öka den känslomässiga påverkan. Till exempel använder gladiatorstriden i slutet av Rom-turnén specialeffekter som whooshes och stingers för att stärka effekten av etiketter som visas i scenerna.