Översikt över rumsligt ljud

I verkligheten är rumsligt ljud viktigt. När någon anropar ditt namn vet du vilket sätt det ska se ut. Om du släpper ett mynt på sidohoppen kan du se vilken väg det har rullat. Varför? Eftersom du kan höra "rumsligt" kan du med andra ord se var i din miljö ljudet förekommer.

I en app med mixad verklighet kan du behöva leta upp, ned, från sida till sida eller bakom dig för att hitta något som händer. Ibland kan det vara oklart var du ska titta. Rumsligt ljud ansluter hologram djupare till mixed reality-världen och tillhandahåller information om miljön och objekttillståndet. Du kan ge tips från den riktning som du vill uppmärksamma. Detta hjälper användarna att upprätthålla medvetenheten om sin verkliga miljö och kan vägleda dem till nästa steg. Detta ökar användarens förtroende för gester och röstinteraktioner.



Användning av ljud i mixad verklighet kräver en annan metod än i pek- och tangentbords- och musprogram. Viktiga beslut om ljuddesign omfattar vilka ljud som ska rumsligas och vilka interaktioner som ska sonifiera. Detaljerad information finns i artikeln metodtips för rumsligt ljud.

Spatialization

Spatialisering är riktningskomponenten för rumsligt ljud. För en 7.1-heminstallation är spatialiseringen lika enkel som att panorera mellan olika personer. Men för mammor i mixad verklighet är det viktigt att använda en HRTF-baserad teknik för noggrannhet och bekvämlighet. Windows erbjuder HRTF-baserad rumslighet, och det här stödet påskyndas ytterligare HoloLens 2.

Förslag på effektiv användning av spatialisering i ditt program finns i Metodtips för spatialt ljud.

Stöd för enheter

Funktion HoloLens (första generationen) HoloLens 2 Integrerande headset
Spatialization ✔️ ✔️ ✔️
Acceleration av rumslig maskinvara ✔️

Fallstudier

Holo Holo Holo tar praktiskt taget användarna till historiska platser runtom i världen. Se ljuddesignen för HoloHop-fallstudien . En särskild mikrofon- och renderingskonfiguration användes för att avbilda ämnesutrymmena.

RoboRaid är en energikälla för HoloLens. Ljuddesignen för RoboRaid-fallstudien beskriver de designval som gjordes för att säkerställa att rumsligt ljud användes till den mest dramatiska effekten.

Personanpassning av spatialiserare

Huvudspårning med låg latens för headset med mixad verklighet, inklusive HoloLens, stöder HRTF-baserad rumslighet av hög kvalitet.

HRTF:er manipulerar nivå- och fasskillnaderna mellan avvikelser i frekvensspektrumet. De baseras på fysiska modeller och mätningar av mänskligt huvud, ert ochöron (pinnae). Våra hjärna svarar på dessa skillnader för att ge uppfattad riktning i ljud.

Varje person har en unik form av geöra, huvudstorlek och hörläge. Så att de bästa HRTF:erna överensstämmer med dig. För att öka spatialiseringsprecisionen använder HoloLens ipd (inter-pupilary distance) från headset-skärmarna för att justera HRTF:erna för din huvudstorlek.

Stöd för spatializer-plattformen

Windows erbjuder spatialisering, inklusive HRTF:er, via API:et ISpatialAudioClient. Det här API:et exponerar HoloLens 2 HRTF-maskinvaruacceleration för program.

Stöd för spatializer-mellanprogram

Stöd för Windows HRTF:er är tillgängligt för följande ljudmotorer från tredje part.

Akustik

Rumsligt ljud handlar om mer än riktning. Andra dimensioner är ocklusion, ocklusion, ocklusion, reverb, portaling och källmodellering. De här dimensionerna kallas akustik. Utan akustik saknar rumsliga ljud uppfattat avstånd.

Akustikbehandlingen sträcker sig från enkel till komplex. Du kan använda en reverb som stöds av valfri ljudmotor för att skicka rumsliga ljud till lyssnarens miljö. Akustiksystem som Project Acoustics ger mer omfattande och mer övertygande akustikbehandling. Project Acoustics kan modellera effekten av väggar, dörrar och annan scengeometri på ett ljud. Det är ett effektivt alternativ för fall där relevant scengeometri är känd vid utveckling.

Nästa steg