Overzicht van ruimtelijk geluid
In het echte leven is ruimtelijk geluid essentieel. Als iemand je naam belt, weet je hoe je eruit moet zien. Als je een muntstuk op de stoep laat vallen, kun je zien op welke manier het is gerold. Hoe komt dat? Omdat u 'ruimtelijk' kunt horen, met andere woorden, kunt u zien waar in uw omgeving het geluid optreedt.
In een mixed reality-app moet u mogelijk omhoog, omlaag, van de ene naar de andere kant of achter u kijken om iets te vinden dat er gebeurt. Soms kan het onduidelijk zijn waar u moet zoeken. Ruimtelijk geluid verbindt hologrammen dieper met de mixed reality-wereld en biedt informatie over de omgeving en objectstatus. U kunt aanwijzingen geven vanuit de richting waar u de aandacht op wilt vestigen; dit helpt gebruikers zich bewust te blijven van hun omgeving in de echte wereld en hen te begeleiden naar hun volgende stappen. Dit verhoogt het vertrouwen van de gebruiker in gebaren- en spraakinteracties.
Het gebruik van geluiden in mixed reality vereist een andere benadering dan in aanraak- en toetsenbord- en muistoepassingen. Belangrijke beslissingen over het ontwerp van geluid zijn onder andere welke geluiden moeten worden gezonificeerd en welke interacties om te sonificeren. Zie het artikel Best practices voor ruimtelijk geluid voor gedetailleerde richtlijnen.
Ruimtelijk maken
Spatialisatie is het directionele onderdeel van ruimtelijk geluid. Voor een 7.1 home theater setup is spatialisatie net zo eenvoudig als pannen tussen luidsprekers. Maar voor hoofdtelefoons in mixed reality is het essentieel om een op HRTF gebaseerde technologie te gebruiken voor nauwkeurigheid en comfort. Windows biedt op HRTF gebaseerde ruimtelijke ordening en deze ondersteuning wordt hardwarematig versneld op HoloLens 2.
Zie Best practices voor ruimtelijk geluid voor suggesties over effectief gebruik van ruimtelijke ordening in uw toepassing.
Ondersteuning voor apparaten
| Functie | HoloLens (eerste generatie) | HoloLens 2 | Immersive headsets |
| Ruimtelijk maken | ✔️ | ✔️ | ✔️ |
| Hardwareversnelling voor ruimtelijk maken | ❌ | ✔️ | ❌ |
Casestudy's
HoloTour neemt gebruikers virtueel mee naar toeristische en historische bezienswaardigheden over de hele wereld. Zie de casestudy Geluidsontwerp voor HoloTour . Een speciale microfoon en rendering-instelling zijn gebruikt om de onderwerpruimten vast te leggen.
RoboRaid is een energierijke shooter voor HoloLens. De casestudy Sound design for RoboRaid beschrijft de ontwerpkeuzes die zijn gemaakt om ervoor te zorgen dat ruimtelijk geluid optimaal werd gebruikt.
Personalisatie van Spatializer
Het hoofdtracering met lage latentie van mixed reality-headsets, waaronder HoloLens, ondersteunt op HRTF gebaseerde ruimtelijke ordening van hoge kwaliteit.
HRTF's manipuleren de niveau- en faseverschillen tussen oren in het frequentiespectrum. Ze zijn gebaseerd op fysieke modellen en metingen van menselijke hoofd-, torso- en oorvormen (pinnae). Onze hersenen reageren op deze verschillen om waargenomen richting in geluid te geven.
Elk individu heeft een unieke oorvorm, hoofdgrootte en oorpositie. De beste HRTF's voldoen dus aan u. Om de nauwkeurigheid van de ruimte te vergroten, gebruikt HoloLens uw IPD (inter-pupilary distance) van de headsetbeeldschermen om de HRTF's aan te passen aan de grootte van uw hoofd.
Ondersteuning voor Spatializer-platform
Windows biedt ruimtelijk maken, inclusief HRTF's, via de ISpatialAudioClient-API. Deze API maakt de HoloLens 2 HRTF-hardwareversnelling beschikbaar voor toepassingen.
Ondersteuning voor Spatializer-middleware
Ondersteuning voor HRTF's van Windows is beschikbaar voor de volgende audio-engines van derden.
Akoestiek
Ruimtelijk geluid gaat over meer dan richting. Andere dimensies zijn occlusie, obstructie, reverb, portaling en bronmodellering. Gezamenlijk worden deze dimensies ook wel akoestiek genoemd. Zonder akoestiek missen ruimtelijke geluiden de waargenomen afstand.
Akoestische behandelingen variëren van eenvoudig tot complex. U kunt een reverb gebruiken die wordt ondersteund door elke audio-engine om ruimtelijke geluiden naar de omgeving van de listener te pushen. Akoestieksystemen zoals Project Acoustics bieden een rijkere en boeiendere akoestiekbehandeling. Project Acoustics kan het effect van wanden, deuren en andere scènegeometrie op een geluid modelleren. Het is een effectieve optie voor gevallen waarin de relevante scènegeometrie bekend is tijdens de ontwikkeling.