Introducción al sonido espacial

En la vida real, el sonido espacial es fundamental. Cuando alguien llama a su nombre, sabe qué manera de buscar. Si coloca una moneda en el suelo, puede saber cómo se ha puesto en marcha. ¿Por qué? Dado que puede escuchar "espacialmente", en otras palabras, puede saber dónde se está produciendo el sonido en su entorno.

En una aplicación de realidad mixta, es posible que tenga que buscar, bajar, de lado a lado o detrás para encontrar algo que está ocurriendo. En ocasiones, puede que no esté claro dónde debe mirar. El sonido espacial conecta hologramas más profundamente al mundo de realidad mixta y proporciona información sobre el entorno y el estado del objeto. Puede proporcionar indicaciones desde la dirección a la que desea llamar la atención; esto ayuda a los usuarios a mantener el conocimiento de su entorno real y a guiarlos a sus pasos siguientes. Esto aumenta la confianza del usuario en las interacciones de gestos y voz.



El uso de sonidos en realidad mixta requiere un enfoque diferente al de las aplicaciones táctiles y de teclado y mouse. Las decisiones clave de diseño de sonido incluyen qué sonidos espacializar y qué interacciones sonificar. Para obtener instrucciones detalladas, consulte nuestro artículo Procedimientos recomendados de sonido espacial .

Espacialización

La espacialización es el componente direccional del sonido espacial. En el caso de una configuración de 7.1 home- home, la espacialización es tan sencilla como el movimiento panorámico entre los altavoces. Pero para los cascos de realidad mixta, es esencial usar una tecnología basada en HRTF para la precisión y la comodidad. Windows ofrece espacialización basada en HRTF y esta compatibilidad se acelera por hardware en HoloLens 2.

Para obtener sugerencias sobre el uso eficaz de la espacialización en la aplicación, consulte Procedimientos recomendados de sonido espacial.

Compatibilidad con dispositivos

Característica HoloLens (primera generación) HoloLens 2 Cascos envolventes
Espacialización ✔️ ✔️ ✔️
Aceleración de hardware de espacialización ✔️

Casos prácticos

HoloTour lleva virtualmente a los usuarios a sitios históricos y populares de todo el mundo. Consulte el caso práctico Diseño de sonido para HoloTour . Se usó un micrófono especial y una configuración de representación para capturar los espacios de asunto.

RoboRaid es una energía alta para HoloLens. En el caso práctico Diseño de sonido para RoboRaid se describen las opciones de diseño que se tomaron para garantizar que el sonido espacial se usó al máximo efecto drástico.

Personalización del espacializador

El seguimiento de la cabeza de baja latencia de los cascos de realidad mixta, incluido HoloLens, admite la espacialización basada en HRTF de alta calidad.

Los HRFS manipulan las diferencias de nivel y fase entre las manos en el espectro de frecuencia. Se basan en modelos físicos y medidas de formas humanas de cabeza, torso y oído (pinnae). Nuestros cerebros responden a estas diferencias para proporcionar una dirección percibida en el sonido.

Cada individuo tiene una forma de oído única, el tamaño de la cabeza y la posición del oído. Por lo tanto, los mejores HRFS se ajustan a usted. Para aumentar la precisión de la espacialización, HoloLens la distancia interespatilaria (IPD) de las pantallas de casco para ajustar los HRFS para el tamaño de la cabeza.

Compatibilidad con la plataforma de espacializador

Windows espacialización, incluidos los HRFS, a través de la API ISpatialAudioClient. Esta API expone la aceleración de hardware HoloLens 2 HRTF a las aplicaciones.

Compatibilidad con middleware de espacializador

La compatibilidad con Windows HRF de Windows está disponible para los siguientes motores de audio de terceros.

Acústica

El sonido espacial es más que una dirección. Otras dimensiones incluyen la oclusión, la obstrucción, la reverberación, el portal y el modelado de origen. Colectivamente, estas dimensiones se conocen como acústicas. Sin acústica, los sonidos espacializados carecen de distancia percibida.

Los tratamientos acústicos van de simple a complejo. Puede usar una reverberación compatible con cualquier motor de audio para insertar sonidos espacializados en el entorno del agente de escucha. Los sistemas acústicos como Project Acoustics proporcionan un tratamiento acústico más completo y atractivo. Project Acoustics puede modelar el efecto de las paredes, las puertas y otra geometría de la escena en un sonido. Es una opción eficaz para los casos en los que la geometría de la escena pertinente se conoce en tiempo de desarrollo.

Pasos siguientes