Audio en realidad mixtaAudio in mixed reality

El audio es una parte esencial del diseño y la productividad en la realidad mixta.Audio is an essential part of design and productivity in mixed reality. El sonido puede:Sound can:

  • Aumentar la confianza del usuario en las interacciones de gestos y voz.Increase user confidence in gesture and voice interactions.
  • Guiar a los usuarios a pasos siguientes.Guide users to next steps.
  • Combinar objetos virtuales de forma eficaz con el mundo real.Effectively combine virtual objects with the real world.

El seguimiento de los cabezales de baja latencia de los auriculares de realidad mixta, incluido HoloLens, admite la espacialización basada en HRTF de alta calidad.The low-latency head tracking of mixed reality headsets, including HoloLens, supports high-quality HRTF-based spatialization. Puede espacialar el audio de la aplicación para:You can spatialize audio in your application to:

  • Llame la atención a los elementos visuales.Call attention to visual elements.
  • Ayudar a los usuarios a mantener el conocimiento de su entorno real.Help users maintain awareness of their real-world surroundings.

Las acústicas conectan con mayor profundidad los hologramas al mundo de la realidad mixta.Acoustics more deeply connect holograms to the mixed-reality world. Proporciona indicaciones sobre el entorno y el estado de los objetos.It provides cues about the environment and object state.

Vea ejemplos detallados de diseño que usa audio.See detailed examples of design that uses audio.


Compatibilidad con dispositivosDevice support

CaracterísticaFeature HoloLens (primera generación)HoloLens (first gen) HoloLens 2HoloLens 2 Cascos envolventesImmersive headsets
EspacializaciónSpatialization ✔️✔️ ✔️✔️ ✔️✔️
Aceleración de hardware de la espacializaciónSpatialization hardware acceleration ✔️✔️

Uso de sonidos en realidad mixtaUse of sounds in mixed reality

El uso de sonidos en la realidad mixta requiere un enfoque diferente que en aplicaciones táctiles y de teclado y de mouse.Use of sounds in mixed reality requires a different approach than in touch and keyboard-and-mouse applications. Entre las decisiones clave de diseño sólido se incluyen los sonidos que se deben espaciales y las interacciones que se van a sonify.Key sound design decisions include which sounds to spatialize and which interactions to sonify. Estas decisiones afectan seriamente a la confianza de los usuarios, la productividad y la curva de aprendizaje.These decisions strongly effect user confidence, productivity, and learning curve.

Casos prácticosCase studies

HoloTour virtualmente lleva a los usuarios a sitios turísticos e históricos en todo el mundo.HoloTour virtually takes users to tourist and historical sites around the world. Vea el caso práctico de diseño de sonido para HoloTour .See the Sound design for HoloTour case study. Se usó un micrófono y una configuración de representación especiales para capturar los espacios de asunto.A special microphone and rendering setup were used to capture the subject spaces.

RoboRaid es un Reactivador de alta energía para HoloLens.RoboRaid is a high-energy shooter for HoloLens. En el caso práctico de diseño de RoboRaid , se describen las opciones de diseño que se realizaron para garantizar el uso del audio espacial al efecto más drástico.The Sound design for RoboRaid case study describes the design choices that were made to ensure spatial audio was used to the fullest dramatic effect.

EspacializaciónSpatialization

La espacialización es el componente direccional del audio espacial.Spatialization is the directional component of spatial audio. En el caso de una instalación de 7,1 Home Theater, la espacialización es tan sencilla como la panorámica entre los altavoces.For a 7.1 home theater setup, spatialization is as simple as panning between loudspeakers. Sin embargo, en el caso de los auriculares mixtos, es fundamental usar una tecnología basada en HRTF para obtener precisión y comodidad.But for headphones in mixed reality, it's essential to use an HRTF-based technology for accuracy and comfort. Windows ofrece la espacialización basada en HRTF y esta compatibilidad se acelera mediante hardware en HoloLens 2.Windows offers HRTF-based spatialization, and this support is hardware-accelerated on HoloLens 2.


¿Se debe Spatial?Should I spatialize?

La espacialización puede mejorar muchos sonidos en aplicaciones de realidad mixta.Spatialization can improve many sounds in mixed-reality applications. La espacialización saca un sonido del encabezado del agente de escucha y lo coloca en el mundo.Spatialization takes a sound out of the listener's head and places it in the world. Para obtener sugerencias sobre el uso eficaz de la espacialización en la aplicación, consulte diseño de sonido espacial.For suggestions on effective use of spatialization in your application, see Spatial sound design.

Personalización de SpatializerSpatializer personalization

HRTFs manipulan las diferencias de nivel y fase entre los oídos en el espectro de frecuencias.HRTFs manipulate the level and phase differences between ears across the frequency spectrum. Se basan en modelos físicos y medidas de las formas de cabeza humana, torso y EAR (pinnae).They're based on physical models and measurements of human head, torso, and ear shapes (pinnae). Nuestro cerebro responde a estas diferencias para proporcionar una dirección perceptible en el sonido.Our brains respond to these differences to provide perceived direction in sound.

Cada persona tiene una forma de EAR única, el tamaño del cabezal y la posición del oído.Every individual has a unique ear shape, head size, and ear position. Por lo tanto, el mejor HRTFs es su utilidad.So the best HRTFs conform to you. Para aumentar la precisión de la espacialización, HoloLens usa la distancia entre pupilary (IPD) del casco que se muestra para ajustar el HRTFs para el tamaño de la cabeza.To increase spatialization accuracy, HoloLens uses your inter-pupilary distance (IPD) from the headset displays to adjust the HRTFs for your head size.

Compatibilidad con la plataforma SpatializerSpatializer platform support

Windows ofrece la espacialización, incluido HRTFs, a través de la API de ISpatialAudioClient.Windows offers spatialization, including HRTFs, via the ISpatialAudioClient API. Esta API expone la aceleración de hardware de HoloLens 2 HRTF a las aplicaciones.This API exposes the HoloLens 2 HRTF hardware acceleration to applications.

Compatibilidad con middleware de SpatializerSpatializer middleware support

La compatibilidad con Windows ' HRTFs está disponible para los siguientes motores de audio de terceros.Support for Windows' HRTFs is available for the following third-party audio engines.

AcústicaAcoustics

El audio espacial está sobre más que la dirección.Spatial audio is about more than direction. Otras dimensiones incluyen las oclusión, los obstáculos, la reverberación, el portal y el modelado de origen.Other dimensions include occlusion, obstruction, reverb, portaling, and source modeling. Colectivamente, estas dimensiones se denominan acústicas.Collectively these dimensions are referred to as acoustics. Sin acústica, los sonidos espaciales carecen de distancia aparente.Without acoustics, spatialized sounds lack perceived distance.

Los tratamientos acústicos van desde simple a complejo.Acoustics treatments range from simple to complex. Puede usar una reverberación que sea compatible con cualquier motor de audio para introducir sonidos espaciales en el entorno del agente de escucha.You can use a reverb that's supported by any audio engine to push spatialized sounds into the environment of the listener. Los sistemas acústicos, como los acústicos del proyecto , proporcionan un tratamiento acústico más rico y atractivo.Acoustics systems such as Project Acoustics provide richer and more compelling acoustics treatment. Los sonidos acústicos del proyecto pueden modelar el efecto de las paredes, las puertas y otras geometrías de la escena en un sonido.Project Acoustics can model the effect of walls, doors, and other scene geometry on a sound. Es una opción eficaz para los casos en los que la geometría de la escena pertinente se conoce en tiempo de desarrollo.It's an effective option for cases where the relevant scene geometry is known at development time.

Pasos siguientesNext steps