Áudio em realidade mista

Funcionalidade HoloLens (primeira geração) HoloLens 2 Auscultadores imersivos
Espacialização ✔️ ✔️ ✔️
Aceleração do hardware de espacialização ✔️

Uso de sons na realidade mista

A utilização de sons em realidade mista requer uma abordagem diferente das aplicações de contacto e teclado e rato. As principais decisões de design sonoro incluem quais os sons para espacializar e quais as interações para sonificar. Estas decisões afetam fortemente a confiança dos utilizadores, a produtividade e a curva de aprendizagem.

Casos de estudo

HoloTour praticamente leva os utilizadores a locais turísticos e históricos em todo o mundo. Consulte o design de som para estudo de caso HoloTour. Um microfone especial e uma configuração de renderização foram usados para capturar os espaços do assunto.

RoboRaid é um atirador de alta energia para HoloLens. O estudo de caso Sound para RoboRaid descreve as escolhas de design que foram feitas para garantir que o áudio espacial foi usado ao máximo efeito dramático.

Espacialização

A espacialização é o componente direcional do áudio espacial. Para uma configuração de teatro em casa 7.1, a espacialização é tão simples como a panorâmica entre alto-falantes. Mas para os auscultadores em realidade mista, é essencial usar uma tecnologia baseada em HRTF para precisão e conforto. Windows oferece uma espacialização baseada em HRTF, e este suporte é acelerado em hardware em HoloLens 2.


Devo espacializar?

A espacialização pode melhorar muitos sons em aplicações de realidade mista. A espacialização tira um som da cabeça do ouvinte e coloca-o no mundo. Para sugestões sobre o uso eficaz da espacialização na sua aplicação, consulte o design de som espacial.

Personalização do espacial

Os HRTFs manipulam o nível e as diferenças de fase entre as orelhas através do espectro de frequência. Baseiam-se em modelos físicos e medições de formas humanas da cabeça, tronco e orelha (pinnae). Os nossos cérebros respondem a estas diferenças para fornecer uma direção percebida no som.

Cada indivíduo tem uma forma única de ouvido, tamanho da cabeça e posição do ouvido. Então, os melhores HRTFs estão em conformidade consigo. Para aumentar a precisão da espacialização, HoloLens utiliza a distância inter-pupilal (IPD) dos ecrãs dos auscultadores para ajustar os HRTFs para o tamanho da cabeça.

Suporte à plataforma espacial

Windows oferece espacialização, incluindo HRTFs, através da ISpatialAudioClient API. Esta API expõe a HoloLens aceleração de hardware hrtf de 2 HRTF às aplicações.

Suporte de middleware espacial

O suporte para os HRTFs da Windows está disponível para os seguintes motores de áudio de terceiros.

Acústica

O áudio espacial é mais do que direção. Outras dimensões incluem oclusão, obstrução, reverberação, portagem e modelação de origem. Colectivamente, estas dimensões são referidas como acústica. Sem acústica, os sons espacializados carecem de distância percebida.

Os tratamentos acústicos vão de simples a complexo. Pode utilizar um reverso que seja suportado por qualquer motor de áudio para empurrar sons espacializados para o ambiente do ouvinte. Sistemas acústicos como Project Acústica proporcionam um tratamento acústico mais rico e convincente. Project Acústica pode modelar o efeito de paredes, portas e outras geometrias de cena em um som. É uma opção eficaz para casos em que a geometria relevante da cena é conhecida no momento do desenvolvimento.

Passos seguintes

O áudio é uma parte essencial do design e da produtividade na realidade mista. Lata sonora:

  • Aumentar a confiança dos utilizadores nas interações de gestos e vozes.
  • Guie os utilizadores para os próximos passos.
  • Combine efetivamente objetos virtuais com o mundo real.

O rastreio da cabeça de baixa latência dos auscultadores de realidade mista, incluindo HoloLens, suporta a espacialização baseada em HRTF de alta qualidade. Pode espacializar áudio na sua aplicação para:

  • Chame a atenção para elementos visuais.
  • Ajude os utilizadores a manter a consciência do seu ambiente real.

A acústica liga mais profundamente os hologramas ao mundo da realidade mista. Fornece pistas sobre o ambiente e o estado dos objetos.

Veja exemplos detalhados de design que utiliza áudio.


Suporte de dispositivos