혼합 현실에서 오디오Audio in mixed reality

오디오는 혼합 현실에서 디자인 및 생산성의 필수적인 부분입니다.Audio is an essential part of design and productivity in mixed reality. 사운드는 다음과 같습니다.Sound can:

  • 제스처 및 음성 조작에서 사용자 신뢰도를 늘립니다.Increase user confidence in gesture and voice interactions.
  • 사용자에 게 다음 단계를 안내 합니다.Guide users to next steps.
  • 가상 개체를 실제 세계와 효과적으로 결합 합니다.Effectively combine virtual objects with the real world.

HoloLens를 비롯 한 혼합 현실 헤드셋의 짧은 대기 시간 헤드 추적은 고품질 HRTF 기반 spatialization을 지원 합니다.The low-latency head tracking of mixed reality headsets, including HoloLens, supports high-quality HRTF-based spatialization. 응용 프로그램에서 오디오를 spatialize 수 있습니다.You can spatialize audio in your application to:

  • 시각적 요소에 주의를 기울여야 합니다.Call attention to visual elements.
  • 사용자가 실제 환경에 대 한 인식을 유지 하도록 지원 합니다.Help users maintain awareness of their real-world surroundings.

Acoustics는 혼합 현실 세계에 holograms을 더욱 깊이 있게 연결 합니다.Acoustics more deeply connect holograms to the mixed-reality world. 환경 및 개체 상태에 대 한 신호를 제공 합니다.It provides cues about the environment and object state.

오디오를 사용 하는 디자인의 자세한 예를참조 하세요.See detailed examples of design that uses audio.


디바이스 지원Device support

기능Feature HoloLens (첫 번째 gen)HoloLens (first gen) HoloLens 2HoloLens 2 몰입형 헤드셋Immersive headsets
공간화Spatialization ✔️✔️ ✔️✔️ ✔️✔️
Spatialization 하드웨어 가속Spatialization hardware acceleration ✔️✔️

혼합 현실에서 소리 사용Use of sounds in mixed reality

혼합 현실에서 소리를 사용 하려면 터치 및 키보드 및 마우스 응용 프로그램에서와 다른 방법이 필요 합니다.Use of sounds in mixed reality requires a different approach than in touch and keyboard-and-mouse applications. 핵심 설계 결정에는 spatialize 소리와 sonify에 대 한 상호 작용이 포함 됩니다.Key sound design decisions include which sounds to spatialize and which interactions to sonify. 이러한 결정은 사용자 신뢰도, 생산성 및 학습 곡선에 크게 영향을 주지 않습니다.These decisions strongly effect user confidence, productivity, and learning curve.

사례 연구Case studies

HoloTour는 전 세계의 tourist 및 과거 사이트로 사용자를 이동 합니다.HoloTour virtually takes users to tourist and historical sites around the world. HoloTour 사례 연구는 사운드 디자인 을 참조 하세요.See the Sound design for HoloTour case study. 특수 마이크와 렌더링 설치 프로그램을 사용 하 여 주체 공간을 캡처 했습니다.A special microphone and rendering setup were used to capture the subject spaces.

RoboRaid는 HoloLens의 에너지 슈팅입니다.RoboRaid is a high-energy shooter for HoloLens. RoboRaid 사례 연구를 위한 사운드 디자인 은 공간 오디오를 매우 극적으로 사용할 수 있도록 하기 위해 수행 된 디자인 선택 사항을 설명 합니다.The Sound design for RoboRaid case study describes the design choices that were made to ensure spatial audio was used to the fullest dramatic effect.

공간화Spatialization

Spatialization는 공간 오디오의 방향 구성 요소입니다.Spatialization is the directional component of spatial audio. 7.1 home 극장 설정의 경우 spatialization는 loudspeakers 간에 이동 하는 것 만큼 간단 합니다.For a 7.1 home theater setup, spatialization is as simple as panning between loudspeakers. 그러나 혼합 현실 헤드폰의 경우 정확도와 편안 하 게 HRTF 기반 기술을 사용 하는 것이 필수적입니다.But for headphones in mixed reality, it's essential to use an HRTF-based technology for accuracy and comfort. Windows에서는 HRTF 기반 spatialization를 제공 하며이 지원은 HoloLens 2에서 하드웨어 가속 됩니다.Windows offers HRTF-based spatialization, and this support is hardware-accelerated on HoloLens 2.


Spatialize?Should I spatialize?

Spatialization는 혼합 현실 응용 프로그램에서 많은 소리를 개선할 수 있습니다.Spatialization can improve many sounds in mixed-reality applications. Spatialization는 수신기의 헤드에서 소리를 가져와 세계에 배치 합니다.Spatialization takes a sound out of the listener's head and places it in the world. 응용 프로그램에서 spatialization를 효과적으로 사용 하는 방법에 대 한 제안은 공간 음향 디자인을 참조 하세요.For suggestions on effective use of spatialization in your application, see Spatial sound design.

Spatializer 개인 설정Spatializer personalization

HRTFs는 frequency 스펙트럼 간의 수준 및 단계 차이를 조작 합니다.HRTFs manipulate the level and phase differences between ears across the frequency spectrum. 실제 모델 및 사용자 헤드, 몸통 및 귀 셰이프 (pinnae)의 측정을 기반으로 합니다.They're based on physical models and measurements of human head, torso, and ear shapes (pinnae). 우리의 brains는 이러한 차이에 대응 하 여 소리로 인 한 방향을 제공 합니다.Our brains respond to these differences to provide perceived direction in sound.

모든 개인에는 고유한 귀 모양, 헤드 크기 및 귀 위치가 있습니다.Every individual has a unique ear shape, head size, and ear position. 따라서 최상의 HRTFs가 사용자를 준수 합니다.So the best HRTFs conform to you. Spatialization 정확도를 높이기 위해 HoloLens는 헤드셋 디스플레이에서 pupilary 거리 (IPD)를 사용 하 여 헤드 크기에 대 한 HRTFs를 조정 합니다.To increase spatialization accuracy, HoloLens uses your inter-pupilary distance (IPD) from the headset displays to adjust the HRTFs for your head size.

Spatializer 플랫폼 지원Spatializer platform support

Windows에서는 ISPATIALAUDIOCLIENT API를 통해 hrtfs를 비롯 한 spatialization을 제공 합니다.Windows offers spatialization, including HRTFs, via the ISpatialAudioClient API. 이 API는 HoloLens 2 HRTF 하드웨어 가속을 응용 프로그램에 노출 합니다.This API exposes the HoloLens 2 HRTF hardware acceleration to applications.

Spatializer 미들웨어 지원Spatializer middleware support

Windows ' HRTFs에 대 한 지원은 다음 타사 오디오 엔진에서 사용할 수 있습니다.Support for Windows' HRTFs is available for the following third-party audio engines.

AcousticsAcoustics

공간 오디오는 방향에 대 한 정보입니다.Spatial audio is about more than direction. 다른 차원에는 폐색, 장애물, 반향, portaling 및 원본 모델링이 포함 됩니다.Other dimensions include occlusion, obstruction, reverb, portaling, and source modeling. 이러한 차원을 통틀어 acoustics 라고 합니다.Collectively these dimensions are referred to as acoustics. Acoustics 없이 spatialized 소리는 인식 거리가 부족 합니다.Without acoustics, spatialized sounds lack perceived distance.

Acoustics 처리가의 범위는 단순에서 복잡 합니다.Acoustics treatments range from simple to complex. 모든 오디오 엔진에서 지 원하는 반향을 사용 하 여 수신기 환경에 spatialized 소리를 푸시할 수 있습니다.You can use a reverb that's supported by any audio engine to push spatialized sounds into the environment of the listener. Project Acoustics 와 같은 Acoustics 시스템은 보다 풍부 하 고 뛰어난 Acoustics 처리를 제공 합니다.Acoustics systems such as Project Acoustics provide richer and more compelling acoustics treatment. 프로젝트 Acoustics 벽, 도어 및 기타 장면 기 하 도형의 효과를 소리로 모델링할 수 있습니다.Project Acoustics can model the effect of walls, doors, and other scene geometry on a sound. 이는 관련 장면 기 하 도형을 개발 시에 알려진 경우에 효과적으로 사용할 수 있는 옵션입니다.It's an effective option for cases where the relevant scene geometry is known at development time.

다음 단계Next steps