混合現実のオーディオAudio in mixed reality

オーディオは、混合現実の設計と生産性の重要な部分です。Audio is an essential part of design and productivity in mixed reality. サウンドは次のとおりです。Sound can:

  • ジェスチャと音声のやり取りでユーザーの信頼度を高めます。Increase user confidence in gesture and voice interactions.
  • 次の手順にユーザーを案内します。Guide users to next steps.
  • 仮想オブジェクトを実際の環境と効果的に結合します。Effectively combine virtual objects with the real world.

HoloLens を含む mixed reality ヘッドセットの待機時間の短いヘッドトラッキングでは、高品質の HRTF ベースの spatialization がサポートされます。The low-latency head tracking of mixed reality headsets, including HoloLens, supports high-quality HRTF-based spatialization. アプリケーションでオーディオを spatialize するには、次のようにします。You can spatialize audio in your application to:

  • ビジュアル要素に注目します。Call attention to visual elements.
  • ユーザーが実際の環境について認識できるようにします。Help users maintain awareness of their real-world surroundings.

Acoustics により深い接続ホログラムが混合現実の世界になります。Acoustics more deeply connect holograms to the mixed-reality world. 環境とオブジェクトの状態に関する手掛かりを提供します。It provides cues about the environment and object state.

オーディオを使用するデザインの詳細な例を参照してください。See detailed examples of design that uses audio.


デバイスのサポートDevice support

機能Feature HoloLens (最初の世代)HoloLens (first gen) HoloLens 2HoloLens 2 イマーシブ ヘッドセットImmersive headsets
立体化Spatialization ✔️✔️ ✔️✔️ ✔️✔️
Spatialization ハードウェアアクセラレーションSpatialization hardware acceleration ✔️✔️

Mixed reality でのサウンドの使用Use of sounds in mixed reality

Mixed reality でサウンドを使用するには、タッチおよびキーボードおよびマウスアプリケーションとは異なるアプローチが必要です。Use of sounds in mixed reality requires a different approach than in touch and keyboard-and-mouse applications. サウンド設計の主な決定事項には、どのようなサウンドを spatialize し、どのような対話を sonify にするかが含まれます。Key sound design decisions include which sounds to spatialize and which interactions to sonify. これらの決定は、ユーザーの自信、生産性、学習曲線に大きな影響を与えます。These decisions strongly effect user confidence, productivity, and learning curve.

導入事例Case studies

HoloTour は事実上、世界中の tourist と歴史的なサイトにユーザーを移動させることになります。HoloTour virtually takes users to tourist and historical sites around the world. HoloTour のケーススタディについては、「サウンドのデザイン」を参照してください。See the Sound design for HoloTour case study. 特殊なマイクとレンダリングのセットアップを使用して、サブジェクトスペースがキャプチャされました。A special microphone and rendering setup were used to capture the subject spaces.

RoboRaid は、HoloLens の高エネルギー shooter です。RoboRaid is a high-energy shooter for HoloLens. RoboRaid ケーススタディのサウンド設計では、空間オーディオが最大限効果を得るために使用された設計上の選択肢について説明します。The Sound design for RoboRaid case study describes the design choices that were made to ensure spatial audio was used to the fullest dramatic effect.

立体化Spatialization

Spatialization は、空間オーディオの方向コンポーネントです。Spatialization is the directional component of spatial audio. 7.1 home シアターセットアップの場合、spatialization は loudspeakers 間のパンと同様に簡単です。For a 7.1 home theater setup, spatialization is as simple as panning between loudspeakers. しかし、混合現実のヘッドホンでは、精度と快適さを実現するために HRTF ベースのテクノロジを使用することが不可欠です。But for headphones in mixed reality, it's essential to use an HRTF-based technology for accuracy and comfort. Windows には HRTF ベースの spatialization が用意されており、このサポートは HoloLens 2 でハードウェアアクセラレータを利用しています。Windows offers HRTF-based spatialization, and this support is hardware-accelerated on HoloLens 2.


Spatialize ですか。Should I spatialize?

Spatialization は、mixed reality アプリケーションの多くのサウンドを向上させることができます。Spatialization can improve many sounds in mixed-reality applications. Spatialization はリスナーの頭から音を受け取り、世界に置きます。Spatialization takes a sound out of the listener's head and places it in the world. アプリケーションで spatialization を効果的に使用するための推奨事項については、「空間サウンドの設計」を参照してください。For suggestions on effective use of spatialization in your application, see Spatial sound design.

Spatializer のパーソナル化Spatializer personalization

HRTFs は、頻度の範囲内の耳間のレベルとフェーズの差を操作します。HRTFs manipulate the level and phase differences between ears across the frequency spectrum. これらは、物理的なモデルと、人間の頭、torso および ear 図形 (pinnae) の測定値に基づいています。They're based on physical models and measurements of human head, torso, and ear shapes (pinnae). 脳は、これらの違いに反応して、認識された方向にサウンドを提供します。Our brains respond to these differences to provide perceived direction in sound.

各個人には、独自の ear 図形、ヘッドサイズ、および耳の位置があります。Every individual has a unique ear shape, head size, and ear position. したがって、最適な HRTFs が準拠しています。So the best HRTFs conform to you. Spatialization の精度を高めるために、HoloLens はヘッドセット表示の pupilary 距離 (IPD) を使用して、ヘッドサイズに対して HRTFs を調整します。To increase spatialization accuracy, HoloLens uses your inter-pupilary distance (IPD) from the headset displays to adjust the HRTFs for your head size.

Spatializer プラットフォームのサポートSpatializer platform support

Windows では、 ISPATIALAUDIOCLIENT APIを使用して、hrtfs などの spatialization を提供しています。Windows offers spatialization, including HRTFs, via the ISpatialAudioClient API. この API は、HoloLens 2 HRTF ハードウェアアクセラレーションをアプリケーションに公開します。This API exposes the HoloLens 2 HRTF hardware acceleration to applications.

Spatializer ミドルウェアのサポートSpatializer middleware support

Windows の HRTFs のサポートは、次のサードパーティのオーディオエンジンで利用できます。Support for Windows' HRTFs is available for the following third-party audio engines.

AcousticsAcoustics

空間オーディオは、方向よりも大きくなります。Spatial audio is about more than direction. その他のディメンションには、遮蔽、障害、リバーブ、portalling、ソースモデリングなどがあります。Other dimensions include occlusion, obstruction, reverb, portalling, and source modeling. これらのディメンションをまとめて、 acousticsと呼びます。Collectively these dimensions are referred to as acoustics. Acoustics を使用しない場合、spatialized は認識できない距離になります。Without acoustics, spatialized sounds lack perceived distance.

Acoustics は単純なものから非常に複雑なものまでの範囲です。Acoustics treatments range from simple to very complex. 任意のオーディオエンジンでサポートされている簡単なリバーブを使用して、spatialized サウンドをリスナーの環境にプッシュできます。You can use a simple reverb that's supported by any audio engine to push spatialized sounds into the environment of the listener. Project Acousticsなどの Acoustics システムでは、より豊富で説得力の高い Acoustics 処理が提供されています。Acoustics systems such as Project Acoustics provide richer and more compelling acoustics treatment. プロジェクト Acoustics は、壁、ドア、およびその他のシーンジオメトリの効果をサウンドでモデル化できます。Project Acoustics can model the effect of walls, doors, and other scene geometry on a sound. これは、開発時に関連するシーンジオメトリが既知の場合に有効なオプションです。It's an effective option for cases where the relevant scene geometry is known at development time.

次のステップNext steps