立体音響Spatial sound

オブジェクトが、視界の外にあるときは、サウンドを私たちの周り何が起きて感知できる方法の 1 つです。When objects are out of our line of sight, one of the ways that we can perceive what's going on around us is through sound. Windows Mixed Reality では、オーディオ エンジンは、方向、距離、および環境のシミュレーションを使用して 3D サウンドをシミュレートすることで、複合現実エクスペリエンスの聴覚的なコンポーネントを提供します。In Windows Mixed Reality, the audio engine provides the aural component of the mixed-reality experience by simulating 3D sound using direction, distance, and environmental simulations. アプリケーションでサウンドの空間を使用すると、ユーザーを囲むが 3 次元空間 (球) でサウンドを配置する開発者ができます。Using spatial sound in an application allows developers to convincingly place sounds in a 3 dimensional space (sphere) all around the user. それらのサウンドは、実際の物理オブジェクトまたはユーザーの環境での複合現実ホログラムから送信されるがまるでようですが。Those sounds will then seem as if they were coming from real physical objects or the mixed reality holograms in the user's surroundings. あるホログラム光のオブジェクトを加えるし、サウンド場合があります、サウンドのコンポーネントにより地上ホログラムかぎり以上にすることより魅力的なエクスペリエンスを作成します。Given that holograms are objects made of light and sometimes sound, the sound component helps ground holograms making them more believable and creating a more immersive experience.

ホログラムできますのみ表示されますが視覚的に、ユーザーの視線の先が指している、アプリのサウンドに由来するすべての方向背後にある側になどです。この機能を使用できない可能性がある現在のユーザーのビュー オブジェクトに注目を集めることができます。Although holograms can only appear visually where the user's gaze is pointing, your app's sound can come from all directions; above, below, behind, to the side, etc. You can use this feature to draw attention to an object that might not currently be in the user's view. ユーザーは、する複合現実の世界でのソースからその中にサウンドを認識できます。A user can perceive sounds to be emanating from a source in the mixed-reality world. たとえば、ユーザーがオブジェクトに近いか、またはオブジェクトを取得してに近い、ボリュームが増加します。For example, as the user gets closer to an object or the object gets closer to them, the volume increases. 同様に、オブジェクトは、ユーザー、またはその逆に移動するよう空間サウンドはサウンドがオブジェクトから直接送信されているように錯覚を提供します。Similarly, as objects move around a user, or vice versa, spatial sounds give the illusion that sounds are coming directly from the object.


デバイスのサポートDevice support

機能Feature HoloLens (第 1 世代)HoloLens (1st gen) HoloLens 2HoloLens 2 イマーシブ ヘッドセットImmersive headsets
立体音響Spatial sound ✔️✔️ ✔️✔️ (ヘッドホン) を含む ✔️✔️ (with headphones)

サウンドの距離と認識される場所をシミュレートします。Simulating the perceived location and distance of sounds

どのサウンドに達したを分析することで、両方の耳脳距離と方向を指定、サウンドを出力するオブジェクトの。By analyzing how sound reaches both our ears, our brain determines the distance and direction of the object emitting the sound. HRTF (または Head Related Transfer 関数) は、モデリングのスペクトルの応答を特徴付ける耳が領域内のポイントからサウンドを受信する方法でこの相互作用をシミュレートします。An HRTF (or Head Related Transfer Function) simulates this interaction by modeling the spectral response that characterizes how an ear receives sound from a point in space. 空間のオーディオ エンジンでは、複合現実エクスペリエンスを展開し、さまざまな方向と距離からサウンドをシミュレートする個人用に設定された HRTFs を使用します。The spatial audio engine uses personalized HRTFs to expand the mixed reality experience, and simulate sounds that are coming from various directions and distances.


サウンドが各耳に到着した時間の違いから (方位角) の左または右オーディオ キューが送信されます。Left or right audio (azimuth) cues originate from differences in the time sound arrives at each ear. キューを上下には、外部耳図形 (pinnae) によって生成されたスペクトルの変更から送信されます。Up and down cues originate from spectral changes produced by the outer ear shape (pinnae). 指定すると、オーディオに由来する場合、システムをシミュレートできます首を別々 の時間に到達するサウンドのエクスペリエンス。By designating where audio is coming from, the system can simulate the experience of sound arriving at different times to our ears. HoloLens、方位角のサウンドを個人用に設定中に昇格のシミュレーションに基づいている anthropometrics の平均のセットに注意してください。Note that on HoloLens, while azimuth spatialization is personalized, the simulation of elevation is based on an average set of anthropometrics. したがって、昇格の精度は、方位角精度よりも正確さに欠ける可能性があります。Thus, elevation accuracy may be less accurate than azimuth accuracy.

サウンドの特性に存在する環境に基づいても変更されます。The characteristics of sounds also change based on the environment in which they exist. たとえば、洞窟の誇張表現では、echo 効果の作成に音声を壁、フロア、シーリングから跳ね返りますが発生します。For instance, shouting in a cave will cause your voice to bounce off the walls, floors, and ceilings, creating an echo effect. 空間のサウンドのルームのモデル設定は、特定の環境でオーディオにサウンドを配置するこれらの反射を再現します。The room model setting of spatial sound reproduces these reflections to place sounds in a particular audio environment. この設定を使用するより魅力的なオーディオ エクスペリエンスを作成するのにその領域内のサウンドのシミュレーションのユーザーの実際場所と一致します。You can use this setting to match the user's actual location for simulation of sounds in that space to create a more immersive audio experience.

空間のサウンドの統合Integrating spatial sound

複合現実の一般原則は、飛行禁止にするため、ホログラムユーザーの世界の物理または仮想環境で、ホログラムからほとんどのサウンドを spatialized する必要があります。Because the general principle of mixed reality is to ground holograms in the user's physical world or virtual environment, most sounds from holograms should be spatialized. HoloLens は当然 CPU とメモリ予算の考慮事項が CPU (4 コアのいずれかの ~ 70%) の 12% 未満を使用しているときに 10 ~ 12 空間サウンド声がありますを使用することができます。On HoloLens, there are naturally CPU and memory budget considerations, but you can use 10-12 spatial sound voices there while using less than ~12% of the CPU (~70% of one of the four cores). サウンドの空間の音声の推奨される使用は次のとおりです。Recommended use for spatial sound voices include:

  • (特に範囲外の時ビューのオブジェクトの強調表示) を混在させるされた様子を確認します。Gaze Mixing (highlighting objects, particularly when out of view). ホログラムにユーザーの注意が必要がある場合は、そのホログラムで音を鳴らす (仮想 dog の鳴き声があるなど)。When a hologram needs a user's attention, play a sound on that hologram (e.g. have a virtual dog bark). これにより、ビューにないときに、ホログラムを検索するユーザーです。This helps the user to find the hologram when it is not in view.
  • オーディオ Haptics (touchless 相互作用のオーディオを事後対応型)。Audio Haptics (reactive audio for touchless interactions). たとえば、入力し、ジェスチャのフレームの終了時に、ユーザーの手動またはモーションのコント ローラー サウンドを再生します。For example, play a sound when the user's hand or motion controller enters and exits the gesture frame. または、ホログラムを選択すると、サウンドを再生します。Or play a sound when the user selects a hologram.
  • Immersion (アンビエント サウンドは、ユーザーを囲む)。Immersion (ambient sounds surrounding the user).

空間のサウンドの標準のステレオ サウンドをブレンド現実的な環境の作成で有効にすることができます、ステレオ サウンド必要がある空間のサウンド、反射 (などの微妙な側面の余裕を比較的静なに注意してください。キューを距離) するは難しいノイズの多い環境でお待ちしております。It is also important to note that while blending standard stereo sounds with spatial sound can be effective in creating realistic environments, the stereo sounds should be relatively quiet to leave room for the subtle aspects of spatial sound, such as reflections (distance cues) that can be difficult to hear in a noisy environment.

Windows のサウンド エンジンの空間には、再生 48 k サンプル レートのみサポートされます。Windows' spatial sound engine only supports a 48k sample rate for playback. Unity など、ほとんどのミドルウェアが自動的にサウンド ファイルをサポートされている形式に変換が、Windows オーディオ Api を直接使用する場合、効果によってサポートされている形式のコンテンツの形式を一致させてください。Most middleware, such as Unity, will automatically convert sound files into the supported format, but when using Windows Audio APIs directly please match the format of the content to the format supported by the effect.

関連項目See also