注意

Mixed Reality Academy チュートリアルでは、HoloLens として設計された (第 1 世代) と混在の現実イマーシブ ヘッドセットに注意してください。The Mixed Reality Academy tutorials were designed with HoloLens (1st gen) and Mixed Reality Immersive Headsets in mind. そのため、これらのデバイス向けの開発にガイダンスがまだ必要な開発者のための場所でこれらのチュートリアルのままにすることが重要と思われます。As such, we feel it is important to leave these tutorials in place for developers who are still looking for guidance in developing for those devices. これらのチュートリアルは いない 最新のツールセットや相互作用が使用されている HoloLens 2 で更新されます。These tutorials will not be updated with the latest toolsets or interactions being used for HoloLens 2. サポートされているデバイスで作業を続行するが保持されます。They will be maintained to continue working on the supported devices. 一連の新しい HoloLens 2 を開発する方法を示すチュートリアルは、今後投稿があります。There will be a new series of tutorials that will be posted in the future that will demonstrate how to develop for HoloLens 2. この通知が投稿されるときにこれらのチュートリアルへのリンクが更新されます。This notice will be updated with a link to those tutorials when they are posted.


MR 空間 220:立体音響MR Spatial 220: Spatial sound

空間サウンドホログラムに人生を増し、世界でのプレゼンスを提供します。Spatial sound breathes life into holograms and gives them presence in our world. ホログラムがのライトとサウンド の両方で構成され、ホログラムを出す場合は、空間のサウンドに役立つにあります。Holograms are composed of both light and sound, and if you happen to lose sight of your holograms, spatial sound can help you find them. 空間のサウンドが、一般的なサウンドはラジオのように、3 D 空間に配置されたサウンドです。Spatial sound is not like the typical sound that you would hear on the radio, it is sound that is positioned in 3D space. 空間のサウンドを行うことができますホログラム サウンドの横にある、または頭の中であっても、背後にあるようです。With spatial sound, you can make holograms sound like they're behind you, next to you, or even on your head! このコースでは。In this course, you will:

  • Microsoft は、空間のサウンドを使用する開発環境を構成します。Configure your development environment to use Microsoft Spatial Sound.
  • 相互作用を強化するために、サウンドの空間を使用します。Use Spatial Sound to enhance interactions.
  • 空間マッピングと共に空間のサウンドを使用します。Use Spatial Sound in conjunction with Spatial Mapping.
  • サウンドのデザインやベスト プラクティスを理解します。Understand sound design and mixing best practices.
  • 特殊効果を強化し、複合現実の世界にユーザーを表示するには、サウンドを使用します。Use sound to enhance special effects and bring the user into the Mixed Reality world.

デバイスのサポートDevice support

コースCourse HoloLensHoloLens イマーシブ ヘッドセットImmersive headsets
MR 空間 220:立体音響MR Spatial 220: Spatial sound ✔️✔️ ✔️✔️

開始前の作業Before you start

前提条件Prerequisites

プロジェクト ファイルProject files

  • ダウンロード、ファイルプロジェクトに必要です。Download the files required by the project. Unity 2017.2 またはそれ以降が必要です。 Requires Unity 2017.2 or later.
    • Unity 5.6 のサポートを引き続き必要がある場合を使用してくださいこのリリースします。If you still need Unity 5.6 support, please use this release. このリリースは、最新の状態できなくなる可能性があります。This release may no longer be up-to-date.
    • Unity 5.5 のサポートを引き続き必要がある場合を使用してくださいこのリリースします。If you still need Unity 5.5 support, please use this release. このリリースは、最新の状態できなくなる可能性があります。 This release may no longer be up-to-date.
    • Unity 5.4 のサポートを引き続き必要がある場合を使用してくださいこのリリースします。If you still need Unity 5.4 support, please use this release. このリリースは、最新の状態できなくなる可能性があります。 This release may no longer be up-to-date.
  • 解除アーカイブをデスクトップまたは場所に到達する簡単なその他のファイル。Un-archive the files to your desktop or other easy to reach location.

注意

をダウンロードする前に、ソース コードを検索する場合があるGitHub で入手できますします。If you want to look through the source code before downloading, it's available on GitHub.

正誤表と注意事項Errata and Notes

  • 「マイ コードのみを有効にする」無効にする必要があります (unchecked) -> ツールの Visual Studio でのオプションには、デバッグ、コードにブレークポイントをヒットするには-> です。"Enable Just My Code" needs to be disabled (unchecked) in Visual Studio under Tools->Options->Debugging in order to hit breakpoints in your code.

第 1 章 - Unity のセットアップChapter 1 - Unity Setup

目標Objectives

  • Microsoft は、空間音を使って Unity のサウンドの構成を変更します。Change Unity's sound configuration to use Microsoft Spatial Sound.
  • Unity 内のオブジェクトに 3D サウンドを追加します。Add 3D sound to an object in Unity.

手順Instructions

  • Unity を起動します。Start Unity.
  • [開く] を選択します。Select Open.
  • 移動し、デスクトップと検索フォルダー アーカイブされた以前のします。Navigate to your Desktop and find the folder you previously un-archived.
  • をクリックして、 Starting\Decibelフォルダーを押してから、フォルダーの選択ボタンをクリックします。Click on the Starting\Decibel folder and then press the Select Folder button.
  • プロジェクトの Unity で読み込みを待機します。Wait for the project to load in Unity.
  •  *プロジェクト*パネル**Scenes\Decibel.unity**します。In the Project panel, open Scenes\Decibel.unity.
  • 階層パネルで、展開HologramCollection選択P0LYします。In the Hierarchy panel, expand HologramCollection and select P0LY.
  • 設定で、展開AudioSourceがあることを確認しないSpatializeチェック ボックスをオンします。In the Inspector, expand AudioSource and notice that there is no Spatialize check box.

既定では、Unity では、立体音場プラグインは読み込まれません。By default, Unity does not load a spatializer plugin. 次の手順では、プロジェクトで空間サウンドを有効になります。The following steps will enable Spatial Sound in the project.

  • Unity の上部のメニューに移動編集 > プロジェクトの設定 > オーディオします。In Unity's top menu, go to Edit > Project Settings > Audio.
  • 検索、立体音場プラグインドロップダウンで、選択およびMS HRTF 立体音場します。Find the Spatializer Plugin dropdown, and select MS HRTF Spatializer.
  • 階層パネルで、 HologramCollection > P0LYします。In the Hierarchy panel, select HologramCollection > P0LY.
  • インスペクターパネルで、検索、オーディオ ソースコンポーネント。In the Inspector panel, find the Audio Source component.
  • チェック、 Spatializeチェック ボックスをオンします。Check the Spatialize checkbox.
  • ドラッグ、空間 Blendスライダーに至る3D、または入力1編集ボックス。Drag the Spatial Blend slider all the way to 3D, or enter 1 in the edit box.

Unity でプロジェクトをビルドし、Visual Studio でソリューションを構成することはようになりました。We will now build the project in Unity and configure the solution in Visual Studio.

  1. Unity では、次のように選択します。ファイル > Build Settingsします。In Unity, select File > Build Settings.
  2. をクリックして開くシーンを追加シーンを追加します。Click Add Open Scenes to add the scene.
  3. 選択ユニバーサル Windows プラットフォームで、プラットフォームを一覧表示し、クリックしてスイッチ プラットフォームします。Select Universal Windows Platform in the Platform list and click Switch Platform.
  4. 具体的には、HoloLens の開発中、設定ターゲット デバイスHoloLensします。If you're specifically developing for HoloLens, set Target device to HoloLens. それ以外の場合、残して任意のデバイスします。Otherwise, leave it on Any device.
  5. 確認ビルド タイプに設定されているD3DSDKに設定されているインストールされている最新(16299 またはそれ以降の SDK がある必要があります)。Ensure Build Type is set to D3D and SDK is set to Latest installed (which should be SDK 16299 or newer).
  6. [Build] をクリックします。Click Build.
  7. 作成、新しいフォルダー "App"という名前です。Create a New Folder named "App".
  8. 1 回のクリック、アプリフォルダー。Single click the App folder.
  9. キーを押してフォルダーを選択しますします。Press Select Folder.

Unity を完了すると、ファイル エクスプ ローラー ウィンドウが表示されます。When Unity is done, a File Explorer window will appear.

  1. 開く、アプリフォルダー。Open the App folder.
  2. 開く、デシベル Visual Studio ソリューションします。Open the Decibel Visual Studio Solution.

HoloLens へのデプロイ: 場合If deploying to HoloLens:

  1. デバッグからターゲットを変更する Visual Studio で、上部のツールバーを使用してリリースを ARM からx86します。Using the top toolbar in Visual Studio, change the target from Debug to Release and from ARM to x86.
  2. ローカル コンピューター] ボタンの横の矢印のドロップダウンをクリックし、[リモート マシンします。Click on the drop down arrow next to the Local Machine button, and select Remote Machine.
  3. 入力HoloLens デバイスの IP アドレス認証モードを設定およびユニバーサル (暗号化されていないプロトコル) します。Enter your HoloLens device IP address and set Authentication Mode to Universal (Unencrypted Protocol). クリックして選択します。Click Select. デバイスの IP アドレスがわからない場合に参照設定 > ネットワークとインターネット > 詳細オプションします。If you do not know your device IP address, look in Settings > Network & Internet > Advanced Options.
  4. 上部のメニュー バーで、クリックしてデバッグ]、[デバッグなしで開始またはキーを押しますctrl キーを押しながら f5 キーを押してします。In the top menu bar, click Debug -> Start Without debugging or press Ctrl + F5. 最初に、デバイスに展開するには、する必要がありますVisual Studio をペアリングします。If this is the first time deploying to your device, you will need to pair it with Visual Studio.

場合は、イマーシブ ヘッドセットへのデプロイ。If deploying to an immersive headset:

  1. デバッグからターゲットを変更する Visual Studio で、上部のツールバーを使用してリリースを ARM からx64します。Using the top toolbar in Visual Studio, change the target from Debug to Release and from ARM to x64.
  2. 必ず、配置ターゲットに設定されてローカル マシンします。Make sure the deployment target is set to Local Machine.
  3. 上部のメニュー バーで、クリックしてデバッグ]、[デバッグなしで開始またはキーを押しますctrl キーを押しながら f5 キーを押してします。In the top menu bar, click Debug -> Start Without debugging or press Ctrl + F5.

第 2 章 – 空間のサウンドと相互作用Chapter 2 - Spatial Sound and Interaction

目標Objectives

  • サウンドを使用してホログラム リアリティを強化します。Enhance hologram realism using sound.
  • サウンドを使用して、ユーザーの視線の先を指示します。Direct the user's gaze using sound.
  • サウンドを使用してジェスチャのフィードバックを提供します。Provide gesture feedback using sound.

パート 1 - 強化よりリアルPart 1 - Enhancing Realism

主要概念Key Concepts

  • ホログラム サウンドを spatialize します。Spatialize hologram sounds.
  • サウンドのソースは、ホログラム上の適切な場所に配置する必要があります。Sound sources should be placed at an appropriate location on the hologram.

サウンドの適切な場所が、ホログラムに依存するしようとしています。The appropriate location for the sound is going to depend on the hologram. たとえば、ホログラムが人間の場合は、ほぼ口とフィートではなくサウンドのソースを配置してください。For example, if the hologram is of a human, the sound source should be located near the mouth and not the feet.

手順Instructions

次の手順では、spatialized サウンドをホログラムにアタッチします。The following instructions will attach a spatialized sound to a hologram.

  • 階層パネルで、展開HologramCollection選択P0LYします。In the Hierarchy panel, expand HologramCollection and select P0LY.
  • インスペクターパネルのAudioSource、横に、円をクリックしてAudioClip選択とPolyHoverポップアップから。In the Inspector panel, in the AudioSource, click the circle next to AudioClip and select PolyHover from the pop-up.
  • 次に、円をクリックします出力選択SoundEffectsポップアップから。Click the circle next to Output and select SoundEffects from the pop-up.

Unity を使用するプロジェクト デシベルAudioMixer一連のサウンドの音量の調整を有効にするコンポーネント。Project Decibel uses a Unity AudioMixer component to enable adjusting sound levels for groups of sounds. グループ化、サウンドをこの方法では、それぞれのサウンドの相対的なボリュームを維持しながら全体的なボリュームを調整できます。By grouping sounds this way, the overall volume can be adjusted while maintaining the relative volume of each sound.

  • AudioSource、展開3D サウンド設定します。In the AudioSource, expand 3D Sound Settings.
  • 設定ドップラー レベル0します。Set Doppler Level to 0.

ピッチのモーション (ホログラムまたはユーザーのいずれか) に起因ゼロを無効に変更をドップラー レベルを設定します。Setting Doppler level to zero disables changes in pitch caused by motion (either of the hologram or the user). Doppler の典型的な例では、高速移動の車です。A classic example of Doppler is a fast-moving car. 車には、静止しているリスナーが近づく、エンジンのピッチよう増加します。As the car approaches a stationary listener, the pitch of the engine rises. リスナーを渡すときに、距離とピッチが低くなります。When it passes the listener, the pitch lowers with distance.

パート 2 - ユーザーの視線の先を指示します。Part 2 - Directing the User's Gaze

主要概念Key Concepts

  • サウンドを使用して、重要なホログラムに注意を呼び出します。Use sound to call attention to important holograms.
  • 耳、目を検索する場所を直接に役立ちます。The ears help direct where the eyes should look.
  • 脳に学習した試して期待していますThe brain has some learned expectations.

学習した予測の 1 つの例では、鳥が人間の頭の上、通常です。One example of learned expectations is that birds are generally above the heads of humans. ユーザーは、鳥のサウンドを聞くこと、その最初の反応を検索するは。If a user hears a bird sound, their initial reaction is to look up. Bird クラス、ユーザーの下に配置することは、サウンドを検索する必要があることを期待に基づくホログラムを検索できないの正しい方向に接続することにつながります。Placing a bird below the user can lead to them facing the correct direction of the sound, but being unable to find the hologram based on the expectation of needing to look up.

手順Instructions

次の手順は、ホログラムを検索するサウンドを使用できるように、背後にある非表示にする P0LY を有効にします。The following instructions enable P0LY to hide behind you, so that you can use sound to locate the hologram.

  • 階層パネルで、マネージャーします。In the Hierarchy panel, select Managers.
  • インスペクターパネルで、検索音声入力ハンドラーします。In the Inspector panel, find Speech Input Handler.
  • 音声入力ハンドラー、展開非表示に移動してします。In Speech Input Handler, expand Go Hide.
  • 変更関数PolyActions.GoHideします。Change No Function to PolyActions.GoHide.

キーワード:移動の非表示にします。

パート 3 - ジェスチャのフィードバックPart 3 - Gesture Feedback

主要概念Key Concepts

  • サウンドを使用して正のジェスチャの確認をユーザーに提供します。Provide the user with positive gesture confirmation using sound
  • ユーザーの方法で get を過度に大きい音のサウンドを過されません。Do not overwhelm the user - overly loud sounds get in the way
  • 最良のサウンドが微妙な作業は、エクスペリエンスを overshadow されません。Subtle sounds work best - do not overshadow the experience

手順Instructions

  • 階層パネルで、展開HologramCollectionします。In the Hierarchy panel, expand HologramCollection.
  • 展開EnergyHub選択ベースします。Expand EnergyHub and select Base.
  • インスペクターパネルで、をクリックしてコンポーネントの追加追加ジェスチャ サウンド ハンドラーします。In the Inspector panel, click Add Component and add Gesture Sound Handler.
  • ジェスチャ サウンド ハンドラー、横に円をクリックしてナビゲーション開始クリップナビゲーション更新クリップ選択とRotateClick両方のポップアップから。In Gesture Sound Handler, click the circle next to Navigation Started Clip and Navigation Updated Clip and select RotateClick from the pop-up for both.
  • Visual Studio で読み込むには、"GestureSoundHandler"をダブルクリックします。Double click on "GestureSoundHandler" to load in Visual Studio.

サウンドのジェスチャ ハンドラーは、次のタスクを実行します。Gesture Sound Handler performs the following tasks:

  • 作成し、構成、 AudioSourceします。Create and configure an AudioSource.
  • 場所、 AudioSource 、適切な場所にGameObjectします。Place the AudioSource at the location of the appropriate GameObject.
  • 再生、 AudioClipジェスチャに関連付けられています。Plays the AudioClip associated with the gesture.

構築し、デプロイBuild and Deploy

  1. Unity では、次のように選択します。ファイル > Build Settingsします。In Unity, select File > Build Settings.
  2. [Build] をクリックします。Click Build.
  3. 1 回のクリック、アプリフォルダー。Single click the App folder.
  4. キーを押してフォルダーを選択しますします。Press Select Folder.

ツールバーが「リリース」、"x86"または"x64"、および「リモート デバイス」ということを確認します。Check that the Toolbar says "Release", "x86" or "x64", and "Remote Device". それ以外の場合は、これは、Visual Studio のコーディングのインスタンス。If not, this is the coding instance of Visual Studio. アプリ フォルダーからソリューションを開き直す必要があります。You may need to re-open the solution from the App folder.

  • メッセージが表示されたら、プロジェクト ファイルを再読み込みします。If prompted, reload the project files.
  • 同様に、Visual Studio からデプロイします。As before, deploy from Visual Studio.

後、アプリケーションがデプロイされます。After the application is deployed:

  • P0LY 内を移動するように、サウンドがどのように変化するかを確認します。Observe how the sound changes as you move around P0LY.
  • たとえば 「非表示に移動」 P0LY 背後の場所に移動します。Say "Go Hide" to make P0LY move to a location behind you. サウンドを探します。Find it by the sound.
  • エネルギーのハブの底を見つめます。Gaze at the base of the Energy Hub. タップし、左または右に回転ホログラムとクリックのサウンドがジェスチャを確認する方法に注意してください。 をドラッグします。Tap and drag left or right to rotate the hologram and notice how the clicking sound confirms the gesture.

注:Tag-along したのテキスト パネルがあります。Note: There is a text panel that will tag-along with you. これは、このコースで使用できる利用可能な音声コマンドが含まれます。This will contain the available voice commands that you can use throughout this course.

第 3 章 - 空間のサウンド、および空間マッピングChapter 3 - Spatial Sound and Spatial Mapping

目標Objectives

  • ホログラムとサウンドを使用して現実の世界との間の相互作用を確認します。Confirm interaction between holograms and the real world using sound.
  • 現実の世界を使用してサウンドが。Occlude sound using the physical world.

パート 1 - 物理世界の相互作用Part 1 - Physical World Interaction

主要概念Key Concepts

  • 物理オブジェクトは、サーフェス、または別の発生すると一般に音を鳴らすオブジェクト。Physical objects generally make a sound when encountering a surface or another object.
  • サウンドのエクスペリエンスで適切なコンテキストがあります。Sounds should be context appropriate within the experience.

たとえば、テーブル杯の設定のメタルの岩を削除するよりも静か音を鳴らす必要があります。For example, setting a cup on a table should make a quieter sound than dropping a boulder on a piece of metal.

手順Instructions

  • 階層パネルで、展開HologramCollectionします。In the Hierarchy panel, expand HologramCollection.
  • 展開EnergyHubベースします。Expand EnergyHub, select Base.
  • インスペクターパネルで、をクリックしてコンポーネントの追加追加サウンドでの場所をタップし、アクションします。In the Inspector panel, click Add Component and add Tap To Place With Sound and Action.
  • タップすると、サウンド、およびアクションで:In Tap To Place With Sound and Action:
    • 確認Tap に親を配置します。Check Place Parent On Tap.
    • 設定配置サウンド場所します。Set Placement Sound to Place.
    • 設定Pickup サウンドPickupします。Set Pickup Sound to Pickup.
    • 下部にある両方のすぐ下の + キーを押してPickup アクションで配置アクションにPress the + in the bottom right under both On Pickup Action and On Placement Action. EnergyHub にシーンからドラッグして、 None (オブジェクト) フィールド。Drag EnergyHub from the scene into the None (Object) fields.
      • [ Pickup アクションで、] をクリックしていいえ関数 -> EnergyHubBase -> ResetAnimationします。Under On Pickup Action, click on No Function -> EnergyHubBase -> ResetAnimation.
      • [配置アクションに、] をクリックしていいえ関数 -> EnergyHubBase -> OnSelectします。Under On Placement Action, click on No Function -> EnergyHubBase -> OnSelect.

タップすると、サウンド、およびアクションで

パート 2 - サウンド オクルー ジョンPart 2 - Sound Occlusion

主要概念Key Concepts

  • ライトのように、サウンドは、オクルー ジョンことができます。Sound, like light, can be occluded.

典型的な例では、コンサート ホールです。A classic example is a concert hall. Hall、ドアの外部でリスナーの基盤とするとが閉じているミュージックのこもった感じです。When a listener is standing outside of the hall and the door is closed, the music sounds muffled. 通常のボリュームを削減することです。There is also typically a reduction in volume. ドアが開かれたときに万全なサウンドの実際のボリュームで音がします。When the door is opened, the full spectrum of the sound is heard at the actual volume. 高頻度のサウンドは低周波数を超える吸収一般にします。High frequency sounds are generally absorbed more than low frequencies.

手順Instructions

  • 階層パネルで、展開HologramCollection選択P0LYします。In the Hierarchy panel, expand HologramCollection and select P0LY.
  • インスペクターパネルで、をクリックしてコンポーネントの追加追加オーディオ エミッタします。In the Inspector panel, click Add Component and add Audio Emitter.

オーディオ エミッタ クラスには、次の機能が用意されています。The Audio Emitter class provides the following features:

  • ボリュームへの変更を復元、 AudioSourceします。Restores any changes to the volume of the AudioSource.
  • 実行、 Physics.RaycastNonAllocの方向でのユーザーの位置から、 GameObject先、 AudioEmitterがアタッチされています。Performs a Physics.RaycastNonAlloc from the user's position in the direction of the GameObject to which the AudioEmitter is attached.

RaycastNonAlloc メソッドは、返される結果の数と割り当てを制限するパフォーマンスの最適化として使用されます。The RaycastNonAlloc method is used as a performance optimization to limit allocations as well as the number of results returned.

  • IAudioInfluencer呼び出しが発生した、 ApplyEffectメソッド。For each IAudioInfluencer encountered, calls the ApplyEffect method.
  • 各前IAudioInfluencerされなく発生した呼び出しは、 RemoveEffectメソッド。For each previous IAudioInfluencer that is no longer encountered, call the RemoveEffect method.

AudioEmitter を更新する人間の時間のスケールではなくあたりのフレームごとに注意してください。Note that AudioEmitter updates on human time scales, as opposed to on a per frame basis. これには、人間が四半期ごと、または 2 つ目の半分よりも頻繁に更新する必要があると効果を十分に高速移動はされません一般的には行われます。This is done because humans generally do not move fast enough for the effect to need to be updated more frequently than every quarter or half of a second. ホログラム別に迅速に 1 つの場所からそのテレポート錯覚を中断できます。Holograms that teleport rapidly from one location to another can break the illusion.

  • 階層パネルで、展開HologramCollectionします。In the Hierarchy panel, expand HologramCollection.
  • 展開EnergyHub選択BlobOutsideします。Expand EnergyHub and select BlobOutside.
  • インスペクターパネルで、をクリックしてコンポーネントの追加追加オーディオ Occluderします。In the Inspector panel, click Add Component and add Audio Occluder.
  • オーディオ Occluder設定カットオフ周波数1500します。In Audio Occluder, set Cutoff Frequency to 1500.

この設定は、1500 Hz に AudioSource 頻度を制限します。This setting limits the AudioSource frequencies to 1500 Hz and below.

  • 設定ボリューム パススルー0.9します。Set Volume Pass Through to 0.9.

この設定は、現在のレベルの 90% を AudioSource の量を削減します。This setting reduces the volume of the AudioSource to 90% of it's current level.

オーディオ Occluder に IAudioInfluencer を実装します。Audio Occluder implements IAudioInfluencer to:

  • 使用して遮蔽効果を適用、 AudioLowPassFilterにアタッチする、 AudioSourceマネージ購入、 AudioEmitterします。Apply an occlusion effect using an AudioLowPassFilter which gets attached to the AudioSource managed buy the AudioEmitter.
  • ボリュームの減衰を AudioSource に適用します。Applies volume attenuation to the AudioSource.
  • ニュートラル カットオフ周波数を設定して、フィルターを無効にすることにより、効果を無効にします。Disables the effect by setting a neutral cutoff frequency and disabling the filter.

ニュートラルとして使用される頻度が 22 kHz (22000 Hz) できます。The frequency used as neutral is 22 kHz (22000 Hz). この頻度は、人間の耳、この加えないはっきりへの影響、音が聞こえる名目上の最大頻度の上になることにより選択されました。This frequency was chosen due to it being above the nominal maximum frequency that can be heard by the human ear, this making no discernable impact to the sound.

  • 階層パネルで、 SpatialMappingします。In the Hierarchy panel, select SpatialMapping.
  • インスペクターパネルで、をクリックしてコンポーネントの追加追加オーディオ Occluderします。In the Inspector panel, click Add Component and add Audio Occluder.
  • オーディオ Occluder設定カットオフ周波数750します。In Audio Occluder, set Cutoff Frequency to 750.

複数の occluders がユーザーの間のパスの場合、 AudioEmitter、最も低い頻度は、フィルターに適用されます。When multiple occluders are in the path between the user and the AudioEmitter, the lowest frequency is applied to the filter.

  • 設定ボリューム パススルー0.75します。Set Volume Pass Through to 0.75.

複数 occluders がユーザーの間のパスの場合、 AudioEmitter、ボリューム パススルーが追加に適用します。When multiple occluders are in the path between the user and the AudioEmitter, the volume pass through is applied additively.

  • 階層パネルで、マネージャーします。In the Hierarchy panel, select Managers.
  • インスペクターパネルで、展開音声入力ハンドラーします。In the Inspector panel, expand Speech Input Handler.
  • 音声入力ハンドラー、展開移動料金します。In Speech Input Handler, expand Go Charge.
  • 変更関数PolyActions.GoChargeします。Change No Function to PolyActions.GoCharge.

キーワード:料金を参照してください。

  • 展開ここします。Expand Come Here.
  • 変更関数PolyActions.ComeBackします。Change No Function to PolyActions.ComeBack.

キーワード:こちらへ来てください

構築し、デプロイBuild and Deploy

  • 同様に、Unity でプロジェクトをビルドし、Visual Studio でデプロイします。As before, build the project in Unity and deploy in Visual Studio.

後、アプリケーションがデプロイされます。After the application is deployed:

  • たとえば 「移動の料金」 が P0LY エネルギー ハブを入力します。Say "Go Charge" to have P0LY enter the Energy Hub.

サウンドの変更に注意してください。Note the change in the sound. こもった感じ、少し静かのサウンドにする必要があります。It should sound muffled and a little quieter. 壁やエネルギー ハブとの間には、他のオブジェクトに自分で配置することは、現実の世界でオクルー ジョンによりサウンドのさらに消音がわかります。If you are able to position yourself with a wall or other object between you and the Energy Hub, you should notice a further muffling of the sound due to the occlusion by the real world.

  • たとえば 「ここでは」 P0LY エネルギー ハブのままにし、自身をする前に配置します。Say "Come Here" to have P0LY leave the Energy Hub and position itself in front of you.

P0LY エネルギー ハブを終了すると、サウンドの重なりが削除されたことに注意してください。Note that the sound occlusion is removed once P0LY exits the Energy Hub. 聴覚オクルー ジョンで引き続き場合 P0LY は現実の世界でオクルー ジョン可能性があります。If you are still hearing occlusion, P0LY may be occluded by the real world. P0LY にクリア視野を確保する移動してみてください。Try moving to ensure you have a clear line of sight to P0LY.

パート 3 - ルーム モデルPart 3 - Room Models

主要概念Key Concepts

  • 領域のサイズは、サウンドのローカライズに影響を与えるサブリミナル キューを提供します。The size of the space provides subliminal queues that contribute to sound localization.
  • ルームのモデルが 1 に設定されて、AudioSourceします。Room models are set per-AudioSource.
  • For Unity MixedRealityToolkitルーム モデルを設定するためのコードを提供します。The MixedRealityToolkit for Unity provides code for setting the room model.
  • 複合現実エクスペリエンスでは、実際の領域に最適なルーム モデルを選択します。For Mixed Reality experiences, select the room model that best fits the real world space.

仮想現実のシナリオを作成する場合は、仮想環境に最適な部屋のモデルを選択します。If you are creating a Virtual Reality scenario, select the room model that best fits the virtual environment.

第 4 章 - 設計Chapter 4 - Sound Design

目標Objectives

  • 効果的な設計に関する考慮事項を理解します。Understand considerations for effective sound design.
  • 混合の手法とガイドラインについて説明します。Learn mixing techniques and guidelines.

パート 1 - のサウンドとエクスペリエンスのデザインPart 1 - Sound and Experience Design

このセクションでは、キーのサウンドとエクスペリエンスの設計に関する考慮事項とガイドラインについて説明します。This section discusses key sound and experience design considerations and guidelines.

すべてのサウンドを正規化します。Normalize all sounds

これは、サウンド、時間がかかる可能性があるごとのボリューム レベルを調整する特別な大文字と小文字のコードが不要でと、サウンド ファイルを簡単に更新する機能を制限します。This avoids the need for special case code to adjust volume levels per sound, which can be time consuming and limits the ability to easily update sound files.

無制限のエクスペリエンスの設計Design for an untethered experience

HoloLens とは、完全包含、無制限の holographic コンピューターです。HoloLens is a fully contained, untethered holographic computer. ユーザーの移動中にお客様のエクスペリエンスを使用しています。Your users can and will use your experiences while moving. 歩き回ることによって、オーディオの組み合わせをテストすることを確認します。Be sure to test your audio mix by walking around.

サウンド、ホログラムで論理的な場所からの出力します。Emit sound from logical locations on your holograms

現実の世界で犬がその末尾からバークしないと、人間の音声が自分のフィートから発生しません。In the real world, a dog does not bark from its tail and a human's voice does not come from his/her feet. サウンドが、ホログラムの予期しない部分から出力を必要があります。Avoid having your sounds emit from unexpected portions of your holograms.

小さなホログラム、サウンドのジオメトリの中心から生成するは適切です。For small holograms, it is reasonable to have sound emit from the center of the geometry.

使い慣れたサウンドはローカライズ可能な最もFamiliar sounds are most localizable

人間の声や音楽は、非常に簡単にローカライズされます。The human voice and music are very easy to localize. 場合は、名前、呼び出しは、非常に正確に判断する方法と、音声が付属してどのような方向から離れたことができます。If someone calls your name, you are able to very accurately determine from what direction the voice came and from how far away. Short、未知のサウンドはローカライズするが難しいです。Short, unfamiliar sounds are harder to localize.

ユーザーの期待の認識Be cognizant of user expectations

有効期間のエクスペリエンスは、サウンドの場所を特定する上で役割を果たします。Life experience plays a part in our ability to identify the location of a sound. これは、人間の声が特に簡単にローカライズする 1 つの理由です。This is one reason why the human voice is particularly easy to localize. 注意すべきユーザーの学習した予測のサウンドを配置するときに重要です。It is important to be aware of your user's learned expectations when placing your sounds.

たとえば、bird 曲がだれかと、一般を調べる、鳥は、視野 (飛行またはツリー) 上に配置する傾向があります。For example, when someone hears a bird song they generally look up, as birds tend to be above the line of sight (flying or in a tree). これは、サウンドの正しい方向で有効にするが、誤ったの垂直方向に検索しホログラムを検索することがない場合は、混乱や不満になるユーザー珍しくありません。It is not uncommon for a user to turn in the correct direction of a sound, but look in the wrong vertical direction and become confused or frustrated when they are unable to find the hologram.

非表示の発信機を避けるAvoid hidden emitters

現実の世界で、音が聞こえました場合一般にオブジェクトを識別できます、サウンドを生成します。In the real world, if we hear a sound, we can generally identify the object that is emitting the sound. これには、お客様のエクスペリエンスにも格納する必要があります。This should also hold true in your experiences. ユーザーが、音が聞こえるように、サウンドの発生元からの非常に混乱を招くでき、オブジェクトを表示することができません。It can be very disconcerting for users to hear a sound, know from where the sound originates and be unable to see an object.

このガイドラインをいくつかの例外があります。There are some exceptions to this guideline. たとえば、フィールドの crickets などの環境音は表示されません必要があります。For example, ambient sounds such as crickets in a field need not be visible. ライフ エクスペリエンスにより、ソースを確認する必要はありませんこれらのサウンドの知識。Life experience gives us familiarity with the source of these sounds without the need to see it.

パート 2 - サウンドのミキシングPart 2 - Sound Mixing

対象に、HoloLens の 70% のボリュームのバランスTarget your mix for 70% volume on the HoloLens

複合現実エクスペリエンスでは、現実の世界において発生するホログラムを許可します。Mixed Reality experiences allow holograms to be seen in the real world. 現実の世界音が聞こえるにも許可します。They should also allow real world sounds to be heard. 70% のボリュームのターゲットにより、ユーザー エクスペリエンスの音を鳴らしての世界をそれらにお待ちしております。A 70% volume target enables the user to hear the world around them along with the sound of your experience.

100% のボリュームでの HoloLens の外部サウンドを一覧から必要があります。HoloLens at 100% volume should drown out external sounds

100% のボリューム レベルでは、仮想現実エクスペリエンスに似ています。A volume level of 100% is akin to a Virtual Reality experience. 視覚的に、ユーザーはさまざまな環境に送信されます。Visually, the user is transported to a different world. 同じが当てはまる音声で返すことです。The same should hold true audibly.

Unity AudioMixer を使用してサウンドのカテゴリを調整するにはUse the Unity AudioMixer to adjust categories of sounds

バランスを設計するときに多くの場合をお勧めサウンドのカテゴリを作成し、そのボリュームの単位としてを増減する機能があります。When designing your mix, it is often helpful to create sound categories and have the ability to increase or decrease their volume as a unit. 全体的なミックスに素早く簡単に変更しながら、それぞれのサウンドの相対的なレベルを保持します。This retains the relative levels of each sound while enabling quick and easy changes to the overall mix. 一般的なカテゴリがあります。サウンド効果、アンビエンス、ボイス オーバーおよびバック グラウンド ミュージックします。Common categories include; sound effects, ambience, voice overs and background music.

ユーザーの視線の先に基づくサウンドをミキシングします。Mix sounds based on the user's gaze

多くの場合、おくと便利です、サウンドのミックスを変更する場所に基づいて作業環境で、ユーザーが (またはない) を検索します。It can often be useful to change the sound mix in your experience based on where a user is (or is not) looking. この手法の 1 つの一般的な用途では、前に、情報に注目するユーザーを容易にできるように Holographic フレーム外にあるホログラムのボリューム レベルを下げます。One common use for this technique are to reduce the volume level for holograms that are outside of the Holographic Frame to make it easier for the user to focus on the information in front of them. 別の使用では、重要なイベントに、ユーザーの注目を集めるサウンドの音量を上げるです。Another use is to increase the volume of a sound to draw the user's attention to an important event.

バランスの構築Building your mix

バランスを構築する場合は、エクスペリエンスのバック グラウンド オーディオから開始し、重要度に基づいてレイヤーを追加することをお勧めします。When building your mix, it is recommended to start with your experience's background audio and add layers based on importance. 多くの場合、この結果、各層は、以前よりも大きくします。Often, this results in each layer being louder than the previous.

反転じょうごグラフ、少なくとも重要度としてバランスを考えた (および通常静かサウンド) 次の図のようなバランスを構造体を下部で、推奨は。Imagining your mix as an inverted funnel, with the least important (and generally quietest sounds) at the bottom, it is recommended to structure your mix similar to the following diagram.

サウンドのミックス構造体

ボイス オーバーは、興味深いシナリオです。Voice overs are an interesting scenario. ベースのエクスペリエンスを作成するには、(ローカライズされていない) のステレオ サウンドを持っているか、ボイス オーバーの spatialize をする可能性があります。Based on the experience you are creating you may wish to have a stereo (not localized) sound or to spatialize your voice overs. 2 つの Microsoft エクスペリエンスを公開する各シナリオの優れた例について説明します。Two Microsoft published experiences illustrate excellent examples of each scenario.

HoloTourを介してステレオの音声を使用します。HoloTour uses a stereo voice over. ナレーターは、表示されている場所と記述して、サウンドが一貫性のある変わることはありません、ユーザーの位置で。When the narrator is describing the location being viewed, the sound is consistent and does not vary based on the user's position. これにより、環境の spatialized サウンドからしないシーンを記述するナレーターができます。This enables the narrator to describe the scene without taking away from the spatialized sounds of the environment.

フラグメント経由で、探偵の形式で spatialized 音声を使用します。Fragments utilizes a spatialized voice over in the form of a detective. 探偵の音声は、ルームに実際の人間があった場合に重要な手掛かりをユーザーの注意を届けるために使用されます。The detective's voice is used to help bring the user's attention to an important clue as if an actual human was in the room. これにより、ミステリーを解決するのにエクスペリエンス immersion 感はさらに大きくなります。This enables an even greater sense of immersion into the experience of solving the mystery.

パート 3 - パフォーマンスPart 3 -Performance

CPU 使用率CPU usage

空間サウンドを使用する場合、10 ~ 12 の発信機は、CPU の約 12% を消費します。When using Spatial Sound, 10 - 12 emitters will consume approximately 12% of the CPU.

Stream の時間の長いオーディオ ファイルStream long audio files

オーディオ データを共通のサンプル レート (44.1 と 48 kHz) では特に、大規模なことができます。Audio data can be large, especially at common sample rates (44.1 and 48 kHz). 一般的な規則は、アプリケーションのメモリ使用率を低減 5 ~ 10 秒より長いオーディオ ファイルをストリーミングする必要があります。A general rule is that audio files longer than 5 - 10 seconds should be streamed to reduce application memory usage.

Unity では、ファイルのインポートの設定では、ストリーミングに対応するオーディオ ファイルをマークできます。In Unity, you can mark an audio file for streaming in the file's import settings.

オーディオの読み込み設定

第 5 章「特殊効果Chapter 5 - Special Effects

目標Objectives

  • "マジック Windows"には、深さを追加します。Add depth to "Magic Windows".
  • 仮想世界にユーザーを表示します。Bring the user into the virtual world.

マジック WindowsMagic Windows

主要概念Key Concepts

  • ビューを非表示の世界を作成することは、視覚的に説得力のあるです。Creating views into a hidden world, is visually compelling.
  • ホログラムまたはユーザーが非表示の世界に近い場合は、オーディオ効果を追加することで、リアリティを強化します。Enhance realism by adding audio effects when a hologram or the user is near the hidden world.

手順Instructions

  • 階層パネルで、展開HologramCollection選択黄泉します。In the Hierarchy panel, expand HologramCollection and select Underworld.
  • 展開黄泉選択VoiceSourceします。Expand Underworld and select VoiceSource.
  • インスペクターパネルで、をクリックしてコンポーネントの追加追加ユーザー音声エフェクトIn the Inspector panel, click Add Component and add User Voice Effect.

AudioSourceにコンポーネントを追加するVoiceSourceします。An AudioSource component will be added to VoiceSource.

  • AudioSource設定出力UserVoice (Mixer) します。In AudioSource, set Output to UserVoice (Mixer).
  • チェック、 Spatializeチェック ボックスをオンします。Check the Spatialize checkbox.
  • ドラッグ、空間 Blendスライダーに至る3D、または入力1編集ボックス。Drag the Spatial Blend slider all the way to 3D, or enter 1 in the edit box.
  • 展開3D サウンド設定します。Expand 3D Sound Settings.
  • 設定ドップラー レベル0します。Set Doppler Level to 0.
  • ユーザー音声エフェクト設定親オブジェクト黄泉シーンから。In User Voice Effect, set Parent Object to the Underworld from the scene.
  • 設定最大距離1します。Set Max Distance to 1.

設定最大距離指示ユーザー音声エフェクト閉じる方法があります親オブジェクトに効果が有効にする前にします。Setting Max Distance tells User Voice Effect how close the user must be to the parent object before the effect is enabled.

  • ユーザー音声エフェクト、展開コーラス パラメーターします。In User Voice Effect, expand Chorus Parameters.
  • 設定深さ0.1します。Set Depth to 0.1.
  • 設定ボリュームを 1 つをタップします2 のボリュームをタップ3 つのボリュームをタップします0.8します。Set Tap 1 Volume, Tap 2 Volume and Tap 3 Volume to 0.8.
  • 設定元音量0.5します。Set Original Sound Volume to 0.5.

以前の設定は、Unity のパラメーターを構成するAudioChorusFilterユーザーの音声に豊富な機能を追加するために使用します。The previous settings configure the parameters of the Unity AudioChorusFilter used to add richness to the user's voice.

  • ユーザー音声エフェクト、展開エコー パラメーターします。In User Voice Effect, expand Echo Parameters.
  • 設定遅延300Set Delay to 300
  • 設定比率を Decay0.2します。Set Decay Ratio to 0.2.
  • 設定元音量0します。Set Original Sound Volume to 0.

以前の設定は、Unity のパラメーターを構成するAudioEchoFilterをエコーするユーザーの音声が発生するために使用します。The previous settings configure the parameters of the Unity AudioEchoFilter used to cause the user's voice to echo.

ユーザー音声エフェクト スクリプトは担います。The User Voice Effect script is responsible for:

  • ユーザーの間の距離を測定して、 GameObjectスクリプトがアタッチされます。Measuring the distance between the user and the GameObject to which the script is attached.
  • ユーザーが直面しているかどうかを決定する、 GameObjectします。Determining whether or not the user is facing the GameObject.

ユーザーが有効に有効にするために、距離に関係なく、GameObject 直面する必要があります。The user must be facing the GameObject, regardless of distance, for the effect to be enabled.

  • 適用して、構成、 AudioChorusFilterAudioEchoFilterAudioSourceします。Applying and configuring an AudioChorusFilter and an AudioEchoFilter to the AudioSource.
  • フィルターを無効にして、効果を無効にします。Disabling the effect by disabling the filters.

ユーザー ボイスの効果は、Mic Stream セレクター コンポーネントを使用してから、 for Unity MixedRealityToolkitを高品質の音声ストリームを選択し、Unity のオーディオ システムにルーティングします。User Voice Effect uses the Mic Stream Selector component, from the MixedRealityToolkit for Unity, to select the high quality voice stream and route it into Unity's audio system.

  • 階層パネルで、マネージャーします。In the Hierarchy panel, select Managers.
  • インスペクターパネルで、展開音声入力ハンドラーします。In the Inspector panel, expand Speech Input Handler.
  • 音声入力ハンドラー、展開表示黄泉します。In Speech Input Handler, expand Show Underworld.
  • 変更関数UnderworldBase.OnEnableします。Change No Function to UnderworldBase.OnEnable.

キーワード:黄泉を表示します。

  • 展開黄泉を非表示にします。Expand Hide Underworld.
  • 変更関数UnderworldBase.OnDisableします。Change No Function to UnderworldBase.OnDisable.

キーワード:黄泉を非表示にします。

構築し、デプロイBuild and Deploy

  • 同様に、Unity でプロジェクトをビルドし、Visual Studio でデプロイします。As before, build the project in Unity and deploy in Visual Studio.

後、アプリケーションがデプロイされます。After the application is deployed:

  • 顔の画面 (壁、floor、テーブル) と say 「を表示する黄泉」 します。Face a surface (wall, floor, table) and say "Show Underworld".

黄泉が表示され、他のすべてのホログラムは表示されません。The underworld will be shown and all other holograms will be hidden. 黄泉が表示されない場合は、実際の画面が発生したことを確認します。If you do not see the underworld, ensure that you are facing a real-world surface.

  • 1 メートル以内黄泉ホログラムのアプローチし、会話の開始。Approach within 1 meter of the underworld hologram and start talking.

自分の声に適用されるオーディオ効果はようになりました。There are now audio effects applied to your voice!

  • 黄泉から有効にして、効果が適用されていない方法に注意してください。Turn away from the underworld and notice how the effect is no longer applied.
  • たとえば 「非表示にする黄泉」 黄泉を非表示にします。Say "Hide Underworld" to hide the underworld.

黄泉が非表示にして、以前に非表示のホログラムが再表示されます。The underworld will be hidden and the previously hidden holograms will reappear.

最後ですThe End

これで終了です。Congratulations! 完了したのでMR 空間 220。空間サウンドします。You have now completed MR Spatial 220: Spatial sound.

世界をリッスンしてサウンドをお客様のエクスペリエンスを活用しましょう!Listen to the world and bring your experiences to life with sound!