ビデオからオーディオの立体化Spatializing audio from a video

HoloLens 2 Unity チュートリアルの空間オーディオモジュールの第3章では、次のことを行います。In this 3rd chapter of the spatial audio module of the HoloLens 2 Unity tutorials, you'll:

  • ビデオをインポートしてビデオプレーヤーを追加するImport a video and add a Video Player
  • ビデオを quadrangle に再生するPlay the video onto a quadrangle
  • オーディオをビデオから quadrangle にルーティングし、オーディオを spatialize するRoute audio from the video to the quadrangle, and spatialize the audio

ビデオをインポートしてビデオプレーヤーを追加するImport a video and add a Video Player

Unity プロジェクトの プロジェクト ウィンドウにビデオファイルをドラッグします。Drag a video file into the Project pane in your Unity project. このビデオは、空間オーディオサンプルプロジェクトから使用できます。You can use this video from the spatial audio sample project.

ビデオを含む Assets フォルダー

ビデオクリップの品質設定を調整すると、HoloLens 2 でスムーズに再生されるようになります。Adjusting the quality settings on the video clip can ensure smooth playback on HoloLens 2. プロジェクト ウィンドウでビデオファイルをクリックします。Click on the video file in the Project pane. 次に、ビデオファイルの [ インスペクター ] ウィンドウで、Windows ストアアプリの設定を上書きし、次のようにします。Then in the Inspector pane for the video file, override the settings for Windows Store Apps, and:

  • トランスコード を有効にするEnable Transcode
  • コーデック を H264 に設定するSet Codec to H264
  • ビットレートモード を低に設定Set Bitrate Mode to Low
  • 空間品質 を中程度に設定するSet Spatial Quality to Medium Spatial Quality

これらの調整が完了すると、ビデオファイルの [ インスペクター ] ウィンドウは次のようになります。After these adjustments, the Inspector pane for the video file will look like this:

ビデオのプロパティウィンドウ

次に、[階層] ウィンドウを右クリックし、[ビデオ > ビデオプレーヤー] を選択して、階層video player オブジェクトを追加します。Next, add a Video Player object to the Hierarchy by right-clicking on the Hierarchy pane and choosing Video -> Video Player:

階層内のビデオプレーヤー

ビデオを quadrangle に再生するPlay video onto a quadrangle

Video Player オブジェクトには、ビデオをレンダリングするためのテクスチャを使用するゲームオブジェクトが必要です。The Video Player object needs a textured game object on which to render the video. まず、[階層] ペインを右クリックし、[ 3d オブジェクト-> クワッド] を選択して、階層クワッド を追加します。First, add a Quad to your Hierarchy by right-clicking on the Hierarchy pane and choosing 3D Object -> Quad:

クワッドを階層に追加

アプリケーションの起動時にユーザーの前に quad が表示されるようにするには、 quadPosition プロパティを (0, 0, 2) に設定し、 Scale プロパティを (1.28, 0.72, 1) に設定します。To ensure the Quad appears in front of the user when the application starts, set the Position property of the Quad to (0, 0, 2), and the Scale property to (1.28, 0.72, 1). これらの変更が完了すると、 4 つ目の インスペクター ウィンドウの [変換] コンポーネントは次のようになります。After these changes, the Transform component on the Inspector pane for the Quad will look like this:

クワッド変換

ビデオで Quad のテクスチャを作成するには、新しい レンダリングテクスチャ を作成します。To texture the Quad with video, create a new Render Texture. [ プロジェクト ] ウィンドウで、右クリックし、[ 作成-> レンダリングテクスチャ] を選択します。In the Project pane, right-click and choose Create -> Render Texture:

描画テクスチャを作成する

レンダリングテクスチャ の [インスペクター ] ウィンドウで、ビデオのネイティブ解像度である 1280 0x720 と一致するように Size プロパティを設定します。On the Inspector pane of the Render Texture, set the Size property to match the video's native resolution of 1280x720. 次に、HoloLens 2 で適切なレンダリングパフォーマンスを確保するために、[ 深度バッファー ] プロパティを 16 ビット以上の深さ に設定します。Then, to ensure good rendering performance on HoloLens 2, set the Depth Buffer property to At least 16 bits depth. これらの設定の後、レンダリングテクスチャ の [インスペクター ] ウィンドウは次のようになります。After these settings, the Inspector pane for the Render Texture will look like this:

テクスチャのプロパティを表示する

次に、新しい レンダリングテクスチャ4 番目のテクスチャとして使用します。Next, use your new Render Texture as the texture for the Quad:

  1. [プロジェクト] ウィンドウから、階層 内の クワッドレンダリングテクスチャ をドラッグします。Drag the Render Texture from the Project pane onto the Quad in the Hierarchy
  2. HoloLens 2 で良好なパフォーマンスを得るには、クワッド の [インスペクター ] ウィンドウで、 Mixed Reality Toolkit Standard Shader を選択します。To ensure good performance on HoloLens 2, on the Inspector pane for the Quad, select the Mixed Reality Toolkit Standard Shader.

これらの設定を使用すると、クワッド の [インスペクター ] ウィンドウの テクスチャ コンポーネントは次のようになります。With these settings, the Texture component on the Inspector pane for the Quad will look like this:

クワッドテクスチャのプロパティ

新しい ビデオプレーヤー を設定し、ビデオクリップを再生するために テクスチャをレンダリング するには、ビデオプレーヤー の [インスペクター ] ウィンドウを開き、次のようにします。To set your new Video Player and Render Texture to play your video clip, open the Inspector pane for the Video Player and:

  • ビデオ クリップ のプロパティをビデオファイルに設定します。Set the Video Clip property to your video file
  • ループ チェックボックスをオンにするCheck the Loop checkbox
  • ターゲットテクスチャ を新しいレンダリングテクスチャに設定するSet Target Texture to your new render texture

ビデオプレーヤー の [インスペクター ] ウィンドウは次のようになります。The Inspector pane for the Video Player will now look like this:

ビデオプレーヤーのプロパティ

ビデオからオーディオを SpatializeSpatialize the audio from the video

クワッド の [インスペクター ] ウィンドウで、ビデオからオーディオをルーティングする オーディオソース を作成します。In the Inspector pane for the Quad, create an Audio Source to which you'll route the audio from the video:

  • ペインの下部にある [ コンポーネントの追加 ] をクリックします。Click Add Component at the bottom of the pane
  • オーディオソース を追加するAdd an Audio Source

次に、 オーディオソース で次のようにします。Then, on the Audio Source:

  • ミキサーに 出力 を設定するSet Output to your mixer
  • [ Spatialize ] チェックボックスをオンにします。Check the Spatialize box
  • [ 空間ブレンド ] スライダーを 1 (3d) に移動します。Move the Spatial Blend slider to 1 (3D)

これらの変更が完了すると、 diag ペインの [インスペクター ] ウィンドウの [オーディオソース] コンポーネントは次のようになります。After these changes, the Audio Source component on the Inspector pane for the Quad will look like this:

クワッドオーディオソースインスペクター

ビデオプレーヤー が、そのオーディオを クワッドオーディオソース にルーティングするように設定するには、ビデオプレーヤー の [インスペクター ] ウィンドウを開き、次のようにします。To set the Video Player to route its audio to the Audio Source on the Quad, open the Inspector pane for the Video Player and:

  • オーディオ出力モード を ' audio Source ' に設定しますSet the Audio Output Mode to 'Audio Source'
  • [ オーディオソース のプロパティを Quad に設定するSet the Audio Source property to your Quad

これらの変更が完了すると、ビデオプレーヤー の [インスペクター ] ウィンドウは次のようになります。After these changes, the Inspector pane for the Video Player will look like this:

ビデオプレーヤー設定オーディオソース

次のステップNext steps

HoloLens 2 または Unity エディターでアプリを試してみてください。Try out your app on a HoloLens 2 or in the Unity editor. ビデオが表示され、再生されます。ビデオのオーディオは spatialized になります。You'll see and hear the video, and the audio from the video will be spatialized.