3. Versehen des Audiosignals eines Videoclips mit räumlichen Effekten3. Spatializing audio from a video

ÜbersichtOverview

In diesem Tutorial erfahren Sie, wie Sie Audiodaten aus einer Videoquelle spatialisieren und diese im Unity-Editor und in hololens 2 testen.In this tutorial, you will learn how to spatialize audio from an video source and test this in the unity editor and HoloLens 2.

ZieleObjectives

  • Importieren eines Videos und Hinzufügen eines Video PlayersImport a video and add a Video Player
  • Video auf einem Quadranten abspielenPlay the video onto a quadrangle
  • Leiten Sie Audiodaten aus dem Video an das Quadrangle weiter, und räumlichen Sie die Audiodaten.Route audio from the video to the quadrangle, and spatialize the audio

Importieren eines Videos und Hinzufügen eines Video Players zur SzeneImport a video and add a Video Player to the Scene

In diesem Tutorial verwenden Sie dieses Video aus dem Beispiel Projekt für räumliche Audiodateien.For this tutorial use You can use this video from the spatial audio sample project.

Zum Importieren von Videos in das Unity-Projekt.To import Video into the unity project. Wählen Sie im Unity-Menü Asset > Import New Asset Import  Asset aus.in the Unity menu select Asset > Import New Asset Importing Asset

Wählen Sie im Fenster Neues Asset importieren... die heruntergeladene Microsoft hololens-Spatial Sound-PTPvx7mDon4- Datei aus, und klicken Sie auf die Schaltfläche Öffnen , um das Objekt in das Projekt zu importieren:In the Import New Asset... window, select the Microsoft HoloLens - Spatial Sound-PTPvx7mDon4 file you downloaded and click the Open button to import the asset into the project:

Medienobjekt auswählen

Durch das Anpassen der Qualitätseinstellungen für den Videoclip kann die reibungslose Wiedergabe auf hololens 2 sichergestellt werden.Adjusting the quality settings on the video clip can ensure smooth playback on HoloLens 2. Wählen Sie die Videodatei im Projekt Fenster und im Inspektor-Fenster der Videodatei aus, und über Schreiben Sie die Einstellungen für Windows Store-Apps und:Select the video file in the Project window and in the Inspector window of the video file, override the settings for Windows Store Apps, and:

  • Transcode aktivierenEnable Transcode
  • Legen Sie Codec auf H264 fest.Set Codec to H264
  • Modus "Bitrate " auf "niedrig" festlegenSet Bitrate Mode to Low
  • Legen Sie räumliche Qualität auf mittlere räumliche Qualität fest.Set Spatial Quality to Medium Spatial Quality

Nachdem Sie diese Anpassungen vorgenommen haben, klicken Sie auf übernehmen, um die Qualitätseinstellung für den Videoclip zu ändern.After these adjustments, click on Apply to change the quality setting on the video clip.

Video-Eigenschaften Änderung

Klicken Sie mit der rechten Maustaste auf die Hierarchie, und wählen Sie Video > Video Player , um die Video Player KomponenteRight click on the Hierarchy, Select Video > Video Player to add Video player component.

Video Player hinzufügen

Abspielen von Videos auf einem QuadrantenPlay video onto a quadrangle

Das Video Player -Objekt benötigt ein texturiertes Spielobjekt zum Rendering des Videos.The Video Player object needs a textured game object to render the video.

Klicken Sie mit der rechten Maustaste auf die Hierarchie, wählen Sie 3D-Objekt > Quad aus, um ein Quad zu erstellen, und konfigurieren Sie die Right click the Hierarchy , Select 3D Object > Quad to create a quad and configure its Transform component as follows:

  • Position: X = 0, Y = 0, Z = 2Position: X = 0, Y = 0, Z = 2
  • Drehung: X = 0, Y = 0, Z = 0Rotation: X = 0, Y = 0, Z = 0
  • Skalierung: X = 1,28, Y = 0,72, Z = 1Scale: X = 1.28, Y = 0.72, Z = 1

Hinzufügen eines Quad-

Nun müssen Sie das Vierfache mit dem Video strukturieren. Klicken Sie dazu im Projekt Fenster mit der rechten Maustaste, und wählen Sie > Rendering-Textur erstellen aus, um eine Rendering-Textur Komponente zu erstellen, und geben Sie einen passenden Namen für die Rendering-Textur ein, z.b. räumliche audiotextur:Now you need to texture the Quad with the video, In the Project window, right-click and choose Create > Render Texture to create a Render Texture component, enter a suitable name to the Render Texture for example, Spatial Audio Texture:

Rendering-Textur erstellen

Wählen Sie die Rendering-Textur aus, und legen Sie im Inspektor-Fenster die size -Eigenschaft so fest, dass Sie mit der nativen Auflösung des Videos in der AuflösungSelect the Render Texture and in the Inspector window set the Size property to match the video's native resolution of 1280x720. Um dann eine gute Renderingleistung auf hololens 2 sicherzustellen, legen Sie die Tiefe Puffer Eigenschaft auf mindestens 16 Bits fest.Then, to ensure good rendering performance on HoloLens 2, set the Depth Buffer property to At least 16 bits depth.

Rendering-Textur Eigenschaften

Verwenden Sie als nächstes die erstellte Darstellung der Struktur für das räumliche Rendering als Textur für das Vierfache:Next, use the created Render Texture Spatial Audio Texture as the texture for the Quad:

  1. Ziehen Sie die räumliche audiotextur aus dem Projekt Fenster auf das Vierfache in der hier Archie, um die Rendering-Textur dem Quad hinzuzufügen.Drag the Spatial Audio Texture from the Project window onto the Quad in the Hierarchy to add the Render Texture to the Quad
  2. Um eine gute Leistung bei hololens 2 sicherzustellen, wählen Sie Quad in der Hierarchie aus, und wählen Sie im Inspektor-Fenster für Shader das Mixed Reality Toolkit > Standard -Shader aus.To ensure good performance on HoloLens 2, select Quad in the Hierarchy and in the Inspector window for shader select the Mixed Reality Toolkit > Standard Shader.

Vier Textur Eigenschaften

Wählen Sie den Video Player in der Hierarchie aus , und klicken Sie im Inspektor - Fenster aufTo set Video Player and Render Texture to play the video clip, select the Video Player in the Hierarchy and in the Inspector window,

  • Legen Sie die Eigenschaft " Video Clip " auf die heruntergeladene Videodatei "Microsoft hololens-Spatial Sound-PTPvx7mDon4" fest.Set the Video Clip property to the downloaded video file 'Microsoft HoloLens - Spatial Sound-PTPvx7mDon4'
  • Aktivieren Sie das Kontrollkästchen Schleife .Check the Loop checkbox
  • Legen Sie die Ziel Textur auf die neue Darstellung der gentexgenräumlichen Darstellung fest Set Target Texture to your new render texture Spatial Audio Texture

Video Player-Eigenschaften

Spatialisieren der Audiodaten aus dem VideoSpatialize the audio from the video

Wählen Sie im Fenster Hierarchie die Option Quad Object aus, und verwenden Sie dann im Inspektor-Fenster die Schaltfläche Komponente hinzufügen , um Audioquelle hinzuzufügen, an die Sie die Audiodaten aus dem Video weiterleiten.In the Hierarchy window, select Quad object, then in the Inspector window, use the Add Component button to add Audio Source to which you'll route the audio from the video.

In der Audioquelle:In the Audio Source:

  • Festlegen der Ausgabe auf den räumlichen AudiomixerSet Output to the Spatial Audio Mixer
  • Aktivieren Sie das Feld spatialize .Check the Spatialize box
  • Verschieben Sie den Schieberegler für räumliche Blend auf 1 (3D).Move the Spatial Blend slider to 1 (3D)

Quad-audioquellinspektor

Um den Video Player so festzulegen, dass seine Audiodaten an die Audioquelle weitergeleitet werden, wählen Sie im Fenster Hierarchie den Video Player aus, und führen Sie im inspektorobjekt im Inspektor die folgenden Änderungen aus.To set the Video Player to route its audio to the Audio Source, select the Video Player In the Hierarchy window, and in Video Player object in the Inspector do the following changes.

  • Festlegen des Audioausgabemodus auf AudioquelleSet the Audio Output Mode to Audio Source
  • Legen Sie die Eigenschaft Audioquelle auf Quad fest.Set the Audio Source property to the Quad

Video Player-Audioquelle festlegen

Tipp

Falls Sie eine Auffrischung zum Erstellen und Bereitstellen Ihres Unity-Projekts auf HoloLens 2 benötigen, lesen Sie die Anweisungen unter Erstellen Ihrer App auf dem HoloLens 2-Gerät.For a reminder on how to build and deploy your Unity project to HoloLens 2, you can refer to the Building your app to your HoloLens 2 instructions.

Herzlichen Glückwunsch!Congratulations

In diesem Tutorial haben Sie gelernt, wie Sie Audiodaten aus einer Videoquelle eingrenzen, indem Sie Ihre APP auf einem hololens 2 oder im Unity-Editor testen.In this tutorial, you have learned how to spatialize audio from an video source Try out your app on a HoloLens 2 or in the Unity editor. Sie sehen und hören das Video, und die Audiodaten aus dem Video sind räumlich.You'll see and hear the video, and the audio from the video is spatialized.

Im nächsten Tutorial erfahren Sie, wie Sie die Spatialisierung zur Laufzeit aktivieren und deaktivieren.In the next tutorial you will learn how to Enable and disable spatialization at run time