3. Spatialisation du contenu audio d’une vidéo3. Spatializing audio from a video

Vue d'ensembleOverview

Dans ce didacticiel, vous allez apprendre à spatialiser l’audio à partir d’une source vidéo et à le tester dans l’éditeur Unity et dans HoloLens 2.In this tutorial, you will learn how to spatialize audio from an video source and test this in the unity editor and HoloLens 2.

ObjectifsObjectives

  • Importer une vidéo et ajouter un lecteur vidéoImport a video and add a Video Player
  • Lire la vidéo sur un QuadranglePlay the video onto a quadrangle
  • Acheminer l’audio de la vidéo vers le Quadrangle et spatialiser l’audioRoute audio from the video to the quadrangle, and spatialize the audio

Importer une vidéo et ajouter un lecteur vidéo à la scèneImport a video and add a Video Player to the Scene

Pour ce didacticiel, vous pouvez utiliser cette vidéo à partir de l’exemple de projet de son spatial.For this tutorial use You can use this video from the spatial audio sample project.

Pour importer une vidéo dans le projet Unity.To import Video into the unity project. dans le menu Unity, sélectionnez Asset > Importer un nouvel élément multimédia importer un élément multimédia in the Unity menu select Asset > Import New Asset Importing Asset

Dans la fenêtre Importer une nouvelle ressource.. ., sélectionnez le fichier Microsoft HoloLens-spatial Sound-PTPvx7mDon4 que vous avez téléchargé, puis cliquez sur le bouton ouvrir pour importer la ressource dans le projet :In the Import New Asset... window, select the Microsoft HoloLens - Spatial Sound-PTPvx7mDon4 file you downloaded and click the Open button to import the asset into the project:

Sélection de l’élément multimédia

L’ajustement des paramètres de qualité sur le clip vidéo peut garantir une lecture douce sur HoloLens 2.Adjusting the quality settings on the video clip can ensure smooth playback on HoloLens 2. Sélectionnez le fichier vidéo dans la fenêtre projet et dans la fenêtre Inspecteur du fichier vidéo, Remplacez les paramètres pour les applications du Windows Store et :Select the video file in the Project window and in the Inspector window of the video file, override the settings for Windows Store Apps, and:

  • Activer le transcodageEnable Transcode
  • Définir le codec sur H264 –Set Codec to H264
  • Définir le Mode débit sur faibleSet Bitrate Mode to Low
  • Définir la qualité spatiale sur une qualité spatiale moyenneSet Spatial Quality to Medium Spatial Quality

Après ces ajustements, cliquez sur appliquer pour modifier le paramètre de qualité du clip vidéo.After these adjustments, click on Apply to change the quality setting on the video clip.

Modification des propriétés de la vidéo

Cliquez avec le bouton droit sur la hiérarchie, puis sélectionnez > lecteur vidéo vidéo pour ajouter le composant lecteur vidéo.Right click on the Hierarchy, Select Video > Video Player to add Video player component.

Ajouter un lecteur vidéo

Lire une vidéo sur un QuadranglePlay video onto a quadrangle

L’objet lecteur vidéo a besoin d’un objet de jeu texturé pour afficher la vidéo.The Video Player object needs a textured game object to render the video.

Cliquez avec le bouton droit sur la hiérarchie, sélectionnez objet 3D > quadruple pour créer un Quad et configurer son composant transformer comme suit :Right click the Hierarchy , Select 3D Object > Quad to create a quad and configure its Transform component as follows:

  • Position: X = 0, Y = 0, Z = 2Position: X = 0, Y = 0, Z = 2
  • Rotation : X = 0, Y = 0, Z = 0Rotation: X = 0, Y = 0, Z = 0
  • Échelle: X = 1,28, Y = 0,72, Z = 1Scale: X = 1.28, Y = 0.72, Z = 1

Ajouter un quadruple

À présent, vous devez texturer le Quad avec la vidéo, dans la fenêtre du projet , cliquer avec le bouton droit et choisir créer > une texture de rendu pour créer un composant de texture de rendu, entrer un nom approprié pour la texture de rendu, par exemple texture audio spatiale:Now you need to texture the Quad with the video, In the Project window, right-click and choose Create > Render Texture to create a Render Texture component, enter a suitable name to the Render Texture for example, Spatial Audio Texture:

Créer une texture de rendu

Sélectionnez la texture de rendu et, dans la fenêtre de l’inspecteur, définissez la propriété Size pour qu’elle corresponde à la résolution native de la vidéo de 1280 x 720.Select the Render Texture and in the Inspector window set the Size property to match the video's native resolution of 1280x720. Ensuite, pour garantir de bonnes performances de rendu sur HoloLens 2, affectez à la propriété de la mémoire tampon de profondeur une profondeur d’au moins 16 bits.Then, to ensure good rendering performance on HoloLens 2, set the Depth Buffer property to At least 16 bits depth.

Propriétés de texture de rendu

Ensuite, utilisez la texture audio spatiale de rendu créée comme texture pour le Quad:Next, use the created Render Texture Spatial Audio Texture as the texture for the Quad:

  1. Faites glisser la texture audio spatiale de la fenêtre projet sur le quadruple dans la hiérarchie pour ajouter la texture de rendu au quadrupleDrag the Spatial Audio Texture from the Project window onto the Quad in the Hierarchy to add the Render Texture to the Quad
  2. Pour garantir de bonnes performances sur HoloLens 2, sélectionnez Quad dans la hiérarchie, puis dans la fenêtre Inspector du nuanceur, sélectionnez le nuanceur standard de la réalité mixte > .To ensure good performance on HoloLens 2, select Quad in the Hierarchy and in the Inspector window for shader select the Mixed Reality Toolkit > Standard Shader.

Propriétés de texture Quad

Pour définir le lecteur vidéo et afficher la texture pour lire le clip vidéo, sélectionnez le lecteur vidéo dans la hiérarchie et dans la fenêtre inspecteur .To set Video Player and Render Texture to play the video clip, select the Video Player in the Hierarchy and in the Inspector window,

  • Définissez la propriété clip vidéo sur le fichier vidéo téléchargé « Microsoft HoloLens-spatial Sound-PTPvx7mDon4 »Set the Video Clip property to the downloaded video file 'Microsoft HoloLens - Spatial Sound-PTPvx7mDon4'
  • Cochez la case boucleCheck the Loop checkbox
  • Définir la texture cible sur la nouvelle texture audio spatiale de renduSet Target Texture to your new render texture Spatial Audio Texture

Propriétés du lecteur vidéo

Spatialiser l’audio à partir de la vidéoSpatialize the audio from the video

Dans la fenêtre hiérarchie, sélectionnez objet quadruple , puis dans la fenêtre de l’inspecteur, utilisez le bouton Ajouter un composant pour ajouter une source audio dans laquelle vous allez acheminer l’audio à partir de la vidéo.In the Hierarchy window, select Quad object, then in the Inspector window, use the Add Component button to add Audio Source to which you'll route the audio from the video.

Dans la source audio:In the Audio Source:

  • Définir la sortie dans le mélangeur audio spatialSet Output to the Spatial Audio Mixer
  • Vérifier la zone spatialeCheck the Spatialize box
  • Déplacez le curseur de lissage spatial sur 1 (3d)Move the Spatial Blend slider to 1 (3D)

Inspecteur de source audio quadruple

Pour configurer le lecteur vidéo de façon à acheminer son audio vers la source audio, sélectionnez le lecteur vidéo dans la fenêtre hiérarchie et, dans l’objet lecteur vidéo de l’inspecteur, effectuez les modifications suivantes.To set the Video Player to route its audio to the Audio Source, select the Video Player In the Hierarchy window, and in Video Player object in the Inspector do the following changes.

  • Définir le mode de sortie audio sur la source audioSet the Audio Output Mode to Audio Source
  • Définir la propriété de la source audio sur le quadrupleSet the Audio Source property to the Quad

Source du jeu de lecteurs vidéo

Conseil

Pour vous rappeler comment générer et déployer votre projet Unity sur HoloLens 2, vous pouvez vous référer aux instructions de Génération de votre application sur votre HoloLens 2.For a reminder on how to build and deploy your Unity project to HoloLens 2, you can refer to the Building your app to your HoloLens 2 instructions.

FélicitationsCongratulations

Dans ce didacticiel, vous avez appris à spatialiser l’audio à partir d’une source vidéo essayer votre application sur un HoloLens 2 ou dans l’éditeur Unity.In this tutorial, you have learned how to spatialize audio from an video source Try out your app on a HoloLens 2 or in the Unity editor. Vous verrez et entendez la vidéo, et l’audio de la vidéo est spatial.You'll see and hear the video, and the audio from the video is spatialized.

Dans le didacticiel suivant, vous allez apprendre à activer et désactiver des Spatialization au moment de l’exécution.In the next tutorial you will learn how to Enable and disable spatialization at run time