Ćwiczenie — spatialize audio z wideo

Ukończone

W tym module dowiesz się, jak przestrzennego dźwięku ze źródła wideo i przetestować go w edytorze aparatu Unity i HoloLens 2.

Importowanie wideo i dodawanie odtwarzacza wideo do sceny

Na potrzeby tego modułu możesz użyć tego wideo z projektu przykładowego audio przestrzennego.

  1. Aby zaimportować wideo do projektu aparatu Unity. w menu Aparatu Unity wybierz pozycję AssetImportuj> nowy zasób

    Screenshot of Importing Asset.

  2. W oknie Importuj nowy zasób... wybierz plik Microsoft HoloLens - Spatial Sound-PTPvx7mDon4 pobrany i kliknij przycisk Otwórz, aby zaimportować zasób do projektu:

    Screenshot of Selecting Asset.

  3. Dostosowanie ustawień jakości klipu wideo może zapewnić płynne odtwarzanie w HoloLens 2. Wybierz plik wideo w oknie Project i w oknie Inspector (Inspektor) pliku wideo przesłonięć ustawienia aplikacji Windows Store i:

    1. Włączanie transkodowania
    2. Ustaw koder koderowy na H264
    3. Ustaw tryb szybkości transmisji bitów na niski
    4. Ustaw jakość przestrzenną na średnią jakość przestrzenną
  4. Po tych korektach kliknij pozycję Zastosuj, aby zmienić ustawienie jakości w klipie wideo.

    Screenshot of Video property Change.

  5. Kliknij prawym przyciskiem myszy hierarchię, wybierz pozycję VideoVideo>Player, aby dodać składnik odtwarzacza wideo.

    Screenshot of Add Video Player.

Odtwarzanie wideo na ćwiartce

Obiekt odtwarzacza wideo wymaga teksturowanego obiektu gry do renderowania wideo.

  1. Kliknij prawym przyciskiem myszy hierarchię , wybierz obiekt 3DQuad>, aby utworzyć czworokąt i skonfigurować jego składnikTransform w następujący sposób:

    • Położenie: X = 0, Y = 0, Z = 2
    • Obrót: X = 0, Y = 0, Z = 0
    • Skala: X = 1,28, Y = 0,72, Z = 1

    Screenshot of Add a Quad.

  2. Teraz musisz teksturować czworokąt z wideo, w oknie Project kliknij prawym przyciskiem myszy i wybierz pozycję CreateRender Texture (Teksturaelementu CreateRender>), aby utworzyć składnik Tekstura renderowania, wprowadź odpowiednią nazwę dla tekstury renderowania, na przykład Spatial Audio Texture:

    Screenshot of Create Render Texture.

  3. Wybierz teksturę renderowania , a w oknie Inspector (Inspektor) ustaw właściwość Size (Rozmiar ), aby dopasować ją do natywnej rozdzielczości wideo 1280x720. Następnie, aby zapewnić dobrą wydajność renderowania na HoloLens 2, ustaw właściwość Bufor głębokości na co najmniej 16 bitów głębokości.

    Screenshot of Render Texture properties.

  4. Następnie użyj utworzonej tekstury renderowania tekstury przestrzennej tekstury dźwięku jako tekstury dla czworokąta:

    1. Przeciągnij teksturę dźwięku przestrzennego z okna Project na czworokąt w hierarchii, aby dodać teksturę renderowania do czworokąta
    2. Aby zapewnić dobrą wydajność w HoloLens 2, wybierz pozycję Czworokąt w hierarchii, a następnie w oknie Inspektor dla cieniowania wybierz Mixed RealityToolkitStandard> Shader.

    Screenshot of Quad texture properties.

  5. Aby ustawić odtwarzacz wideo i teksturę renderowania w celu odtwarzania klipu wideo, wybierz odtwarzacz wideo w hierarchii i w oknie Inspektor .

    1. Ustaw właściwość Klip wideo na pobrany plik wideo "Microsoft HoloLens - Spatial Sound-PTPvx7mDon4"
    2. Zaznacz pole wyboru Loop
    3. Ustaw teksturę docelową na nową teksturę renderowania Tekstura dźwięku przestrzennego

    Screenshot of Video player properties.

Przestrzennie dźwięku z wideo

  1. W oknie Hierarchia wybierz pozycję Obiekt czworokątny , a następnie w oknie Inspector (Inspektor) użyj przycisku Dodaj składnik , aby dodać źródło audio , do którego będzie kierowany dźwięk z wideo.

    W źródle audio:

    1. Ustawianie danych wyjściowych na Mixer dźwięku przestrzennego
    2. Zaznacz pole Spatialize
    3. Przenieś suwak Spatial Blend do 1 (3D)

    Screenshot of Quad audio source inspector.

  2. Aby ustawić odtwarzacz wideo, aby skierować jego dźwięk do źródła audio, wybierz odtwarzacz wideo w oknie Hierarchia i w obiekcie Odtwarzacz wideo w Inspektorze wykonaj następujące zmiany.

    1. Ustaw tryb wyjściowy audio na źródło audio
    2. Ustaw właściwość Źródło audio na czworokąt

    Screenshot of Video player set audio source.