HoloLens (1. gen) Spatial 220: Dźwięk przestrzenny

Ważne

Samouczki dotyczące akademii Mixed Reality zostały zaprojektowane z myślą o urządzeniach HoloLens (1. generacji), Unity 2017 i Mixed Reality immersywnych zestawów słuchawkowych. W związku z tym uważamy, że ważne jest pozostawienie tych samouczków w miejscu dla deweloperów, którzy nadal szukają wskazówek dotyczących opracowywania tych urządzeń. Te samouczki nie zostaną zaktualizowane przy użyciu najnowszych zestawów narzędzi ani interakcji używanych do HoloLens 2 i mogą nie być zgodne z nowszymi wersjami aparatu Unity. Będą one utrzymywane w celu kontynuowania pracy na obsługiwanych urządzeniach. Opublikowano nową serię samouczków dla HoloLens 2.

Dźwięk przestrzenny oddycha życiem w hologramy i daje im obecność w naszym świecie. Hologramy składają się zarówno z światła, jak i dźwięku, a jeśli zdarzy ci się stracić wzrok hologramów, dźwięk przestrzenny może pomóc je znaleźć. Dźwięk przestrzenny nie jest podobny do typowego dźwięku, który można usłyszeć w radiu, to dźwięk, który jest umieszczony w przestrzeni 3D. Dzięki dźwiękowi przestrzennemu można sprawić, że hologramy brzmią tak, jakby były za tobą, obok Ciebie, a nawet na głowie! W tym kursie wykonasz następujące elementy:

• Skonfiguruj środowisko deweloperskie, aby używało dźwięku przestrzennego firmy Microsoft.
• Użyj dźwięku przestrzennego, aby poprawić interakcje.
• Użyj dźwięku przestrzennego w połączeniu z mapowaniem przestrzennym.
• Omówienie projektowania dźwięku i mieszania najlepszych rozwiązań.
• Użyj dźwięku, aby ulepszyć efekty specjalne i przynieść użytkownikowi do świata Mixed Reality.

Obsługa urządzeń

Kurs	HoloLens	Immersyjne zestawy słuchawkowe
MR Spatial 220: Dźwięk przestrzenny	✔️	✔️

Przed rozpoczęciem

Wymagania wstępne

• Komputer Windows 10 skonfigurowany z zainstalowanymi odpowiednimi narzędziami.
• Niektóre podstawowe możliwości programowania w języku C#.
• Należy ukończyć 101 podstawowe informacje o języku MR.
• Urządzenie HoloLens skonfigurowane do programowania.

Pliki projektu

• Pobierz pliki wymagane przez projekt. Wymaga aparatu Unity 2017.2 lub nowszego.
  • Jeśli nadal potrzebujesz obsługi środowiska Unity 5.6, użyj tej wersji. Ta wersja może już nie być aktualna.
  • Jeśli nadal potrzebujesz obsługi środowiska Unity 5.5, użyj tej wersji. Ta wersja może już nie być aktualna.
  • Jeśli nadal potrzebujesz obsługi środowiska Unity 5.4, użyj tej wersji. Ta wersja może już nie być aktualna.
• Usuń zarchiwizuj pliki na pulpicie lub innym łatwym w osiągnięciu lokalizacji.

Uwaga

Jeśli chcesz przejrzeć kod źródłowy przed pobraniem, jest on dostępny w witrynie GitHub.

Errata i notatki

• Opcja "Włącz tylko mój kod" musi być wyłączona (niezaznaczone) w programie Visual Studio w obszarze Narzędzia-Opcje-Debugowanie>> w celu osiągnięcia punktów przerwania w kodzie.

Rozdział 1 — Konfiguracja aparatu Unity

Cele

• Zmień konfigurację dźwięku aparatu Unity, aby używać dźwięku Microsoft Spatial Sound.
• Dodaj dźwięk 3D do obiektu w unity.

Instrukcje

• Uruchom środowisko Unity.
• Wybierz pozycję Otwórz.
• Przejdź do pulpitu i znajdź wcześniej niezarchiwizowane foldery.
• Kliknij folder Start\Decibel , a następnie naciśnij przycisk Wybierz folder .
• Poczekaj na załadowanie projektu w środowisku Unity.
• W panelu Projekt otwórz plik Scenes\Decibel.unity.
• W panelu Hierarchia rozwiń węzeł HologramCollection i wybierz pozycję P0LY.
• W inspektorze rozwiń węzeł AudioSource i zwróć uwagę, że nie ma pola wyboru Spatialize .

Domyślnie aparat Unity nie ładuje wtyczki spatializer. Poniższe kroki umożliwią dźwięk przestrzenny w projekcie.

• W górnym menu aparatu Unity przejdź do pozycji Edytuj > dźwięk ustawień > projektu.
• Znajdź listę rozwijaną Wtyczka przestrzenna i wybierz pozycję MS HRTF Spatializer.
• W panelu Hierarchia wybierz pozycję HologramCollection > P0LY.
• W panelu Inspector (Inspektor ) znajdź składnik Źródło dźwięku .
• Zaznacz pole wyboru Spatialize (Przestrzennie ).
• Przeciągnij suwak Spatial Blend do pozycji 3D lub wprowadź wartość 1 w polu edycji.

Teraz skompilujemy projekt w środowisku Unity i skonfigurujemy rozwiązanie w programie Visual Studio.

1. W środowisku Unity wybierz pozycję Ustawienia kompilacji pliku>.
2. Kliknij pozycję Dodaj otwarte sceny , aby dodać scenę.
3. Wybierz pozycję platforma uniwersalna systemu Windows na liście Platforma, a następnie kliknij pozycję Przełącz platformę.
4. Jeśli specjalnie opracowujesz urządzenie HoloLens, ustaw opcję Urządzenie docelowe na HoloLens. W przeciwnym razie pozostaw go na dowolnym urządzeniu.
5. Upewnij się, że dla opcji Typ kompilacji ustawiono wartość D3D , a zestaw SDK ma wartość Najnowsza (która powinna być zestawem SDK 16299 lub nowszym).
6. Kliknij pozycję Skompiluj.
7. Utwórz nowy folder o nazwie "App".
8. Jednym kliknięciem folderu Aplikacja .
9. Naciśnij pozycję Wybierz folder.

Po zakończeniu działania aparatu Unity zostanie wyświetlone okno Eksplorator plików.

1. Otwórz folder Aplikacja .
2. Otwórz rozwiązanie Decibel Visual Studio.

W przypadku wdrażania na urządzeniu HoloLens:

1. Za pomocą górnego paska narzędzi w programie Visual Studio zmień element docelowy z Debuguj na Wydanie i z usługi ARM na x86.
2. Kliknij strzałkę listy rozwijanej obok przycisku Maszyna lokalna, a następnie wybierz pozycję Maszyna zdalna.
3. Wprowadź adres IP urządzenia HoloLens i ustaw opcję Tryb uwierzytelniania na uniwersalny (protokół niezaszyfrowany). Kliknij pozycję Wybierz. Jeśli nie znasz adresu IP urządzenia, zapoznaj się z > ustawieniami sieci & opcje zaawansowane internetu>.
4. Na górnym pasku menu kliknij pozycję Debuguj —> Rozpocznij bez debugowania lub naciśnij klawisze Ctrl + F5. Jeśli jest to pierwsze wdrożenie na urządzeniu, należy go sparować z programem Visual Studio.

W przypadku wdrażania w immersywnym zestawie słuchawkowym:

1. Za pomocą górnego paska narzędzi w programie Visual Studio zmień element docelowy z Debuguj na Wydanie i z usługi ARM na x64.
2. Upewnij się, że element docelowy wdrożenia ma ustawioną wartość Maszyna lokalna.
3. Na górnym pasku menu kliknij pozycję Debuguj —> Rozpocznij bez debugowania lub naciśnij klawisze Ctrl + F5.

Rozdział 2 . Dźwięk przestrzenny i interakcja

Cele

• Zwiększ realizm hologramu przy użyciu dźwięku.
• Przekierowuj spojrzenie użytkownika przy użyciu dźwięku.
• Prześlij opinię o gestach przy użyciu dźwięku.

Część 1 . Zwiększanie realizmu

Kluczowe pojęcia

• Przestrzennie dźwięki hologramu.
• Źródła dźwięku należy umieścić w odpowiedniej lokalizacji na hologramie.

Odpowiednia lokalizacja dźwięku będzie zależeć od hologramu. Jeśli na przykład hologram jest człowiekiem, źródło dźwięku powinno znajdować się w pobliżu ust, a nie stóp.

Instrukcje

Poniższe instrukcje dołączą dźwięk przestrzenny do hologramu.

• W panelu Hierarchia rozwiń węzeł HologramCollection i wybierz pozycję P0LY.
• W panelu Inspector (Inspektor ) w obszarze AudioSource kliknij okrąg obok pozycji AudioClip i wybierz pozycję PolyHover z wyskakującego okienka.
• Kliknij okrąg obok pozycji Dane wyjściowe i wybierz pozycję SoundEffects z wyskakującego okienka.

Program Project Decibel używa składnika Unity AudioMixer w celu umożliwienia dostosowywania poziomów dźwięku dla grup dźwięków. Grupując dźwięki w ten sposób, ogólny wolumin można dostosować przy zachowaniu względnej ilości każdego dźwięku.

• W obszarze AudioSource rozwiń węzeł Ustawienia dźwięku 3D.
• Ustaw wartość Doppler Level na 0.

Ustawienie poziomu dopplera na zero wyłącza zmiany w skoku spowodowane ruchem (hologram lub użytkownik). Klasycznym przykładem Dopplera jest szybko poruszający się samochód. Gdy samochód zbliża się do stacjonarnego odbiornika, skok silnika rośnie. Gdy przechodzi odbiornik, boisko obniża się z odległością.

Część 2 . Kierowanie spojrzenia użytkownika

Kluczowe pojęcia

• Użyj dźwięku, aby zwrócić uwagę na ważne hologramy.
• Uszy pomagają kierować, gdzie oczy powinny wyglądać.
• Mózg ma pewne poznane oczekiwania.

Jednym z przykładów wyuczonych oczekiwań jest to, że ptaki są na ogół nad głowami ludzi. Jeśli użytkownik usłyszy dźwięk ptaka, ich początkową reakcją jest wyszukanie. Umieszczenie ptaka poniżej użytkownika może prowadzić do ich kierowania prawidłowego kierunku dźwięku, ale nie jest w stanie znaleźć hologramu w oparciu o oczekiwania, że trzeba wyszukać.

Instrukcje

Poniższe instrukcje umożliwiają P0LY ukrycie się za tobą, dzięki czemu można użyć dźwięku do zlokalizowania hologramu.

• W panelu Hierarchia wybierz pozycję Menedżerowie.
• W panelu Inspector (Inspektor ) znajdź program obsługi danych wejściowych mowy.
• W programie Obsługi danych wejściowych mowy rozwiń pozycję Przejdź do ukrycia.
• Zmień wartość Brak funkcji na PolyActions.GoHide.

Część 3 . Opinie dotyczące gestów

Kluczowe pojęcia

• Podaj użytkownikowi pozytywne potwierdzenie gestu przy użyciu dźwięku
• Nie przytłoczyć użytkownika - głośne dźwięki są w drodze
• Subtelne dźwięki działają najlepiej - nie przyćmij doświadczenia

Instrukcje

• W panelu Hierarchia rozwiń węzeł HologramCollection.
• Rozwiń węzeł EnergyHub i wybierz pozycję Podstawowa.
• W panelu Inspektor kliknij pozycję Dodaj składnik i dodaj program obsługi dźwięku gestu.
• W programie Obsługi dźwięku gestu kliknij okrąg obok pozycji Nawigacja Rozpoczęty klip i Nawigacja Zaktualizowany klip , a następnie wybierz pozycję RotateClick z wyskakującego okienka dla obu.
• Kliknij dwukrotnie pozycję "GestSoundHandler", aby załadować w programie Visual Studio.

Program obsługi dźwięku gestu wykonuje następujące zadania:

• Utwórz i skonfiguruj źródło audio.
• Umieść źródło audio w lokalizacji odpowiedniego obiektu GameObject.
• Odtwarza element AudioClip skojarzony z gestem.

Wdróż i konfiguruj

1. W środowisku Unity wybierz pozycję Ustawienia kompilacji pliku>.
2. Kliknij pozycję Skompiluj.
3. Jednym kliknięciem folderu Aplikacja .
4. Naciśnij pozycję Wybierz folder.

Sprawdź, czy na pasku narzędzi jest wyświetlany komunikat "Release", "x86" lub "x64" i "Remote Device". Jeśli nie, jest to wystąpienie kodowania programu Visual Studio. Może być konieczne ponowne otwarcie rozwiązania z folderu Aplikacja.

• Jeśli zostanie wyświetlony monit, załaduj ponownie pliki projektu.
• Tak jak wcześniej, wdróż z poziomu programu Visual Studio.

Po wdrożeniu aplikacji:

• Obserwuj, jak dźwięk zmienia się podczas poruszania się po P0LY.
• Powiedz "Go Hide", aby przenieść P0LY do lokalizacji za tobą. Znajdź go za pomocą dźwięku.
• Spójrz w bazę centrum energii. Naciśnij i przeciągnij lewą lub prawą stronę, aby obrócić hologram i zwróć uwagę, jak kliknięcie dźwięku potwierdza gest.

Uwaga: istnieje panel tekstowy, który będzie tagować użytkownika. Będzie to zawierać dostępne polecenia głosowe, których można użyć w tym kursie.

Rozdział 3 . Przestrzenny dźwięk i mapowanie przestrzenne

Cele

• Potwierdź interakcję między hologramami a rzeczywistym światem przy użyciu dźwięku.
• Dźwięk oklude przy użyciu świata fizycznego.

Część 1 — Interakcja ze światem fizycznym

Kluczowe pojęcia

• Obiekty fizyczne zazwyczaj tworzą dźwięk podczas napotkania powierzchni lub innego obiektu.
• Dźwięki powinny być kontekstem odpowiednim w środowisku.

Na przykład ustawienie kubka na stole powinno sprawić, że cichszy dźwięk niż upuszczenie głazu na kawałku metalu.

Instrukcje

• W panelu Hierarchia rozwiń węzeł HologramCollection.
• Rozwiń węzeł EnergyHub, wybierz pozycję Podstawa.
• W panelu Inspektor kliknij pozycję Dodaj składnik i dodaj pozycję Naciśnij, aby umieścić za pomocą dźwięku i akcji.
• W obszarze Naciśnij, aby umieścić za pomocą dźwięku i akcji:
  • Zaznacz pole nadrzędne na naciśnięciu.
  • Ustaw pozycję Dźwięk umieszczania na wartość Umieść.
  • Ustaw wartość Pickup Sound na Odbiór.
  • Naciśnij klawisz + w prawym dolnym rogu pod pozycją Akcja odbioru i Akcja umieszczania. Przeciągnij pozycję EnergyHub ze sceny do pól None (Object).
    • W obszarze Akcja odbioru kliknij pozycję Brak funkcji ->EnergyHubBase ->ResetAnimation.
    • W obszarze Akcja umieszczania kliknij pozycję Brak funkcji ->EnergyHubBase ->OnSelect.

Część 2 - Dźwięk occlusion

Kluczowe pojęcia

• Dźwięk, jak światło, może być okluded.

Klasycznym przykładem jest sala koncertowa. Gdy słuchacz stoi poza salą, a drzwi są zamknięte, muzyka brzmi muffled. Zwykle występuje również zmniejszenie woluminu. Po otwarciu drzwi pełne spektrum dźwięku jest słyszane na rzeczywistej głośności. Dźwięki o wysokiej częstotliwości są zwykle pochłaniane więcej niż niskie częstotliwości.

Instrukcje

• W panelu Hierarchia rozwiń węzeł HologramCollection i wybierz pozycję P0LY.
• W panelu Inspector (Inspektor) kliknij pozycję Add Component (Dodaj składnik ) i dodaj emitter audio.

Klasa Emitter audio zapewnia następujące funkcje:

• Przywraca wszelkie zmiany w woluminie audioSource.
• Wykonuje element Physics.RaycastNonAlloc z pozycji użytkownika w kierunku obiektu GameObject , do którego jest dołączony element AudioEmitter .

Metoda RaycastNonAlloc jest używana jako optymalizacja wydajności w celu ograniczenia alokacji, a także liczby zwróconych wyników.

• Dla każdego napotkanego interfejsu IAudioInfluencer wywoła metodę ApplyEffect .
• Dla każdego poprzedniego elementu IAudioInfluencer , który nie jest już napotkany, wywołaj metodę RemoveEffect .

Należy pamiętać, że oprogramowanie AudioEmitter aktualizuje w skali czasu ludzkiego, a nie na podstawie ramki. Dzieje się tak, ponieważ ludzie zazwyczaj nie poruszają się wystarczająco szybko, aby efekt musiał być aktualizowany częściej niż co kwartał lub pół sekundy. Hologramy, które teleportować szybko z jednej lokalizacji do innej, mogą złamać iluzję.

• W panelu Hierarchia rozwiń węzeł HologramCollection.
• Rozwiń węzeł EnergyHub i wybierz pozycję BlobOutside.
• W panelu Inspektor kliknij pozycję Dodaj składnik i dodaj occluder audio.
• W obszarze Audio Occluder ustaw wartość Cutoff Frequency na 1500.

To ustawienie ogranicza częstotliwości AudioSource do 1500 Hz i poniżej.

• Ustaw wartość przekazywania woluminu na 0,9.

To ustawienie zmniejsza głośność źródła audio do 90% bieżącego poziomu.

Audio Occluder implementuje interfejs IAudioInfluencer w celu:

• Zastosuj efekt okluzji przy użyciu audioLowPassFilter , który zostaje dołączony do audioSource zarządzanego kupić AudioEmitter.
• Stosuje tłumienie woluminu do źródła audio.
• Wyłącza efekt, ustawiając neutralną częstotliwość odcinania i wyłączając filtr.

Częstotliwość używana jako neutralna to 22 kHz (22000 Hz). Ta częstotliwość została wybrana ze względu na to, że przekracza nominalną maksymalną częstotliwość, którą można usłyszeć przez ludzkie ucho, co sprawia, że nie ma zauważalnego wpływu na dźwięk.

• W panelu Hierarchia wybierz pozycję SpatialMapping.
• W panelu Inspektor kliknij pozycję Dodaj składnik i dodaj occluder audio.
• W obszarze Audio Occluder ustaw wartość Cutoff Frequency na 750.

Gdy wiele okludników znajduje się w ścieżce między użytkownikiem a elementem AudioEmitter, do filtru jest stosowana najniższa częstotliwość.

• Ustaw wartość przekazywania woluminu na 0,75.

Gdy wiele okludników znajduje się w ścieżce między użytkownikiem a audioEmitter, przepływ głośności jest stosowany addycznie.

• W panelu Hierarchia wybierz pozycję Menedżerowie.
• W panelu Inspector (Inspektor ) rozwiń węzeł Speech Input Handler (Obsługa wprowadzania mowy).
• W programie Obsługi danych wejściowych mowy rozwiń węzeł Przejdź do opłaty.
• Zmień wartość Brak funkcji na PolyActions.GoCharge.

• Rozwiń tutaj.
• Zmień wartość Brak funkcji na PolyActions.ComeBack.

Wdróż i konfiguruj

• Tak jak wcześniej, skompiluj projekt w środowisku Unity i wdróż go w programie Visual Studio.

Po wdrożeniu aplikacji:

• Powiedz "Przejdź do opłaty" , aby p0LY wprowadzić centrum energii.

Zanotuj zmianę dźwięku. Powinien brzmieć muffled i trochę cichszy. Jeśli jesteś w stanie umieścić się z ścianą lub innym obiektem między Tobą a Energy Hub, należy zauważyć dalsze tłumienie dźwięku ze względu na okluzji przez świat rzeczywisty.

• Powiedz "Come Here", aby P0LY opuścić Energy Hub i umieścić się przed tobą.

Należy pamiętać, że dźwięk okluzji jest usuwany po wyjściu P0LY z centrum Energy Hub. Jeśli nadal słyszysz oklusion, P0LY może być okluded przez świat rzeczywisty. Spróbuj przejść, aby upewnić się, że masz jasną linię wzroku do P0LY.

Część 3 — Modele pomieszczeń

Kluczowe pojęcia

• Rozmiar miejsca zapewnia podprogowe kolejki, które przyczyniają się do lokalizacji dźwięku.
• Modele pomieszczeń są ustawiane na źródło audio.
• Zestaw MixedRealityToolkit for Unity udostępnia kod ustawiania modelu pomieszczenia.
• W przypadku Mixed Reality doświadczeń wybierz model pokoju, który najlepiej pasuje do rzeczywistej przestrzeni świata.

Jeśli tworzysz scenariusz wirtualnej rzeczywistości, wybierz model pokoju, który najlepiej pasuje do środowiska wirtualnego.

Rozdział 4 . Projektowanie dźwięku

Cele

• Omówienie zagadnień dotyczących efektywnego projektowania dźwięku.
• Dowiedz się, jak mieszać techniki i wskazówki.

Część 1 — Projektowanie dźwięku i doświadczenia

W tej sekcji omówiono kluczowe zagadnienia i wskazówki dotyczące projektowania dźwięku i doświadczenia.

Normalizacja wszystkich dźwięków

Pozwala to uniknąć potrzeby specjalnego kodu wielkości liter w celu dostosowania poziomów głośności na dźwięk, co może być czasochłonne i ogranicza możliwość łatwego aktualizowania plików dźwiękowych.

Projektowanie pod kątem nieoznaczonego środowiska

HoloLens to w pełni zawarty, niezatwierdzony komputer holograficzny. Użytkownicy mogą i będą korzystać z Twoich środowisk podczas przenoszenia. Pamiętaj, aby przetestować mieszankę audio, chodząc.

Emituj dźwięk z lokalizacji logicznych na hologramach

W świecie rzeczywistym pies nie szczeka od ogona, a głos człowieka nie pochodzi z stóp. Unikaj emitowania dźwięków z nieoczekiwanych części hologramów.

W przypadku małych hologramów rozsądnie jest emitować dźwięk z środka geometrii.

Znane dźwięki są najbardziej lokalizowalne

Ludzki głos i muzyka są bardzo łatwe do lokalizowania. Jeśli ktoś dzwoni do Twojego imienia, możesz bardzo dokładnie określić kierunek, w którym przyszedł głos i od jak daleko. Krótko mówiąc, nieznane dźwięki są trudniejsze do lokalizowania.

Poznaj oczekiwania użytkowników

Doświadczenie życiowe odgrywa rolę w naszej zdolności do identyfikowania lokalizacji dźwięku. Jest to jeden z powodów, dla których ludzki głos jest szczególnie łatwy do lokalizowania. Ważne jest, aby pamiętać o oczekiwaniach użytkownika podczas umieszczania dźwięków.

Na przykład, gdy ktoś słyszy piosenkę ptaka, zwykle wyglądają, ponieważ ptaki wydają się być powyżej linii wzroku (latając lub w drzewie). Nie jest rzadkością dla użytkownika, aby włączyć prawidłowy kierunek dźwięku, ale spojrzeć w niewłaściwy kierunek pionowy i stać się zdezorientowany lub sfrustrowany, gdy nie są w stanie znaleźć hologramu.

Unikaj ukrytych emiterów

W świecie rzeczywistym, jeśli słyszymy dźwięk, możemy ogólnie zidentyfikować obiekt, który emituje dźwięk. Powinno to również mieć wartość true w swoich doświadczeniach. Może to być bardzo niepokojące dla użytkowników, aby usłyszeć dźwięk, wiedzieć, skąd pochodzi dźwięk i nie może zobaczyć obiektu.

Istnieją pewne wyjątki od tej wskazówki. Na przykład dźwięki otoczenia, takie jak krykiety w polu, nie muszą być widoczne. Doświadczenie życiowe daje nam znajomość źródła tych dźwięków bez konieczności jego zobaczenia.

Część 2 . Mieszanie dźwięku

Skierować mieszankę do 70% woluminu na urządzeniu HoloLens

Mixed Reality doświadczenia pozwalają na postrzeganie hologramów w świecie rzeczywistym. Powinni również pozwolić, aby prawdziwe dźwięki świata były słyszane. Docelowy wolumin 70% pozwala użytkownikowi usłyszeć świat wokół nich wraz z dźwiękiem twojego środowiska.

Urządzenie HoloLens przy 100% głośności powinno zagłuszać zewnętrzne dźwięki

Poziom woluminu 100% jest podobny do środowiska rzeczywistości wirtualnej. Wizualnie użytkownik jest transportowany do innego świata. To samo powinno mieć prawdziwe audibly.

Używanie aparatu Unity AudioMixer do dostosowywania kategorii dźwięków

Podczas projektowania mieszanki często warto tworzyć kategorie dźwięku i mieć możliwość zwiększenia lub zmniejszenia ich głośności jako jednostki. Zachowuje względne poziomy każdego dźwięku, umożliwiając szybkie i łatwe zmiany w ogólnej kombinacji. Typowe kategorie to: efekty dźwiękowe, atmosfera, głos i muzyka w tle.

Mieszanie dźwięków w oparciu o spojrzenie użytkownika

Często przydaje się zmiana mieszanki dźwięku w środowisku na podstawie tego, gdzie użytkownik (lub nie) szuka. Jedną z typowych zastosowań tej techniki jest zmniejszenie poziomu woluminu dla hologramów, które znajdują się poza ramką Holographic, aby ułatwić użytkownikowi skupienie się na informacjach przed nimi. Innym zastosowaniem jest zwiększenie głośności dźwięku w celu zwrócenia uwagi użytkownika na ważne zdarzenie.

Tworzenie mieszanki

Podczas tworzenia mieszanki zaleca się rozpoczęcie od dźwięku w tle środowiska i dodanie warstw na podstawie ważności. Często powoduje to, że każda warstwa jest głośniejsza niż poprzednia.

Wyobrażanie sobie mieszanki jako odwróconego lejka, z najmniej ważnymi (i ogólnie najcichszymi dźwiękami) u dołu, zaleca się strukturyzowanie mieszanki podobnej do poniższego diagramu.

Głosy są interesującym scenariuszem. Na podstawie tworzonego środowiska możesz chcieć mieć dźwięk stereo (nie lokalizowany) lub przestrzennie głosu. Dwa opublikowane środowiska firmy Microsoft ilustrują doskonałe przykłady każdego scenariusza.

Urządzenie HoloTour używa głosu stereo. Gdy narrator opisuje oglądaną lokalizację, dźwięk jest spójny i nie różni się w zależności od pozycji użytkownika. Dzięki temu narrator może opisać scenę bez odejścia od przestrzennych dźwięków środowiska.

Fragmenty wykorzystują przestrzenny głos w postaci detektywa. Głos detektywa służy do zwracania uwagi użytkownika na ważną wskazówkę, jakby rzeczywisty człowiek znajdował się w pokoju. Umożliwia to jeszcze większe poczucie zanurzenia się w doświadczeniu rozwiązywania tajemnicy.

Część 3 — wydajność

Użycie procesora

W przypadku korzystania z dźwięku przestrzennego 10– 12 emiterów zużywa około 12% procesora CPU.

Przesyłanie strumieniowe długich plików audio

Dane audio mogą być duże, szczególnie przy typowych szybkościach próbkowania (44,1 i 48 kHz). Ogólna zasada polega na tym, że pliki audio dłuższe niż 5–10 sekund powinny być przesyłane strumieniowo w celu zmniejszenia użycia pamięci aplikacji.

W środowisku Unity możesz oznaczyć plik audio do przesyłania strumieniowego w ustawieniach importu pliku.

Rozdział 5 . Efekty specjalne

Cele

• Dodaj głębokość do "Magic Windows".
• Przełącz użytkownika do świata wirtualnego.

Magic Windows

Kluczowe pojęcia

• Tworzenie widoków w ukrytym świecie jest wizualnie atrakcyjne.
• Zwiększ realizm, dodając efekty dźwiękowe, gdy hologram lub użytkownik znajduje się w pobliżu ukrytego świata.

Instrukcje

• W panelu Hierarchia rozwiń węzeł HologramCollection i wybierz pozycję Underworld.
• Rozwiń węzeł Underworld i wybierz pozycję VoiceSource.
• W panelu Inspektor kliknij pozycję Dodaj składnik i dodaj efekt głosowy użytkownika.

Składnik AudioSource zostanie dodany do usługi VoiceSource.

• W obszarze AudioSource ustaw wartość Output na UserVoice (Mikser).
• Zaznacz pole wyboru Spatialize (Przestrzennie ).
• Przeciągnij suwak Spatial Blend do pozycji 3D lub wprowadź wartość 1 w polu edycji.
• Rozwiń pozycję Ustawienia dźwięku 3D.
• Ustaw wartość Doppler Level na 0.
• W obszarze Efekt głosu użytkownika ustaw obiekt nadrzędny na Underworld ze sceny.
• Ustaw wartość Maksymalna odległość na 1.

Ustawienie maksymalnej odległości informuje efekt głosowy użytkownika , jak blisko użytkownika musi być obiekt nadrzędny przed włączeniem efektu.

• W obszarze Efekt głosu użytkownika rozwiń węzeł Parametry chóru.
• Ustaw wartość Głębokość na 0,1.
• Ustaw pozycję Naciśnij 1 wolumin, naciśnij 2 wolumin i naciśnij 3 wolumin do 0,8.
• Ustaw oryginalny dźwięk na0,5.

Poprzednie ustawienia konfigurują parametry aparatu Unity AudioChorusFilter używane do dodawania bogactwa do głosu użytkownika.

• W obszarze Efekt głosu użytkownika rozwiń węzeł Parametry echa.
• Ustaw opóźnienie na 300
• Ustaw współczynnik rozpadu na 0,2.
• Ustaw oryginalny dźwięk na0.

Poprzednie ustawienia konfigurują parametry aparatu Unity AudioEchoFilter użyte do wywołania echa głosu użytkownika.

Skrypt efekt głosowy użytkownika jest odpowiedzialny za:

• Mierzenie odległości między użytkownikiem a obiektem GameObject , do którego jest dołączony skrypt.
• Określenie, czy użytkownik ma do czynienia z obiektem GameObject.

Użytkownik musi mieć do czynienia z obiektem GameObject, niezależnie od odległości, aby efekt był włączony.

• Stosowanie i konfigurowanie elementu AudioChorusFilter i AudioEchoFilter do źródła audio.
• Wyłączenie efektu przez wyłączenie filtrów.

Efekt głosu użytkownika używa składnika Selektor strumienia mikrofonu z zestawu MixedRealityToolkit for Unity, aby wybrać strumień głosowy wysokiej jakości i skierować go do systemu audio aparatu Unity.

• W panelu Hierarchia wybierz pozycję Menedżerowie.
• W panelu Inspector (Inspektor ) rozwiń węzeł Speech Input Handler (Obsługa wprowadzania mowy).
• W programie Obsługi danych wejściowych mowy rozwiń węzeł Pokaż underworld.
• Zmień wartość Brak funkcji na UnderworldBase.OnEnable.

• Rozwiń węzeł Ukryj element Underworld.
• Zmień wartość Brak funkcji na UnderworldBase.OnDisable.

Wdróż i konfiguruj

• Tak jak wcześniej, skompiluj projekt w środowisku Unity i wdróż go w programie Visual Studio.

Po wdrożeniu aplikacji:

• Twarz powierzchni (ściana, podłoga, stół) i powiedz "Show Underworld".

Underworld zostanie wyświetlony, a wszystkie inne hologramy zostaną ukryte. Jeśli nie widzisz underworld, upewnij się, że stoisz w obliczu rzeczywistej powierzchni.

• Podejście w odległości 1 metra hologramu underworld i zacznij mówić.

Istnieją teraz efekty dźwiękowe zastosowane do głosu!

• Odwróć się od underworld i zwróć uwagę, jak efekt nie jest już stosowany.
• Powiedz "Ukryj underworld", aby ukryć underworld .

Underworld będzie ukryty, a wcześniej ukryte hologramy pojawią się ponownie.

Koniec

Gratulacje! Ukończono program MR Spatial 220: dźwięk przestrzenny.

Słuchaj świata i przynieś swoje doświadczenia do życia z dźwiękiem!