Případová studie: Návrh prostorového zvuku pro HoloTour
Panoramatická videa a holografické scenérie jsou jenom součástí vzorce pro imerzivní Microsoft HoloLens prohlídku. Tento článek popisuje, jak se zvuk použil k tomu, abyste se cítili, jako byste se skutečně cítili v každém umístění HoloTour.
Technologie
Krásné snímky a holografické scény, které vidíte v HoloTour, jsou jen jednou částí uvěřitelného prostředí hybridní reality. I když se hologramy zobrazují jenom před uživatelem, HoloLens dokáže dodat prostorový zvuk ze všech směrů, což poskytuje ucelenější smyslové prostředí.
Prostorový zvuk poskytuje signály, které označují směr, kterým by se měl uživatel obrátit, nebo uživatele indikují, že v jeho prostoru je k dispozici více hologramů. Můžeme také připojit zvuk přímo k hologramu a průběžně aktualizovat směr a vzdálenost hologramu od uživatele. Díky této technice to vypadá, jako by zvuk přichází přímo z daného objektu.
Pro HoloTour jsme chtěli využít možnosti prostorového zvuku HoloLensu, a proto jsme vytvořili 360stupňové okolní prostředí, které se synchronizuje s videem, aby bylo možné odhalit zvukové zvýraznění konkrétních míst.
Informace pro pokročilé uživatele
Vytvořili jsme prostředí HoloTour na dvou různých místech: Řím a Machu Picchu. Aby byly tyto prohlídky autentické a poutavé, chtěli jsme místo použití obecných zvuků zachytit zvuk z míst, kde jsme točili.
Zachycení zvuku
V naší případové studii o zachycení vizuálního obsahu pro HoloTour hovoříme o návrhu našeho kamerového zařízení. Skládal se ze 14 goPro kamer v 3D pouzdře, který byl navržen tak, aby se vešl na stativ. Aby bylo možné zachytit zvuk, přidali jsme pod kamery pole mikrofonu se čtyřmi mikrofony. Zvuk se vysílá do kompaktní čtyřkanálové nahrávací jednotky na spodní straně stativu. Vybrali jsme mikrofony, které fungovaly dobře, ale byly dostatečně malé, aby nedošlo k rušení fotoaparátů.
Vlastní kamera a mikrofonní zařízení
Toto nastavení zachycuje zvuk ve čtyřech směrech. Nahráli jsme dostatek informací, abychom znovu vytvořili 3D zvukové panorama prostorového zvuku, které bychom později mohli synchronizovat s 360stupňovým videem.
Jednou z výzev pro zvuk z kamer je, že jste nemilost zvuky mimo kameru, jako jsou sirény, letadla nebo silný vítr. Abychom měli jistotu, že máme všechny potřebné zvukové prvky, použili jsme stereofonní a monomobilní zapisovače k zachycení asynchronního okolního zvuku v konkrétních bodech zájmu v každém umístění. Tyto nahrávky dávají zvukovému návrháři čistý obsah, který zvyšuje zájem a zlepšuje směrovost v postprodukci.
Každý den zachycení generuje mnoho souborů. Proto bylo důležité vyvinout systém, který bude sledovat, které soubory odpovídají konkrétnímu umístění nebo snímku fotoaparátu. Naše nahrávací jednotka byla nastavena tak, aby soubory automaticky pojmenovávala podle data a čísla "take". Soubory jsme zálohovali na externí jednotky na konci každého dne. Také jsme zjistili, že je důležité slovně posílat začátek zvukových záznamů. Toto opatření umožňuje snadnou kontextovou identifikaci obsahu v případě, že dojde k problémům s názvem souboru. Bylo také důležité vizuálně zachytit fotoaparát zařízení, protože video a zvuk byly zaznamenány jako samostatné médium a musely být synchronizovány během postprodukce.
Úprava zvuku
Po návratu do studia je prvním krokem při sestavování směrového a imerzivního zvukového prostředí zkontrolovat veškerý zachycený zvuk pro dané místo. Vybereme nejlepší z nich a identifikujeme nejdůležitější body, které je možné použít během integrace. Zvuk se pak upraví a vyčistí. Například houkání auta, které trvá asi sekundu a několikrát se opakuje, může být nahrazeno tišším okolním zvukem ze stejné relace snímání.
Po nastavení úprav videa pro umístění může návrhář zvuku synchronizovat odpovídající zvuk. V tomto okamžiku posuzujeme jak záznam zvuku z fotoaparátu, tak mobilní zařízení, abychom se rozhodli, které prvky by vytvořily nejlepší imerzivní zvukovou scénu. Zjistili jsme, že je užitečné dát všechny zvukové prvky do zvukového editoru a vytvořit rychlé lineární napodobení, abychom mohli experimentovat s různými nápady na mix. Tento krok nám dal lepší představu o tom, kdy nastal čas vytvořit skutečné scény HoloTour.
Sestavení scény
Prvním krokem k vytvoření 3D ambientní scény je vytvoření postele s obecnými zvuky ambientních smyček na pozadí, které budou podporovat další funkce a interaktivní zvukové prvky ve scéně. K implementaci přistupujeme holisticky podle kritérií návrhu pro každou konkrétní scénu. Některé scény se můžou indexovat směrem k použití synchronizovaného snímku z fotoaparátu. Další "filmové" momenty mohou vyžadovat kurátorovaný přístup, který spoléhá na diskrétně umístěné zvuky, interaktivní prvky a hudbu.
Když jsme indexovali zvuk pořízený kamerou, umístili jsme zářiče okolního zvuku s podporou prostorového zvuku, které odpovídaly směrové orientaci fotoaparátů. Pohled na severní kameru přehrává zvuk ze severního mikrofonu a podobně i pro ostatní směry. Tyto emitory jsou světově uzamčené, což znamená, že se zvuk změní, když uživatelé otočí hlavu. Tato technika efektivně modeluje zvuk stojícího na daném místě. Poslechněte si Piazza Navona nebo The Pantheon, kde najdete příklady scén, které používají dobrou kombinaci kamerou zachyceného zvuku.
Při jiném přístupu někdy přehráváme stereofonní atmosféru pomocí zářiče prostorového zvuku, které jsou umístěny kolem scény. Tyto emitory přehrávají jednorázové zvuky náhodné hlasitosti, výšky tónu a frekvence triggerů. Tato technika vytváří atmosféru, která má lepší smysl pro směr. Například v Aguas Alienates můžete slyšet, že každý kvadrant panoramatu má specifické emitory, které zvýrazňují konkrétní oblasti geografie, ale společně vytvářejí celkovou imerzivní atmosféru.
Tipy a triky
Existují i další způsoby, jak zvýraznit směrovost a zlepšit ponoření, aby bylo možné plně využít možnosti prostorového zvuku HoloLensu. Seznam jsme uvedli tady. Poslechněte si tyto účinky při příštím vyzkoušení HoloTouru.
- Hledat cíle: Tyto zvuky se aktivují při pohledu na konkrétní objekt nebo oblast holografického rámce. Podívejte se například na kavárnu v ulici na římském náměstí Piazza Navona, která mírně aktivuje rušné zvuky restaurace.
- Místní vize: Cesta přes HoloTour obsahuje určité "beaty", kdy průvodce, s pomocí hologramů, zkoumá téma do hloubky. Například když se fasáda Pantheonu rozpouští, aby odhalila oculus, ozvěna, která byla umístěna jako 3D emitor zevnitř Pantheonu, uživatele vybízí k prozkoumání interiéru.
- Vylepšená směrovost: Do mnoha scén jsme umístili zvuky různými způsoby, abychom přidali směrovost. Například ve scéně Pantheonu byl zvuk fontány umístěn jako samostatný emitor tak blízko uživateli, aby při procházce po herním prostoru získal pocit "zvukové paralaxy". Ve scéně Salinas de Maras v Peru byly zvuky jednotlivých malých proudů umístěny jako samostatné emitory, aby se vytvořilo více imerzivní prostředí, obklopující uživatele autentickými zvuky tohoto místa.
- Emitor spline: Tyto emitory se pohybují v 3D prostoru na základě vizuální pozice objektu, ke kterému jsou připojeny. Příkladem je vlak v Machu Picchu, kde jsme použili zářič spline k poskytnutí jedinečného pocitu směrovosti a pohybu.
- Hudba a SFX: Některé aspekty HoloTour, které představují více stylizovaný nebo filmový přístup, používají hudbu a zvukové efekty ke zvýšení emocionálního dopadu. Například gladiátor bitva na konci turné Řím používá speciální efekty, jako jsou whooshes a stingers posílit účinek popisků, které se objevují ve scénách.