Případová studie – HoloTour

HoloTour pro Microsoft HoloLens nabízí imerzivní 3D osobní nádech ikonických umístění po celém světě. Jak zjistili návrháři, malířé, producenti, audio designeri a vývojáři pracující na tomto projektu, vytváří přesvědčivě skutečné 3D vykreslování dobře známého místa a využívá jedinečnou kombinaci kreativních a technologických průvodců. Tato případová studie vás provede procesem zachycení a vytvoření obsahu používaného pro HoloTour.

Tech

S HoloTourem jsme chtěli lidem zajistit, aby mohli navštívit některé z nejsnazších cílů na světě, jako je obchůdky Namho Picchu v Itálii nebo moderní den v Itálii, a to přímo z jejich vlastních obývák. Naším týmem bylo cílem HoloTouru ", abyste měli pocit, že tam skutečně jste". Prostředí potřebovalo více než jen obrázky nebo videa. Využitím jedinečné technologie zobrazení, sledování a zvuku v HoloLens věříme, že vás můžeme prakticky převozovat na jiné místo. Potřebovali bychom zachytit sytou, zvuky a trojrozměrnou geometrii každé lokality, kterou jsme navštívili, a pak ji znovu vytvořit v naší aplikaci.

K tomu jsme potřebovali 360° kameře s obousměrným záznamem zvuku. Potřebovalo se zachytit v extrémně vysokém rozlišení, aby záběry při přehrání na HoloLens vypadaly nesváženě a fotoaparáty by musely být blízko sebe, aby se minimalizovaly spojování artefaktů. Chtěli jsme úplné sférické pokrytí, nejen podél horizontu, ale také nad a pod sebou. Tato návazná zařízení musí být také přenosná, abychom ji mohli vzít po celém světě. Vyhodnotili jsme dostupné možnosti a uvědomili jsme si, že prostě nebyly dostatečně dobré k realizaci naší vize – ať už kvůli rozlišení, nákladům nebo velikosti. Pokud bychom nenašli zařízení pro fotoaparáty, které by uspokojili naše potřeby, musíme si ho vytvořit sami.

Sestavení rigu

Na první verzi, která byla vytvořena Velcro, páskou a 14 fotoaparáty GoPro, byla na macGyver hrdá. Po prověrce všeho od řešení nižší kategorie až po vlastní vyrábí gopro kamery byly pro nás v konečném důsledku nejlepší volbou, protože byly malé, cenově dostupné a měly snadno použitelný úložný prostor v paměti. Malý provedení byl obzvláště důležitý, protože nám umožnil umístit fotoaparáty poměrně blízko k sobě – menší vzdálenost mezi fotoaparáty, tím menší budou spojovací artefakty. Naše jedinečné uspořádání fotoaparátů nám umožnilo získat úplné pokrytí kouli a dostatečný překrývání, aby bylo možné inteligentně zarovnat fotoaparáty a během spojování vyhladit některé artefakty.

Využití prostorového zvuku v systému HoloLens pro vytvoření působivě skutečného imerzivního prostředí. Použili jsme pole se čtyřmi mikrofony umístěné pod fotoaparáty na stativu, které by zachytilo zvuk z místa fotoaparátu ve čtyřech směrech, což nám dává dostatek informací k vytváření prostorových zvuků na našich scénách.

Naše 360° kameře je nastavená pro filmování mimo Zařízení pro 360° fotoaparátů.

Naše 360° kameře je nastavená pro filmování mimo Zařízení pro 360° fotoaparátů.

Otestovali jsme naši sanitku v rattlesnakeu u Seattlu, která zachycuje krajinu v horní části krajiny. Přestože je výsledek výrazně méně vylašovaný než místa, která dnes vidíte v HoloTouru, dal nám jistotu, že náš návrh rigy byl dostatečně dobrý, abyste měli pocit, že tam skutečně jste.

Upgradovali jsme naši rigu z Velcro a vylepšili na 3D potisknutou kameru a koupili jsme externí balíčky baterie pro fotoaparáty GoPro, které zjednodušují správu baterie. Pak jsme udělali rozsáhlejší test a jeli do San Francisca, kde jsme vytvořili miniaturní prohlídku pobřeží města a ikonického mostu Golden Gate. Tato kamera se používá pro většinu našich zachytávání míst, která v HoloTour navštívíte.

360° filmování kameře v Obu Picchu.

360° filmování kameře v Obu Picchu.

Informace pro pokročilé uživatele

Před filmem jsme potřebovali zjistit, která umístění chceme do naší virtuální prohlídky zahrnout. Byl to první místo, které jsme chtěli odeslat, a chtěli jsme to udělat správně, a proto jsme se rozhodli provést průzkumné cesty předem. Poslali jsme tým šesti lidí , včetně malířů, návrhářů a tvůrců, na návštěvu osobně na weby, o které uvažujeme. Cesta trvala přibližně 9 dnů – 2,5 pro cestu, zbytek pro filmování. (Pro Obu Picchu jsme se rozhodli nejet na průzkumnou cestu, dopředu se zkoumat a rezervovat si pár dnů vyrovnávací paměti pro filmování.)

V Době, kdy tým posouvá fotky každé oblasti a zdůchoval zajímavá fakta a také praktické aspekty, například jak obtížné je se dostat na jednotlivá místa a jak obtížné by bylo filmovat kvůli housům nebo omezením. To může znít jako dovolená, ale je to spousta práce. Dny začaly brzy ráno a až do večera by neskonal. Každou noc byly nahrané záběry pro tým zpátky v Seattlu ke zhodnotění.

Naše posádka zachytávání v Sémě.

Naše posádka zachytávání v Sémě.

Po dokončení průzkumné cesty byl hotový plán skutečného filmování. To vyžadovalo podrobný seznam toho, kde budeme filmovat, v jaký den a kdy. Každý den je nákladný, takže tyto cesty musely být efektivní. Naše průvodci a obslužné rutiny jsme si v Teslu rezervovat, aby nám pomohli a plně používali každý den od před začátkem až po západ. Potřebujeme získat co nejlepší záběry, abyste měli pocit, že tam skutečně jste.

Zachycení videa

Provedení několika jednoduchých věcí během zachytávání může usnadnit zpracování po zpracování. Když například sloučíte obrázky z několika fotoaparátů, zobrazí se vizuální artefakty, protože každý fotoaparát má trochu jiné zobrazení. Čím blíž jsou objekty fotoaparátu, tím větší je rozdíl mezi zobrazeními a čím větší budou spojující artefakty. Tady je jednoduchý způsob vizualizace problému: přidržte palcem před tváří a podívejte se na něj jen jedním okem. Teď zamknete oči. Uvidíte, že se zdá, že se váš kryptografický otisk posune vzhledem k pozadí. Pokud držíte palcem dál od tváře a experiment zopakujete, bude se zdát, že se jeho kryptografický otisk posune méně. Tento zjevný pohyb se podobá problému spojování, který jsme řešili: Vaše oči jako naše kamery nevidí úplně stejný obrázek, protože jsou oddělené malou vzdáleností.

Protože je mnohem jednodušší zabránit nejhorším artefaktům při filmování, než jejich oprava při zpracování, pokusili jsme se udržet lidi a věci daleko od fotoaparátu v nazích, že bychom mohli eliminovat potřebu spojování detailů objektů. Údržba velkého mazání fotoaparátu byla pravděpodobně jedním z největších výzev, které jsme během střílení museli řešit, a proto jsme museli být kreativní, aby to fungovalo. Práce s místními průvodci byla obrovská pomoc při správě homů, ale zjistili jsme také, že použití značek (a někdy i malých conech nebo beanových obalů) k označení našeho filmového prostoru bylo přiměřeně efektivní, zejména proto, že jsme v každém umístění potřebovali získat jen malé množství záběrů. Často byl nejlepší způsob, jak získat dobré zachycení, jen velmi brzy ráno, než se většina lidí objevila.

Některé další užitečné techniky zachycení pocházejí přímo z tradičních filmových postupů. Například jsme použili kartu pro opravu barev na všech fotoaparátech a zachytili jsme referenční fotky textur a objektů, které bychom mohli potřebovat později.

Hrubý řez Odmou Picchu, který znázorňuje kartu pro opravu barev

Hrubý řez záběrů před spojováním.

Zpracování videa

Zachycení 360° obsahu je pouze prvním krokem – k převodu nezpracovaných záběrů z kamery na konečné prostředky, které vidíte v HoloTour, je potřeba velké množství zpracování. Když jsme se vrátili domů, potřebovali jsme vzít video ze 14 různých kanálů z fotoaparátu a přetát ho na jedno nepřetržité video s minimálními artefakty. Náš artový tým použil řadu nástrojů ke zkombinování a vylaštění zachycených záběrů a vyvinuli jsme kanál, který optimalizuje zpracování co nejvíce. Záznamy bylo třeba spojit, opravit barvu a pak spojit, aby se odstranily rušivé prvky a artefakty nebo aby se doplnily životy a pohyby, a to vše s cílem vylepšit pocit, že se tam skutečně nachází.

Hrubý řez záběrů před spojováním.

Hrubý řez záběrů před spojováním.

Ke spojování videí jsme použili nástroj s názvem PTGui a integrli jsme ho do kanálu zpracování. V rámci zpracování jsme extraholi snímky z našich videí a našli jsme spojovací vzor, který pro jeden z těchto snímků vypadal dobře. Pak jsme tento vzor použili na vlastní modul plug-in, který našim video malířům umožnil vyladit a upravit spojovací vzor přímo při kompozicích v aplikaci After Effects.

Snímek obrazovky s PTGui zobrazující soušedé záběry

Snímek obrazovky s PTGui zobrazující soušedé záběry

Přehrávání videa

Po dokončení zpracování záběrů máme bezproblémové video, ale je mimořádně velké – přibližně v rozlišení 8 000. Dekódování videa je nákladné a jen velmi málo počítačů dokáže zpracovat 8 000 videí, takže další výzvou bylo najít způsob, jak toto video přehrát HoloLens. Vyvinuli jsme několik strategií, jak se vyhnout nákladům na dekódování, a přitom si uživatel bude pořád přihlížet, jako by si prohlížel celé video.

Nejjednodušší optimalizací je vyhnout se dekódování částí videa, které se příliš nemění. Napsali jsme nástroj pro identifikaci oblastí v každé scéně, které mají malý nebo žádný pohyb. V těchto oblastech místo dekódování videa jednotlivé snímky zobrazíme statický obrázek. Aby to bylo možné, rozdělili jsme masivní video do mnohem menších bloků dat.

Také jsme se ujistili, že se všechny dekódované pixely používají nejhosnaněji. Experimentovali jsme s technikami komprese, které snižují velikost videa. Rozdělíme oblasti videa podle mnohoúhelníků geometrie, na které se bude promítovat. Upravili jsme UV a znovu zabalili videa podle toho, kolik detailů obsahuje různé mnohoúhelníky. Výsledkem této práce je, že z toho, co začalo jako jedno 800 videí, se přeměnil na mnoho bloků dat, které vypadají téměř nesrozumitelné, dokud se správně nepřemítnou do scény. Vývojáři her, kteří rozumí mapování textur a balení uv, to bude pravděpodobně vypadat povědomě.

Úplný pohled na scenár před optimalizací.

Úplný pohled na scenár před optimalizací.

Pravá polovina videa zpracuje přehrávání videa.

Pravá polovina videa zpracuje přehrávání videa.

Příklad jedné oblasti videa po optimalizaci a balení

Příklad jedné oblasti videa po optimalizaci a balení

Dalším trikem, který jsme použili, bylo vyhnout se dekódování videa, které aktivně prohlížíte. V HoloTour můžete v daném okamžiku zobrazit pouze část úplné scény. Dekódujeme jenom videa v rámci vašeho pole (FOV) nebo krátce mimo ně. Při otočení hlavu začneme přehrajte oblasti videa, které jsou teď ve vašem FOV, a zastavíte přehrávání, které už v něm nejsou. Většina lidí to ještě nevšimnete, ale pokud rychle provedete, uvidíte, že video se začne trvat, takže se vám zobrazí statický obrázek, který se po jeho dokončení nahraje zpátky na video.

Aby tato strategie mohla pracovat, vyvinuli jsme rozsáhlou systém pro přehrávání videí. Optimalizujeme kód pro přehrávání nízké úrovně, aby bylo přepínání videa extrémně efektivní. Kromě toho jsme museli všechna videa kódovat speciálním způsobem, aby bylo možné kdykoli rychle přejít na libovolné video. Tento kanál přehrávání trval značnou dobu vývoje, takže jsme ho implementovali ve fázích. Začali jsme s jednodušším systémem, který byl méně efektivní, ale umožnil návrhářům a umělcům pracovat na tomto prostředí a pomalu ho zdokonalit pro robustnější systém přehrávání, který nám umožnil dodávat na finálním panelu kvality. Tento finální systém měl vlastní nástroje, které jsme vytvořili v rámci Unity, aby bylo možné nastavit video v rámci scény a monitorovat modul pro přehrávání.

Opětovné vytváření objektů poblíž místa v 3D

Videa tvoří většinu toho, co vidíte v HoloTour, ale existuje spousta 3D objektů, které se zobrazí blízko sebe, jako je například malování v Piazza Navona, Fountain mimo Pantheon nebo v horké bublině Air, kterou znáte pro letecké scény. Tyto 3D objekty jsou důležité, protože vnímání lidského hloubky je velmi dobré zavřít, ale ne velmi dobré. Na dálku se můžeme dostat s videem, ale pokud chcete uživatelům dovolit, aby provedli své místo a vypadali v okolí, je potřeba mít hloubku. Tato technika je podobná jako v případě, že se vám může zobrazit v přirozené historii Museum – obrázek je diorama, který v popředí obsahuje fyzické Landscaping, rostliny a vzorky zvířat, ale recedes na malování s maskováním matného podkladu na pozadí.

Některé objekty jsou jednoduše 3D prostředky, které jsme vytvořili a přidali do scény za účelem vylepšení prostředí. Vykreslování a bublina horkého vzduchu spadají do této kategorie, protože nebyly přítomny při filmu. Podobně jako u herních prostředků byli vytvořeným prostorovým interpretem v našem týmu a vhodně textur. ty jsou v blízkosti místa, kde se nacházíte, a herní stroj je může vykreslit do dvou HoloLens zobrazí tak, aby se zobrazily jako 3d objekt.

Další prostředky, jako je Fountain mimo Pantheon, jsou reálné objekty, které existují v umístěních, kde pracujeme na videu, ale pokud chcete tyto objekty přenést z videa a do 3D, musíme udělat několik věcí.

Nejdřív potřebujeme další informace o jednotlivých objektech. V umístění pro účely filmu náš tým zachytil spoustu referenčních záběrů těchto objektů, takže máme dostatek podrobných imagí pro přesné opětovné vytvoření textur. Tým také provedl kontrolu Photogrammetry , která sestaví 3D model z desítek 2D obrázků a poskytuje hrubý model objektu ve dokonalém měřítku.

Jak zpracováváme naše záběry, objekty, které budou později nahrazeny prostorovou reprezentací, se z videa odeberou. 3D Asset je založen na modelu Photogrammetry, ale naši interprety vyčistili a zjednodušili. U některých objektů můžeme použít části videa, jako je například vodní textura na Fountain, ale většina Fountain je teď 3D objekt, který uživatelům umožňuje vnímat hloubku a procházení kolem něj v omezeném prostoru v prostředí. Má téměř prostorové objekty, jako by to bylo významně přičteno k smyslům realit a pomáhá zajišťovat uživatele ve virtuálním umístění.

Pantheon záběr s Fountain odebranými. Bude nahrazena 3D Assetem.

Pantheon záběr s Fountain odebranými. Bude nahrazena 3D Assetem.

Konečné myšlenky

V některých případech jsme k vytvoření tohoto obsahu měli ještě víc, než jsme to udělali. K dispozici je několik scén – rádi se jim říká nemožná perspektiva – včetně horké bubliny v duchu a Gladiator boje v Colosseum, které trvalo více tvůrčích přístupů. Budeme na ně řešit budoucí případovou studii.

Doufáme, že sdílení řešení k některým větším výzvám, které jsme měli během výroby, je užitečné pro ostatní vývojáře a že jste nechte inspirovati použít některé z těchto postupů, abyste mohli vytvořit vlastní moderní prostředí pro HoloLens. (a pokud to uděláte, zajistěte prosím, abyste ho nasdíleli s námi na fóru pro vývoj aplikací HoloLens.)

O autorech

David Haley David Haley je zkušeným vývojářem, který se dozvěděl více o fotoaparátech a přehrávání videa, než bylo možné pracovat na HoloTour. Danny Askew Danny Askew je interpret videa, který má za to, že vaše cesta přes Řím byla co bezchybného.
Jason Syltebo Jason Syltebo je Návrhář zvuku, který zajišťuje, že se můžete setkat s soundscapeem každého místa, které navštívíte, i když se vrátíte zpět v čase. Travis Steiner Travis Steiner je návrhový ředitel, který znovu prohledává a odkazuje na něj, vytvořil plány cest a prochází na pracovišti.

Viz také