Případová studie – reprezentace lidí v hybridní realitě

James Turrell navrhuje světlo. Vstup do jeho práce rozostří pocit hloubky a zaměření. Stěny se zdají být blízké a nekonečné, jas dává cestu stínům. Neznámé vjemy navržené pečlivým vyvážením barvy a difúze světla. Turrell popisuje tyto pocity jako "pocity očima", způsob, jak rozšířit porozumění realitě. Fantastické světy, stejně jako ty, které si Turrell představuje, jsou výkonnými nástroji, které využívají naše smysly, a to ne na rozdíl od dnešních imerzivních prostředí hybridní reality.

Jak představujete komplexní reálná prostředí v hybridní realitě?

Reprezentace Turrellovy práce v imerzivním prostředí představuje poutavou výzvu. Osvětlení, měřítko a prostorový zvuk představují příležitosti k reprezentaci jeho práce. I když geometrické okolí výstavy by vyžadovalo poměrně jednoduché 3D modelování, jsou podružné vzhledem k uměleckému zaměření: vliv světla na smysly.

Turrellův rázný, surrealistický minimalismus je charakteristickým znakem jeho práce, ale co kdybychom chtěli reprezentovat výstavu se složitějšími materiály v hybridní realitě?

V roce 2013 představila umělkyně Ai Weiwei na bienále v Benátkách zamotané umělecké dílo s 886 starožitnými stoličkami. Každá dřevěná stolička pochází z éry, kde byla čínská řemesla vysoce ceněna, kde se tyto stoličky předávaly mezi generacemi. Samotné stoličky – záludnosti dřeva, přesnost kusů, jejich pečlivé umístění – jsou pro komentář Ai k moderní kultuře zásadní.

Starožitné stoličky přinášejí autorovu zprávu prostřednictvím své pravosti. Jejich realistická reprezentace je důležitá pro tuto zkušenost a vytváří technickou výzvu: Ručně vytvarovat každou z 886 stoliček by bylo nesmírně vyčerpávající a nákladné. Jak dlouho by trvalo modelování a umístění? Jak byste zachovali pravost materiálu? Opětovné vytvoření těchto objektů od nuly se v mnoha ohledech stává interpretací samotného uměleckého díla. Jak můžete zachovat záměr umělce?

Metody zachycení prostředků hybridní reality

Alternativou k vytvoření něčeho úplně od začátku je zachycení skutečné věci. Prostřednictvím neustále se rozšiřující sady metod zachycení můžeme vyvíjet autentické reprezentace jednotlivých základních typů prostředků, které se nacházejí v hybridní realitě (prostředí, objekty a lidé).

Široké kategorie sahají od dobře zavedeného 2D videa až po nejnovější formy volumetrického videa. V případě exponátu Ai Weiwei bylo možné při vytváření exponátu použít skenování (často označované základní technikou, fotogrammetrií) a skenovat jednotlivé stoličky samotné. 360° zachycení fotografií a videa je další metodou pro virtualizaci prostředí s využitím vysoce kvalitního všesměrového fotoaparátu umístěného v celém exponátu. S těmito technikami člověk začíná chápat smysl pro měřítko, ideálně s dostatečnými podrobnostmi, aby viděl řemeslné zpracování každého kusu. To vše, zatímco existuje v digitální podobě, která umožňuje nové pohledy a perspektivy, které nejsou možné ve skutečnosti.

Jaké druhy příležitostí se objeví, když můžeme nejen vytvořit fantastické prvky, ale také využít nejrealističtější zachycení prostředí, objektů a lidí v hybridní realitě? Prozkoumání překrývání mezi těmito metodami vám pomůže zjistit, kam médium směřuje.

Pro prostředí a objekty se vyvíjí 360° zobrazovací software, který zahrnuje prvky fotogrammetrie. Izolování hloubkových informací ze scén, pokročilá 360° videa pomáhají zmírnit pocit, že máte hlavu uvíznutou v rybím sádku při prohlížení virtuální scény.

Pro lidi se objevují nové metody, které kombinují a rozšiřují zachycení pohybu a skenování: Zachycení pohybu bylo základem pro přenesení podrobného lidského pohybu k vizuálním efektům a filmovým postavám, zatímco skenování pokročilo k zachycení podrobných lidských vizuálů, jako jsou tváře a ruce. S pokrokem v technologii vykreslování nová metoda označovaná jako volumetric video tyto techniky sestavuje a kombinuje vizuální a hloubkové informace a vytváří tak novou generaci 3D zachycení člověkem.

Volumetrické video a snaha o autentické lidské zachycení

Lidé jsou pro vyprávění příběhů ústřední v tom nejslovnějším smyslu: lidsky hovořící, účinkující nebo jako předmět příběhu. Některé z nejvíce imerzivních okamžiků dnešních počátečních imerzivních prostředí jsou sociální: sdílení prostředí hybridní reality společně ve vašem obývacím pokoji, prohlížení přátel v neuvěřitelných nových prostředích. Lidský prvek dělá dokonce i tu nejfantasičtější realitu, realitu.

Avatary v imerzivních prostředích umožňují nový druh ztělesnění vyprávění. Nejnovější aplikace přehodnocejí koncept vlastnictví virtuálního těla a nastavují generační skok při odstraňování vzdálenosti mezi lidmi. Společnosti, jako je Mindshow , vyvíjejí kreativní nástroje, které využívají avatary a umožňují uživatelům přijímat zcela nové postavy a postavy. Jiní zkoumají metody uměleckého vyjádření, potenciálně neomezenou tvůrčí příležitost prozkoumat podstatu (a nutnost) lidských atributů. V současné době tato absence realismu pomáhá vyhnout se šílenému údolí lidské podoby spolu s celou řadou technických problémů pro každodenní vývojáře. Z těchto (a dalších) důvodů je pravděpodobné, že se v dohledné budoucnosti stanou nereálné avatary výchozími. I když realismus představuje pro hybridní realitu obrovskou výzvu, existují klíčové scénáře, které vyžadují autentické znázornění lidí ve 3D prostoru.

V Microsoftu se malý tým, který se narodil z týmu Microsoft Research, strávil v posledních několika letech vývojem metody pro zachycení lidí prostřednictvím formy volumetrického videa. Dnešní proces se podobá videoprodukci: místo použití pohybu u vytvarovaného prostředku se jedná o plnohodnotný 3D záznam. Představení a obrázek se zaznamenávají v reálném čase – nejedná se o práci umělce, je to autentická reprezentace. A i když se tato technologie teprve začíná rozšiřovat do komerčních aplikací, důsledky multilicenčního videa jsou pro vizi Microsoftu o personalnějších výpočetních operacích zásadní.

Autentické lidské snímky odemykají nové jedinečné kategorie prostředí v hybridní realitě. Když uvidíte někoho, koho poznáte, ať už je to celebrita, kolega nebo někdo, koho milujete, vytvoří se v digitálním médiu hloubky intimity, která nikdy předtím nebyla možná. Jejich tvář, jejich výrazy, nuance v jejich pohybech jsou součástí toho, kdo jsou. Jaké příležitosti otevírá, když můžeme zachytit tyto lidské kvality ve 3D prostoru?

Dnes tým posouvá hranice volumetrického videa tím, že se zaměřuje na odvětví, jako je zábava a vzdělávání: Actiongram obsahuje kreativní postavy a celebrity a vytváří příběhy hybridní reality. Cíl: Výstava Marsu, která je nyní v Nasa Kennedy Space Center, představuje objemové video legendárního astronauta Buzze Aldrina. Tento zážitek umožňuje návštěvníkům chodit po povrchu Marsu s Buzzem, který představuje úsilí o kolonizaci lidí na Marsu.

Lidé jsou pro hybridní realitu zásadní

Navrhování způsobů, jak by tato videa vypadala přirozeně, představuje výzvu, ve které tým vidí obrovský potenciál. A tyto příležitosti se budou rozšiřovat s tím, jak bude technologie přístupnější a přesune se od nahrávek k záznamu v reálném čase.

Holoportation je výzkumná práce, která staví na stejné základní technologii, autenticky zachycuje vizuální a podrobné informace a vykresluje výsledek v reálném čase. Tým zkoumá, co znamená síla realistické reprezentace člověka pro budoucnost konverzací a sdílených zkušeností. Co se stane, když je možné do vašeho prostředí přidat trojrozměrné zachycení někoho z libovolného místa na světě?

Od vrstvení nové úrovně ponoření do každodenních aplikací, jako je Skype, až po zásadní změnu konceptu digitálních schůzek a služebních cest – objemové video otevírá jedinečné scénáře: specialista prakticky školící lékaře na vzdáleném kontinentu nebo digitální přátelé sedící na pohovce a židle ve vašem obývacím pokoji. Přidáním autentické lidské reprezentace do prostředí hybridní reality se zcela změní koncept digitálních schůzek a služebních cest.

Stejně jako abstraktní umění Jamese Turrella a kritický realismus Ai Weiwei nabízí své vlastní jedinečné technické výzvy, tak i metody, které reprezentují lidi jako kreativní avatary a realistické zachycení. Jeden nelze ignorovat ve světle druhého a prozkoumání potenciálu každého z nich nám pomůže porozumět lidské interakci v tomto novém prostoru.

O autorovi

Mark Vitazko Designer @Microsoft uživatelského prostředí