Esettanulmány – Emberek ábrázolása vegyes valóságban

James Tu tulipán világossal tervez. A munkáiba való belépve mélyedik el a mélység és a fókusz. A fal közel és végtelenül is látszik, a fény fénye utat ad az árnyéknak. Ismeretlen észlelések, amelyek a fény színének és színének körültekintő kiegyensúlyozása által vannak megtervezve. A Tulipán ezeket az érzeteket úgy írja le, mint "a tekintetével való érzést",amely a valóság megértésének kiterjesztésére nyújt utat. A lenyűgöző világok, amilyeneket Tucitának is képzel, hatékony eszközök az érzékszervek kihasználására, nem úgy, mint a vegyes valóság modern környezetei.

Wide Out – James Tulipán (1998)

Hogyan képviselhet összetett, valós környezeteket vegyes valóságban?

Tubil munkája egy magával ragadó élményben való ábrázolás lenyűgöző kihívást jelent. A világítás, a méretezés és a térbeli hang lehetőségeket kínál a munkája ábrázolása érdekében. Bár a kiállítás geometriai környezete viszonylag egyszerű 3D-s modellezést igényelne, a festők számára másodlagosak: a fény hatása az érzékszervekre.

Tu adata, a szürreális minimalizmus a munkája legszűkebb része, de mi a helyzet akkor, ha összetettebb anyagokat szeretnénk ábrázolni a vegyes valóságban?

Foga – Ai Weiwei (2013)

2013-ban Ai Weiwei festő egy 886 darab, a Biennale-ben található, 886 darabja által felcsatolt műalkotást mutatott be. Minden egyes etikett egy olyan korból érkezett, ahol a kínai kézművelet nagy értéket képviselt, és ezek a fogházak generációk között ürültek volna át. Maguk az öklük – a fából készült részletek, a darab pontossága, gondos elhelyezéseik – kritikus fontosságúak az AI modern kultúrára való írásában.

Az öklűk a hitelességük révén kézbesítik a alkotó üzenetét. A valósághű ábrázolásuk kritikus fontosságú a felhasználói élmény szempontjából, ami egy technikai kihívást jelent: A 886-os 886-os labdák kézzel való létrehozása hatalmasan teljes és költséges lenne. Mennyi ideig tart a modellezés és a pozíció? Hogyan tartható fenn az anyag hitelessége? Ezeknek az objektumoknak az újralétrehozása sok szempontból magát az műalkotást értelmezi. Hogyan őrizheti meg a festő szándékát?

Vegyes valóságú adateszközök rögzítési módszerei

Az új dolog létrehozásának alternatívája a valódi adatok rögzítése. A rögzítési módszerek egyre fejlődő készletével a vegyes valóságban (környezetekben, objektumokban és személyekben) található egyes alapvető eszköztípusok hiteles ábrázolásait fejlesztheti ki.

A széles kategóriák a jól ismert 2D-s videóktól a mennyiségi videók legújabb formáiig esnek. Ai Weiwei kiállítása esetén a vizsgálat (amelyet gyakran az alapvető technikája, a photogrammetry is utal) a kiállítás létrehozása során is lehet alkalmazni, és az egyes öklök vizsgálatával. A 360°-os fénykép- és videórögzítés egy másik módszer a élmény virtualizálása érdekében, amely egy kiváló minőségű, a kiállításon végig elérhető, több irányból is elérhető kamerával rendelkezik. Ezekkel a technikákkal elkezdjük megérteni a méretezés érzetét, ideális esetben elég részlettel ahhoz, hogy lássuk az egyes darabokat a mesterségben. Mindez akkor is így van, ha digitális formában létezik, amely lehetővé teszi, hogy a valóságban ne legyenek új nézőpontok és perspektívák.

2D–Volumetric Video

Milyen lehetőségek jelennek meg, ha nem lehet csupán nagyszerű elemeket létrehozni, de a legreálisabb környezeteket, objektumokat és a vegyes valóságban lévő embereket használni? A módszerek közötti átfedések feltárása segít abban, hogy a adathordozó hová tart.

Környezetek és objektumok esetén a 360°-os képalkotó szoftver a photogrammetry elemeit is magában foglalja. A mélységi információk a jelenetekből való el különülése, a fejlett 360°-os videók segítenek enyhíteni azt az érzést, hogy a fej egy virtuális jelenet körül ólálkodva ragadt.

Az emberek számára új módszerek jelennek meg, amelyek kombinálják és kibővítik a mozgásrögzítést és -vizsgálatokat: A mozgásrögzítés alapvetően használható ahhoz, hogy az emberek részletes emberi mozgást hoznak létre a vizuális hatások és a szemitikus karakterek felé, a vizsgálat pedig fejlett a részletes emberi vizualizációk, például arcok és kéz rögzítéséhez. A renderelési technológia fejlődésével egy új, mennyiségi videónak nevezett metódus építi fel ezeket a technikákat, vizuális és mélységi információk kombinálásával a 3D-s emberi rögzítések következő generációjának létrehozásához.

Mennyiségi videó és hiteles emberi rögzítés

Az emberek központi szerepet nyernek a történetmesélésben – legértelműbb értelemben: emberi beszéd, előadó vagy a történet tárgya. Napjaink modern, modern élményének legtetszenetesebb és legszemlelőbb pillanatai a közösségi élmények. A vegyes valóság megosztásától a saját szoba vegyes valóságán át a barátok új környezetekben való megosztásán át. Az emberi elem még a legszűkebb valóságot, a valóságot is valósággá teszi.

Gondolkodásmód a VR-ban

A modern élményekben az avatarok újfajta megtestesülést kínálnak a történetmesélésben. A legújabb alkalmazások újragondolják a virtuális törzs tulajdonjogának fogalmát, és egy generációugrás beállításával kiiktatják a távolságokat az emberek között. Az olyan vállalatok, mint a Mindshow, olyan kreatív eszközöket fejlesztnek, amelyek az avatarokat kihasználva teljes mértékben új személyeket és karaktereket venek fel. Mások az emberszerű attribútumok természetének (és szükségességének) feltárására kínálnak korlátlan kreatív lehetőséget. Napjainkban a realizmus hiánya segít elkerülni az emberi hasonlóság szokatlan völgyét, valamint számos technikai problémát a hétköznapi fejlesztők számára. Ezen okokból (és még több) nagy valószínűséggel a belátható jövőben a nem realisztikus avatarok lesznek az alapértelmezettek. Bár a realizmus hatalmas kihívást jelent a vegyes valóság számára, vannak olyan kulcsfontosságú forgatókönyvek, amelyekhez az emberek hiteles ábrázolása szükséges a 3D-térben.

A Microsoftnál a Microsoft Research kis csapata az elmúlt néhány évben olyan módszert fejleszt, amely segítségével egy mennyiségi videó segítségével rögzíthet embereket. A folyamat ma hasonló a videó-előállításhoz: ahelyett, hogy egy formázott eszközre alkalmaznék a mozgást, egy teljes, 3D-s felvétel. A teljesítmény és a kép valós időben lesz rögzített – nem egy festő munkája, hanem egy hiteles ábrázolás. És bár a technológia még csak most kezd terjeszkedni a kereskedelmi alkalmazásokra, a mennyiségi videók következményei kritikus fontosságúak a Microsoft több személyes számítástechnikával kapcsolatos elképzelése szempontjából.

Volumetric video SIGGRAPH 2015

A hiteles emberi rögzítés a vegyes valóság új, egyedi kategóriáit teszi elérhetővé. Ha egy felismert hírességet, munkatársat vagy hírességet lát, az olyan mély intitúdságot hoz létre, amely egy digitális adathordozón korábban nem volt lehetséges. Az arcuk, a kifejezéseik, a mozgásuk árnyaltságai mind a szerepük részét képezi. Milyen lehetőségeket nyitunk meg, ha ezeket az emberi tulajdonságokat rögzítjük 3D-térben?

Napjainkban a csapat a mennyiségi videók határát a szórakoztatóiparra és az oktatásra összpontosítva szeretné leküldeni: Az Actiongram kreatív karaktereket és hírességeket kínál vegyes valóságú történetek létrehozásához. Cél:A Marson jelenleg a NASA Fog Space Centerében található egy mennyiségi videó, amely Az űrhajósOk Neves Aldrinról készült. Ez a felület lehetővé teszi a látogatóknak, hogy a Mars felszínén járják a Marsot, miközben bevezeti az emberi kettőspontosítást a Marson.

Az emberek alapvető fontosságúak a vegyes valósághoz

Ha úgy tervezi meg ezeket a videókat, hogy természetesnek tűnnek, az kihívást jelent, de a csapat hatalmas lehetőségeket lát. Ezek a lehetőségek egyre bővülni fognak, ahogy a technológia egyre hozzáférhetőbbé válik, és a felvételekről a valós idejű rögzítésre is áttűn.

A holoportálás olyan kutatási tevékenység, amely ugyanazon alapvető technológiára épül, hitelesen rögzít vizuális és mélységi információkat, és valós időben rendereli az eredményt. A csapat azt vizsgálja, hogy mit jelent a valósághű emberi ábrázolás a beszélgetések és a megosztott élmények jövőjében. Mi történik, ha valakiről a világon bárhonnan hozzáadható egy háromdimenziós rögzítés?

A beszélgetés jövője

Az új modern rétegtől a mindennapos alkalmazásokig , például a Skype-tól a digitális értekezletek és az üzleti utazás fogalmának radikális átformálásáig – a mennyiségi videó egyedi forgatókönyveket nyit meg: Egy szakemberek gyakorlatilag betanítják az orvosokat egy távoli kontinensen, vagy digitális barátokat, akik a saját sajátjaiban ülnek az otthonukon, és ott ülnek az asztalukon. Ha hiteles emberi ábrázolásokat ad hozzá a vegyes valóságú élményekhez, az radikálisan átalakítja a digitális értekezletek és az üzleti utazás fogalmát.

Ahogy James Tulip absztrakt ábrázolása és az Ai Weiwei kritikus realizmusa is kínál saját egyedi technikai kihívásokat, úgy az emberek kreatív avatarként és valósághű rögzítésként való ábrázoló módszerei is. Nem lehet figyelmen kívül hagyni a másikat, és ha felfedezzük a benne rejlő lehetőségeket, megérthetjük az emberi beavatkozást ebben az új térben.

A szerzőről

Mark Vitazko képe Mark Vitazko
UX Designer @Microsoft