A tervezési folyamat Hologramok

Megjegyzés

Adjon meg egy kis betöltési ablakot, hogy figyelembe vegye az oldalon található összes nagyszerű GIF-et és beágyazott videót.

Tanulás vegyes valóságra való tervezés nehéz lehet, mert a közepes környezet nem mindig fordítja jól a 2D-s tervezési folyamatokra. Itt a Microsoftnál létrehoztunk egy ingyenes alkalmazást a HoloLens 2-es verziójához, amely segít a vegyes valóság első kézből való tervezésének alapjainak elsajátításában. A Designing Hologramok alkalmazás egyedi megközelítése vegyes valóságú viselkedéseket, tippeket és javaslatokat kínál, amelyek segítségével vonzó és lenyűgöző HoloLens saját alkalmazásokat hozhat létre. Töltse le ingyenesen az alkalmazást a Microsoft Store, és tanulja meg a Microsoft Mixed Reality tervezőcsapatát!


Animált GIF a head tracking jelenetről a Designing Hologram bemutatótermében

Hologram bemutatótermének (más néven a house-nak) megtervezése

Tervezés vegyes valósághoz

Sokakhoz hasonlóan mobilalkalmazásokat is terveztam. Egy 2D-s tervezési világból való, a térbeli számítástechnika, ahol most minden a világon van, jelentős váltás volt. Vegyes valóságban az alkalmazások már nem korlátozódnak egy 2D-s képernyőre; Valójában szinte ingyenesek, a való világba kerülnek, és valós objektumokkal kommunikálnak.

Számomra a 3D-élmények hagyományos 2D-s tervezési folyamatokkal való összekapcsolása a vegyes valóságú fejlesztés legnagyobb kihívást jelentő aspektusa. Az ügyfelekkel folytatott beszélgetések során a következőhöz hasonlót hallanék: "Tudom, hogy milyen funkciókat kell tartalmaznom, és hogyan kell őket bevetni. Ez kód, követem a dokumentumok és az oktatóanyagok, de a felhasználói élményt? Ilyen sok funkció, különböző bemeneti lehetőségek, különböző forgatókönyvek és fizikai környezetek túlterhelt".

A san franciscoi HoloLens 2.tervezési workshop képe a HoloLens 2 tervezési workshoprólSan Franciscóban

Lehetőség a tanításra

Elsőre nem volt nyilvánvaló, de kiváló lehetőség nyílt arra, hogy a vegyes valóságot közepesként használjuk a tanításhoz.

A Hologramok egy vizuális élmény, amely a vegyes valóság tervezési fogalmait és javaslatait ismerteti. Csak Ön és egy virtuális tanár mutatja be a vegyes valóság tervezési fogalmait. Minden harmadik személy szemszögéből, a saját térben való, határozott tapasztalattal.


Előzetes Hologramok megtervezése – videó

Ismerkedés a house-zal

A house az a virtuális környezet, amely az alkalmazás egészében használatban van. A környezet egy 80 x 60 x 40 cm méretű helyiség, amely azokat az alapelemeket tartalmazza, amelyek a legtöbb helyiségben közösek, például a fal, a padló, a berendezés, egy tábla és egy TV. Az alkalmazásélmény főhőse a house, ezért meg kellett győződni arról, hogy minden környezetben nagyszerűen működne. Gondoljon rá úgy, mint egy kis bemutatóteremre, ahol különböző vegyes valóságú fogalmakat lehet vizualizálni.

Videó aHouse módosítási viselkedéséről

1:1-es és 1:10-es prototípusok

A kezdeti feltételezésünk az volt, hogy az 1:1 bemutatók lenyűgözőek voltak, szinte olyan, mintha egy valódi oktatót nézne. A felhasználó mindent látni fog, amit a tanár lát valós méretekben. Azonnal rájöttünk azonban, hogy van néhány probléma:

  • A legtöbb fejlesztő irodában vagy a bemutatótermnél kisebb helyiségekben futtatja az alkalmazásait, így az nem férne el.
  • A kijelzők additívak, ami azt jelenti, hogy a teljes virtuális környezet át lesz ásva a felhasználó helyiségére. Ez összezavarhatja a két táblát, esetleg a kétemezreseket és a nem illeszkedő falat.
  • A legrosszabb esetben egy adott látómező által korlátozott virtuális környezet.

Amikor kipróbáltunk egy mini 1:10-es skálát, az eredmény egy valósághű teremben egy remek madártűnnézet volt. Mindent láthatott, ami minden szögből egyszerre történt. A legmegbűvőbb az volt, hogy a tesztelők nagyban lebilincselőnek találta, hogy egy kisebb verziót látnak, és soha nem válthattak vissza az 1:1-es skálára. Ezért úgy döntöttünk, hogy az 1:1-es verziót is leküldjük, és elkerüljük a felhasználói felület és az alkalmazás egyéb aspektusainak alkalmazkodó felesleges munkáját.

Nézet mező 1:1 méretarányúnézetmező 1:1 skálával

Nézet mező 1:10-es skálázvaNézetmező 1:10 skálázva

A Vegyes valóság rögzítése

Az alkalmazás egyik legjellemzőbb jellemzője, hogy a Vegyes valóság rögzítése a vegyes valóság tervezési fogalmait tanítják és mutatják be.

A Microsoft rendelkezik egy Vegyes valóság rögzítése Studióban San Franciscóban. A Microsoft más stúdióknak is licenceli ezt a technológiát, például az Avatar Dimensiont Washington D.C.-ben, a Metastage-et Los Angelesben, a Dimension Studióval Londonban, az SK Telecom in Szöulban és a Volucap-t Londonban. A fejlesztői stúdióinkról itt talál Vegyes valóság rögzítése további információt.


Daniel Escudero nyers felvételei a Vegyes valóság rögzítése Studio egyik 106 kamerájából San Franciscóban.

A rögzítési folyamat létrehoz egy kulcskeretes hálót, normál és textúraszerkezetet, amely OBJ/PNG-fájlként kézbesítve további éles üzem utáni használatra, vagy lejátszásra kész H.264 tömörített MP4-fájlként. Ezek a fájlok importálhatók Unity-, Unreal-, Native- és WebXR-projektekbe. A fájlok a Windows, iOS, Mac, Android, Magic Leap és Playstation VR rendszeren futtathatók.


A Capture Player a hang- és beágyazott hálókat tartalmazó mp4-eket elemzi.

Rögzítések és virtuális objektumok manipulálása

Mixed Reality captures az emberek vagy állatok virtuális ábrázolásait készíti el, de időnként szükség lehet arra, hogy ezek a karakterek más virtuális objektumokkal is interakcióba lépjenek. Az alábbi két példa a színfalak különböző módjait mutatja be ennek a hatásnak az eléréséhez.

Fej tekintetének módosítása

A headgaze beállítással futásidőben mozgathatja a rögzített személy fejét, ami azt jelenti, hogy a rögzítési arcot a felhasználó felé mozgathatja. Ebben az esetben a nézet és a fontos mező megtekintésére használtuk. Az alábbiakban egy mozgó gameobject látható, amely a fej tekintetének céljaként viselkedik. A cél mozgatása az oldalról oldalra, a rögzítés fejét követi.

Ezzel a trükkel győződtünk meg arról, hogy a tétlen rögzítés mindig a játékház különböző részein elhelyezett hologramokkal szemben áll.

A Capture fejét futásidőben áthelyezik egy cél gameobject után a Unityben

A Capture fejét futásidőben áthelyezikegy cél gameobject után a Unityben.

Animált objektumok szinkronizálása

A második az objektumok animatizálása volt a rögzítés mozgásával való szinkronizáláshoz. Az alkalmazás különböző részeiben öt képkockánként egy adott rögzítés szekvenciális OBJ-it importáltunk. Az OBJ-ket ezután animálták a jelenetben, hogy biztosan megegyeznek a rögzítés megfelelő képkockáival. Ez az animatálás és a kulcstörés fárasztó folyamata, de az eredmény nagyszerű. Most már látható egy Vegyes valóság rögzítése, amely nem rögzített objektumokkal kommunikál.

Szinkronizált animáció egy Vegyes valóság rögzítése felhasználói felület panelje között

Szinkronizált animáció egy Vegyes valóság rögzítése felhasználói felület panelje között

A felhasználói felület kreatív folyamata

Amikor elkezdtük a felhasználói felület tervezését, szeretnénk megmutatni a hologramok által kínált lehetőségeket és lehetőségeket. A statikus 2D ablakok és szövegmezők megjelenítése nem tűnik megfelelőnek a 3D-s világban. A rendelkezésre álló lehetőségek közül sok nem áll rendelkezésre, ezért a kezdetektől úgy döntöttünk, hogy továbblépünk, és teljes mértékben ki szeretnénk használni a holografikus 3D-helyet.

Először a panelek, ikonok és szöveginformációk vastagságának hozzáadásával kezdtük. Felhasználóként azonban egy szövegmezőt látok. Szövegmezők képekkel, de még nem vagyunk ott. Továbbmentünk a Mixed Reality Eszközkészlet (MRTK) árnyékolásának használatával. Az MRTK-árnyékolók hatékony eszközsé váltak, és a sablon funkcióival negatív mélységet adtunk a panelekhez. Ez azt jelenti, hogy ahelyett, hogy elemeket ad hozzá egy szövegdobozhoz, az ikonok egy transzparens panel mögött jelennek meg. Amit most felhasználóként látok, az olyan dolog, amit többé nem tudok replikálni a való világban, és itt kezdődött a holografikus varázs. Emellett felhasználóként nem igazán szeretek olvasni, már sok mindent tudok tenni a fizikai világban.

Nyilvánvaló, hogy az ikonok sokkal jobban működnek, mint az egyszerű szövegek, így még hatékonyabb útmutatásként elkezdtem animált objektumokat és avatarokat létrehozni, amelyek egy-egy apró történetet mesélnek el az adott forgatókönyvben végzett munkáról és annak felhasználási módjairól.

Interaktív holografikus menürendszer animált GIF-fájlja

Alapfogalmak

Fejkövetés és szemkövetés

Kézkövetés

Térbeli tudatosság

Holografikus képkocka

Animált GIF egy felhasználóról, aki a holografikus kerettel van kiemelve a várházban

Koordináta-rendszerek

Animált GIF egy felhasználóról, aki a várházban van, és a koordinátarendszerek ki vannak emelve

Szemkövetés

Animált GIF egy felhasználóról, aki álló hologramokat néz, és a tekintete ki van emelve

Helyiség vizsgálati vizualizációja és térbeli leképezése

Animált GIF a leképezni a leképezett ház összes felületéről

Jelenetértés

Animált GIF a felismert objektumokról ahouse-ban

Point and commit with hand rays (Rámutatás és véglegesítés kézzel sugárokkal)

Animált GIF, amikor egy felhasználó egy kiemelt kéz sugarával emeli ki a kézzel

"Kipróbálom" pillanat

A Hologramok a vegyes valóság alapfogalmait tanítja meg, de lehetővé teszi a helyiségben való próbálkozást is. A magyarázatok némelyike után szünetelünk, és kiveszünk a játékból egy interaktív pillanatba. Íme néhány példa ezekre az interaktív pillanatra:

Animált GIF a kézkövetési képkockáról, amely a kéz észlelésének és a megtekintési mezőre való belépésnek az észlelését mutatja

A kézkövetési képkocka, amely azt mutatja, hogy mikor észlelnek kézeket, és mikor lépnek be a nézetmezőbe.

Animált GIF: a távoli interakció során összeütköző üvegekkel való interakció

A távoli interakció során ütközési üvegekkel való interakció

Animált GIF a közel interakciós megfizethetőség vizsgálatával

A közel interakciós megfizethetőség feltárása

A csapatról

Daniel Escudero képe Daniel Escudero
Vezető műszaki tervező
Dan a Hologramok tervezésének kreatív igazgatója, és jelenleg vezető tervezőként dolgozik a Microsoft san franciscói Mixed Reality Academyén, korábban pedig a Microsoft egyik Mixed Reality Studióban, Londonban.
Martin Wettig képe Martin Wettig
Vezető 3D-előadó
Martin vezetőként vezeti a 3D Art and UI Design on Designing Hologramok és korábban vezető 3D-előadó volt a Microsoft egyik Mixed Reality Studióval Párizsban.

Nagyon köszönjük a Mixed Reality tervezőcsapatának, hogy ilyen sok tudást oszt meg, és az Objektumelmélet nagyszerű tagjainak, akik a projekt minden lépésében alapvető csapattársaik voltak. Köszönjük mindenkinek a nagyszerű és nagyszerű tervezői szenvedélyét.