A Galaxy Explorer készítése HoloLens 2
Üdvözli a frissített Galaxy Explorer HoloLens 2 alkalmazás! Galaxy Explorert eredetileg nyílt forráskódú alkalmazásként fejlesztették ki a HoloLens (első generációs) számára a Share Your Idea programon keresztül, és az egyik első vegyes valósági élmény, amelyet sokan tapasztaltak. Most frissítjük a HoloLens 2 új és izgalmas képességeihez.
A Microsoft Mixed Reality Studios egyik tagjaként általában kereskedelmi szintű megoldásokat fejlesztünk, és & tesztelést fejlesztünk a célplatformokon a kreatív és fejlesztési folyamat során. Ezt a projektet a keretrendszerek és eszközök (például az MRTK) használatával kezdjük, amint elérhetővé válnak számunkra és a közösség számára , és szeretnénk önt is magával vinni az utazáshoz.
Az eredeti Galaxy Explorerhez hasonlóan csapatunkis megnyithatja a projektet a GitHubon , hogy a közösség teljes hozzáféréssel rendelkezzen. Emellett teljes átláthatósággal dokumentáljuk, hogyan portoltuk át az MRTK v1-ről az MRTK v2-re, javítottuk a HoloLens 2 elérhető új funkciókkal kapcsolatos élményt, és gondoskodtunk arról, hogy a Galaxy Explorer többplatformos élmény maradjon. Függetlenül attól, hogy a Galaxy Explorert holoLensen (első generációs), HoloLens 2, Windows Mixed Reality headseten vagy az asztali Windows 10 tekinti meg, szeretnénk meggyőződni arról, hogy ön is ugyanúgy élvezi az utazást, mint mi!
Ez a lap a projekt előrehaladása során bővül, és további cikkekre, kódra, tervezési összetevőkre és további MRTK-dokumentációra mutató hivatkozásokat tartalmaz, amelyek segítségével egy insider-betekintő tekintheti meg a projektet.
Alkalmazás letöltése a Microsoft Store-ból a HoloLens 2
Ha HoloLens 2 eszközzel rendelkezik, közvetlenül letöltheti és telepítheti az alkalmazást az eszközére.
Interakciókra gondolva
Kreatív stúdióként eksztatikusak voltunk a Galaxy Explorer HoloLens 2 portjának jogosultsága miatt. Kezdettől fogva tudtuk, hogy azt szeretnénk, hogy az élmény az új eszköz ünnepe legyen, és hogy bemutassuk, hogy Mixed Reality felhatalmazást csak a képzelet korlátozza.
HoloLens 2 lehetővé teszi a felhasználók számára, hogy természetesnek tűnő módon megérintse, megragadják és áthelyezzék a hologramokat – a valódi objektumokhoz hasonlóan reagálnak. A teljesen artikulált kézi modellek csodálatosak, mert lehetővé teszi a felhasználók számára, hogy természetesnek érezve tegyenek. Például mindenki másképpen vesz fel egy csésze csészét – és ahelyett, hogy egy adott módszert kényszerítenél rá, HoloLens 2 lehetővé teszi, hogy az ön módján csináld.
Ez jelentős változás az első generációs HoloLens-eszközökön futó Air Tap-alapú felületekhez. Ahelyett, hogy távolról kommunikálnak a hologramokkal, a felhasználók mostantól "közelről és személyesen" léphetnek fel. Ha a meglévő élményeket áthordja HoloLens 2 vagy újakat tervez, fontos, hogy megismerkedjen a hologramok közvetlen manipulálásával.
Közvetlen manipuláció és a nagy távolságok az űrben
Varázslatos élmény elérni, megragadni egy bolygót, és a kezedben tartani. A kihívás ezzel a megközelítéssel a mérete a naprendszer - ez hatalmas! A felhasználónak körbe kell járnia a szobáját, hogy közel legyen az egyes bolygókhoz, hogy interakcióba léphessenek vele.
Annak érdekében, hogy a felhasználók a távolabbi objektumokkal kommunikálhassanak, az MRTK kézsugarakat kínál, amelyek a felhasználó tenyerének közepéről lőnek ki, és a kéz kiterjesztéseként működnek. A sugár végéhez fánk alakú kurzor van csatolva, amely jelzi, hogy a sugár hol metszik egymást egy célobjektummal. A kurzor által rárakott objektum ezután gestural-parancsokat kaphat a kéztől.
A Galaxy Explorer eredeti verziójában a felhasználó egy bolygót célozna meg a tekintet kurzorával, majd koppintson a levegőre, hogy közelebb hívja. A legegyszerűbben úgy portozhatja az élményt HoloLens 2, ha ezt a viselkedést használja, és kézi sugarakkal választja ki a bolygókat. Bár ez működőképes volt, többre vágytunk.
Vissza a rajztáblához
Azért jöttünk össze, hogy kitaláljuk, mi épülhet a meglévő interakciókra. A gondolkodás a következő volt: Bár HoloLens 2 lehetővé teszi a felhasználók számára, hogy természetes, valósághű módon kommunikáljanak a hologramokkal, a hologramok definíció szerint nem valósak. Tehát amíg egy interakció elfogadható a felhasználó számára, nem számít, hogy ez az interakció lehetséges lenne-e egy valódi objektummal, vagy sem – ezt lehetővé tehetjük.
Az egyik általunk megvizsgált fogalom a telekinézisen alapult – az objektumok elmebeli manipulálására való képességen. A szuperhős filmekben gyakran látható, hogy egy személy kapcsolatba lép az elméjével, és egy objektumot a nyitott kezébe hív. Játszottunk körül az ötlet egy kicsit, és jött egy gyors vázlatot, hogy hogyan működhet a koncepció.
A felhasználó a kézi sugarat egy bolygóra mutogatja, amely célvisszajelzést adna. Mivel a felhasználó ezután kiterjeszti a nyitott kezét, a bolygót egy mágikus erő húzza a felhasználó felé, amíg elég közel nem lesz ahhoz, hogy megragadja. Ezért a mi nevünk az interakció: force grab. Mivel a felhasználó a nyílt kezével eltolná a bolygót, újra visszatérne a pályájára.
Prototyping kényszerítése
Ezután több prototípust hoztunk létre a koncepció teszteléséhez: Hogyan működik az interakció általánosan? A hívott objektumnak meg kell állnia a felhasználó előtt, vagy ragaszkodnia kell a kezéhez, amíg el nem helyezi? A hívott objektumnak módosítania kell a méretet vagy a skálázást a hívás közben?
Implementálási erő az alkalmazásba
Amikor megpróbáltuk megragadni a bolygókon, rájöttünk, hogy meg kell változtatnunk a naprendszer skáláját. Kiderült, hogy a naprendszer pontos, közepes méretű ábrázolását nehéz megérteni és navigálni a felhasználók számára - nem tudták, hol kell keresniük. A kis méretű reprezentáció azonban túl kicsivé tett néhány bolygót, hogy könnyen kiválasztható legyen. Ennek eredményeképpen a bolygók méretét és a napelemek közötti térközt úgy tervezték, hogy kényelmesen érezzék magukat egy közepes méretű helyiségben, miközben fenntartják a relatív pontosságot.
A fejlesztési sprint későbbi szakaszaiban elég szerencsések voltunk ahhoz, hogy az MSFT-hez Mixed Reality szakértőink házon belül tartoztak, így szakértői tesztelőként dolgoztunk, és gyors iterációkat végeztünk a kényszerlekérési interakción.
A képen: Jenny Kam, vezető tervező vezető, tesztelése folyamatban lévő Galaxy Explorer.
Megfizethetőség hozzáadása a célzáshoz
Ahogy a HoloLens 2 kísérleteztünk, azt találtuk, hogy bár az új interakciók természetesek és intuitívak, a hologramok változatlanok maradnak: súly és tapintás nélkül. Mivel a hologramok nem adnak természetes visszajelzést arról, hogy az emberek az objektumokkal való interakció során kapnak visszajelzést, létre kellett hoznunk őket.
Gondoltunk arra a vizuális és hangjelzésre, amelyet a felhasználók az interakciók különböző szakaszaihoz kapnak, és mivel a force grab mechanizmus központi szerepet kap a Galaxy Explorerrel való interakcióban, sok iterációt végeztünk. A cél az volt, hogy megtaláljuk a megfelelő egyensúlyt a hang- és vizuális visszajelzések minden fázisában: összpontosítson a kívánt objektumra, hívja meg a felhasználónak, majd engedje el. Azt tanultuk, hogy több hang- és vizuális visszajelzésre volt szükség az interakció megerősítéséhez, mint a HoloLens (első generációs) esetében.
Megfizethetőség hozzáadása a kényszer megragadáshoz
Miután megvolt az alapvető erő megragad mechanizmus a hang és a vizuális megfizethetőség, megnéztük, hogyan lehet kiválasztani bolygók felhasználóbarátabb. Két fő dolgot kellett kezelnie: Mivel a naprendszer egy 3D mozgó felület, a felhasználók számára összetettebbé tette, hogy megtanulják, hogyan célozhatók meg következetesen az objektumok. Ezt súlyosbította az a tény, hogy a kézi sugár gyorsan kiválaszt egy objektumot, így a bolygók mozognak a felhasználó felé hihetetlenül gyorsan.
Ezt egy háromágú megoldással közelítettük meg. Az első meglehetősen intuitív volt: lassítsa le a kiválasztási folyamatot, hogy a bolygók természetesebb ütemben közelíthessék meg a felhasználót. A sebesség beállítása után újra meg kellett néznünk a hang- és vizuális megfizethetőségeket, és hangvisszajelzést kellett adnunk, ahogy a bolygó a felhasználó felé haladt.
A megoldás második része az volt, hogy a teljes erő megragadó interakciójának vizualizációját kézzelfoghatóvá kell tenni. Egy vastag vonalat vizualizáltunk, amely a megcélzott objektum felé halad, miután a kézi sugár csatlakozik hozzá, majd visszahozza az objektumot a felhasználóhoz – mint egy lasszó.
Végül optimalizáltuk a naprendszer skáláját, hogy a bolygók elég nagyok legyenek ahhoz, hogy a felhasználó tekintete és a kéz sugara megcélzza őket.
Ez a három fejlesztés lehetővé tette, hogy a felhasználók pontos kijelöléseket végezzenek, és intuitív módon hívják meg a bolygókat. Összességében a végső erő megragadásának hatása magával ragadóbb és interaktívabb élmény a naprendszerben.
Reflektorfény a Jupiteren
A Tejútrendszer naptesteinek létrehozása zúgást eredményezett. Különösen a Jupiter egyedi jellemzői teszik láthatóvá. Ez a legnagyobb és legszínesebb a gáz óriások, és több tömeget tartalmaz, mint az összes többi bolygó együtt. A puszta mérete és a turbulencia és a felhődinamika mesmerizáló sávjai különleges művészi figyelmet igényelnek.
Geometria és hálók
Gázóriásként a Jupiter külső héja gázrétegekből áll. A gyors forgási sebesség, a belső hőcsere és a Coriolis-erők kombinációja színes rétegeket és patakokat hoz létre, amelyek hullámzó felhőövekké és örvényekké alakulnak. Ennek a bonyolult szépségnek a rögzítése kulcsfontosságú volt a naprendszerünk létrehozásához.
Azonnal nyilvánvalóvá vált, hogy az olyan vizualizációs technikák használata, mint a folyadékszimulációk és az animált textúrák előre konfigurált streamekkel, nem voltak kérdésesek. A szimulálásához szükséges számítási teljesítmény és minden más egyidejű esemény jelentős káros hatással lett volna a teljesítményre.
A következő megközelítés egy "füst- és tükör" megoldás volt, amely átlátszó textúrarétegek átfedéséből állt, amelyek mindegyike a légköri mozgás egy adott aspektusát kezelte, forgó hálók összetételére lefordítva.
Az alábbi képen a bal oldali belső felület látható. Ez a szőnyegréteg hátteret biztosított a kompozíciónak, hogy védelmet nyújtson a felhőket alkotó több réteg közötti kis rések ellen. A réteg lassú forgása miatt vizuális pufferként is szolgált a gyorsabb mozgó sávok között, hogy segítse a vizuális egységet a rétegek között.
Miután beállította ezt a horgonyt a modellre, a mozgó felhőrétegek az alább látható középső és jobb oldali hálókra lettek kivetítve.
Textúrázás
A meglévő anyagmintát egy háromrészes textúraatlaszra osztották: A felső harmad egy mozgás nélküli felhőréteget üzemeltet, résekkel, hogy parallax hatást biztosítson, a középső szakasz a gyors mozgó külső streameket, az alsó harmad pedig egy lassan forgó belső alapréteget tartalmaz.
A jellegzetes Nagy Vörös Foltot is szétválasztották a különböző mozgó részek, majd beszúrták egy egyébként láthatatlan terület a textúra. Ezek az összetevők az alábbi kép középső szakaszában látható vörös színű foltként tekinthetők meg.
Mivel minden sáv adott iránysal és sebességgel rendelkezik, az anyagmintát egyenként alkalmazták az egyes hálókra. A hálók ekkor egy közös középponttal és kimutatásponttal rendelkeztek, amely lehetővé tette az egész felület koncentrikus animálását.
Forgatási és anyagmintázati viselkedés
Miután beállítottuk a Jupiter vizuális összetételét, gondoskodnunk kellett arról, hogy a forgási és pályasebességek megfelelően legyenek kiszámítva és megfelelően alkalmazva. Nagyjából 9 órát vesz igénybe, hogy a Jupiter teljes rotációt végezzen. Ez definíció kérdése a különbségi rotáció miatt. Ezért az egyenlítői stream "fő streamként" lett beállítva, és 3600 képkockát vesz igénybe a teljes forgatáshoz. Minden más rétegnek 3600-as forgási sebességre volt szüksége ahhoz, hogy megfeleljen a kezdeti helyzetének, például 600, 900, 1200, 1800 stb.
A nagy vörös folt
Az egyénileg forgó streamek jó vizuális benyomást keltenek, de közelről megfigyelve nem adták meg részletesen.
A legszembecsűbb rész a Jupiter Nagy Vörös Foltja volt, ezért létrehoztunk egy hálókat és textúrákat, amelyeket kifejezetten bemutattunk. Hasonló mechanizmust használtunk, mint a Jupiter bandáinál: a forgó részek egy halmazát egymás tetejére állították, miközben a "mesterréteg" alatt is csoportosítottuk őket, hogy a többi mozgástól függetlenül a pozíciójukban maradjanak.
A hálók beállításakor és a helyén a viharos örvény különböző rétegeit alkalmazták, és minden lemezt egyenként animáltak, a középső részek gyorsan mozogtak, a többi fokozatosan lelassult, ahogy kifelé halad.
A kompozíció is ugyanaz a pivot, mint minden más háló, miközben megtartja a billentés az eredeti y tengely (!), hogy lehetővé tegye a szabadság animálása a forgatás. A 3600 képkocka az alapkamat, amelynek minden rétege ezt a tényezőt a forgatás időszakaként adja meg.
A Unityben való helyesség
A Unityben való implementálás során néhány fontos dolgot szem előtt kell tartani.
A Unity könnyen összekeverhető, ha transzparens rétegek nagy készleteivel foglalkozik. A megoldás az volt, hogy megkettőzték az anyagmintát az egyes hálókhoz, és fokozatosan alkalmazták a növekvő Render Queue-értékeket a belsőtől a külsőig 5-ig minden egyes anyagra.
Az eredmény az volt, hogy a belső rendszerhéj renderelési üzenetsorának értéke 3000 (alapértelmezett), a statikus vörös színű külső pedig 3005, a gyors fehér külső felhők 3010-et. A Nagy Vörös Folt (belsőről külső rétegre haladva) 3025-ös értékkel fejeződött be ebben a modellben.
Utolsó érintések
A texturált Jupiter-rétegeket először hozták létre, amelyek nem bizonyultak elegendőnek a megvalósításhoz.
Az eredeti Planet Standard árnyékoló és annak minden változata egy szkripten, a SunLightReceiveren keresztül kapja meg a világítási információkat, amelyet az MRTK Standard árnyékoló nem támogat.
Az árnyékolók egyszerű felcserélése nem volt megoldás, mert a Planet Standard árnyékoló nem támogatja a fóliákkal ellátott textúratérképeket. Szerkesztettük ezt az árnyékolót, hogy a Jupiter build a kívánt módon működjön.
Végül az Alfa-keverékeket úgy kellett beállítani, hogy a forráskeveréket 10-re, a célkeveréket pedig 5-re kell állítani.
Láthatja a Jupiter végleges renderelését a Galaxy Explorerben!
A csapat bemutatása
A Mixed Reality studio csapat tervezőkből, 3D-s művészekből, UX-szakemberekből, fejlesztőkből, programvezetőkből és stúdióvezetőkből áll. A világ minden tájáról származunk: Belgium, Kanada, Németország, Izrael, Japán, az Egyesült Királyság és a Egyesült Államok. Multidiszciplináris csapat vagyunk, amely sokféle háttérrel rendelkezik: játék – hagyományos és indie, digitális marketing, egészségügy és tudomány.
Izgatottan várjuk, hogy létrehozzuk a Galaxy Explorert HoloLens 2, és frissítsük a HoloLens (első generációs), VR- és asztali verziókat.
Felül balról jobbra: Artemis Tsouflidou (Fejlesztő), Angie Teickner (Vizuális Tervező), David Janer (UX Tervező), Laura Garrett (Delivery & Production Lead), Yasushi Zonno (Kreatív vezető), Eline Ledent (Fejlesztő) és Ben Turner (Sr. Developer). Balról jobbra lent: Amit Rojtblat (Technical Artist), Martin Wettig (3D Artist) és Dirk Songuer (Studio Head). Nem kiemelt: Tim Gerken (Tech Lead) és Oscar Salandin (Visual Tervező).
További információ
Mixed Reality Studios
A Microsoft Mixed Reality Studio csapatai – amelyek Amerikában, Európában és Asia-Pacific találhatók – a felhasználói élmény tervezésének, a holografikus számítástechnikának, az AR/VR-technológiáknak és a 3D-s fejlesztésnek a szakértői, beleértve a 3D-eszközök létrehozását, a DirectX-et, a Unityt és az Unrealt. Segítünk megtervezni a kívánt jövőt, megtervezni, felépíteni és megoldásokat kínálni, miközben lehetővé tesszük az ügyfelek számára, hogy mérhető hatást fejthessenek ki a szervezetükre. A stúdiók több mint 22 000 Microsoft Services-szakemberrel dolgoznak együtt a nagyvállalati alkalmazások integrációjáért, bevezetéséért, működtetéséért és támogatásáért.