A Galaxy Explorer for HoloLens 2

Új Galaxy Explorer embléma

Üdvözöljük a 2.-es HoloLens frissített Galaxy Explorer alkalmazásában! A Galaxy Explorert eredetileg az HoloLens (első generációs) nyílt forráskódú alkalmazásaként fejlesztették ki a Share Your Idea programon keresztül, és ez az egyik első vegyes valóságú élmény, amely sokak számára történt. Most frissítjük a 2. HoloLens izgalmas képességeire.

A Microsoft Mixed Reality Studiónakegyikeként általában kereskedelmi szintű megoldásokat fejlesztünk, és & a kreatív és fejlesztési folyamat során a célplatformokon. Ezt a projektet a keretrendszerek és eszközök (például az MRTK)használatával kezdjük meg, amint elérhetővé válnak számunkra és a közösség számára , és szeretnénk, ha együtt utazunk.

Az eredeti Galaxy Explorerhez hasonló csapat nyíltan fogja forrásként kiszerveződni a projektet a GitHub, hogy a közösség teljes körű hozzáféréssel rendelkezik. Az itt található utat is teljes átláthatósággal dokumentáljuk azzal kapcsolatban, hogyan portoltunk az MRTK v1-ről az MRTK v2-re, továbbfejlesztjük a 2. HoloLens-ben elérhető új funkciókkal kapcsolatos élményt, és biztosítjuk, hogy a Galaxy Explorer továbbra is többplatformos felhasználói élmény marad. Akár a Galaxy Explorert HoloLens (első generációs), HoloLens 2-es verzióban, egy Windows Mixed Reality-headseten vagy a Windows 10 desktopon nézi, szeretnénk, hogy a lehető legjavasztsa az utat!

Ez az oldal a projekt előrehaladása során kibővül, és részletesebb cikkekre, kódokra, tervezési összetevőkre és további MRTK-dokumentációkra mutató hivatkozásokat tartalmaz, amelyek egy belső nézetet nyújtanak a projektben.

Alkalmazás letöltése Microsoft Store 2. HoloLens-ben

Ha 2 HoloLens van, közvetlenül letöltheti és telepítheti az alkalmazást az eszközére.

English badge

Interakciók gondolkodása

Kreatív stúdióként elkesért a Galaxy Explorer 2- HoloLens jogosultsága. A kezdettől tudtuk, hogy azt szeretnénk, hogy a élmény az új eszköz megünneplése legyen, és hogy be tudjuk mutatni, hogy a Mixed Reality csak a képzelete szab határt.

HoloLens 2. lépéssel a felhasználók természetesnek tetszető módon érhetnek el, foghatnak meg és mozgathat hologramokat – nagyon úgy reagálnak, mint a valós objektumok. A teljes körűen kifejlett kézmodellek lenyűgözőek, mert lehetővé teszi a felhasználók számára, hogy azt tehetünk, amit természetesnek gondolunk. Például mindenki kissé másként hoz egy bögret, és ahelyett, hogy egy adott módon kényszerítené ki, HoloLens 2. módszer lehetővé teszi, hogy a saját módszerét használja.

Ez jelentős változást jelent a Air Tap-alapú interfészek és az első generációs HoloLens esetében. A hologramok távolról való használata helyett a felhasználók mostantól "közelről és személyes használatra" kaphatnak. A meglévő élmények 2.HoloLens való portolása vagy újak tervezése során fontos, hogy megismerkedjen a hologramok közvetlen manipulálásával.

Közvetlen manipuláció és a tér hatalmas távolságai

Ez egy különleges élmény, amikor elérhető, megragad egy bolygót, és a kezében tartja. Ezzel a megközelítéssel a naprendszer mérete jelent kihívást – hatalmas! A felhasználónak körbe kellene járnia a helyiséget, hogy minden bolygóhoz közel járjon ahhoz, hogy kommunikáljon vele.

Annak érdekében, hogy a felhasználók a távolabbi objektumokkal is interakcióba lépjenek, az MRTK olyan kézcsomóponti sugárokat kínál, amelyek a felhasználó szegélyének közepéről lépnek ki, és a kéz kiterjesztéseként viselkednek. A sugár végére egy fánk alakú kurzor van csatolva, amely jelzi, hogy a sugár hol metszi a célobjektumot. Az objektum, amelybe a kurzor ás, többes számú parancsot fogadhat a kéztől.

A Galaxy Explorer eredeti verziójában a felhasználó egy bolygót célozna meg a tekintete kurzorral, majd légi koppintással közelebbről hívná meg. A 2. HoloLens úgy lehet a legegyszerűbben portba vinni a élményt, ha ezt a viselkedést használja, és kézi sugarakat használ a bolygók kiválasztásához. Bár ez működőképes volt, így többre volt rá imátva.

Vissza a rajztábla

Együtt ötleteket hoztunk össze, hogy mi építhető fel a meglévő interakciókra. A gondolkodás a következő volt: bár HoloLens 2. módszer természetes, valósághű módon teszi lehetővé a felhasználók számára a hologramokkal való interakciót, a hologramok definíció szerint nem valódiak. Tehát amíg egy interakció valószínű a felhasználó számára, nem számít, hogy ez az interakció lehetséges-e egy valódi objektummal, vagy sem – ezt lehetővé te tudjuk tenni.

Az egyik fogalom, amit megismertünk, a telekinézisen alapult – az objektumok gondolkodással való manipulálására. A szuperképes filmekben gyakran előfordult, hogy valaki az agyával fordul, és nyitott kézbe hív egy objektumot. Kicsit tovább játszottunk az ötlettel, és készítettünk egy rövid vázlatot a fogalomról.

A kényszerített befogalmazás interakciójának fogalma

A felhasználó a kéz sugarát egy bolygóra mutatná, amely célzott visszajelzést adna. Ahogy a felhasználó kiterül a nyitott kézzel, a bolygót egy különleges erő húzza a felhasználó felé, amíg elég közel nem áll ahhoz, hogy megragadja. Ezért az interakció neve: force grab. Ahogy a felhasználó nyitott kézzel eltolja a bolygót, visszatér a pályájára.

Prototípus- ragadás kényszerítve

Ezután több prototípust is létrehoztunk a koncepció tesztelésére: Hogyan működik az interakció? Le kell állnia a felhasználó előtt az úgynevezett objektumnak, vagy a kézhez kell tartania, amíg el nem helyezi? A hívott objektum mérete vagy skálázása a hívva legyen?

Kényszerített behozás alkalmazása az alkalmazásba

Amikor a világok kényszerített befogatásán próbálkoztunk, rájöttünk, hogy módosítani kell a Naprendszer skáláját. Kiderült, hogy a naprendszer pontos, közepes méretű reprezentációja nehezen érthető és navigálhat a felhasználók számára – nem tudják, hol keressenek. Egy kis méretű ábrázolás azonban túl kicsivé tett néhány bolygót ahhoz, hogy könnyen kiválasztható legyen. Ennek eredményeképpen a bolygók mérete és a napobjektumok közötti térköz úgy lett kialakítva, hogy egy közepes méretű helyiségben kényelmes legyen, és fenntartsa a relatív pontosságot.

A fejlesztési sprint későbbi szakaszaiban szerencsések voltak, hogy MSFT Mixed Reality-szakértőkkel is dolgozhattunk, hogy szakértői teszteket kapjunk, és gyors iterációkat végzünk a kényszerített beavatkozáson.

A Galaxy Explorer előzetes buildje, a Verzió tesztelése

Kép: A Galaxy Explorer vezető tervezési vezető tesztelője.

Megfizethetőség hozzáadása célcsoport-megcélzáshoz

Ahogy a 2. HoloLens kísérleteztünk, kiderült, hogy annak ellenére, hogy az új interakciók természetesek és intuitívak, a hologramok változatlanok maradnak: súly és érzetek nélkül. Mivel a hologramok nem adnak természetes visszajelzést arról, hogy az emberek az objektumokkal való interakció során kapnak visszajelzést, létre kellett hoznom őket.

Átgondoltunk egy vizuális és hang visszajelzést, amely szerint a felhasználók az interakciók különböző szakaszaihoz lesznek megszabadva, és mivel a force grab mechanizmus központi szerepet kap a Galaxy Explorerrel való kommunikációban, sok iterációt is megtettünk. A cél a hang- és vizuális visszajelzések megfelelő egyensúlyának megtalálása volt az interakció egyes fázisához: a kívánt objektumra való összpontosítás, a felhasználónak való hívás, majd annak kiadása. Azt tanultuk meg, hogy több hang- és vizuális visszajelzésre volt szükség az interakció megerősítéséhez, mint amit a HoloLens (első generációs) során használtunk.

Vizuális megfizethetőség a bolygókon

Megfizethetőség hozzáadása kényszerített behozáshoz

Miután a hang- és vizuális megfizethetőségekkel együtt már volt egy alapszintű force grab mechanizmusunk, azt is megnéztük, hogyan tehetjük felhasználóbarátabbtá a bolygók kiválasztását. Két fő dologra kell kitérni: Mivel a naprendszer egy 3D-s mozgó felület, a felhasználók összetettebbé tette az objektumok konzisztens megcélozását. Ezt továbbhozta az a tény, hogy a kéz sugár gyorsan kiválaszt egy objektumot, így a bolygók rendkívül gyorsan haladnak a felhasználó felé.

Ezt egy három fő megoldással közelítjük meg. Az első viszonylag intuitív volt: lelassítani a kiválasztási folyamatot, hogy a bolygók természetesebb ütemben közelítsen a felhasználóhoz. A sebesség módosításával újra vissza kellett tetsszen a hang- és vizuális megfizethetőségeket, és audio-visszajelzéseket kellett hozzáadni, ahogy a bolygó a felhasználó felé haladt.

A megoldás második része az volt, hogy a teljes force grab interakció vizualizációját kézzelfoghatóra tegye. Egy vastag vonalat vizualizáltunk, amely a megcélzott objektum felé tart, amint a sugár csatlakozik hozzá, majd visszairányítjuk az objektumot a felhasználóhoz , például egy lasszót.

Vizualizáció "lasszó" megfizethetőség a kényszerített behozáshoz

Végül optimalizáltuk a naprendszer skáláját, hogy a bolygók elég nagyok voltak ahhoz, hogy a felhasználó tekintete és kézremértéke megcélzhatja őket.

Ez a három fejlesztés lehetővé tette, hogy a felhasználók pontos kijelöléseket tegyenek, és intuitív módon hívják hozzájuk a bolygókat. Összességében a végső kényszerített ragadás egy magával ragadó és interaktívabb élményt nyújt a naprendszerben.

Reflektorfény a Holdon

A Miskolcs-út naptestének létrehozása egy zavaros élmény volt. Különösen a Annak egyedi jellemzői miatt van rálátás, hogy meg kell tartani. Ez a legnagyobb és legszínesebb a gázóriák közül, és több tömeget tartalmaz, mint az összes többi bolygó együttesen. A nagy mérete, valamint a turbulencia és a felhődinamikai sávok rendkívüli figyelmet igényelnek.

Geometria és hálók

Gas Giantként a Gas Giant külső héjai gázos rétegekből áll. A gyors rotációs sebesség, a belső hőcsere és a Coriolis-erő együttesen színes rétegeket és streameket hoz létre, amelyek a felhőszalagok és a kedvenc hajtószalagokká alakulnak. Ennek a bonyolult szépségnek a rögzítése kulcsfontosságú volt a naprendszerünk létrehozásában.

Azonnal nyilvánvaló volt, hogy a vizualizációs technikák, például a folyadékszimulációk és az animált textúra-mintázatok előre felfogott streamekkel való használata nem kérdés. Az ehhez szükséges számítási teljesítmény és minden más egyidejű esemény együttes szimulálása jelentős negatív hatással lenne a teljesítményre.

A Lett objektum áttekintése

A következő megközelítés egy "füst- és tükrözött" megoldás volt, amely átfedésben álló transzparens textúrarétegeket tartalmaz, amelyek mindegyike a légköri mozgás egy adott aspektusával foglalkozik, és a forgó hálók összetételére lett lefordítva.

Az alábbi képen a belső felület látható a bal oldalon. Ez a matréteg hátteret biztosított az összeállításnak, hogy védve legyen a felhőket felkomózó rétegek közötti esetleges kis hézagok ellen. A réteg lassú elforgatása miatt vizuális pufferként is szolgált a gyorsabb mozgó sávok között, hogy segítsen a vizualizációs egység felépítésében a rétegekben.

Miután ezt a horgonyt a modellhez beállította, a mozgó felhőrétegek ezután az alább látható középső és jobb hálókra voltak kivetítve.

A Rendszerhéjak és a Elkülönített rendszerhéjak áttekintése

Textúrázás

A meglévő textúra háromrészes textúra atlasra lett választva: A felső harmadik felhők mozgó rétegét tartalmazza, amelyek hézagokat tartalmaznak a paraxihatás érdekében, a középső szakasz tartalmazza a gyorsan mozgó külső streameket, az alsó harmadik pedig egy lassan forgó belső alapréteget.

A Nagy Vörös pont jellemzőt a különböző mozgó részekre is különválasztották, majd beszúrták a textúra egyébként láthatatlan területére. Ezek az összetevők az alábbi kép középső szakaszában látható piros színű spekulákként láthatók.

Mivel minden sáv egy adott irányral és sebességgel rendelkezik, a textúra minden hálóra külön lett alkalmazva. A hálók ezután egy közös középponttal és eltelő ponttal voltak, ami lehetővé tette a teljes felület koncentrikusan automatizálható volt.

A Lett textúra áttekintése

A rotáció és a textúra viselkedése

Miután Beállítottuk a Visual Compositiont, meg kellett győződnünk arról, hogy a forgó és a pályái sebesség megfelelően lett kiszámítva és ennek megfelelően alkalmazva. A teljes rotáció nagyjából 9 órát vesz igénybe. Ez definíció kérdése a különbségi rotáció miatt. Ezért az egyenlítői stream "master streamként" lett beállítva, amely 3600 képkockát vesz fel a teljes rotációhoz. Minden más rétegnek 3600-as forgási sebességre volt szüksége, hogy megfeleljen a kezdeti pozíciójának, például 600, 900, 1200, 1800 stb.

Shell-textúra

A nagyszerű piros pont

Az egyedileg forgó streamek jó vizuális megjelenést keltenek, de közelről megfigyelve nem biztosítanak részleteket.

A legszemlűntetőbb rész a The Great Red Spot volt, ezért létrehoztunk egy mesh-készletet és textúrakészletet kifejezetten annak bemutatásához.

Hasonló mechanizmust használtunk, mint a Együttes együttesei: a forgó részek készlete egymás után lett összeállítva, miközben a "fő rétege" alatt is csoportosítva gondoskodtunk arról, hogy a többi mozgási időtől függetlenül a helyzetük maradjon.

A hálók beállításakor és a helyén a stormy vortex különböző rétegei voltak alkalmazva, és mindegyik lemezt egyenként animálták, a középső részeket pedig a leggyorsabban mozgatták, a többi pedig fokozatosan lassul kifelé haladva.

Felső-Nagy Red Spot mesh

Az összeállítás emellett ugyanazt a kimutatást tartalmazta, mint minden más háló, miközben az eredeti y tengelytől (!) is távol tartja azt, hogy szabad legyen a rotáció animálása. A 3600 képkocka az alaparány, amelynek minden rétegében ez a tényező a rotáció időszaka.

Annak érdekében, hogy a Red Spot textúra kiváló

Közvetlenül a Unityben

A Unityben való megvalósításakor néhány fontos dolgot szem előtt kell tartani.

A Unity könnyen összekeverhető a transzparens rétegek nagy készleteinek kezelésekor. A megoldás az volt, hogy duplikálta az egyes hálók textúraanyagát, és fokozatosan, a belsőtől a külsőre 5-ös értékkel alkalmazza a renderelési várólista értékeit minden anyagra.

Az eredmény az volt, hogy a belső rendszerhéj renderelési üzenetsorának értéke 3000 (alapértelmezés szerint), a statikus piros toned külső később 3005-ös értékkel, a gyors fehér külső felhők pedig 3010-et. A Nagy Vörös pont (amely a belső rétegtől a külső réteghez halad) ebben a modellben 3025-ös értékkel fejeződött be.

A Végső objektum

Végső érintések

A texturált Fog rétegeket először beállították, amelyek nem bizonyultak megfelelőnek a megvalósításhoz.

Az eredeti Planet Standard árnyékoló és annak összes változata egy szkript, a SunLightReceiver használatával kapja meg a megvilágítási információkat, amelyet az MRTK Standard árnyékoló nem támogat.

Az árnyékolók felcserélése nem volt megoldás, mert a Planet Standard árnyékoló nem támogatja a transzparens textúratérképeket. Ezt az árnyékolót úgy szerkesztettük, hogy a Build a kívántnak megfelelően működjön.

Végül az Alfa Blendst úgy kellett beállítani, hogy a Source Blend (Forrásegyedület) 10-re, a Destination Blend (Célegyedület) 5-re van állítva.

A Unity tulajdonságai

Láthatja, ahogy a Galaxy Explorerben használhatja a Végső renderelést a Galaxy Explorerben!

A csapat bemutatása

A Mixed Reality Studio csapata tervezőkből, 3D-festőkből, felhasználói felületi szakemberekből, fejlesztőkből, programmenedzserből és stúdióvezetőből áll. A világ minden tájáról:Lelkeket, Kanadát, Németországot, Olaszországot, Japánt, az Egyesült Királyságot és a Egyesült Államok. Mi egy multidiszciplináris csapat vagyunk, amely sokszínű hátterű: játék – hagyományos és inkláris, digitális marketing, egészségügy és tudomány.

Izgatottan várjuk, hogy létrehozunk egy Galaxy Explorert a HoloLens 2-es verziójához, és frissítjük a HoloLens (első generációs), VR- és asztali verziókat.

A Galaxy Explorer csapata

Balról jobbra felül: Artemis Tsouflidou (Fejlesztő), Oldali Teickner (Vizuális tervező), David Janer (UX Designer), David Garrett (Delivery & Production Lead), Yasushi Zonno (Kreatív vezető), Eline Ledent (Developer) és Ben]. Balról jobbra alul: Amit Rojtblat (technikai előadó), Martin Wettig (3D Artist) és Dirk Songuer (Studio head). Nincs kiemelt: Tim Gerken (tech lead) és Mert Salandin (Visual Designer).

További információ

Mixed Reality Studióból

A Microsoft Mixed Reality Studio amerikai, európai és Asia-Pacific-i csapatai szakértők a felhasználói élmény tervezésében, a holografikus számítástechnikában, az AR-/VR-technológiákban és a 3D-s fejlesztésben; beleértve a 3D-s eszköz-létrehozást, a DirectX-et, a Unityt és az Unreal-t. Segítünk a kívánt jövők megtervezésében, a megoldások tervezésében, létrehozásában és létrehozásában, miközben az ügyfelek mérhető hatást gyakorolhatnak a szervezetre. A stúdiók több mint 22 000 Microsoft-szolgáltatás-szakembersel működnek együtt a nagyvállalati alkalmazásintegráció, -alkalmazás-integráció, -üzemeltetés és -támogatás érdekében.