4. A jelenet interaktívvá tétele

Az előző oktatóanyagban hozzáadott egy ARSession, Pawn és Game Mode módot a sakkalkalmazás vegyes valósági beállításának befejezéséhez. Ez a szakasz a nyílt forráskód Mixed Reality Toolkit UX Tools beépülő moduljának használatával foglalkozik, amely eszközöket biztosít a jelenet interaktívvá alakításához. Ennek a szakasznak a végére a sakkdarabok a felhasználói bevitel alapján mozognak.

Célkitűzések

• A Mixed Reality UX Tools beépülő modul telepítése
• Kézműveleti aktorok hozzáadása az ujjhegyekhez
• Manipulátorok létrehozása és hozzáadása a jelenet objektumaihoz
• Bemeneti szimuláció használata a projekt ellenőrzéséhez

A Mixed Reality UX Tools beépülő modul letöltése

Mielőtt elkezdené a felhasználói bevitel használatát, hozzá kell adnia a Mixed Reality UX Tools beépülő modult a projekthez. Az UX-eszközökkel kapcsolatos további információkért tekintse meg a projektet a GitHubon.

1. Nyissa meg az Epic Games Launchert. Lépjen az Unreal Engine Marketplace-re, és keressen rá a "Mixed Reality UX Tools" kifejezésre. Telepítse a beépülő modult a motorra.

2. Az Unreal-szerkesztőben lépjen a Projektbeállítások>beépülő modulok területre, és keressen rá a "Mixed Reality UX-eszközök" kifejezésre. Győződjön meg arról, hogy a beépülő modul engedélyezve van, és ha a rendszer kéri, indítsa újra a szerkesztőt.

3. Az UXTools beépülő modul tartalmaz egy Tartalom mappát, amely almappákat tartalmaz az összetevőkhöz, beleértve a Gombok, az XR-szimuláció és a Mutatók mappát, valamint egy C++ osztályok mappát további kóddal.

Megjegyzés

Ha nem látja az UXTools Content (UXTools-tartalom) szakaszt a Tartalomböngészőben, jelölje be a Nézetbeállítások > A motor tartalmának megjelenítése és a *Nézetbeállítások Beépülő modul tartalmának megjelenítése jelölőnégyzetet>.

További beépülő moduldokumentáció az Mixed Reality UX Tools GitHub-adattárban található.

A beépülő modul telepítésével készen áll arra, hogy elkezdje használni azokat az eszközöket, amelyekkel rendelkezik, kezdve a kézműveleti szereplőkkel.

Ívó kéz interakciós aktorai

A kéz interakciója az UX-elemekkel a Hand Interaction Actorsrel történik, amelyek a mutatókat és vizualizációkat a közel- és távoli interakciókhoz hozzák létre és hajtják.

• Közel interakciók – elemek csippentése a mutatóujja és a hüvelykujja között, vagy ujjhegyen poking őket.
• Távoli interakciók – a virtuális kéz sugarának egy elemre mutatása és az index és a hüvelykujj együttes lenyomása.

Esetünkben egy hand interaction actor hozzáadása az MRPawn-hoz a következő lesz:

• Adjon hozzá egy kurzort a Pawn indexujjainak hegyeihez.
• Adjon meg csuklós kézi beviteli eseményeket, amelyek a Gyalogon keresztül módosíthatók.
• Lehetővé teszi a távoli interakciós bemeneti eseményeket a virtuális kezek tenyerétől kinyúló kézsugarakon keresztül.

Javasoljuk, hogy a folytatás előtt olvassa el a dokumentációt a kézen való interakciókról.

Ha elkészült, nyissa meg az MRPawn Blueprintet, és nyissa meg az Event Graphot.

1. Húzza és engedje fel a végrehajtási tűt az Event BeginPlayből egy új csomópont elhelyezéséhez.

   • Válassza a Spawn Actor from Class (Ívási szereplő az osztályból) lehetőséget, kattintson az Osztály kitűzője melletti legördülő listára, és keresse meg a Uxt Hand Interaction Actor (Uxt Hand Interaction Actor) kifejezést.

2. Hozzon létre egy második Uxt Hand Interaction Aktort, amely ezúttal jobbra állítja a handet. Az esemény kezdetekor minden kézen létrejön egy Uxt Hand Interaction Aktor.

Az Eseménygrafikonnak a következő képernyőképen kell megegyeznie:

Mindkét Uxt Hand Interaction Actorsnek tulajdonosokra és kezdeti átalakítási helyekre van szüksége. A kezdeti átalakítás ebben az esetben nem számít, mert az UX-eszközökben a Kézműveleti aktorok azonnal a virtuális kezekre ugornak, amint láthatóvá válik. A SpawnActor függvénynek azonban átalakítás bemenetre van szüksége a fordítóhibák elkerülése érdekében, ezért az alapértelmezett értékeket fogja használni.

1. Húzza és engedje fel a tűt az egyik Spawn Transform tűről egy új csomópont elhelyezéséhez.

   • Keresse meg az Átalakítás létrehozása csomópontot, majd húzza a Visszatérési értéket a másik kéz Spawn Transform elemére, hogy mindkét SpawnActor-csomópont csatlakoztatva legyen.

2. Válassza a két SpawnActor-csomópont alján található lefelé mutató nyilat a tulajdonosi pin megjelenítéséhez.

   • Húzza a rögzítést az egyik tulajdonosi kitűzőről, és helyezzen el egy új csomópontot.
   • Keressen rá az önkifejezésre , és válassza az Önváltozóra mutató hivatkozás lekérése lehetőséget.
   • Hozzon létre egy hivatkozást az Önobjektum referenciacsomópontja és a másik Hand Interaction Actor tulajdonosi pin-kódja között.

3. Végül jelölje be a Közel kurzor megjelenítése a Fogd meg a célokat jelölőnégyzetet mindkét kézműveleti aktor esetében. A mutatóujja közeledtével megjelenik egy kurzor a megragadási célon, így láthatja, hogy az ujja hol van a célhoz viszonyítva.

   • Fordítás, mentés és visszatérés a Fő ablakhoz.

Győződjön meg arról, hogy a kapcsolatok egyeznek az alábbi képernyőképen láthatóval, de nyugodtan húzza át a csomópontokat, hogy olvashatóbbá tegye a tervét.

A kézműveleti aktorokról további információt a UX Tools dokumentációjában talál.

Most a projektben lévő virtuális kezek kijelölhetik az objektumokat, de továbbra sem tudják őket módosítani. Az alkalmazás tesztelése előtt az utolsó feladat, hogy manipulátor-összetevőket adjon hozzá a jelenet szereplőihez.

Manipulátorok csatolása

A manipulátor olyan összetevő, amely a csuklós kézi bevitelre reagál, és megragadható, elforgatható és lefordítható. A manipulátor átalakítójának Actors átalakításra való alkalmazása lehetővé teszi a közvetlen Aktor-manipulációt.

1. Nyissa meg a Tábla tervét, kattintson az Összetevő hozzáadása elemre, és keresse meg az Uxt Generic Manipulátort az Összetevők panelen.

2. Bontsa ki az Általános manipulátor szakaszt a Részletek panelen. Itt beállíthatja az egykezes vagy kétkezes manipulációt, a forgatási módot és a simítást. Nyugodtan választhatja ki, hogy melyik módot szeretné, majd állítsa össze és mentse a táblát .

3. Ismételje meg a fenti lépéseket a WhiteKing Actor esetében .

A Mixed Reality UX Tools beépülő modulban található manipulátor-összetevőkről a dokumentációban talál további információt.

A jelenet tesztelése

Jó hír mindenkinek! Készen áll arra, hogy tesztelje az alkalmazást az új virtuális kezével és felhasználói bemenetével. Nyomja le a Play billentyűt a Főablakban, és két hálós kéz látható, az egyes kéz tenyeréből kinyúló sugarakkal. A kezeket és azok interakcióit az alábbiak szerint szabályozhatja:

• A bal oldali Alt billentyűt lenyomva tartva vezérelheti a bal, a bal oldali Shift billentyűt pedig a jobb kéz vezérléséhez.
• Mozgassa az egeret a kéz mozgatásához, és görgessen az egérkerékkel a kéz előre vagy hátra mozgatásához.
• A bal egérgombbal csippentsen be, a középső egérgombbal pedig pökkenjen.

Megjegyzés

Előfordulhat, hogy a bemeneti szimuláció nem működik, ha több fejhallgató van csatlakoztatva a számítógéphez. Ha problémákat tapasztal, próbálja meg kihúzni a többi fejhallgatót.

Próbálja meg használni a szimulált kezeket, hogy vegye fel, mozog, és állítsa le a fehér sakk király és manipulálni a táblát! Kísérletezzen közel és távoli interakcióval is – figyelje meg, hogy ha a kezei elég közel kerülnek ahhoz, hogy közvetlenül megragadják a táblát és a királyt, a mutatóujj csúcsán lévő ujjmutató helyettesíti a kézsugarat.

A szimulált kéz funkcióról az MRTK UX Tools beépülő modul nyújt további információt a dokumentációban.

Most, hogy a virtuális kezei együttműködhetnek az objektumokkal, készen áll arra, hogy továbblépjen a következő oktatóanyagra, és felhasználói felületeket és eseményeket adjon hozzá.

Következő szakasz: 5. Gomb hozzáadása & darab helyének alaphelyzetbe állítása