Mutatás és véglegesítés kézzel

Kurzorok

A kézből való rámutatás és véglegesítés egy olyan bemeneti modell, amellyel a felhasználók 2D- és 3D-s tartalmakat nem érhetnek el, választhatnak ki és kezelnek. Ez a "távoli" interakciós technika azért egyedi a vegyes valósághoz, mert az emberek nem természetes módon kommunikálnak a való világgal. Az X-Men szuperképes filmben például aGno képes távolról manipulálni a távolban lévő objektumokat a kézzel. Ez nem olyan dolog, amit az emberek a valóságban meg tudnak tenni. A HoloLens (AR) és Mixed Reality (MR) is ezzel a power power-sel látja el a felhasználókat, hogy megszakítsa a valós világ fizikai korlátozását. Nem csupán szórakoztató holografikus élmény, de hatékonyabbá és hatékonyabbá teszi a felhasználói interakciókat is.

Eszköztámogatás

Bemeneti modell HoloLens (1. generációs) HoloLens 2. Modern headsetek
Mutatás és véglegesítés kézzel ❌ Nem támogatott ✔️ ajánlott ✔️ ajánlott

A "rámutatás és véglegesítés" az egyik új funkció, amely az új, kézzel követő rendszert használja. Ez a bemeneti modell a modern headsetek elsődleges bemeneti modellje is mozgásvezérlők használatával.



Kézi sugárok

A HoloLens a 2. oldalon létrehoztunk egy sugárjelet, amely a felhasználó fájának közepéről jön ki. A sugár a kéz kiterjesztéseként van kezelve. A sugár végére egy fánk alakú kurzor van csatolva, amely jelzi, hogy a sugár hol metszi a célobjektumot. A kurzor által lekért objektum ezután többes számú parancsokat fogadhat a kéztől.

Ez az alapszintű gestural parancs úgy aktiválódik, hogy a hüvelyk- és indexaját használja a légi koppintásos művelethez. A véglegesítéshez a kézi sugár és a légi koppintás segítségével a felhasználók aktiválni tudnak egy gombot vagy egy hivatkozást. Összetettebb kézmozdulatokkal a felhasználók a webes tartalmak között navigálva távolról is manipulálhatja a 3D-objektumokat. A kéz sugár vizuális kialakításának is reagálnia kell ezekre a pontra és véglegesítési államokra az alább ismertetett és látható módon:

a kéz sugárai rámutatnak
Rámutatás állapota
A rámutatás állapotában a sugár egy kötőjelvonal, a kurzor pedig egy fánkalakzat.

kézi sugár véglegesítés
Véglegesítés állapota
Véglegesítési állapotban a sugár folytonos vonalba kerül, és a kurzor egy pontra csökken.



Váltás közel és távol között

Ahelyett, hogy olyan konkrét kézmozdulatokat használtunk volna, mint a "mutató-ujjlenyomattal" történő rámutatás a sugár vezérlésére, úgy alakítottuk ki a sugárét, hogy az a felhasználók mellőiből való comoutot használja. Így felszabadítottuk és lefoglaltuk az Öt családút az olyan manipulatívabb kézmozdulatokért, mint a csippentés és a fogás. Ezzel a kialakítással csak egy agyi modellt hozunk létre – a kézmozdulatok azonos készletét használjuk közel és távolról való interakcióhoz is. Ugyanezen kézmozdulatokkal különböző távolságú objektumokat is manipulálhat. A sugárok hívása automatikus, és a közelségen alapul a következőképpen:

Közelmanipuláció
Közelmanipuláció
Ha egy objektum a arm hosszán belül van (nagyjából 50 cm), a sugárok automatikusan ki vannak kapcsolva, és közel interakcióra ösztönöznek.

Távoli manipuláció
Távoli manipuláció
Ha az objektum 50 cm-nél távolabb van, a sugárak be vannak kapcsolva. Az átállásnak zökkenőmentesnek és zökkenőmentesnek kell lennie.



2D-s slate interaction

A 2D-be való beírás egy 2D-s alkalmazástartalmakat, például webböngészőt üzemeltető holografikus tároló. A 2D-s lapokkal való távoli interakció tervezési koncepciója a kézi sugárok használata a célhoz és a légi koppintás a kijelöléshez. A kézi sugár megcélzása után a felhasználók légi koppintással aktiválnak egy hivatkozást vagy egy gombot. Az egyik kézzel "légi koppintással és húzással" görgetheti a tartalmat felfelé és lefelé. A két kézből a levegőre való koppintás és húzás relatív mozgása nagyíthatja és kicsinyítheti a belós tartalmat.

A kéz sugárának a sarkokban és éleken való megcélzása a legközelebbi manipulációs megfizethetőség felfedését mutatja meg. A felhasználók "megragadják és húzással" manipulálják a megfizethetőségeket, egységes méretezést tudnak a sarokban lévő megfizethetőségen keresztül, és a peremhálózati megfizethetőségekkel újratárazhatóak. Ha a 2D-s lap tetején lévő holobart fogja meg és húzza, a felhasználók a teljes lapot áthelyezik.

2d slate interaction click
Kattintson

2d slate interaction scroll
Lapozzunk

2d slate interaction zoom
Zoom


A 2D-slate manipulálására

  • A felhasználók a kéz sugárát a sarkokra vagy élekre mutatva felfedik a legközelebbi manipulációs megfizethetőségeket.
  • Ha manipuláló kézmozdulatot alkalmaznak a megfizethetőségen, a felhasználók egységes méretezést tudnak alkalmazni a sarokban lévő megfizethetőségen keresztül, és a peremhálózati megfizethetőségen keresztül újratenheti a lappal.
  • Ha a 2D-s lap tetején található holobaron egy manipulációs kézmozdulatot alkalmaz, a felhasználók a teljes lapot áthelyezik.


3D objektummanipuláció

Közvetlen manipuláció esetén a felhasználók kétféleképpen kezelhetik a 3D-objektumokat: a megfizethetőség-alapú és a nem megfizethetőségen alapuló manipulációt. A pont- és véglegesítési modellben a felhasználók pontosan ugyanazt a feladatot érhetik el a kézi sugárokkal. Nincs szükség további tanulásra.

Megfizethetőség-alapú manipuláció

A felhasználók kézzel sugárokkal mutatnak és fedik fel a határolókeretet, és manipulálják a megfizethetőségeket. A felhasználók a határolókereten alkalmazhatják a manipulációs kézmozdulatot a teljes objektum áthelyezéséhez, a peremhálózati megfizethetőségeket elforgatva, a sarokban pedig a megfizethetőségeket az egységes méretezéshez.

3d object manipulation far move
Áthelyezés

3d objektumkezelés messze elforgatva
Forgatni

3d object manipulation far scale (3d objektumkezelés nagy léptékben)
Méretezés

Nem megfizethetőség-alapú manipuláció

A felhasználók kézzel sugárokkal rámutatva felfedik a határolókeretet, majd közvetlenül alkalmaznak rajta manipulációs kézmozdulatokat. Az objektum fordítása és rotációja az egyik kézzel való mozgáshoz és tájoláshoz van társítva. A felhasználók két kézzel fordíthatja le, skálázhatja és forgathatja azt a két kéz mozgásának megfelelően.



Kétértelmű kézmozdulatok

A pont és véglegesítés kétértelű kézmozdulatai hasonlóak a kézmozdulatokkal történő közvetlen manipulációhoz. A felhasználók 3D-objektumon való kézmozdulatai a felhasználói felületi megfizethetőség kialakításától függnek. Egy kis vezérlőpont például arra ösztönözheti a felhasználókat, hogy csippentsen a ujjlenyomatukat és az indexukat, míg egy felhasználó egy nagyobb objektumhoz a Teljes ötöt szeretné használni.

a nagy méretű objektumokat is
Kis méretű objektum

a közepesen közepes méretű objektumokat
Közepes objektum

a nagy méretű objektumokat, a kivetkedő kézmozdulatokat
Nagy méretű objektum



Szimmetrikus kialakítás a kéz és a 6 DoF-vezérlő között

A távoli interakcióhoz létrehozott és definiált pont és véglegesítés fogalmát a Vegyes valóság portál (MRP). Ebben a forgatókönyvben a felhasználó elhasznál egy modern headsetet, és mozgásvezérlőkön keresztül kommunikál 3D-objektumokkal. A mozgásvezérlők kinyerik a sugárokat a távoli objektumok rámutatása és manipulálása miatt. A vezérlőkön gombok vannak a különböző műveletek további véglegesítésére. Alkalmazuk a sugárok interakciós modelljét, és mindkét kézhez csatoljuk őket. Ezzel a szimmetrikus kialakítással az MRP-t ismeretes felhasználóknak nem kell megtanulniuk egy másik interakciós modellt a 2. HoloLens használata és más módon való távoli rámutatás és manipuláció érdekében.

szimmetrikus kialakítás vezérlőkhöz
Vezérlő sugarai

szimmetrikus kialakítás a sugárok számára kézből
Kézi sugárok



Hand ray in MRTK (Mixed Reality Toolkit) for Unity

Alapértelmezés szerint az MRTK egy olyan kéz rayprefab (DefaultControllerPointer.prefab)állapotot biztosít, amelynek a vizualizációja megegyezik a rendszerhéj rendszerjelével. Az MRTK Bemeneti profiljában, a Mutatók alatt van hozzárendelve. A modern headsetek ugyanezeket a sugárokat használják a mozgásvezérlőkhöz.


Lásd még