Közvetlen manipuláció kézzel
A közvetlen manipuláció olyan bemeneti modell, amely magában foglalja a hologramok közvetlen megérintését a kezével. Ennek a koncepciónak az az elképzelése, hogy az objektumok ugyanúgy viselkednek, mint a való világban. A gombok egyszerűen aktiválhatók, ha lenyomják őket, az objektumokat fel lehet venni, és a 2D tartalom virtuális érintőképernyőként viselkedik. A közvetlen manipuláció megfizethetőség-alapú, ami azt jelenti, hogy felhasználóbarát. Nincsenek szimbolikus kézmozdulatok a felhasználók tanítására. Minden interakció egy vizuális elem köré épül, amelyet megérinthet vagy megragadhat. Ez egy "közeli" bemeneti modellnek számít, mivel a legjobban a karokban lévő tartalom elérésére használható.
Eszköztámogatás
| Bemeneti modell | HoloLens (1. generációs) | HoloLens 2 | Modern headsetek |
| Közvetlen manipuláció kézzel | ❌ Nem támogatott | ✔️ Ajánlott | ➕ Támogatott. Felhasználói felület esetén inkább a pont- és véglegesítést javasoljuk. |
A közvetlen manipuláció a HoloLens 2 elsődleges bemeneti modellje, amely az új csuklós kézkövető rendszert használja. A bemeneti modell modern mikrofonos fejhallgatókon is elérhető mozgásvezérlők használatával, de nem ajánlott elsődleges eszközként az objektummanipuláción kívüli interakcióhoz. A közvetlen manipuláció nem érhető el a HoloLens (1. generációs) rendszeren.
Alapszintű kézkövetés és ösztönös interakciók bemutatója
Ha szeretné működés közben látni a Fej- és szemkövetés tervezési fogalmait, tekintse meg a Tervezés hologramok – Fejkövetés és Szemkövetés videó bemutatót alább. Ha végzett, folytassa az egyes témakörök részletesebb bemutatásával.
Ez a videó a "Hologramok tervezése" HoloLens 2 alkalmazásból származik. Töltse le és élvezze a teljes élményt itt.
Összeütkezhető ujjhegy
A HoloLens 2 a felhasználó kezét bal és jobb oldali vázizomzat modellként ismeri fel és értelmezi. A hologramok kézen való megérintésének ötletének megvalósítása érdekében ideális esetben öt ütközőt lehet csatlakoztatni az egyes kézváz-modellek öt ujjhegyéhez. A tapintható visszajelzés hiánya miatt azonban 10 összecsukható ujjhegy váratlan és kiszámíthatatlan ütközéseket okozhat a hologramokkal.
Javasoljuk, hogy minden mutatóujjon csak egy ütközőt helyezzen el. Az összeütkezhető index-ujjhegyek továbbra is aktív érintési pontokként szolgálhatnak a különböző érintéses kézmozdulatokhoz, amelyek más ujjakat is érintenek. Az érintéses kézmozdulatok közé tartozik az Egyujjas billentyű, az Egyujjas koppintás, a Kétujjas és az Ötujjas billentyű lenyomása az alábbiak szerint:
Összeütkezhető ujjhegy
Egyujjas billentyű
Egyujjas koppintás
Ötujjas billentyű
Gömbütköztető
Ahelyett, hogy véletlenszerű általános alakzatot használnánk, javasoljuk, hogy használjon gömbütköztetőt. Ezután vizuálisan renderelheti, hogy jobb jeleket biztosítson a közel célzáshoz. A gömb átmérőjének meg kell egyeznie a mutatóujj vastagságával az érintés pontosságának növelése érdekében. A kéz API meghívásával egyszerűbb lekérni az ujjvastagság változóját.
Ujjbegy kurzora
Amellett, hogy egy összeütközhető gömböt jelenítünk meg az index ujjhegyén, speciális ujjhegy-kurzort hoztunk létre a jobb közel célzási élmény érdekében. Ez egy fánk alakú kurzor, amely az index ujjhegyéhez van csatolva. A közelségnek megfelelően dinamikusan reagál a célra a tájolás és a méret szempontjából az alábbiak szerint:
- Amikor egy mutatóujj egy hologram felé halad, a kurzor mindig párhuzamos a hologram felületével, és fokozatosan zsugorítja a méretét.
- Amint az ujj megérinti a felületet, a kurzor egy pontra zsugorodik, és egy érintéses eseményt bocsát ki.
Interaktív visszajelzéssel a felhasználók nagy pontosságú közel célzási feladatokat érhetnek el, például hiperhivatkozást aktiválhatnak vagy gombot lenyomhatnak az alább látható módon.
Ujjbegy kurzora
Az ujjbegy kurzora a közelben
Ujjbegy-kurzor névjegye
Határolókeret közelségi árnyékolóval
Maga a hologram azt is megköveteli, hogy vizuális és hangvisszajelzést is biztosítson a tapintható visszajelzés hiányának kompenzálásához. Ehhez létrehozzuk a közelségi árnyékolóval rendelkező határolókeret fogalmát. A határolókeret egy minimális térfogati terület, amely egy 3D objektumot foglal magában. A határolókeret egy közelségi árnyékoló nevű interaktív renderelési mechanizmussal rendelkezik. A közelségi árnyékoló a következő módon viselkedik:
Rámutatás (messze)
Ha a mutatóujj egy tartományon belül van, az ujjhegy reflektorfénye a határolókeret felületére kerül.
Rámutatás (közel)
Amikor az ujjhegy közelebb kerül a felszínhez, a reflektorfény zsugorodik.
A névjegy kezdete
Amint az ujjhegy megérinti a felületet, a teljes határolókeret színe megváltozik, vagy vizuális effektusokat hoz létre az érintés állapotának megfelelően.
Kapcsolat vége
Hangeffektus is aktiválható a vizuális érintéses visszajelzés javítása érdekében.
Lenyomható gomb
Az összeütkezhető ujjhegyek segítségével a felhasználók mostantól készen állnak arra, hogy egy alapvető holografikus felhasználói felületi összetevővel, például egy megnyomható gombbal kommunikáljanak. A lenyomható gomb egy holografikus gomb, amely közvetlen ujjnyomásra van szabva. A tapintható visszajelzés hiánya miatt a lenyomható gomb néhány mechanizmust biztosít a tapintható visszajelzéssel kapcsolatos problémák kezelésére.
- Az első mechanizmus egy határolókeret közelségi árnyékolóval, amely az előző szakaszban található. Ez jobb közelségérzetet biztosít a felhasználóknak, amikor közelednek, és kapcsolatba lépnek egy gombbal.
- A második mechanizmus a depresszió. A depresszió azt az érzést kelti, amikor egy ujjhegy lenyomja a gombot. A mechanizmus biztosítja, hogy a gomb szorosan mozog az ujjhegytel a mélységi tengely mentén. A gomb akkor aktiválható, ha eléri a kiválasztott mélységet (lenyomva), vagy kilép a mélységből (felengedéskor) az áthaladás után.
- A hangeffektust hozzá kell adni, hogy fokozni lehessen a visszajelzést a gomb aktiválásakor.
Az ujj messze van
Az ujj megközelítései
A névjegy kezdete
Nyomja le
2D pala interakció
A 2D-s pala egy holografikus tároló, amely 2D-s alkalmazástartalmak, például webböngészők üzemeltetésére szolgál. A 2D-s pala közvetlen manipulációval való interakciójának tervezési koncepciója megegyezik a fizikai érintőképernyővel való interakcióval.
A palakapcsolat kezelése
Érint
Mutatóujjat használva lenyomhat egy hivatkozást vagy egy gombot.
Lapozzunk
Indexujjat használva görgetheti a palatartalmat felfelé és lefelé.
Zoom
A felhasználó két mutatóujja a palatartalom nagyítására és kicsinyítésére szolgál az ujjak relatív mozgásának megfelelően.
A 2D pala manipulálására
Mozgatni
Mozgassa a kezét a sarkok és élek felé, hogy felfedje a legközelebbi manipulációs megfizethetőségeket. Fogd meg a Holobar tetején a 2D pala, amely lehetővé teszi, hogy mozgassa az egész pala.
Méretezés
Ragadja meg a manipuláció megfizethetőségeket, és végezze el az egységes skálázást a sarki megfizethetőségekkel.
Reflow
Megragad a manipuláció megfizethetőség, és nem átfolyik keresztül a perem megfizethetőség.
3D objektumkezelés
HoloLens 2 lehetővé teszi, hogy a felhasználók a 3D holografikus objektumok irányítását és manipulálását lehetővé tegyék, határolókeretet alkalmazva minden 3D objektumra. A határolókeret jobb mélységérzékelést biztosít a közelségi árnyékolón keresztül. A határolókerettel két tervezési megközelítés létezik a 3D objektummanipulációhoz.
Megfizethetőség-alapú manipuláció
Affordance-base manipuláció lehetővé teszi, hogy manipulálja a 3D objektum egy határolókereten keresztül, valamint a manipuláció megfizethetőség körülötte.
Mozgatni
Amint egy felhasználó keze közel van egy 3D objektumhoz, a határolókeret és a legközelebbi megfizethetőség is kiderül. A felhasználók megragadhatják a határolókeretet a teljes objektum áthelyezéséhez.
Forgatni
A felhasználók megragadhatják a peremhálózati megfizethetőségeket a forgatáshoz.
Méretezés
A felhasználók megragadhatják a sarki megfizethetőségeket az egységes skálázáshoz.
Nem megfizethetőség-alapú manipuláció
A nem megfizethetőség-alapú manipuláció nem köti a megfizethetőség a határolókerethez. A felhasználók csak a határolókeretet fedhetik fel, majd közvetlenül használhatják. Ha a határolókeretet egy kézzel megragadják, az objektum fordítása és elforgatása a kéz mozgásához és tájolásához van társítva. Amikor az objektumot két kézzel megragadják, a felhasználók lefordíthatják, skálázhatják és elforgathatják két kéz relatív mozgása szerint.
A konkrét manipuláció pontosságot igényel. Azt javasoljuk, hogy a megfizethetőség-alapú manipulációt használja, mert magas szintű részletességet biztosít. A rugalmas manipulációhoz azt javasoljuk, hogy a nem megfizethető manipulációt használja, mivel azonnali és játékos élményeket tesz lehetővé.
Ösztönös kézmozdulatok
A HoloLens (1. generációs) segítségével megtanítottuk a felhasználóknak néhány előre meghatározott kézmozdulatot, például a virágzást és a légcsapolást. A HoloLens 2 esetében nem kérjük a felhasználókat, hogy jegyezzék fel a szimbolikus kézmozdulatokat. Minden szükséges felhasználói kézmozdulat, ahol a felhasználóknak hologramokkal és tartalommal kell kommunikálniuk, ösztönösek. Az ösztönös kézmozdulatok elérésének módja az, hogy a felhasználói felületi megfizethetőség kialakításával segítse a felhasználókat a kézmozdulatok végrehajtásában.
Ha például arra biztatjuk a felhasználót, hogy kétujjas csippentéssel ragadjon meg egy objektumot vagy vezérlőpontot, az objektumnak vagy a vezérlőpontnak kicsinek kell lennie. Ha azt szeretnénk, hogy a felhasználó öt ujjal megragadjon, az objektumnak vagy a vezérlőpontnak viszonylag nagynak kell lennie. A gombokhoz hasonlóan egy apró gomb korlátozza a felhasználókat, hogy egyetlen ujjal nyomják meg. Egy nagy gomb arra ösztönözné a felhasználókat, hogy tenyerükkel nyomják meg.
Kis objektum
Közepes objektum
Nagy méretű objektum
Szimmetrikus kialakítás kéz és 6 DoF-vezérlő között
Észrevehette, hogy vannak interakciós párhuzamok, amelyeket az AR-ben lévő kezek és a VR mozgásvezérlői között tudunk rajzolni. Mindkét bemenet használható közvetlen manipulációk indítására a saját környezetükben. A HoloLens 2 a kézfogás és a húzás a közelben ugyanúgy működik, mint a fogógomb a WMR mozgásvezérlők esetében. Ez biztosítja a felhasználók számára a két platform közötti interakciók ismereteit, ami hasznos lehet, ha úgy dönt, hogy az alkalmazást a platformok közötti portolás mellett dönti el.
Optimalizálás szemkövetéssel
A közvetlen manipuláció varázslatosnak érezheti magát, ha a szándékának megfelelően működik. De az is bosszantó lehet, ha nem tudja bárhová mozgatni a kezét anélkül, hogy akaratlanul aktiválná a hologramot. A szemkövetés segíthet jobban azonosítani a felhasználó szándékát.
- Mikor: Csökkentse a nem akarva aktiváló manipulációs választ. A szemkövetés segítségével jobban megértheti, hogy a felhasználó jelenleg mit használ. Tegyük fel például, hogy egy holografikus (utasítási) szöveget olvas, amikor a valós munkaeszközt szeretné megragadni.
Ezzel véletlenül átmozdul néhány interaktív holografikus gombon, amelyeket korábban még észre sem vett. Előfordulhat például, hogy kívül esik a felhasználó nézetmezőjén (FoV).
Ha a felhasználó egy ideje nem nézett meg hologramot, de mégis észlelt egy érintéses vagy megragadó eseményt, akkor az interakció valószínűleg nem szándékos.
Melyik: A téves pozitív aktiválások kezelése mellett egy másik példa jobban azonosítja, hogy mely hologramokat kell megragadni vagy pökkenni, mivel a pontos metszetpont nem biztos, hogy egyértelmű az Ön szemszögéből, különösen akkor, ha több hologram egymáshoz közel van elhelyezve.
Bár a HoloLens 2 szemkövetése korlátozott attól függően, hogy mennyire pontosan tudja meghatározni a szem tekintetét, ez még mindig hasznos lehet a közeli interakciókhoz, mivel a mélységi eltérés a kézbemenettel való interakció során. Ez azt jelenti, hogy néha nehéz megállapítani, hogy a kéz egy hologram mögött vagy előtt van-e, hogy pontosan megragadjon egy manipulációs vezérlőt, például.
Hol: Gyorsdobásos kézmozdulatokkal információkat kaphat arról, hogy mit néz egy felhasználó. Fogjon meg egy hologramot, és nagyjából a kívánt cél felé nyissa.
Bár ez néha működik, a kézmozdulatok gyors használata rendkívül pontatlan célhelyeket eredményezhet. A szemkövetés azonban javíthatja a kézmozdulat pontosságát.
Manipuláció az MRTK-ban (Mixed Reality Toolkit) a Unityhez
Az MRTK-val könnyen elérheti a gyakori manipulációs viselkedést az ObjectManipulator szkript használatával. Az ObjectManipulator segítségével közvetlenül kézzel vagy kézzel is megragadhatja és áthelyezheti az objektumokat. Emellett támogatja a kétkezes manipulációt az objektumok skálázására és elforgatására.