Szemköralapú interakció a 2. HoloLens szerint

Szolgáltatás HoloLens (1. generációs) HoloLens 2. Modern headsetek
Tekintet ✔️

Fej- és szemkövetés – tervezési fogalmak bemutatója

Ha szeretné látni a fej- és szemkövetés tervezési fogalmait, tekintse meg az alábbi Designing Hologramok - Head Tracking and Eye Tracking (Fej-követés és szemkövetés) videóbemutatót. Ha végzett, folytassa a további részleteket az egyes témakörök részletes leírásában.

Ez a videó a 2. Hologramok", HoloLens "Designing HoloLens" alkalmazásból készült. Töltse le és használja ki a teljes élményt itt:.

A szemtekintő bemenet tervezési irányelvei

A gyorsan mozgó szemcélzást kihasználó interakciók kiépítése kihívást jelenthet. Ebben a szakaszban összefoglaljuk az alkalmazás tervezése során megfontolható legfontosabb előnyöket és kihívásokat.

A szemretekintő bemenet előnyei

  • Nagy sebességű rámutatás. A szemérmek a leggyorsabban reagáló testek.

  • Alacsony erőfeszítés. Fizikai mozgásra is szükség van.

  • Implicitség. A felhasználók gyakran "olvasásnak" nevezik, a felhasználók szemmozgásával kapcsolatos információk alapján a rendszer tudhatja, hogy a felhasználó melyik célt célozza meg.

  • Alternatív bemeneti csatorna. A tekintet hatékony támogató bemenetet biztosít a kéz- és hangbemenethez, amely a felhasználók több éves, a kéz-szem koordinációja alapján szerzett tapasztalatai alapján épül fel.

  • Vizuális figyelem. Egy másik fontos előnye annak a lehetősége, hogy ki tudja, mire figyel a felhasználó. Ez segíthet a különböző alkalmazásterületeken a különböző kialakítások hatékonyabb kiértékeléstől az intelligensebb felhasználói felületeken és a távoli kommunikáció továbbfejlesztett közösségi jelen át történő támogatásán át.

Egy röviden összefoglalva, a szem-tekintet bemenetként való használata gyors és egyszerű, környezetfüggő bemeneti jelet biztosít. Ez akkor hatékony, ha más bemenetekkel, például hang- és kézi bemenetekkel kombinálva megerősíti a felhasználó szándékát.

A tekintet kihívásai bemenetként

Bár a tekintetével kielégítő felhasználói élmények hozhatók létre, így ön úgy érzi, hogy egy kis idő után nem jó, azt is fontos tudni, hogy miben nem jó ennek megfelelően figyelembe vennie. Az alábbi lista néhány megfontolni szükséges kihívást és azok megoldását ismerteti a szemre tekintő bemenetek kezelésekor:

  • A tekintete "mindig be van va" A tekintet felnyálatlása után a tekintete elkezdi kijavítani a dolgokat a környezetben. Ha minden megjelenésre reagálna, és véletlenül műveleteket adna ki, mert túl sokáig nézne valamit, az elérhetetlen élményt eredményezne. Javasoljuk, hogy kombinálja atekintetet egy hangparancstal, kézmozdulattal, gombra kattintva vagy kiterjesztett dwell paranccsal a cél kiválasztásának aktiválása érdekében (további információért lásd: szemszem és véglegesítés). Ez a megoldás olyan módot is lehetővé tesz, amelyben a felhasználó szabadon körbejárhat anélkül, hogy túlterhelné őket a feladat akaratlan aktiválása. Ezt a problémát a vizualizációs és auditor visszajelzések tervezésekor is figyelembe kell venni a cél megtervezésekor. Ne terheld túl a felhasználót azonnali felugró effektusokkal vagy hangokkal. A finomság a kulcs. Az alábbiakban néhány ajánlott eljárásról lesz szó, amelyek a tervezésre vonatkozó javaslatokról szólnak.

  • A megfigyelés és Imagine, hogy pontosan ki szeretne egyenesezni egy fényképet a falán. Ha megnézi a szegélyét és a környezetét, láthatja, hogy jól illeszkedik-e. Most képzelje el, hogyan tenné ezt, ha a tekintetét bemenetként szeretné használni a kép mozgatásaként. Nehéz, nem igaz? Ez a szemkör kettős szerepét írja le, amikor a bemenethez és a vezérléshez is szükség van rá.

  • Kattintás előtt hagyja el a következőt: Gyors célkiválasztások esetén a kutatások azt mutatják, hogy a felhasználó szemének tekintete továbbléphet a manuális kattintás (például egy légi koppintás) lezárása előtt. Fordítson különös figyelmet a gyors szem-tekintet jel és a lassabb vezérlési bemenet (például hang, kéz, vezérlő) szinkronizálására.

  • Kis célok: Ismeri az érzést, amikor olyan szöveget próbál olvasni, amely egy kicsit túl kicsi ahhoz, hogy figyelmesen olvasson? Ez a nagy terhelés a tekintetét is megunhatja és elunhatja, mert a szemét úgy próbálja újrabehozni, hogy jobban összpontosítson. Ezt az érzést akkor hívhatja meg a felhasználóknál, amikor arra kényszeríti őket, hogy olyan célokat válasszanak ki, amelyek túl kicsik az alkalmazásban szemcélzás használatával. A kialakítása érdekében javasoljuk, hogy a felhasználók számára egy barátságos és kényelmes felhasználói élmény érdekében legalább 2°-os, lehetőleg nagyobb méretű célokat hozzon létre.

  • Ragged eye-betekintő mozgás A szemünk gyors mozgást végez a javítástól a javításon át. Ha megnézi a rögzített szemmozgások vizsgálati útvonalait, láthatja, hogy azok egyenetlennek látszenek. A tekintete gyorsan mozog, és a fej- és kézmozgáshoz képest hirtelen ugrik.

  • A megbízhatóság nyomon követése: A szemkövetés pontossága kissé csökkenhet a változó fényben, ahogy a tekintete alkalmazkodik az új körülményekhez. Bár ez nem feltétlenül befolyásolja az alkalmazás tervezését, mivel a pontosságnak a 2°-os korláton belül kell lennie, előfordulhat, hogy a felhasználónak újra be kell állítania a behatással.

Tervezési javaslatok

Az alábbiakban konkrét tervezési javaslatokat sorolunk fel a szemre ható bemenetek ismertetett előnyei és kihívásai alapján:

  1. A tekintet nem ugyanaz, mint a head-betekintő:

    • Gondolja át, hogy a gyors, de egyenetlen szemmozgás megfelel-e a bemeneti feladatnak: Bár a gyors és ratált szemmozgás remekül kijelöli a célokat a nézőpontunkon belül, kevésbé alkalmazható olyan feladatokhoz, amelyekhez zökkenőmentes bemeneti mozgások (például jegyzetek rajzolása vagy körülkerítése) van szükség. Ebben az esetben a kéz- vagy fej-rámutatás ajánlott.

    • Ne csatoljon valamit közvetlenül a felhasználó szemének tekintetével (például egy csúszkával vagy kurzorral). A kurzorok esetében ez "megingató kurzor" hatást eredményezhet, mivel a előre jelzett szem-tekinteti jel kis eltolásai kisebbek. Egy csúszkával ütközhet a csúszka vezérlésének kettős szerepével, miközben azt is ellenőrizni szeretné, hogy az objektum a megfelelő helyen van-e. A csúszka példáját nézve logikusabb a tekintet és a kézmozdulatok együttes használata. Ez azt jelenti, hogy a felhasználó gyorsan és könnyedén válthatott számos csúszka között, felfelé emelve a kezében, és csippentve a hüvelyket és az indexelő ujjlenyomatot, hogy megragadja és mozgassa. Ha a csippentés fel van szabadodva, a csúszka nem mozog. A felhasználók túlterhelté és elvonhatja a figyelmet, különösen akkor, ha a jel nem megfelelő az adott felhasználó számára.

  2. A tekintet és más bemenetek kombinálhatóak: A szemkövetés integrálása más bemenetekkel, például kézmozdulatokkal, hangparancsokkal vagy gombnyomásokkal számos előnnyel jár:

    • Ingyenes megfigyelés engedélyezése: Mivel a legfontosabb szerepünk a környezet megfigyelése, fontos, hogy a felhasználók anélkül keressnek, hogy bármilyen (vizuális, auditori stb.) visszajelzést vagy műveletet aktiválnak. A szemkövetés és egy másik bemeneti vezérlő együttes használatával zökkenőmentes váltást tesz lehetővé a szemkövetési megfigyelés és a bevitelvezérlési módok között.

    • Hatékony környezetszolgáltató: Ha egy hangparancs vagy kézmozdulatok használata közben információt ad arról, hogy a felhasználó hol és mit néz, zökkenőmentesen át tudja csatornázni a bemenetet a nézeten keresztül. Például: Mondja ki a "put that there" (ott helyezze el) szót, hogy gyorsan és fluently módon jelöljön ki és helyezzen el egy hologramot a jelenetben a cél és a célhely szemével.

    • Multimodális bemenetek szinkronizálására van szükség: A gyors szemmozgás és az összetettebb bemenetek, például a hosszú hangparancsok vagy kézmozdulatok kombinálása azzal a kockázattal jár, hogy a felhasználó már a további bemeneti parancs befejezése és felismerése előtt folytatja a figyelését. Ha saját beviteli vezérlőket (például egyéni kézmozdulatokat) hoz létre, mindenképpen naplózhatja ennek a bemenetnek a időtartamát, hogy az korreláljon azzal, amit a felhasználó korábban nézett.

  3. Finom visszajelzés a szemkövetési bemenetről: Hasznos visszajelzést adni, ha a cél meg van nézve, jelezve, hogy a rendszer a kívántan működik, de nem szabad elsiklottnak lennie. Ez magában foglalhatja a be- és kiolvadásokat, a vizualizáció kiemelését, vagy egyéb apró célviselkedéseket, például a lassú mozgásokat, például a célméret kismértékben való növelését. Ez azt jelzi, hogy a rendszer helyesen észlelte, hogy a felhasználó a felhasználó aktuális munkafolyamatának szükségtelen megszakítása nélkül figyel a célra.

  4. Kerülje a nem természetes szemmozgás kényszerítését bemenetként: Ne kényszerítse a felhasználókat meghatározott szemmozgások (tekinteti kézmozdulatok) használatára az alkalmazásban a műveletek aktiválásához.

  5. A nehezét a következőkor kell figyelembe venni: Kétféle eltérést különböztetünk meg, amelyek a felhasználók számára észrevehetők: az eltolást és a jittert. Az eltolások megoldásának legegyszerűbb módja, ha kellően nagy célokat biztosít a kommunikációhoz. Ajánlott hivatkozásként egy 2°-nál nagyobb vizualizációs szöget használni. A miniatűr például körülbelül 2°-os vizuális szögben jelenik meg, amikor kinyújtja a arm-et. Ez a következő útmutatáshoz vezet:

    • Ne kényszerítsen a felhasználókat kis célok kiválasztására. A kutatások kimutatták, hogy ha a célok elég nagyok, és a rendszer jól van megtervve, a felhasználók könnyűnek és csodálatosnak írják le az interakciókat. Ha a célok túl kicsivé válnak, a felhasználók megkeserítőnek és frusztrálónak írják le a felhasználói élményt.

Ez az oldal jó áttekintést nyújtott a vegyes valóság bemenetének tekintett tekintet áttekintéséhez. A fejlesztés elkezdéséhez tekintse meg a Unityben látható, a DirectX szem-tekintetével kapcsolatos információkat.

Lásd még

Szemkövetési bemutató az MRTK-ban

A 2. HoloLens izgalmas új képességeink egyike a szemkövetés. A 2. HoloLens szemkövetési oldalon említettük, hogy minden felhasználónak át kell esnie egy 2.oldalon, ahol fejlesztői útmutatást és kiemelt használati eseteket biztosítottunk a szemkövetéshez. A tekintetre adott bemenet továbbra is új típusú felhasználói bevitel, és sok tanulni való.

Bár a holografikus rendszerhéjban (a HoloLens 2 elttintáskor látható felhasználói felületen) csak a tekintetek bemenetét használjuk, számos alkalmazás, például az "HoloLens Playground"nagyszerű példákat mutat be arra, hogy a tekinteti bemenet hogyan adhat hozzá a holografikus élményhez. Ezen az oldalon a szemtekintés bemenetének a holografikus alkalmazásokkal való interakcióba való integrálásával kapcsolatos tervezési szempontokat tárgyaljuk.

Megismeri a legfontosabb előnyöket, valamint a szemretekintő bemenetekkel kapcsolatos egyedi kihívásokat. Ezek alapján számos tervezési javaslatot biztosítunk, amelyek segítenek a szem által támogatott felhasználói felületek létrehozásában.

Eszköztámogatás