Szemkövetés a 2 HoloLens n

Szolgáltatás HoloLens (1. generációs) HoloLens 2. Modern headsetek
Tekintet ✔️

Fej- és szemkövetés – tervezési fogalmak bemutatója

Ha szeretné látni a fej- és szemkövetés tervezési fogalmait, tekintse meg az alábbi Designing Hologramok - Head Tracking and Eye Tracking (Fej-követés és szemkövetés) videóbemutatót. Ha végzett, folytassa a további részleteket az egyes témakörök részletes leírásában.

Ez a videó a 2. Hologramok" HoloLens készült. Töltse le és használja ki a teljes élményt itt:.

Kalibrációs

Ahhoz, hogy a szemkövetés pontosan működjön, minden felhasználónak át kell mennie egy olyan szemkövetési felhasználón, amelynek holografikus célpontjait kell keresnie. Ez lehetővé teszi, hogy az eszköz a felhasználó számára kényelmesebb és jobb minőségű megtekintési élmény érdekében módosítsa a rendszert, és ezzel egyidejűleg biztosítsa a pontos szemkövetést.

A szemkövetésnek a legtöbb felhasználónál működnie kell, de vannak olyan ritka esetek, amikor a felhasználó nem tudja sikeresen bekalkulni. A oltás több okból is meghiúsulhat, többek között a következők miatt:

  • A felhasználó korábban nem döntött a lemondási folyamatról
  • A felhasználó elvonta a figyelmét, és nem követte a célokat
  • A felhasználó bizonyos típusú kapcsolati objektívekkel és szemüvegekkel rendelkezik, amelyeket a rendszer még nem támogat
  • A felhasználó bizonyos szemfiziológiával, szemkörülményekkel vagy szemredukcióval rendelkezik, amelyet a rendszer még nem támogat
  • A megbízható szemkövetést akadályozó külső tényezők, például a HoloLens-vizoron vagy szemüvegen elszomorodva, intenzív közvetlen beszűkítések és a szem előtt lévő haj miatt elzáródások

A fejlesztőknek biztosítaniuk kell a megfelelő támogatást az olyan felhasználók számára, akik számára nem érhetők el a szemkövetési adatok (akik nem képesek sikeresen bekalkulni). A tartalék megoldásokra vonatkozó javaslatokat a lap alján található szakaszban talál.

Ha többet szeretne megtudni a hőmérsékletről és a zökkenőmentes élmény biztosításáról, tekintse meg a felhasználók által biztosított szemkövetési oldalt.


Elérhető szemkövetési adatok

Mielőtt részletesen bemutatjuk a szemre tekintő bemenetek konkrét használatának esetét, szeretnénk röviden rámutatni a HoloLens 2 Szemkövetési API által elérhető képességekre. A fejlesztők egyetlen, körülbelül 30 ( 30 Hz)elérésű szem sugárhoz (tekintet az eredethez és az irányhoz) férhetnek hozzá. A szemkövetési adatok elérésével kapcsolatos részletesebb információkért tekintse meg a DirectX-beli és a Unity-beli szemretekintő használatra vonatkozó fejlesztői útmutatóinkat.

Az előrejelzott tekintet körülbelül 1,5 fokon belül látható a tényleges cél körül (lásd az alábbi ábrát). Mivel kisebb eltérés várható, a fejlesztőknek érdemes némi árrést tervezni az alacsonyabb érték köré (például 2,0–3,0 fok sokkal kényelmesebb élményt eredményezhet). Az alábbiakban részletesen tárgyaljuk, hogyan lehet kisebb célokat kitűzni. A szemkövetés pontos munkához minden felhasználónak szemkövetési eljárást kell követnie.

Optimális célméret 2 méter távolságban
Optimális célméret 2 méter távolságban


Használati esetek

A szemkövetés segítségével az alkalmazások valós időben követhetik a felhasználó által keresett helyeket. Az alábbi esetek olyan interakciókat írnak le, amelyek a 2. HoloLens való szemkövetéssel lehetségesek. Ezek a esetek még nem részei a Holographic Shell használatának (ez azt a felületet jelenti, amely a 2. HoloLens indul el). Ezek némelyikét kipróbálhatja a Mixed Reality Toolkiteszközkészletben, amely számos érdekes és hatékony példát kínál a szemkövetés használatára, például gyors és könnyű szem által támogatott célkijelöléseket, és automatikusan végiggörgeti a szöveget a felhasználó által látható adatok alapján.

Felhasználói szándék

Az információk, amelyek alapján a felhasználó mit és hol néz, hatékony kontextust biztosít más bemenetek, például hang, kéz és vezérlők számára. Ez különböző feladatokhoz használható. Ez például gyorsan és egyszerűen megcélzható a jelenetben úgy, hogy egy hologramot tekint meg, és a "select" (rátekintés és véglegesítés) vagy a "put this..." (lásd: tekintet és véglegesítés) vagy a "put this..."(felhelyezés) szövegre, majd arra a helyre mutat, ahová a felhasználó a hologramot szeretné tenni, és azt mondja: "... there". Erre a következő helyen talál példákat: Mixed Reality Toolkit - Eye-supported Target Selection and Mixed Reality Toolkit - Eye-supported Target Positioning.

A felhasználói szándékra példa lehet például az is, hogy a felhasználók által megtestesített virtuális ügynökökkel és interaktív hologramokkal való kapcsolat növelése érdekében információt kell használniuk arról, hogy mit néznek meg a felhasználók. A virtuális ügynökök például az aktuálisan megtekintett tartalom alapján adaptálhatja az elérhető lehetőségeket és azok viselkedését.

Implicit műveletek

Az implicit műveletek kategóriája szorosan kapcsolódik a felhasználói szándékhoz. Az elképzelés az, hogy a hologramok vagy a felhasználói felület elemei olyan ékesedő módon reagálnak, amely talán még csak nem is úgy tűnik, mintha a felhasználó kommunikálna a rendszerrel, hanem hogy a rendszer és a felhasználó szinkronban van. Erre jó példa a szemre ható automatikus görgetés, ahol a felhasználó hosszan olvashatja a szöveget, amely automatikusan görgetni kezd, amint a felhasználó a szövegmező aljára kerül, hogy a felhasználó az olvasás folyamatában maradjon, anélkül, hogy az a felhasználónak meg kell emelnie az ujját.
Ennek egyik fő eleme, hogy a görgetési sebesség alkalmazkodik a felhasználó olvasási sebességhez. Egy másik példa a szem által támogatott nagyítás és pásztázás, ahol a felhasználó úgy érezheti, mintha pontosan azt szeretné, hogy pontosan arra koncentráljon, amire éppen összpontosít. A nagyítási sebesség aktiválása és szabályozása hang- vagy kézi bevitelsel vezérelhető, ami fontos annak érdekében, hogy a felhasználó vezérlést érez, és ne terheljék túl. Ezekről a kialakítási szempontokról az alábbiakban részletesebben is szó lesz. A nagyítás után a felhasználó zökkenőmentesen nyomon követheti például az utca kurzusát, hogy a tekintetével felfedezze a környékének felfedezését. Az ilyen típusú interakciók bemutató példái a Mixed Reality Eszközkészlet – Szem által támogatott navigációs mintában találhatók.

Az implicit műveletek egyéb esetekben a következők lehetnek:

  • Intelligens értesítések: Volt már olyan, hogy az értesítések pont ott ugranak fel, ahol ön? Ha figyelembe veszi, hogy mire figyel a felhasználó, ezt a felhasználói élményt még jobbra tudja tenni, ha kikapcsolja az értesítéseket arról, ahonnan a felhasználó éppen néz. Ez korlátozza a zavaró tényezőket, és automatikusan elveti őket, amint a felhasználó befejezte az olvasást.
  • Retens hologramok: Hologramok reagálnak, amikor rátekintünk. Ez a felhasználói felület kis mértékben kicsatolását, a lassan virágzik virágú virágtól a virtuális kutyaig számos különféle elemet tartalmaz, amelyek elkezdenek visszanézni a felhasználóra, és a farkukon ogni. Ez az interakció érdekes módon érzékelteti az alkalmazás kapcsolatát és elégedettségét.

Figyelemkövetés

Rendkívül hatékony eszköz lehet, ha információt nyújt arról, hogy a felhasználók hol vagy mit néznek meg. Segíthet felmérni a kialakítások használhatóságát, és azonosítani a munkafolyamatok problémáit, hogy azok hatékonyabbak legyenek. A szemkövetés vizualizációja és elemzése gyakori gyakorlat a különböző alkalmazási területeken. A 2. HoloLens új dimenziót biztosítunk ennek a megértésének, mivel a 3D hologramok valós környezetbe helyezhetők, és ennek megfelelően értékelhetők. A Mixed Reality eszközkészlet alapvető példákat biztosít a szemkövetési adatok naplózására és betöltésére, valamint azok megjelenítésére. A Microsoft elkötelezett az innováció elősegítése és annak biztosítása érdekében, hogy a felhasználók tájékozott és átlátható tapasztalatot kapjanak a szemkövetési adataik használatában. A fejlesztőkkel és a felhasználói felületekkel kapcsolatos csapatokkal együtt útmutatást nyújtunk a külső feleknek, hogy a felhasználói élmények a felhasználóra legyen központosodva.

A terület további alkalmazásai a következők lehetnek:

  • Távoli szem-tekintet vizualizáció: Távoli szemmegtekintő vizualizációk: A távoli közreműködők által látható vizualizációk, amelyek azonnali visszajelzést biztosítanak, és lehetővé teszik a pontosabb információfeldolgozást.
  • Felhasználókutatási tanulmányok: A figyelemkövetés segítségével a kutatók több betekintést kaphatnak arról, hogy a felhasználók hogyan érzékelik és tartják a kapcsolatot a természetes környezettel anélkül, hogy ez zavaró lenne, hogy az ember és a számítógép közötti interakciók még inkább megtervezése érdekében meg tudjanak jelenni. A szemkövetés olyan információkat nyújthat, amelyeket a tanulmány résztvevői nem mutatnak be közvetlenül, és amelyeket a kutató könnyen kihagyhat.
  • Betanítás és teljesítményfigyelés: Gyakorolhatja és optimalizálhatja a tevékenységek végrehajtását a szűk keresztmetszetek hatékonyabb azonosításával a végrehajtási folyamat során. A szemkövetés természetes, valós idejű és objektív információkat biztosít a munkahelyi képzés, a hatékonyság és a biztonság javításához.
  • Tervezésértékelések, marketing- és fogyasztói kutatások: A szemkövetés lehetővé teszi a kereskedelmi vállalatok számára, hogy marketing- és fogyasztói vizsgálatokat végezzenek valós környezetekben, vagy elemezzék, hogy mi rögzíti a felhasználók figyelmét a termék vagy a tér kialakításának javítására.

Egyéb esetekben

  • Gaming: Volt már szükség szupererőre? Itt a lehetőség! A hologramokat úgy tudja kihozni, ha rájuk néz. A 2. perchez próbálja ki a RoboRaidban a HoloLens 2. Állítsa be az öklöket kőbe, vagy fagyassza le őket. A x-ray vision segítségével megismerheti az épületeket. A képzelete a korlát! Azonban ne legyen túlterhelve a felhasználó, ha többet is meg akar tudni, tekintse meg a szemkör-alapú bemenettervezési útmutatót.

  • Kifejező avatarok: A szemkövetési segédeszközök a kifejezőbb 3D avatarok felhasználásával, élő szemkövetési adatokkal, amelyek az avatar szemét ékesik, és jelzik, hogy mit néz a felhasználó.

  • Szövegbevitel: A szemkövetés az alacsony munkamennyiségű szövegbevitel alternatívájaként is használható, különösen akkor, ha a beszéd vagy a kéz használata kényelmetlen.


A tekintet használata az interakcióhoz

A gyorsan mozgó szemcélzást kihasználó interakciók kiépítése kihívást jelenthet. A tekintete olyan gyorsan mozog, hogy óvatosnak kell lennie a szem-tekintet bemenetének használatával, mert ellenkező esetben a felhasználói élmény túlterhelt vagy zavaró lehet. Ugyanakkor valóban lenyűgöző élményeket is létrehozhat, amelyek a felhasználók számára is izgalmasak lesznek! Ha segítségre van szüksége, tekintse meg a legfontosabb előnyöket, kihívásokat és tervezési javaslatokat az interakció szemének szem előtt tartania.

Tartalék megoldások, ha a szemkövetés nem érhető el

Ritka esetekben előfordulhat, hogy a szemkövetési adatok nem érhetők el. Ennek különböző okai lehetnek, amelyek közül a leggyakoribb az alábbiakban látható:

  • A rendszer nem tudta bekalküldni a felhasználót.
  • A felhasználó kihagyta a görbét.
  • A felhasználó be van állítva, de úgy döntött, hogy nem ad engedélyt az alkalmazásnak a szemkövetési adatok használatára.
  • A felhasználó egyedi szemüveget vagy valamilyen, a rendszer által még nem támogatott szemkontraszttal rendelkezik.
  • A megbízható szemkövetést akadályozó külső tényezők, például a HoloLens-vizoron vagy szemüvegen elszomorító, intenzív közvetlen eszkozások, valamint a szem előtt lévő haj miatt elzáródások.

A fejlesztőknek meg kell győződni arról, hogy megfelelő tartalék támogatás áll a felhasználók számára. A DirectX szemkövetési oldalán ismertetjük azokat az API-kat, amelyek annak észleléséhez szükségesek, hogy elérhetők-e a szemkövetési adatok.

Bár egyes felhasználók tudatosan úgy döntöttek, hogy visszavonják a szemükkövetési adataikat, és nem gond, hogy a felhasználói élményben visszaélnek azzal, hogy nem biztosítják a hozzáférést a szemkövetési adataikhoz, ez bizonyos esetekben nem szándékos. Ha az alkalmazása szemkövetést használ, és ez fontos része a felhasználói élménynek, javasoljuk, hogy ezt egyértelműen kommunikálja a felhasználóval.

Ha tájékoztatnia kell a felhasználót arról, hogy miért kritikus fontosságú a szemkövetés az alkalmazás számára (esetleg néhány továbbfejlesztett funkció listázása), hogy teljes mértékben kiaknázni tudja az alkalmazás lehetőségeit, segíthet a felhasználónak jobban megérteni, hogy mit ad fel. Segítsen a felhasználónak azonosítani, hogy miért nem működik a szemkövetés (a fenti ellenőrzések alapján), és javaslatokat tesz a lehetséges problémák gyors elhárítására.

Ha például azt észleli, hogy a rendszer támogatja a szemkövetést, a felhasználót a rendszer besziratálja, és engedélyt adott neki, de nem kapott szemkövetési adatokat, akkor ez más problémákra is utalhat, például a szem elszenesedésére vagy a szem elkent szemére.

Ritka esetekben előfordulhat, hogy a felhasználók nem működnek a szemkövetéssel. Ezért kérjük, tartsa tiszteletben ezt azzal, hogy lehetővé teszi az emlékeztetők elvetését vagy letiltását az alkalmazásban a szemkövetés engedélyezéséhez.

Visszaesés az olyan alkalmazásokhoz, amelyek elsődleges bemeneti mutatóként használják a szem-tekintetet

Ha az alkalmazás a tekintetét használja mutató bemenetként a hologramok gyors kiválasztásához a jelenetben, de a szemkövetési adatok nem érhetők el, javasoljuk, hogy essen vissza a fejre, és kezdje meg a fejre ható kurzor megjelenítését. Javasoljuk, hogy időtúllépést (például 500–1500 ms) használva határozza meg, hogy váltania kell-e. Ez a művelet megakadályozza, hogy a kurzorok minden alkalommal megjelenjenek, amikor a rendszer rövid időre elveszítheti a követést a gyors szemmozgás, winks és villogás miatt. Ha Ön Unity-fejlesztő, a fejre pillantás automatikus visszalépését már a Mixed Reality eszközkészlet kezeli. Ha Ön DirectX-fejlesztő, önnek kell kezelnie ezt a kapcsolót.

Visszaesés más szemkövetési alkalmazásokhoz

Az alkalmazás a szemére szabott, egyedi módon használhatja a tekintetet. Például az avatarok figyelmét animálás vagy szemalapú figyelmet látó hőtérképek, amelyek a vizuális figyelem pontos információira támaszkodnak. Ebben az esetben nincs egyértelmű tartalék. Ha a szemkövetés nem érhető el, előfordulhat, hogy ezeket a képességeket le kell tiltani. Javasoljuk, hogy ezt egyértelműen közöljük a felhasználóval, aki esetleg nem tudja, hogy a képesség nem működik.


Ez az oldal remélhetőleg jó áttekintést nyújtott a 2. HoloLens szemkövetési és szem-tekinteti bemenetek HoloLens megértéséhez. A fejlesztés elkezdéséhez tekintse meg a hologramokkal való interakciókhoz, a Unityben való tekintethez és a DirectX-hez használt tekintethez szükséges információk között.

Lásd még

Szemkövetési bemutató az MRTK-ban

HoloLens 2. módszer új kontextust és emberi megértést tesz lehetővé a holografikus élményben azáltal, hogy lehetőséget nyújt a fejlesztőknek arra, hogy a felhasználó által figyelt adatokra vonatkozó információkat használjanak. Ez az oldal azt ismerteti, hogy a fejlesztők milyen előnyöket élveznek a különböző használati esetek figyelésében, és mit kell keresni a szemköralapú felhasználói interakciók tervezésekor.

A szemkövetési API-t a felhasználó személyes adatainak szem előtt tartva tervezték, így elkerülhető az azonosítható információk, különösen a biometrikus adatok átadása. A szemkövetésre képes alkalmazások esetében a felhasználónak engedélyt kell adni az alkalmazásnak a szemkövetési információk használatára.

Eszköztámogatás