Szemkövetési példák áttekintése – MRTK2
Ez a témakör azt ismerteti, hogyan kezdheti meg gyorsan a szemkövetést az MRTK-ban az MRTK szemkövető példáira (Assets/MRTK/Examples/Demos/EyeTracking). Ezek a minták lehetővé teszik, hogy megtapasztalja az egyik új mágikus beviteli képességek: Szemkövetés! A bemutató különböző használati eseteket tartalmaz, az implicit szemalapú aktiválásoktól kezdve a hang - és kézbemenettel kapcsolatos információk zökkenőmentes kombinálásáig. Ez lehetővé teszi, hogy a felhasználók gyorsan és könnyedén válasszanak ki és helyezzenek át holografikus tartalmakat a nézetükbe egyszerűen úgy, hogy megtekintenek egy célt, és kimondják a "Kiválasztás" szöveget, vagy kézmozdulatot hajtanak végre. A bemutatókban egy példa is látható a szempillantás által irányított görgetéshez, a szöveg és képek pásztázásához és nagyításához a palan. Végül egy példa látható a felhasználó vizuális figyelmének rögzítésére és vizualizációjára egy 2D-s lappal. A következő szakaszban további részleteket talál arról, hogy az MRTK szemkövető mintacsomagjában (Assets/MRTK/Examples/Demos/EyeTracking) mely minták szerepelnek:
Az alábbi szakasz gyors áttekintést nyújt arról, hogy az egyes szemkövető bemutató jelenetek miről szólnak. Az MRTK szemkövető bemutató jelenetei additív módon vannak betöltve, amelyet az alábbiakban ismertetünk a beállításhoz.
A szemkövetési bemutatóminták áttekintése
Szem által támogatott cél kiválasztása
Ez az oktatóanyag bemutatja, hogy könnyen elérhetők a szempillantás adatai a célok kiválasztásához. Ez egy olyan példát tartalmaz, amely finom, mégis hatékony visszajelzést nyújt a felhasználónak abban a magabiztosságban, hogy a cél a túlterheltség nélkül koncentrálódik. Emellett van egy egyszerű példa az intelligens értesítésekre, amelyek olvasás után automatikusan eltűnnek.
Összefoglalás: Gyors és könnyű célválasztás a szem, a hang és a kéz bevitelének kombinációjával.
Szem által támogatott navigáció
Tegyük fel, hogy egy távoli kijelzőn vagy az e-olvasón olvas néhány információt, és amikor eléri a megjelenített szöveg végét, a szöveg automatikusan felgörget, hogy több tartalmat jelenítsen meg. Vagy mi a helyzet a varázslatosan nagyító közvetlenül felé, ahol nézett? Ezek az oktatóanyagban bemutatott példák a szem által támogatott navigációval kapcsolatban. Emellett a 3D hologramok kihangosító nélküli forgatására is van példa, ha automatikusan elforgatja őket az aktuális fókusz alapján.
Összefoglalás: Görgetés, pásztázás, nagyítás, térbeli forgatás a szem, a hang és a kéz bevitelének kombinációjával.
Szem által támogatott pozicionálás
Ez az oktatóanyag egy Put-That-There nevű bemeneti forgatókönyvet mutat be, amely az MIT Media Lab kutatásaihoz nyúlik vissza az 1980-as évek elején, szem-, kéz- és hangbevitellel. Az ötlet egyszerű: Használja ki a szeméből a gyors célválasztást és pozicionálást. Egyszerűen nézze meg a hologramot, és mondja ki, hogy "tegye ezt", nézze át, hová szeretné helyezni, és mondja azt , hogy "ott!". A hologram pontosabb elhelyezéséhez további bemeneteket használhat a kezéből, hangjából vagy vezérlőiből.
Összefoglalás: Hologramok elhelyezése szemekkel, hang- és kézbemenettel (húzással). Szem által támogatott csúszkák szem+ kéz használatával.
Vizuális figyelem vizualizációja
A felhasználók kinézete alapján végzett adatok rendkívül hatékony eszközt biztosítanak a tervezés használhatóságának felméréséhez és a hatékony munkafolyamatok problémáinak azonosításához. Ez az oktatóanyag a különböző szemkövető vizualizációkat és a különböző igényeknek megfelelő megjelenítéseket ismerteti. Alapvető példákat biztosítunk a szemkövető adatok naplózásához és betöltéséhez, valamint példákat a vizualizációjukhoz.
Összegzés: Kétdimenziós figyelem térkép (hőtérképek) a pala. Felvétel & szemkövető adatok ismétlése.
Az MRTK szemkövető minták beállítása
Előfeltételek
Vegye figyelembe, hogy a szemkövető minták eszközön való használatához egy HoloLens 2 és egy mintaalkalmazás-csomagra van szükség, amely a csomag AppXManifestén található "Tekintet bemenete" funkcióval készült.
Ahhoz, hogy ezeket a szemkövető mintákat használhassa az eszközön, mindenképpen kövesse ezeket a lépéseket az alkalmazás Visual Studióban való létrehozása előtt.
1. EyeTrackingDemo-00-RootScene.unity betöltése
Az EyeTrackingDemo-00-RootScene az alap (gyökér) jelenet, amely tartalmazza az összes alapvető MRTK-összetevőt. Ez az a jelenet, amelyet először be kell töltenie, és amelyből futtatja a szemkövetési bemutatókat. Ez egy grafikus jelenet menüvel rendelkezik, amely lehetővé teszi, hogy egyszerűen váltson a különböző szemkövető minták között, amelyek additív módon lesznek betöltve.
A gyökér jelenet tartalmaz néhány alapvető összetevőt, amelyek megmaradnak az additívan betöltött jelenetekben, például az MRTK-konfigurált profilok és a jelenet kamerája. A MixedRealityBasicSceneSetup (lásd az alábbi képernyőképet) tartalmaz egy szkriptet, amely automatikusan betölti a hivatkozott jelenetet indításkor. Alapértelmezés szerint ez az EyeTrackingDemo-02-TargetSelection.
2. Jelenetek hozzáadása a build menühöz
Az additív jelenetek futásidőben való betöltéséhez először fel kell vennie ezeket a jeleneteket a Build settings –> Scenes in Build menübe . Fontos, hogy a gyökérjelenet jelenik meg a lista első jeleneteként:
3. Játssza le a szemkövetési mintákat a Unity-szerkesztőben
Miután hozzáadta a szemkövetési jeleneteket a buildbeállításokhoz, és betöltötte az EyeTrackingDemo-00-RootScene fájlt, még egy utolsó dolgot érdemes ellenőriznie: Engedélyezve van-e a MixedRealityBasicSceneSetup GameObjecthez csatolt "OnLoadStartScene" szkript? Ezzel tudathatja a gyökérjelenettel, hogy melyik bemutatójelenetet kell először betöltenie.
Gördüljünk! Nyomja le a "Lejátszás" elemet! Több drágakőnek kell megjelennie, és a jelenet menüje a tetején.
Azt is észre kell vennie egy kis féligtranszparent kör közepén a játéknézet. Ez a szimulált tekintet mutatójaként (kurzoraként) működik: Egyszerűen nyomja le a jobb egérgombot , és mozgassa az egeret a pozíciójának módosításához. Amikor a kurzor a drágakövek fölé mutat, láthatja, hogy az a jelenleg megtekintett drágakő közepére fog illeszkedni. Ez egy nagyszerű módszer annak ellenőrzésére, hogy az események a várt módon aktiválódnak-e, amikor "megnézik" a célokat. Vegye figyelembe, hogy a szimulált szem tekintete az egérvezérléssel meglehetősen gyenge kiegészítője a gyors és nem szándékos szemmozgásainknak. Azonban kiválóan alkalmas az alapszintű funkciók tesztelésére, mielőtt a tervezést a HoloLens 2 eszközre telepíti. Visszatérve a szem nyomon követésére minta jelenet: A drágakő forog, amíg néznek, és lehet megsemmisíteni a "nézés" rá, és ...
- Nyomja le az Enter billentyűt (amely a "select" kifejezést szimulálja)
- A "select" kifejezés a mikrofonba kapcsolva
- Miközben a Szóköz billentyűt lenyomva jeleníti meg a szimulált kézi bemenetet, kattintson a bal egérgombra a szimulált csippentés végrehajtásához
Részletesebben ismertetjük, hogyan érheti el ezeket az interakciókat a Eye-Supported Target Selection oktatóanyagban.
Amikor a kurzort felfelé viszi a jelenet felső menüsorára, láthatja, hogy az éppen rámutatott elem finoman kiemelve jelenik meg. Az aktuálisan kiemelt elemet a fent leírt véglegesítési módszerek egyikével (például az Enter billentyű lenyomásával) választhatja ki. Így válthat a különböző szemkövető mintajelenetek között.
4. Adott aljelenetek tesztelése
Ha egy adott forgatókönyvön dolgozik, előfordulhat, hogy nem szeretne minden alkalommal végigmenni a jelenet menüjén. Ehelyett érdemes lehet közvetlenül abból a jelenetből kiindulni, amelyen éppen dolgozik, amikor lenyomja a Lejátszás gombot. Nem gond! A következő műveleteket végezheti el:
A gyökérjelenet betöltése
A gyökér jelenetben tiltsa le az OnLoadStartScene szkriptet
Húzza az alább leírt szemkövető tesztjelenetek egyikét (vagy bármely más jelenetet) a Hierarchia nézetbe az alábbi képernyőképen látható módon.
Nyomja le a Play billentyűt
Vegye figyelembe, hogy az aljelenet ilyen betöltése nem állandó: Ez azt jelenti, hogy ha az alkalmazást az HoloLens 2 eszközön helyezi üzembe, az csak a gyökérjelenetet tölti be (feltéve, hogy az a buildbeállítások tetején jelenik meg). Emellett ha megosztja a projektet másokkal, az aljelenetek nem töltődnek be automatikusan.
Most, hogy már tudja, hogyan használhatja az MRTK szemkövető példajeleneteit, folytassa a hologramok szemekkel való kiválasztásának mélyebb megismerésével: Szem által támogatott célválasztás.
Vissza a "Eye tracking in the MixedRealityToolkit" (Szemkövetés a MixedRealityToolkitban)