A szemkövetési példák áttekintése


Most, hogy már tudja, hogyan használhatók az MRTK szemkövetésipéldajelenetei, folytassuk a hologramok kiválasztásával: Szem által támogatott cél kiválasztása.


Vissza a "Szemkövetés a MixedRealityToolkitben"

Ez a témakör azt ismerteti, hogyan lehet gyorsan elkezdeni a szemkövetést az MRTK-ban az MRTK-szemkövetési példákra (Assets/MRTK/Examples/Demos/EyeTracking) építve. Ezekkel a mintákkal az egyik új, nem látható bemeneti képességet tapasztalja meg: a szemkövetést! A bemutató különböző eseteket tartalmaz, az implicit szemalapú aktiválásoktól a hang- és kézi bevitelen át át a látható információk zökkenőmentes összevonásán át. Ez lehetővé teszi a felhasználók számára, hogy gyorsan és egyszerűen kiválasztják és áthelyezik a holografikus tartalmakat a nézetben egyszerűen egy cél megtekintésével és a "Kijelölés" kiírásával vagy egy kézmozdulat elvégzésével. A bemutatók egy példát is tartalmaznak a szem által irányított görgetéshez, a szöveg és a képek pásztázáshoz és nagyításhoz egy lappal. Végül egy példát is mutatunk be a 2D-be való be- és vizualizáció figyelmének rögzítésére és megjelenítésére. A következő szakaszban további részleteket talál arról, hogy az MRTK-szemkövetési példacsomag (Assets/MRTK/Examples/Demos/EyeTracking) milyen mintákat tartalmaz:

A szemkövetési jelenetek listája

A következő szakasz rövid áttekintést nyújt az egyéni szemkövetés bemutatójeleneteiről. Az MRTK szemkövetési bemutatójeleneteket additív módon töltjük be, amelyet az alábbiakban ismertetünk a beállításról.

A szemkövetési bemutatóminták áttekintése

Szem által támogatott cél kiválasztása

Ez az oktatóanyag bemutatja, hogyan férhet hozzá könnyen a szem adatokat a kiválasztott célokhoz. Egy apró, mégis hatékony visszajelzésre mutat példát, amely biztos lehet benne, hogy a cél nem túlterhelt. Emellett megjelenik egy egyszerű példa az intelligens értesítésekre, amelyek automatikusan eltűnnek az olvasás után.

Összefoglalás:Gyors és könnyű célkijelölések a szem, a hang és a kézi bevitel kombinációjával.

Szem által támogatott navigáció

Imagine, hogy egy távoli kijelzőn vagy e-olvasón olvas be információkat, és amikor eléri a megjelenített szöveg végét, a szöveg automatikusan felgörget, hogy több tartalmat jelenítsen meg. Vagy mi lenne, ha közvetlenül arra nagyítanál, hogy hol is néztünk? Az oktatóanyagban bemutatunk néhány példát a szem által támogatott navigációra. Emellett megjelenik egy példa a 3D hologramok kéz nélküli rotációra úgy, hogy az aktuális fókusz alapján automatikusan elforgatja őket.

Összefoglalás:Görgetés, pásztázás, nagyítás, 3D-elforgatás a szem, a hang és a kézi bevitel kombinációjával.

Szem által támogatott pozíció

Ez az oktatóanyag egy Put-That-There nevű bemeneti forgatókönyvet mutat be az MIT Media Lab kutatására az 1980-as évek elején, szem- és hangbemenettel. Az ötlet egyszerű: A gyors célkiválasztás és -pozíció kihasználása. Egyszerűen nézze meg a hologramot, és mondja ki a "put this"(helyezze el ezt) szót, és nézze át, hová szeretné tenni, és mondja a "there! " (ott!) szót. A hologram pontosabb elhelyezkedéséhez további bemeneteket használhat a kézből, hangból vagy vezérlőkből.

Összefoglalás:Hologramok pozíciója a szem, hang és kézi bevitel használatával(áthúzva). Szem által támogatott csúszkák a szem+ kéz használatával.

Vizualizációk figyelmét ábrázoló képi megjelenítés

Az adatok alapján, amelyek alapján a felhasználók néznek, rendkívül hatékony eszköz a tervezés használhatóságának felmérésére és a hatékony munkastreamek problémáinak azonosítására. Ez az oktatóanyag a különböző szemkövetési vizualizációkat és azok különböző igényekhez való illeszkedéseit ismerteti. Alapvető példákat biztosítunk a szemkövetési adatok naplózására és betöltésére, valamint a vizualizációjukra.

Összefoglalás:Kétdimenziós figyelemtérkép (hőtérképek) a betöltésen. A & szemkövetési adatok visszajátszásának rögzítése.

Az MRTK szemkövetési mintáinak beállítása

Előfeltételek

Vegye figyelembe, hogy a szemkövetési mintáknak az eszközön való használatához szükség van egy HoloLens 2-es és egy mintaalkalmazás-csomagra, amely a csomag AppXManifest tulajdonságának "Gaze Input" képességével készült.

Ahhoz, hogy ezeket a szemkövetési mintákat használva használjuk az eszközön, kövesse ezeket a lépéseket, mielőtt az alkalmazást a Visual Studio.

1. Az EyeTrackingDemo-00-RootScene.unity betöltése

Az EyeTrackingDemo-00-RootScene az alap(gyökér ) jelenet, amely tartalmazza az összes alapvető MRTK-összetevőt. Ez az a jelenet, amelyet először be kell töltenie, és amelyből a szemkövetési bemutatókat fogja futtatni. Grafikus jelenetmenüt tartalmaz, amellyel könnyedén válthat a különböző, additívan betölthető szemkövetési minták között.

Jelenet menü a szemkövetési mintában

A gyökérjelenet tartalmaz néhány alapvető összetevőt, amelyek megmaradnak az additívan betöltött jeleneteken, például az MRTK által konfigurált profilokon és a jelenet kamerán. A MixedRealityBasicSceneSetup (lásd az alábbi képernyőképet) tartalmaz egy szkriptet, amely indításkor automatikusan betölti a hivatkozott jeleneteket. Alapértelmezés szerint ez az EyeTrackingDemo-02-TargetSelection.

Példa az OnLoadStartScene szkriptre

2. Jelenetek hozzáadása a build menühöz

Az additív jelenetek futásidőben való betöltéséhez először hozzá kell adni ezeket a jeleneteket a Build Gépház - Scenes (Build menü) menüben. Fontos, hogy a gyökér jelenet a lista első jeleneteként megjelenik:

Build Gépház-jelenetmenü a szemkövetési mintákhoz

3. A szemkövetési minták lejátszása a Unity szerkesztőben

Miután hozzáadta a szemkövetési jeleneteket a Build Gépház buildhez, és betölti az EyeTrackingDemo-00-RootScene-t, van még egy dolog, amit ellenőrizni szeretne: Engedélyezve van-e a MixedRealityBasicSceneSetup GameObjecthez csatolt OnLoadStartScene szkript? Ezzel tudatja a gyökérstúdiokkal, hogy melyik bemutató jelenet legyen először betöltődve.

Példa a OnLoad_StartScene szkriptre

Ássunk is! Nyomja le a "Play" (Lejátszás) et! Több gemnek kell megjelennie, és a jelenetmenünek kell megjelennie a tetején.

Minta képernyőkép az ET cél kiválasztása jelenetről

Egy kis félig áttűnő kör is látható a játéknézet közepén. Ez a szimulált tekintet jelzőjeként (kurzorként) működik: Egyszerűen nyomja le a jobb egérgombot, és mozgassa az egeret a pozíciójának módosítása előtt. Amikor a kurzor a gemek fölé mutat, észreveheti, hogy az az aktuálisan megtekintett gem közepéhez fog illesztve. Ez remek módja annak tesztelésének, hogy az események a várt módon aktiválódnak-e, amikor "meg vannak nézve" a célon. Vegye figyelembe, hogy az egérvezérlés szimulált tekintete meglehetősen gyenge kiegészítője a gyors és véletlen szemmozgásnak. Azonban nagyszerűen tesztelheti az alapszintű funkciókat, mielőtt a 2. HoloLens telepítik a kialakításon. Visszatérve a szemkövetési minta jelenethez: A gem addig forgatható, amíg meg nem nézik, és a "nézve" és ...

  • Nyomja le az Enter billentyűt (amely azt szimulálja, hogy a "select" ki van választva)
  • A "select" szöveg be van némva a mikrofonba
  • A szimulált kézzel bevitt adatok megjelenítése a Szóköz billentyű lenyomásával, a bal egérgombbal szimulált csippentés végrehajtásához

Ezeket az interakciókat részletesebben a szem által támogatott célkiválasztási oktatóanyagban ismertetjük.

Ha a kurzort a jelenet felső menüsávja felé mozgatja, észreveheti, hogy az éppen rámutatott elem csak részösszegként lesz kiemelve. A jelenleg kiemelt elemet a fent ismertetett véglegesítési módszerek egyikével választhatja ki (például az Enter billentyű lenyomásával). Így válthat a különböző szemkövetési mintajelenetek között.

4. Adott aljelenetek tesztelése

Egy adott forgatókönyv esetén előfordulhat, hogy nem szeretné minden alkalommal végigmenni a jelenet menüjén. Ehelyett előfordulhat, hogy közvetlenül abból a jelenetből szeretne indulni, amin éppen dolgozik a Lejátszás gomb megnyomásakor. Nem gond! A következőt teheti:

  1. A gyökér jelenet betöltése

  2. A gyökérstúdiában tiltsa le az "OnLoadStartScene" szkriptet

  3. Húzza az alább leírt szemkövetési tesztjeleneteket a Hierarchy (Hierarchia) nézetbe az alábbi képernyőképen látható módon.

    Additív jelenet példája

  4. Nyomja le a Play billentyűt

Vegye figyelembe, hogy az al jelenet ilyen betöltése nem állandó: Ez azt jelenti, hogy ha az alkalmazást a HoloLens 2-es eszközön telepíti, az csak a gyökér jelenetét fogja betölteni (feltéve, hogy az megjelenik a Build Gépház). Emellett ha másokkal is megosztja a projektet, az aljelenetek nem töltődnek be automatikusan.