Přehled příkladů sledování očí – MRTK2
Toto téma popisuje, jak rychle začít se sledováním očí v MRTK tím, že vychází z příkladů MRTK pro sledování očí (Assets/MRTK/Examples/Demos/EyeTracking). Tyto ukázky vám umožní zažít jednu z našich nových magických vstupních funkcí: sledování očí! Ukázka zahrnuje různé případy použití, od implicitních aktivací založených na očích až po to, jak bezproblémově kombinovat informace o tom, na co se díváte, s hlasovým a ručním vstupem. To umožňuje uživatelům rychle a bez námahy vybrat a přesunout holografický obsah v zobrazení jednoduše tak, že se podívá na cíl a řekne "Vybrat" nebo provede gesto rukou. Ukázky také obsahují příklad posouvání orientovaného pohledem, posouvání a přiblížení textu a obrázků v tabuli. Nakonec je k dispozici příklad pro záznam a vizualizaci vizuální pozornosti uživatele na 2D tabuli. V následující části najdete další podrobnosti o tom, co jednotlivé ukázky v ukázkovém balíčku MRTK pro sledování očí (Assets/MRTK/Examples/Demos/EyeTracking) zahrnují:
Následující část obsahuje stručný přehled jednotlivých ukázkových scén sledování očí. Ukázkové scény MRTK pro sledování očí se načítají doplňkově, což vysvětlíme níže.
Přehled ukázek sledování očí
Výběr cíle s podporou očí
Tento kurz ukazuje snadný přístup k datům pohledu pro výběr cílů. Obsahuje příklad pro jemnou, ale účinnou zpětnou vazbu, která uživateli poskytne jistotu, že cíl je zaměřen, aniž by byl zahlcený. Kromě toho existuje jednoduchý příklad inteligentních oznámení, která po přečtení automaticky zmizí.
Shrnutí: Rychlé a snadné výběry cílů pomocí kombinace očí, hlasu a ručního vstupu.
Navigace s podporou očí
Představte si, že některé informace čtete na vzdáleném displeji nebo v elektronické čtečce, a když se dostanete na konec zobrazeného textu, text se automaticky posune nahoru, aby se zobrazil další obsah. Nebo co takhle magicky přiblížit přímo k místu, kde jste se dívali? Toto jsou některé z příkladů, které jsou prezentovány v tomto kurzu týkající se navigace s podporou očí. Kromě toho existuje příklad pro otáčení 3D hologramů bez použití rukou tak, že se automaticky otáčejí podle aktuálního fokusu.
Shrnutí: Posouvání, posouvání, lupa, 3D otáčení pomocí kombinace očí, hlasu a ručního vstupu.
Umístění s podporou očí
Tento kurz ukazuje vstupní scénář s názvem Put-That-There, který se datuje do výzkumu z mit Media Lab na počátku 80. let s očním, ručním a hlasovým vstupem. Myšlenka je jednoduchá: Využijte své oči pro rychlý výběr a umístění cíle. Jednoduše se podívejte na hologram a řekněte "put this", podívejte se, kam ho chcete umístit, a řekněte "tam!". Pro přesnější umístění hologramu můžete použít další vstup z rukou, hlasu nebo ovladačů.
Shrnutí: Umístění hologramů pomocí očí, hlasu a ručního vstupu (přetažením) Posuvníky s podporou očí pomocí očí a rukou
Vizualizace vizuální pozornosti
Data založená na tom, kde se uživatelé dívají, jsou nesmírně výkonným nástrojem k posouzení použitelnosti návrhu a k identifikaci problémů v efektivních pracovních proudech. Tento kurz popisuje různé vizualizace sledování očí a to, jak vyhovují různým potřebám. Poskytujeme základní příklady protokolování a načítání dat sledování očí a příklady, jak je vizualizovat.
Shrnutí: Dvourozměrná mapa pozornosti (heat mapy) na slates. Záznam & přehrání dat sledování očí.
Nastavení vzorků MRTK pro sledování očí
Požadavky
Mějte na paměti, že použití vzorků sledování očí na zařízení vyžaduje HoloLens 2 a balíček ukázkové aplikace, který je vytvořený s funkcí "Gaze Input" na appXManifest balíčku.
Pokud chcete tyto ukázky sledování očí používat na zařízení, nezapomeňte před vytvořením aplikace v sadě Visual Studio postupovat podle těchto kroků .
1. Načtení EyeTrackingDemo-00-RootScene.unity
EyeTrackingDemo-00-RootScene je základní (kořenová) scéna, která obsahuje všechny základní komponenty MRTK. Toto je scéna, kterou musíte nejprve načíst a ze které spustíte ukázky sledování očí. Obsahuje grafickou nabídku scény, která umožňuje snadno přepínat mezi různými vzorky sledování očí, které se načtou doplňkově.
Kořenová scéna obsahuje několik základních komponent, které se zachovají napříč doplňkově načtenými scénami, jako jsou nakonfigurované profily MRTK a kamera scény. MixedRealityBasicSceneSetup (viz snímek obrazovky níže) obsahuje skript, který při spuštění automaticky načte odkazovanou scénu. Ve výchozím nastavení je to EyeTrackingDemo-02-TargetSelection.
2. Přidání scén do nabídky sestavení
Pokud chcete načíst doplňkové scény za běhu, musíte nejdřív přidat tyto scény do nabídky Build Settings - Scenes in Build (Nastavení sestavení –> scény v sestavení ). Je důležité, aby se kořenová scéna zobrazovala jako první scéna v seznamu:
3. Přehrajte si ukázky sledování očí v editoru Unity.
Po přidání scén sledování očí do nastavení sestavení a načtení EyeTrackingDemo-00-RootScene je ještě jedna věc, kterou byste měli zkontrolovat: Je skript OnLoadStartScene připojený k objektu MixedRealityBasicSceneSetup GameObject povolený? To znamená, aby kořenová scéna věděla, která ukázková scéna se má načíst jako první.
Pojďme na to! Stiskněte "Přehrát"! Mělo by se zobrazit několik drahokamů a nabídka scén v horní části.
Měli byste si také všimnout malého poloprůhledného kruhu ve středu zobrazení hry. Funguje to jako indikátor (kurzor) simulovaného pohledu očima: Jednoduše stiskněte pravé tlačítko myši a pohybem myši změňte její pozici. Když kurzor najede na drahokamy, všimnete si, že se přichytí ke středu právě zobrazeného drahokamu. Je to skvělý způsob, jak otestovat, jestli se události při "pohledu" na cíl aktivují podle očekávání. Mějte na paměti, že simulovaný pohled pomocí ovládání myší je poměrně špatný doplněk našich rychlých a neúmyslných pohybů očí. Je ale skvělý pro testování základních funkcí před iterací návrhu nasazením do HoloLens 2 zařízení. Návrat k naší oko sledování ukázkové scény: Drahokam se otáčí tak dlouho, jak se dívá na a může být zničen "pohledem" na to a ...
- Stisknutí klávesy Enter (které simuluje vyslovení "select")
- Vyslovení příkazu "select" do mikrofonu
- Stisknutím klávesy Mezerník zobrazíte simulovaný vstup ruky a kliknutím levým tlačítkem myši provedete simulované stažení prstů.
Podrobnější popis toho, jak těchto interakcí dosáhnout, najdete v našem kurzu výběru cíle s podporou očí .
Když přesunete kurzor nahoru do horního řádku nabídek ve scéně, všimnete si, že aktuálně najetá položka se zvýrazní jen krátce. Aktuálně zvýrazněnou položku můžete vybrat některou z výše popsaných metod potvrzení (například stisknutím klávesy Enter). Tímto způsobem můžete přepínat mezi různými ukázkovými scénami sledování očí.
4. Jak testovat konkrétní dílčí scény
Při práci na konkrétním scénáři možná nebudete chtít pokaždé procházet nabídku scény. Místo toho můžete při stisknutí tlačítka Přehrát začít přímo ze scény, na které právě pracujete. Žádný problém! Tady je postup:
Načtení kořenové scény
V kořenové scéně zakažte skript OnLoadStartScene .
Přetáhněte jednu z níže popsaných testovacích scén sledování očí (nebo jinou scénu) do zobrazení hierarchie , jak je znázorněno na následujícím snímku obrazovky.
Stiskněte Přehrát.
Upozorňujeme, že načtení podsekce není trvalé: To znamená, že pokud aplikaci nasadíte do HoloLens 2 zařízení, načte se jenom kořenová scéna (za předpokladu, že se zobrazí v horní části nastavení sestavení). Když sdílíte projekt s ostatními, dílčí scény se také nenačtou automaticky.
Teď, když víte, jak zpracovat ukázkové scény sledování očí MRTK, pojďme se podívat podrobněji na to, jak vybrat hologramy očima: Výběr cíle s podporou očí.