Interakce založená na očním pohledu na HoloLens 2
Jednou z našich zajímavých nových funkcí na HoloLens 2 je sledování očí. Na stránce Sledování očí na HoloLens 2 jsme se zmínili o tom, že každý uživatel musí projít kalibrací, poskytli jsme pokyny pro vývojáře a zvýraznili jsme případy použití pro sledování očí. Vstup z pohledu zraku je stále novým typem uživatelského vstupu a je toho hodně, co se naučit.
I když se v prostředí Holographic Shellu (uživatelském rozhraní, které vidíte při spuštění HoloLens 2, používá jen jemně), několik aplikací, jako je například "HoloLens Playground", ukazuje skvělé příklady toho, jak může vstup pohledem přidat kouzlo holografického prostředí. Na této stránce probereme aspekty návrhu pro integraci vstupu pohledem pro interakci s holografickými aplikacemi.
Dozvíte se o klíčových výhodách a také jedinečných výzvách, které přináší vstup pohledem. Na jejich základě poskytujeme několik doporučení návrhu, která vám pomůžou vytvořit vyhovující uživatelská rozhraní podporovaná pohledem.
Podpora zařízení
| Funkce | HoloLens (1. generace) | HoloLens 2 | Imerzivní náhlavní soupravy |
| Pohled z očí | ❌ | ✔️ | ❌ |
Ukázka konceptů návrhu sledování hlavy a očí
Pokud se chcete podívat na koncepty návrhu head and Eye Tracking v praxi, podívejte se níže na ukázku videa Návrh hologramů – Sledování hlavy a Sledování očí . Až budete hotovi, pokračujte, abyste si podrobněji probrali konkrétní témata.
Toto video bylo převzato z aplikace "Návrh hologramů" HoloLens 2. Stáhněte si a užijte si kompletní prostředí zde.
Pokyny pro návrh vstupu pohledem
Vytvoření interakce, která využívá rychle se pohybujícího cílení zrakem, může být náročné. V této části shrneme klíčové výhody a výzvy, které je potřeba při návrhu aplikace vzít v úvahu.
Výhody vstupu pohledem
Vysokorychlostní ukazovávání. Oční sval je nejrychleji reagující sval v lidském těle.
Nízké úsilí. Sotva jsou nutné fyzické pohyby.
Implicitnost. Informace o pohybech očí uživatele, které uživatelé často popisují jako "čtení mysli", umožňují systému zjistit, který cíl má uživatel v plánu zapojit.
Alternativní vstupní kanál. Pohled z očí může poskytnout výkonný podpůrný vstup pro zadávání rukou a hlasu, který vychází z let zkušeností uživatelů na základě koordinace rukou a očí.
Vizuální pozornost. Další důležitou výhodou je možnost odvodit, na co uživatel věnuje pozornost. To může pomoct v různých oblastech aplikací, od efektivnějšího vyhodnocování různých návrhů až po podporu inteligentnějších uživatelských rozhraní a vylepšených sociálních upozornění pro vzdálenou komunikaci.
Stručně řečeno, použití zrakového pohledu jako vstupu nabízí rychlý a snadný kontextový vstupní signál. To je účinné v kombinaci s jinými vstupy, jako je hlasový a ruční vstup, aby se potvrdil záměr uživatele.
Výzvy zraku jako vstupu
I když se pohledem zraku můžete vytvořit uspokojivé uživatelské prostředí, díky kterým se budete cítit jako superhrdina, je také důležité vědět, co není dobré, abyste to odpovídajícím způsobem zohlednili. Následující seznam popisuje některé výzvy, které je potřeba vzít v úvahu, a popisuje, jak je řešit při práci se vstupem pohledem:
Váš pohled je "pořád zapnutý" V okamžiku, kdy otevřete oční víka, začnou se vaše oči upínat na věci v prostředí. Reakce na každý pohled a náhodné provedení akcí, protože jste se na něco dívali příliš dlouho, by vedlo k neuspokojivosti. Pokud chcete aktivovat výběr cíle, doporučujeme zkombinovat pohled z očí s hlasovým příkazem, gestem rukou, kliknutím na tlačítko nebo prodlouženým setrváním (další informace najdete v článku Pohled a potvrzení). Toto řešení také umožňuje režim, ve kterém se uživatel může volně rozhlížet, aniž by byl zahlcený nedobrovolným spuštěním něčeho. Tento problém byste měli zvážit také při návrhu vizuální a sluchové zpětné vazby při pohledu na cíl. Snažte se uživatele nezahltit okamžitými automaticky otevíranými efekty nebo zvuky přechodu myší. Jemnost je klíčem. Některé osvědčené postupy pro tento postup si probereme níže, když se budeme zabývat doporučeními návrhu.
Pozorování vs. řízení Představte si, že chcete přesně narovnat fotku na zdi. Podíváte se na jeho ohraničení a jeho okolí a zjistíte, jestli se dobře zarovná. Teď si představte, jak byste to udělali, když chcete použít pohled z očí jako vstup k pohybu obrázku. Těžké, že? Tento článek popisuje dvojitou úlohu zrakového pohledu, když se vyžaduje jak pro vstup, tak pro ovládání.
Před kliknutím ponechte: Při rychlém výběru cíle výzkum ukázal, že pohled uživatele se může posunout dál, než skončí ruční kliknutí (například klepnutí vzduchem). Věnujte zvláštní pozornost synchronizaci rychlého signálu pohledem s pomalejším ovládacím vstupem (například hlasem, rukama, ovladačem).
Malé cíle: Znáte ten pocit, když se snažíte číst text, který je příliš malý na to, abyste ho mohli pohodlně číst? Tento namáhaný pocit na očích může způsobit, že se cítíte unavení a opotřebovaný, protože se snažíte znovu nastavte své oči, aby se lépe zaostřily. Tento pocit můžete vyvolat u uživatelů, když je přinutíte vybrat cíle, které jsou ve vaší aplikaci příliš malé, pomocí cílení na oči. Pro váš návrh, abyste uživatelům vytvořili příjemné a pohodlné prostředí, doporučujeme, aby cíle byly alespoň 2° ve vizuálním úhlu, nejlépe větší.
Pohyby roztrhaného pohledu Naše oči provádějí rychlé pohyby od fixace po fixaci. Když se podíváte na naskenované cesty zaznamenaných pohybů očí, uvidíte, že vypadají roztrhaně. Vaše oči se pohybují rychle a spontánně skoky ve srovnání s pohledem hlavou nebo pohyby rukou.
Sledování spolehlivosti: Přesnost sledování očí se může v měnícím se světle trochu snížit, když se oči přizpůsobí novým podmínkám. I když by to nemělo nutně ovlivnit návrh aplikace, protože přesnost by měla být v rámci omezení 2°, může být nutné, aby uživatel znovu kalibraci.
Doporučení k návrhu
Následuje seznam konkrétních doporučení návrhu založených na popsaných výhodách a výzvách pro vstup pohledem:
Pohled z očí není stejný jako pohled z hlavy:
Zvažte, jestli rychlé a přesto roztrhané pohyby očí odpovídají vašemu vstupnímu úkolu: I když naše rychlé a roztrhané pohyby očí jsou skvělé při rychlém výběru cílů napříč naším zorným polem, je méně použitelné pro úkoly, které vyžadují plynulou trajektorii vstupu (například kreslení nebo obtékající poznámky). V tomto případě by mělo být upřednostňováno ukazování rukou nebo hlavy.
Vyhněte se připojování něčeho přímo k pohledům uživatele (například posuvníku nebo kurzoru). U kurzorů to může vést k efektu "prchajícího kurzoru" z důvodu mírného posunu v promítaném signálu pohledem. Pomocí posuvníku může být v konfliktu s dvojitou rolí ovládání posuvníku očima a zároveň chce zkontrolovat, jestli je objekt na správném místě. Pro příklad posuvníku dává větší smysl používat pohled pohledem v kombinaci s gesty rukou. To znamená, že uživatel mohl rychle a bez námahy přepínat mezi mnoha posuvníky, zvednutím ruky a stažením palce a ukazováčku je chytit a přesunout. Po uvolnění stažení se posuvník přestane pohybovat. Uživatelé mohou být zahlcení a rozptýlení, zejména pokud je signál pro daného uživatele nepřesný.
Zkombinujte pohled s dalšími vstupy: Integrace sledování očí s dalšími vstupy, jako jsou gesta rukou, hlasové příkazy nebo stisknutí tlačítka, poskytuje několik výhod:
Povolit bezplatné pozorování: Vzhledem k tomu, že hlavní rolí našich očí je sledovat naše prostředí, je důležité, aby se uživatelé mohli rozhlédnout, aniž by aktivovali jakoukoli zpětnou vazbu nebo akce (vizuální, sluchové atd.). Kombinace sledování očí s jiným ovládacím prvek vstupu umožňuje plynulý přechod mezi režimy sledování očí a ovládání vstupu.
Výkonný zprostředkovatel kontextu: Použití informací o tom, kde a na co se uživatel dívá při vyslovení hlasového příkazu nebo pomocí gesta rukou, umožňuje bezproblémové přesměrování vstupu přes zorné pole. Příklad: Pokud chcete rychle a plynule vybrat a umístit hologram napříč scénou, podívejte se na cíl a jeho zamýšlený cíl.
Potřeba synchronizace multimodálních vstupů: Kombinace rychlých pohybů zrakem se složitějšími vstupy, jako jsou dlouhé hlasové příkazy nebo gesta rukou, s sebou nese riziko, že se uživatel bude dál rozhlížet, než se dokončí a rozpozná další vstupní příkaz. Pokud vytváříte vlastní ovládací prvky vstupu (například vlastní gesta rukou), nezapomeňte zaznamenat nástup tohoto vstupu nebo přibližnou dobu trvání, aby se dal sladit s tím, na co se uživatel díval v minulosti.
Jemná zpětná vazba pro vstup sledování očí: Když se podíváte na cíl, je užitečné poskytnout zpětnou vazbu, která značí, že systém funguje podle očekávání, ale měl by být jemný. To může zahrnovat pomalé prolnutí a odsunutí, vizuální zvýraznění nebo provádění jiných jemných cílových chování, jako jsou pomalé pohyby, například mírné zvětšení cílové velikosti. To znamená, že systém správně zjistil, že se uživatel dívá na cíl, aniž by zbytečně přerušil aktuální pracovní postup uživatele.
Vyhněte se vynucování nepřirozeného pohybu očí jako vstupu: Nenuťte uživatele, aby k aktivaci akcí ve vaší aplikaci používali určité pohyby očí (gesta pohledu).
Účet pro nepřesné informace: Rozlišujeme dva typy nepřesných chyb, které jsou patrné pro uživatele: posun a kolísání. Nejjednodušší způsob, jak vyřešit posun, je poskytnout dostatečně velké cíle pro interakci. Jako odkaz doporučujeme použít vizuální úhel větší než 2°. Když například roztáhnete ruku, bude vaše miniatura ve vizuálním úhlu asi 2°. To vede k následujícím pokynům:
- Nenuťte uživatele vybírat malé cíle. Výzkum ukázal, že pokud jsou cíle dostatečně velké a systém je navržen dobře, uživatelé popisují své interakce jako snadné a magické. Pokud jsou cíle příliš malé, uživatelé popisují prostředí jako fatiguing a frustrující.
Tato stránka vám poskytla dobrý přehled, který vám umožní pochopit pohled jako vstup do hybridní reality. Pokud chcete začít s vývojem, podívejte se na naše informace o pohledech v Unity a o očích v Rozhraní DirectX.