Interakce na základě pohledu na HoloLens 2

Funkce HoloLens (1. generace) HoloLens 2 Imerzivní náhlavní soupravy
Pohled ✔️

Ukázka konceptů návrhu sledování hlavy a očí

Pokud se chcete podívat na koncepty návrhu head trackingu a sledování očí v akci, podívejte se níže na naši ukázku návrhu Hologramy – sledování hlavy a sledování očí. Až budete hotovi, pokračujte podrobnějším popisem konkrétních témat.

Toto video bylo pořízeno z aplikace "Návrh Hologramy" HoloLens 2. Úplné prostředí si můžete stáhnout a využívat tady.

Pokyny pro návrh vstupu pohledu

Vytvoření interakce, která využívá rychlé cílení na oko, může být náročné. V této části shrneme klíčové výhody a výzvy, které je při návrhu aplikace třeba vzít v úvahu.

Výhody vstupu pohledu

  • Vysokorychlostní uchytění. Šmoudy jsou nejrychlejší reagovat v lidském těle.

  • Malé úsilí. Všechny fyzické pohyby jsou nezbytné.

  • Implicitnost. Uživatelé ho často popisují jako "čtení paměti". Informace o pohybech očí uživatele systému umožňují vědět, jaký cíl má uživatel v plánu zapojit.

  • Alternativní vstupní kanál. Pohled může poskytnout účinný podpůrný vstup pro ruční a hlasový vstup založený na mnoha letech zkušeností uživatelů na základě jejich koordinace pomocí rukou.

  • Vizuální pozornost. Další důležitou výhodou je možnost odvodit, čeho se uživatel věnuje. To může pomoct v různých oblastech aplikace od efektivněji vyhodnocovat různé návrhy až po pomoc v chytřejších uživatelských rozhraních a vylepšených sociálních pomůckách pro vzdálenou komunikaci.

V kostce nabízí použití pohledu jako vstupu rychlý a bezproblémový kontextový vstupní signál. To je účinné v kombinaci s jinými vstupy, jako je hlas a ruční vstup pro potvrzení záměru uživatele.

Výzvy pohledu jako vstupu

I když lze pohledem vytvořit uspokojivá uživatelská prostředí, díky kterým se můžete cítit jako superhero, je také důležité vědět, v čem není vhodné to zohlednit. Následující seznam popisuje některé výzvy, které je třeba vzít v úvahu, a jejich řešení při práci se vstupem pohledu:

  • Pohled na oko je "pořád v". V okamžiku, kdy otevřete víka, se vaše oči začnou fixovat na věci v prostředí. Když budete reagovat na každý váš pohled a nechtěně vydáváte akce, protože jste se na něco dívali příliš dlouho, výsledkem by bylo neuspokojivé prostředí. Doporučujeme zkombinovat pohled do očí s hlasovým příkazem, gestem rukou,kliknutím na tlačítko nebo rozšířeným dwellem aktivovat výběr cíle (další informace najdete v tématu pohled a potvrzení). Toto řešení také umožňuje režim, ve kterém se uživatel může volně dívat, aniž by byl zahlcen nedobrovolnou aktivací. Tento problém byste měli také zvážit při navrhování vizuální a auditorské zpětné vazby při pohledu na cíl. Snažte se uživatele nezahltit okamžitými efekty, které se zobrazí automaticky otevíraně, nebo zvuky při najetí myší. Jemnost je klíč. Některé osvědčené postupy probereme níže, když hovoříme o doporučeních k návrhu.

  • Pozorování vs. řídicí Imagine, že chcete přesně narovnat fotografii na zdi. Podíváte se na její hranice a okolí, abyste viděli, jestli jsou dobře zarovnané. Teď si představte, jak byste to udělat, když chcete k přesunutí obrázku použít pohled jako vstup. Obtížné, že? Popisuje dvojitou roli pohledu, když je vyžadována pro vstup i ovládání.

  • Před kliknutím ponechte toto: V případě rychlých cílových výběrů výzkum ukázal, že pohled uživatele se může posouváním před uzavřením ručního kliknutí (například klepnutí ve vzduchu). Věnujte zvláštní pozornost synchronizaci rychlého signálu pohledu s pomalejším ovládáním (například hlasem, rukou, ovladačem).

  • Malé cíle: Znáte pocit, když se pokusíte přečíst text, který je trochu moc malý na to, abyste si ho přečetli? Tento zatěžující pocit na oči může způsobit, že se budete cítit neschytřiví a odchytáte se, protože se snažíte lépe zaměřit své oči. To je pocit, který byste mohli vyvolat u uživatelů, když je přinutíte vybrat cíle, které jsou ve vaší aplikaci příliš malé, pomocí cílení na oko. Pro váš návrh doporučujeme, abyste pro uživatele vytvořili prostředí, které je pro vás pohodlné, alespoň 2° v úhlu vizuálu, ideálně větší.

  • Pohyby zamíchaný pohledem Naše oči provádějí rychlé pohyby od fixace až po fixaci. Když se podíváte na naskenované cesty zaznamenaných pohybů očí, uvidíte, že vypadají nesnáz. Vaše oči se pohybují rychle a při návršních skočí ve srovnání s pohyby hlavy nebo rukou.

  • Sledování spolehlivosti: Přesnost sledování očí se může trochu zhoršit při měnícím se světlu, když se vaše oči přizpůsobí novým podmínkám. I když to nemusí nutně ovlivnit návrh vaší aplikace, protože přesnost by měla být v rámci dvou° omezení, může být nutné, aby se uživatel znovu zkalibroval.

Doporučení k návrhu

Následuje seznam konkrétních doporučení k návrhu na základě popsaných výhod a výzev pro zadání pohledu:

  1. Pohled není stejný jako pohled na hlavy:

    • Zvažte, jestli rychlé, ale nenáhlé pohyby očí vejdou do vaší vstupní úlohy: I když naše rychlé a nesrozumilé pohyby očí jsou skvělé při rychlém výběru cílů v našem zorné oblasti, je méně vhodné pro úkoly, které vyžadují hladké vstupní vlastnosti (například kreslení nebo obměna poznámek). V takovém případě by se mělo upřednostňovat použití rukou nebo hlavy.

    • Nepřipojujte něco přímo k pohledu uživatele (například posuvníku nebo kurzoru). U kurzorů to může vést k efektu "posouvání kurzoru" kvůli mírnému posunu v projektované hledané signálu. Pomocí posuvníku může kolidovat s dvojitou rolí řízení posuvníku vašimi pohledy a zároveň chce zkontrolovat, jestli je objekt na správném místě. V příkladu posuvníku má větší smysl používat pohled v kombinaci s gesty rukou. To znamená, že uživatel mohl rychle a bez námahy přepínat mezi mnoha posuvníky, posunout ruce nahoru a při uchopení a přesunutí palcem a ukazováčkem. Po uvolnění špendlíku se posuvník zastaví. Uživatelé by mohli být zahlceni a rušit pozornost, zejména pokud je signál pro tohoto uživatele nepřesný.

  2. Zkombinujte pohled do ostatních vstupů: Integrace sledování očí s jinými vstupy, jako jsou gesta rukou, hlasové příkazy nebo stisknutí tlačítek, má několik výhod:

    • Povolit pozorování zdarma: Vzhledem k tomu, že hlavní rolí našich očí je sledování našeho prostředí, je důležité, aby se uživatelé smí rozhlédněte bez aktivace jakékoli zpětné vazby nebo akcí (vizuálů, auditorů atd.). Kombinace sledování očí s jiným řízením vstupu umožňuje plynulý přechod mezi sledováním oka a režimy řízení vstupu.

    • Výkonný zprostředkovatel kontextu: Použití informací o tom, kde a na co se uživatel dívá při zadávání hlasového příkazu nebo pomocí gesta rukou umožňuje plynule přesouvání vstupu přes zorné pole. Příklad: Řekněte "sem" a rychle a plynule vyberte hologram a umístěte ho na scénu tak, že se podíváme na cíl a jeho zamýšlený cíl.

    • Potřeba synchronizace vícemodálních vstupů: Kombinace rychlých pohybů očí se složitějšími vstupy, jako jsou dlouhé hlasové příkazy nebo gesta rukou, nese riziko, že uživatel se už dál rozhlédněte, než se další vstupní příkaz dokončí a rozpozná. Pokud vytváříte vlastní vstupní ovládací prvky (například vlastní ruční gesta), nezapomeňte protokolovat onset tohoto vstupu nebo přibližnou dobu trvání, aby korelaci s tím, na co se uživatel díval v minulosti.

  3. Choumá zpětná vazba pro vstup sledování očí: Při pohledu na cíl je užitečné poskytnout zpětnou vazbu, která bude indikovat, že systém funguje tak, jak má, ale měl by být drobný. To může zahrnovat pomalé zamíchání a zvýrazňování vizuálů nebo jiné drobné cílové chování, jako je pomalé pohyby, jako je například mírně zvětšení cílové velikosti. To znamená, že systém správně zjistil, že se uživatel dívá na cíl, aniž by zbytečně přerušil aktuální pracovní postup uživatele.

  4. Vyhněte se vynucování nepřichycených pohybů očí jako vstupu: K aktivaci akcí ve vaší aplikaci nenutí uživatele používat konkrétní pohyby očí (gesta pohledu).

  5. Ohledem na nepřesná slova: Rozlišujeme dva typy nepřesných přístupů, které jsou pro uživatele patrné: posun a jitter. Nejjednodušší způsob, jak reagovat na posun, je poskytnout dostatečně velké cíle pro interakci. Jako referenci doporučujeme použít úhel vizuálu větší než 2°. Například při roztažení ruky je miniatura přibližně 2° v úhlu vizuálu. To vede k následujícím pokynům:

    • Nenutí uživatele vybrat malé cíle. Výzkum ukázal, že pokud jsou cíle dostatečně velké a systém je dobře navržený, uživatelé popisují své interakce jako bez námahy a zamyšlující. Pokud se cíle stanou příliš malé, uživatelé prostředí popíšou jako ztuhnoucí a frustrující.

Tato stránka vám poskytla dobrý přehled, který vám pomůže začít chápat pohled jako vstup v hybridní realitě. Pokud chcete začít s vývojem, podívejte se na naše informace o pohledu v Unity a pohledu na directX.

Viz také

Ukázka sledování očí v MRTK

Jednou z našich zajímavých nových funkcí v HoloLens 2 je sledování očí. Na naší stránce Sledování očí na HoloLens 2 jsme zmínili, že je potřeba, aby každý uživatel prošel seznamem uživatelů,poskytl několik pokynů pro vývojáře a zvýrazňoval případy použití pro sledování očí. Vstup pohledem je stále nový typ uživatelského vstupu a je toho hodně, co se můžete naučit.

I když se vstup pohledu používá v prostředí Holographic Shell (uživatelské rozhraní, které uvidíte při spuštění HoloLens 2), několik aplikací, například "HoloLens Playground",nabízí skvělé příklady toho, jak může vstup z pohledu přidat k magii holografického prostředí. Na této stránce probereme aspekty návrhu pro integraci vstupu pohledu a interakci s holografickými aplikacemi.

Dozvíte se o klíčových výhodách a také jedinečných výzvách, které přicházejí se vstupem pohledu. Na základě těchto doporučení poskytujeme několik doporučení k návrhu, která vám pomůžou vytvořit uspokojující uživatelská rozhraní podporovaná pohledem.

Podpora zařízení