sledování očí na HoloLens 2

Funkce HoloLens (1. generace) HoloLens 2 Moderní sluchátka
Oči – pohledu ✔️

Ukázka konceptů návrhu sledování hlav a očí

pokud se chcete podívat na koncepty návrhu sledování hlav a očí v akci, podívejte se na téma návrh Hologramy – ukázka sledování hlav a sledování očí níže. Až budete hotovi, pokračujte pro podrobnější podrobně na konkrétní témata.

toto video bylo pořízené z "navrhování Hologramy HoloLens 2 aplikaci. Stáhněte si a využijte všechny Možnosti.

Kalibrace

Aby sledování očí fungovalo správně, je nutné, aby každý uživatel provedl sledování očí kalibraci uživatele , pro které se uživatel musí podívat na sadu holografických cílů. To umožňuje, aby zařízení upravilo systém pro pohodlnější a přesnější zobrazování kvality pro uživatele a zajistilo přesné sledování očí současně.

Sledování očí by mělo fungovat pro většinu uživatelů, ale existují vzácné případy, kdy se uživatel nemůže kalibrovat úspěšně. K selhání kalibrace může dojít z různých důvodů, mimo jiné například:

  • Uživatel dřív rozhodl z procesu kalibrace.
  • Uživatel byl odvolán a nesledoval cíle kalibrace.
  • Uživatel má určité typy kontaktních skel a brýle, které systém ještě nepodporuje.
  • Uživatel má určité Physiology oči, podmínky očí nebo má oční chirurgie, který systém ještě nepodporuje.
  • externí faktory znemožňují spolehlivé sledování očí, jako je rozmazání na HoloLensovém hypervisoru nebo brýlí, intenzivní přímé sluneční světlo a occlusions z důvodu vlasy před očima.

Vývojáři by měli zajistit adekvátní podporu pro uživatele, pro které nemusí být k dispozici data sledování očí (kteří nejsou schopní úspěšně provést kalibraci). K dispozici jsou doporučení pro náhradní řešení v části v dolní části této stránky.

Další informace o kalibraci a o tom, jak zajistit hladké prostředí, najdete na stránce s informacemi o kalibraci uživatele sledování očí .


Dostupná data sledování očí

předtím, než přejdete k podrobnostem o specifických případech použití pro pohledu vstup, chceme, aby krátce odkazovaly na možnosti, které poskytuje rozhraní API pro sledování očí HoloLens 2. Vývojáři získají přístup k jednomu pohledu ray (pohledu Origin a Direction) s přibližně 30 fps (30 Hz). Podrobnější informace o tom, jak získat přístup k datům sledování očí, najdete v našich příručkách pro vývojáře, kde můžete používat oči – pohledu v rozhraní DirectX a oči – pohledu v Unity.

Předpovídané oči – pohledu je přibližně ve stupních 1,5 stupňů ve vizuálním úhlu kolem skutečného cíle (viz obrázek níže). V případě, že jsou očekávána lehká nepřesnosti, vývojáři by měli naplánovat určité okraje kolem této hodnoty s nižší vazbou (například hodnota 2.0 – + +), což může mít za následek mnohem pohodlnější prostředí). Podíváme se, jak podrobněji vyřešíme výběr malých cílů. Aby sledování očí fungovalo správně, je nutné, aby každý uživatel procházel při kalibraci uživatele sledování očí.

Optimální velikost cíle ve vzdálenosti 2 měřičů
Optimální velikost cíle na 2 metrické vzdálenosti


Případy použití

Sledování očí umožňuje aplikacím sledovat, kde se uživatel díváte v reálném čase. následující případy použití popisují některé interakce, které je možné sledovat na HoloLens 2 ve smíšené realitě. tyto případy použití ještě nejsou součástí prostředí holografického prostředí (to znamená rozhraní, které vidíte při spuštění HoloLens 2). můžete si vyzkoušet některé z nich ve službě Mixed Reality Toolkit, která poskytuje několik zajímavých a výkonných příkladů pro používání sledování očí, jako je rychlé a snadné oči – podporované možnosti výběru a automatické procházení textu na základě toho, co uživatel prohlíží.

Záměr uživatele

Informace o tom, kde a co uživatel vypadá, poskytuje výkonný kontext pro jiné vstupy, jako je například hlas, ruce a řadiče. Tato možnost se dá použít pro různé úlohy. Například to může být v rozsahu od rychlého a snadno zaměřeného cílení na scénu tím, že se podíváme na hologram a říkáme "SELECT" (viz také pohledu a Commit) nebo "Put this...", kde si uživatel přeje umístit hologram a vyslovit "... Existuje. příklady najdete v hybridní realitě Toolkit – podporuje výběr cíle a hybridní realitu Toolkit-oko podporované umístění cíle.

Kromě toho může příklad záměru uživatele zahrnovat použití informací o tom, co uživatelé uvidí k vylepšení zapojení se zahrnutými virtuálními agenty a interaktivními hologramy. Virtuální agenti například mohou přizpůsobit dostupné možnosti a jejich chování na základě aktuálně zobrazeného obsahu.

Implicitní akce

Kategorie implicitních akcí se úzce týká záměru uživatele. Nápad je, že hologramy nebo prvky uživatelského rozhraní reagují v instinctual způsobem, který nemusí ani pocit, že uživatel interaktivně pracuje se systémem, ale místo toho, aby byl systém a uživatel synchronizovaný. Jedním z příkladů je Automatické rolování na základě pohledu , kde si uživatel může přečíst dlouhý text, který automaticky spustí posouvání, když se uživatel dostane do dolní části textového pole, aby uživatel pokračoval v toku čtení, bez zvedání prstu.
Hlavním aspektem je to, že rychlost posouvání se přizpůsobí rychlosti čtení uživatele. Dalším příkladem je oči, které podporuje přiblížení a posouvání , kde se uživatel může cítit jako začnete přesně k čemu se zaměřuje. Aktivace a řízení rychlosti přiblížení může být ovládána hlasovým nebo ručním vstupem, což je důležité pro zajištění, že uživatel nezpůsobí řízení, přičemž se vyhnete zahlcení. Podrobněji se věnujeme těmto hlediskům návrhu podrobněji. Po přiblížení může uživatel bezproblémově sledovat, například v průběhu ulice, kde můžete prozkoumat jeho okolí pomocí jejich očí – pohledu. ukázkové příklady pro tyto typy interakcí najdete v ukázce navigace s kombinovaným realitou Toolkit-oči .

Další případy použití pro implicitní akce můžou zahrnovat:

  • Inteligentní oznámení: Dříve, kde jste hledali nespokojeni, na základě oznámení, která se zobrazí hned? S ohledem na to, k čemu má uživatel věnovat pozornost, můžete toto prostředí zlepšit tím, že vykompenzujete oznámení, ze kterých se uživatel aktuálně gazing. Tato omezení se odčítají a automaticky je odnechává, jakmile uživatel dokončí čtení.
  • Attentive hologramy: Hologramy, které při gazed reagují na. To může být v rozsahu od mírně vyzářených prvků uživatelského rozhraní, pomalu Blooming květina na virtuálním psa, který se od uživatele zobrazí znovu a Wagging jeho zakončení. Tato interakce může poskytnout zajímavou představu o připojení a spokojenosti ve vaší aplikaci.

Sledování pozornosti

Informace o tom, kde se uživatelé budou zobrazovat, můžou být nesmírně výkonným nástrojem. Může pomáhat zhodnotit použitelnost návrhů a identifikovat problémy v pracovních postupech, aby byly efektivnější. Vizualizace sledování očí a analýzy jsou běžnými postupy v různých oblastech aplikací. s HoloLens 2 poskytujeme pro toto porozumění novou dimenzi, protože trojrozměrné hologramy můžou být umístěné v reálných kontextech a odpovídajícím způsobem posouzeny. Mixed Reality Toolkit poskytuje základní příklady pro protokolování a načítání dat sledování očí a způsob jejich vizualizace. Společnost Microsoft je vyhrazena pro usnadnění inovací a zároveň zajišťuje, že uživatelé mají informovaná a transparentní prostředí s použitím informací o sledování očí. Budeme spolupracovat s našimi vývojáři a týmy pro vývojáře, abychom vám poskytli pokyny pro třetí strany, které zajistí, že se prostředí vycentruje uživateli.

Mezi další aplikace v této oblasti může patřit:

  • Vzdálené oči – vizualizace pohledu: Vzdálené vizualizace očí – pohledu: Vizualizujte, na kterých vzdálených spolupracujících spolupracujete, aby bylo možné poskytnout okamžitou zpětnou vazbu a usnadnit zpracování přesnější informace.
  • Studie pro výzkum uživatelů: Sledování pozornosti může pracovníkům lépe získat přehled o tom, jak uživatelé vnímat a zapojit se do přirozeného prostředí, aniž by to narušili, abyste mohli navrhovat více instinctualch interakcí lidského počítače. Sledování očí může poskytovat informace, které nejsou přímo kloubem účastníků studie, které by jinak mohl prohledání snadno vynechalo.
  • Sledování školení a výkonu: Postupuje a optimalizuje spouštění úloh tím, že v toku spouštění efektivněji identifikují slabá místa. Sledování očí může poskytovat informace o fyzických, v reálném čase a objektivní údaje, které vám pomůžou zlepšit školení, produktivitu a zabezpečení na pracovišti.
  • Hodnocení návrhu, marketing a výzkum zákazníků: Sledování očí umožňuje komerčním společnostem provádět marketingové a spotřebitelské studie v reálných prostředích nebo analyzovat pozornost uživatele, aby vylepšili návrh produktu nebo místa.

Jiné případy použití

  • Hraní her: Chtěli byste někdy mít mocniny? Máte šanci! Pomocí hvězdiček můžete Levitate hologramy. sestřelit laserové paprsky od očí – vyzkoušejte si ji v RoboRaid pro HoloLens 2. Převeďte Enemies na kámen nebo je zablokujte. K prozkoumání budov použijte svoji rentgenovou vizi. Vaše představivost je limit. Pozor na to, abyste uživatele nezahlceni, i když se dozvíte víc, podívejte se na naše oči – pohledu – pokyny pro návrh.

  • Výraz pro vyjádření avatary: Sledování očí v dalších výrazech exprese 3D avatary pomocí dat sledování živých očí slouží k animování očí miniatury, která indikuje, co uživatel hledá.

  • Zadání textu: Sledování očí lze použít jako alternativu k textovému záznamu s nízkou námahou, zejména v případě, že je používání řeči nebo rukou nepohodlné.


Použití očí – pohledu pro interakci

Sestavování interakce, která využívá výhod rychlého přesunu očí, může být náročné. Na jedné straně se oči pohybují tak rychle, že musíte být opatrní, abyste měli pozor, jak používat pohledu vstup, protože jinak uživatelé můžou najít příliš náročný nebo rušivý zážitek. Na druhé straně můžete také vytvořit skutečně Magical prostředí, která budou nadchnou vaše uživatele. Abyste vám pomohli, podívejte se na náš přehled klíčových výhod, problémů a doporučení pro návrh očí – pohledu pro interakci.

Záložní řešení, pokud není k dispozici sledování očí

Ve výjimečných případech nemusí být data sledování očí k dispozici. To může být způsobeno různými důvody, ze kterých jsou uvedeny nejběžnější:

  • Systém nemohl provést kalibraci uživatele.
  • Uživatel přeskočil kalibraci.
  • Uživatel je kalibrován, ale rozhodl neudělit aplikaci oprávnění k použití dat sledování očí.
  • Uživatel má jedinečnou brýlí nebo určitou podmínku pro oči, kterou systém ještě nepodporuje.
  • externí faktory znemožňují spolehlivé sledování očí, jako je rozmazání na HoloLensm brýlí, intenzivním světlem slunečnímu slunečnímu záření a occlusions z důvodu vlasy před očima.

Vývojáři by měli zajistit, aby pro tyto uživatele byla vhodná záložní podpora. Na stránce sledování očí na rozhraní DirectX Vysvětlete rozhraní API nutná k detekci, jestli jsou dostupná data sledování očí.

I když se někteří uživatelé můžou vědomě odvolat, získat přístup k datům o sledování očí a jsou v pořádku s tím, jak na ně neposkytují přístup k datům o sledování očí, v některých případech to může být neúmyslná. Pokud vaše aplikace používá sledování očí a jedná se o důležitou součást prostředí, doporučujeme, abyste tuto skutečnost jasně nakomunikovali uživateli.

Uživateli, který má lepší představu o tom, proč je sledování očí pro vaši aplikaci klíčové (možná dokonce i některé rozšířené funkce), může uživateli lépe pochopit, co se jim posílá. Pomůže uživateli zjistit, proč sledování očí nemusí fungovat (na základě výše uvedených kontrol), a nabízí některé návrhy pro rychlé řešení potenciálních problémů.

Pokud například zjistíte, že systém podporuje sledování očí, uživatel se kalibruje a má i stejné oprávnění, zatím se neobdrží žádná data o sledování očí, takže to může ukazovat na jiné problémy, jako je rozmazání nebo zastíněna oči.

Existují výjimečné případy uživatelů, pro které sledování očí nemusí fungovat. Proto je respectful, že umožňují zavřít nebo dokonce zakázat připomenutí pro povolení sledování očí ve vaší aplikaci.

Vrátit se k aplikacím pomocí očí-pohledu jako primární vstupní ukazatel

Pokud vaše aplikace k rychlému výběru hologramů v rámci scény používá funkci oka-pohledu jako vstup ukazatele, data sledování očí nejsou k dispozici, doporučujeme, abyste se vrátili do hlav-pohledu a začali se zobrazeným kurzorem Head pohledu. Doporučujeme použít časový limit (například 500 – 1500 ms) k určení, jestli se má přepnout nebo ne. Tato akce zabraňuje tomu, aby se kurzory zobrazovaly pokaždé, když systém může krátce ztratit sledování z důvodu rychlých pohybů nebo mrknutí a blikání. Pokud jste vývojář Unity, je automatický přechod na hlavní pohledu již zpracován ve smíšené realitě Toolkit. Pokud jste vývojářem rozhraní DirectX, musíte tento přepínač zpracovat sami.

Přejít na další aplikace specifické pro sledování očí

Vaše aplikace může používat oči – pohledu jedinečným způsobem, který je přizpůsobený speciálně pro oči. Například animace očí miniatury nebo Heat mapy pozornosti na základě očí se spoléhá na přesné informace o vizuální pozornost. V takovém případě neexistuje žádný jasný záložní. Pokud sledování očí není k dispozici, může být nutné tyto funkce zakázat. Znovu doporučujeme, abyste tuto skutečnost jasně nakomunikovali uživateli, který nemusí vědět, že funkce nefunguje.


na této stránce najdete dobrý přehled, abyste mohli začít porozumět roli sledování očí a pohledu vstupu očí a snad pro HoloLens 2. Chcete-li začít s vývojem, Projděte si naše informace o roli očí – pohledu pro interakci s hologramy, očí – pohledu v Unity a oko – pohledu v rozhraní DirectX.

Viz také

Ukázka sledování očí v MRTK

HoloLens 2 umožňuje nové úrovni kontextu a humánního porozumění v rámci holografického prostředí tím, že poskytuje vývojářům možnost používat informace o tom, co uživatel hledá. Tato stránka vysvětluje, jak můžou vývojáři využít sledování očí v různých případech použití a co hledat při navrhování interakcí uživatelů na základě očí.

Rozhraní API pro sledování očí bylo navržené s ochranou osobních údajů uživatele a neumožňuje předávání jakýchkoli identifikovatelných informací, zejména všech biometrika. Pro aplikace podporující sledování očí musí uživatel udělit oprávnění aplikace, aby mohl používat informace o sledování očí.

Podpora zařízení