Pohled a potvrzení

Vstupní model HoloLens (1. generace) HoloLens 2 Moderní sluchátka
Head-pohledu a Commit ✔️ Doporučené Doporučené ✔️ (třetí volba – Další možnosti) ➕ – Alternativní možnost
Oči – pohledu a potvrzení ❌ Není k dispozici Doporučené ✔️ (třetí volba – Další možnosti) ❌ Není k dispozici

Ukázka konceptů návrhu sledování hlav a očí

pokud se chcete podívat na koncepty návrhu sledování hlav a očí v akci, podívejte se na téma návrh Hologramy – ukázka sledování hlav a sledování očí níže. Až budete hotovi, pokračujte pro podrobnější podrobně na konkrétní témata.

toto video bylo pořízené z "navrhování Hologramy HoloLens 2 aplikaci. Stáhněte si a využijte všechny Možnosti.

Pohledu

Oči nebo hlavní pohledu?

U otázky s otázkou, zda byste měli použít vstupní model "oko-pohledu a Commit" nebo "Head-pohledu and commit", je třeba zvážit několik otázek. pokud vyvíjíte pro moderní sluchátka nebo pro HoloLens (1. generace), pak je volba jednoduchá: Head-pohledu a commit. pokud vyvíjíte pro HoloLens 2, volba se stane trochu obtížnější. Je důležité porozumět výhodám a výzvám, které jsou součástí každého z nich. V níže uvedené tabulce jsme shromáždili pár pro a con, aby se povedlo zacílení na hlavu vs. oči v pohledu. To je mnohem hotové a doporučujeme vám získat další informace o tom, co se zaměřuje na oči v pohledu ve smíšené realitě:

Oči zaměřené na pohledu Cílení na hlavní pohledu
Světl! Déle
Nízká intenzita (zlomekí všech nutných přesunů textu) Může být fatiguing (například hrdle krku).
Nevyžaduje kurzor, ale je doporučena neodkazovaná zpětná vazba. Vyžaduje zobrazení kurzoru.
Bez hladkých pohybů očí – například není dobré pro kreslení Lepší řízení a explicitní
Obtížné pro malé cíle (například malá tlačítka nebo weblinks) Spolehlivosti! Skvělé Fallback.
... ...

Bez ohledu na to, jestli pro vstupní model pohledu a potvrzení používáte Head-pohledu nebo oko-pohledu, každá z nich obsahuje různé sady omezení návrhu. Tyto položky jsou zahrnuty samostatně v článcích oka-pohledu a Commit a head-pohledu a Commit .



Kurzor

Pro hlavu pohledu by většina aplikací měla používat kurzor nebo jinou indikaci a vizuální indikaci, aby uživateli poskytovala důvěru v souvislosti s tím, jak s nimi interaktivně pracuje. Tento kurzor obvykle umístíte do světa, kde jeho hlava pohledu Ray nejprve překládá objekt, který může být hologramem nebo reálným povrchem.

V případě očí pohledu obecně doporučujeme, abyste nezobrazovali kurzor, protože to může rychle vzniknout a obtěžovat uživatele. Místo toho se zvýrazní vizuální cíle nebo použijte nezřetelný ukazatel oka, abyste měli jistotu, s čím se uživatel chystá pracovat. další informace najdete v našich pokynech k návrhu na základě kontroly očí na HoloLens 2.

An example visual cursor to show gaze
Image: příklad vizuálního kurzoru pro zobrazení pohledu



Potvrzení

Po rozhovorování různých způsobů, jak se pohledu na cíl, se budeme mluvit trochu více o potvrzeních změn v pohledu a potvrzení změn. Po cílení na objekt nebo prvek uživatelského rozhraní může uživatel pracovat na něm pomocí sekundárního vstupu. Tento postup se označuje jako krok potvrzení vstupního modelu.

Podporovány jsou následující metody potvrzení:

  • Gesto ruky v letadle (to znamená, že se vám zvýší vaše ruka na začátku a spojí se s prstem a jezdcem pro index)
  • Řekněme, že "SELECT" nebo jeden z cílových hlasových příkazů
  • stisknutí jednoho tlačítka na HoloLens kliknutí
  • Stiskněte tlačítko A na gamepadu Xbox.
  • Stiskněte tlačítko A na adaptivním kontroleru konzoly Xbox

Gesto pro pohledu a klepnutí vzduchu

Klepněte na vzduchový gesto se symbolem ruky, který si podržíte vzhůru. Pokud chcete použít vzduchový kohout, nahlaste prst svého indexu na připravenou pozici, pak gesto roztažení prstů s vaším jezdcem a aktivujte svůj prst indexu zpátky na verzi. v HoloLens (1. generace) se v letadlu jedná o nejběžnější sekundární vstup.

Finger in the ready position
Prst na pozici připraveno

Press finger down to tap or click
Klepněte na tlačítko prst dolů a klepněte nebo klikněte na

klepněte na tlačítko Air je k dispozici také na HoloLens 2. Byla uvolněna z původní verze. Téměř všechny typy Pinches se teď podporují, pokud je ruka ve svislém a drží se pořád. To usnadňuje uživatelům učení a používání gesta. tento nový vzduchový klepnutí nahradí starou stejnou rozhraní API, takže stávající aplikace budou mít nové chování automaticky po rekompilaci pro HoloLens 2.



Pohledu a "výběr" hlasového příkazu

Hlasové příkazy jsou jednou z metod jejich primární interakce ve smíšené realitě. Poskytuje výkonný mechanismus bez praktických rukou pro řízení systému. Existují různé typy modelů hlasové interakce:

  • Obecný příkaz "SELECT", který používá ovládací slovo nebo potvrzení jako sekundární vstup.
  • Příkazy objektů (například "Zavřít" nebo "zvětšit ho") provádějí a potvrzují akci jako sekundární vstup.
  • Globální příkazy (například "Přejít na začátek") nevyžadují cíl.
  • v uživatelských rozhraních nebo entitách, jako je Cortana, je funkce přirozeného jazyka AI.
  • Vlastní hlasové příkazy

Další informace o podrobnostech a vyčerpávajícím seznamu dostupných hlasových příkazů a jejich použití najdete v našich návodech k používání hlasových příkazů .



pohledu a HoloLens kliknutí

HoloLens click je první periferní zařízení sestavené speciálně pro HoloLens. je součástí HoloLens (1. generace) pro vývojovou edici. HoloLens click umožňuje uživateli kliknout na minimální pohyb a potvrdit se jako sekundární vstup. HoloLenser click se připojuje k HoloLens (1. generace) nebo HoloLens 2 pomocí Bluetooth nízké energie (BTLE).

Další informace a pokyny k párování zařízení

obrázek: HoloLens click

HoloLens Clicker



Pohledu a adaptér bezdrátové sítě Xbox

Bezdrátový kontroler konzoly Xbox provádí v podobě sekundárního vstupu pomocí tlačítka "A". Zařízení je namapováno na výchozí sadu akcí, které usnadňují navigaci a řízení systému. Pokud chcete kontroler přizpůsobit, použijte k nakonfigurování bezdrátového adaptéru Xbox aplikaci Xbox příslušenství.

Párování kontroleru Xbox s vaším počítačem

Image: bezdrátový adaptér Xbox

Xbox Wireless Controller



Adaptivní kontroler pohledu a Xbox

Adaptivní kontroler konzoly Xbox, který je navržený primárně tak, aby splňoval požadavky hráčů s omezeným mobilitou, je sjednoceným centrem pro zařízení, která pomáhá zajistit lepší přístupnost smíšené reality.

Adaptivní kontroler konzoly Xbox provádí v podobě sekundárního vstupu pomocí tlačítka "A". Zařízení je namapováno na výchozí sadu akcí, které usnadňují navigaci a řízení systému. Pokud chcete kontroler přizpůsobit, použijte aplikaci Xbox příslušenství ke konfiguraci adaptivního kontroleru konzoly Xbox.

Xbox Adaptive Controller
Adaptivní kontroler konzoly Xbox

Připojení externích zařízení, jako jsou přepínače, tlačítka, připojení a pákové ovladače, vytvořte vlastní prostředí řadiče, které je jedinečné. Vstupy tlačítek, Thumbstick a triggerů se řídí pomocí zařízení, která jsou připojená přes konektory 3,5-mm a porty USB.

Xbox Adaptive Controller ports
Porty adaptivního kontroleru konzoly Xbox

Pokyny k párování zařízení

Další informace dostupné na webu Xbox



Složená gesta

Klepnutí ve vzduchu

Gesto klepnutí vzduchu (a další gesta níže) se chová jenom pro konkrétní klepnutí. K detekci dalších klepnutí, jako je například nabídka nebo uchopit, musí vaše aplikace přímo používat interakce nižší úrovně popsané v části speciální gesta pro klíčové součásti.

Klepněte a podržení

Blokování znamená, že se v duchu zachovává pozice šikmého prstem. Kombinace klepnutí a blokování v ovzduší umožňuje v kombinaci s pohybem ARM použít různé složitější interakce, jako je například vyzvednutí objektu místo aktivace nebo MouseDown sekundárních interakcí, jako je například zobrazení kontextové nabídky. Při navrhování tohoto gesta by se měla použít opatrnost, protože uživatelé můžou být náchylni k požadavkůí svých postures během jakéhokoli rozšířeného gesta.

Manipulace

Gesta manipulace lze použít k přesunutí, změně velikosti nebo otočení hologramu, pokud chcete, aby hologram reagoval na pohyb uživatele 1:1. Jedním z těchto 1:1 přesunů je umožnit uživateli kreslit nebo malovat na světě. Počáteční cíl gesta manipulace by měl být proveden pohledu nebo ukazující. Jakmile začnete klepnutím a podržením, všechny manipulace s objekty jsou zpracovávány pohyby rukou, což uživateli uvolňuje při manipulaci.

Navigační gesta fungují jako virtuální pákový ovladač a dají se použít k navigaci widgetů uživatelského rozhraní, jako jsou například kruhové nabídky. Klepnete a podržíte klávesu pro spuštění gesta a pak přesunete ruku v normalizované 3D krychli na střed při počátečním stisknutí. Můžete přesunout ruku podél osy X, Y nebo Z z hodnoty-1 na 1, přičemž 0 je výchozím bodem. Navigace se dá použít k sestavení průběžného posouvání na základě rychlosti nebo přiblížení gest, podobně jako posouvání 2D uživatelského rozhraní, a to tak, že kliknete na prostřední tlačítko myši a přesunete ukazatel myši nahoru a dolů.

Navigace se kolejnicemi se vztahuje na schopnost rozpoznat pohyb v určité ose, dokud na dané ose nedosáhne určité prahové hodnoty. To je užitečné pouze v případě, že je pohyb v aplikaci povolený vývojářem, například pokud je aplikace nakonfigurovaná tak, aby rozpoznala navigační gesta napříč osou X, Y, ale také určila osu X se kolejnicemi. V takovém případě systém rozpozná pohyb mezi osou X, pokud zůstane v imaginárních kolejnicích (vodítko) na ose X, pokud se na ose Y objeví i pohyb ruky.

V rámci 2D aplikací můžou uživatelé použít svislé navigační gesta k posouvání, přiblížení nebo přetahování uvnitř aplikace. Tím se virtuální Finger dotýká aplikace, aby se simuloval dotyková gesta stejného typu. Uživatelé mohou vybrat, které z těchto akcí probíhají, přepnutím mezi nástroji na panelu nad aplikací, a to buď vybráním tlačítka, nebo vyslovením příkazu " < Scroll/přetažení/Lupa > ".

Další informace o složených gestách

Rozpoznávání gest

Jednou z výhod použití rozpoznávání gest je, že můžete nakonfigurovat nástroj pro rozpoznávání gest jenom pro gesta, která aktuálně cílový hologram může přijmout. Tato platforma v případě potřeby provede pouze nejednoznačnost, aby bylo možné rozlišovat tato konkrétní podporovaná gesta. Tímto způsobem může hologram, který podporuje pouze vzduchový kohout, přijmout jakoukoli dobu mezi tiskem a vydáním, zatímco hologram, který podporuje jak klepnout i podržení, může povýšit klepnutím na blokování po prahové hodnotě času blokování.

Rozpoznávání rukou

HoloLens rozpoznává gesta tak, že sleduje polohu obou nebo obou ručiček, které jsou viditelné pro zařízení. HoloLens se dohlíží, když jsou ve stavu připraveno (zpátky jste k dispozici prstem indexu), nebo jste stiskli stav (zpátky jste se k němu připnuli prstem indexu). když jsou ruce v jiné pozici, HoloLens je ignoruje. pro každou ruku, která HoloLens detekuje, můžete přistupovat k jeho umístění bez orientace a jeho stisknutého stavu. stejně jako v blízkosti okraje rámce gesta se poskytuje také se směrovým vektorem, který můžete zobrazit uživateli, aby věděli, jak ho přesunout na místo, kde ho HoloLens uvidí.

Rámec gesta

pro gesta v HoloLens musí být ruka v rámci gesta v rozsahu, který kamery pro průzkum přes gesta uvidí správně, od nos po pás a mezi rameny. Uživatelé musí být vyškoleni v této oblasti rozpoznávání jak pro úspěch, tak i pro vlastní pohodlí. mnoho uživatelů zpočátku předpokládá, že rámec gesta musí být ve svém zobrazení prostřednictvím HoloLens a jejich zbraně nepohodlíně komunikovat. při použití HoloLens click není nutné, aby se v rámečku gesta používaly.

Pro nepřetržitá gesta se při přesunu holografického objektu a při přesunu zamýšleného výsledku můžou v rámci středního gesta přemísťovat rukou uživatelů mimo rámec gesta.

Měli byste zvážit tři věci:

  • Vzdělávání uživatelů na existenci a přibližných hranicích rámce gesta. toto je výuková při HoloLens instalaci.

  • Informování uživatelů, když se jejich gesta blíží nebo ruší hranice rámce gesta v rámci aplikace až do té míry, že ztracený gesto vede k nežádoucím výsledkům. Výzkum ukázal klíčové vlastnosti takového systému oznámení. prostředí HoloLens poskytuje dobrý příklad tohoto typu oznámení – vizuál, na středovém kurzoru, který indikuje směr přechodu hranice.

  • Důsledky porušení hranic rámečku gesta by měly být minimalizovány. Obecně to znamená, že by měl být výsledek gesta zastaven na hranici a nebude obrácený. Například pokud uživatel přesouvá nějaký holografický objekt v místnosti, pohyb by se měl zastavit, když dojde k porušení rámce gesta a nevrátí se do počátečního bodu. Uživatel může zaznamenat některé frustrace, ale může rychleji pochopit hranice a nemusí pokaždé restartovat své úplné zamýšlené akce.

Viz také

Pohledu a Commit je základní vstupní model, který úzce souvisí se způsobem, jakým spolupracujeme s našimi počítači pomocí myši: kliknutí na odkaz. Na této stránce zavádíme dva typy vstupu pohledu (Head and oko-pohledu) a různé typy akcí potvrzení. Pohledu a potvrzení se považují za mnohem vstupní model s nepřímou manipulací. Je nejvhodnější pro interakci s holografickým obsahem, který je mimo dosah.

Kvalitní sluchátka s více realitami můžou pomocí pozice a orientace pro hlavu uživatele určit jejich vektor směrového směru. Pohledu se můžete představit jako laser ukazující přímo před očima uživatele. To je poměrně hrubá aproximace místa, kde uživatel hledá. Vaše aplikace se může protínat s virtuálními nebo skutečnými objekty a nakreslit kurzor na toto místo, aby uživatel mohl zjistit, co cílí.

kromě hlavice pohleduů, jako je například HoloLens 2, obsahují některé náhlavní soupravy pro sledování očí, které vytváří pohledu vektor. To poskytuje jemně odstupňované měření místa, kde uživatel hledá. V obou případech představuje pohledu důležitý signál pro záměr uživatele. Lepší systém může interpretovat a odhadnout zamýšlené akce uživatele, tím větší spokojenost a výkon uživatelů vylepšuje.

Tady je několik příkladů, jak vám může vývojář hybridní reality těžit z hlav-nebo očí – pohledu:

  • Vaše aplikace se může protínat pohledu s hologramy ve scéně a určit, kde je pozornost uživatele (přesnější pomocí očí – pohledu).
  • Vaše aplikace může kanály gest a kontroler stisknout na základě pohledu uživatele, který uživateli umožní bezproblémově vybírat, aktivovat, přecházet, posouvat nebo jinak pracovat s jejich hologramy.
  • Vaše aplikace může uživateli podávat hologramy na reálné povrchy tím, že přenese své pohledu ray s mřížkou prostorového mapování.
  • Vaše aplikace může poznat, že uživatel nehledá směr důležitého objektu, což může vést k tomu, aby vaše aplikace poskytovala vizuální a zvukové pomůcky k tomu, aby se přepnula k tomuto objektu.

Podpora zařízení