Přímá manipulace pomocí rukou

Vstupní model HoloLens (1. generace) HoloLens 2 Moderní sluchátka
Přímá manipulace pomocí rukou ❌ Se nepodporuje. ✔️ Doporučené ➕ Podporovány. V případě uživatelského rozhraní doporučujeme místo toho začít s využitím rukou .

přímá manipulace je primární vstupní model na HoloLens 2, který používá nový kloubový systém pro sledování ruky. Vstupní model je také k dispozici pro moderní sluchátka s mikrofony pomocí řadičů pohybu, ale nedoporučuje se jako primární způsob interakce mimo manipulaci s objekty. přímá manipulace není na HoloLens k dispozici (1. generace).



Ukázka základního sledování a interakce instinctual

pokud se chcete podívat na koncepty návrhu sledování hlav a očí v akci, podívejte se na téma návrh Hologramy – ukázka sledování hlav a sledování očí níže. Až budete hotovi, pokračujte pro podrobnější podrobně na konkrétní témata.

toto video bylo pořízené z "navrhování Hologramy HoloLens 2 aplikaci. Stáhněte si a využijte všechny Možnosti.

Kolidující pohodlně

na HoloLens 2 jsou ruce a interpretovány jako levé a pravé modely základní. K implementaci nápadu přímo s rukou můžete v ideálním případě pět kolizí připojovat k pěti všem dostupným základní modelu. Z důvodu nedostatku hmatatelné zpětné vazby může ale 10 kolidujících bezfunkčních kolizí způsobit neočekávané a nepředvídatelné kolize s hologramy.

Doporučujeme, abyste do každého prstu indexu umístili jenom kolizi. Střetně přibývajících indexů může i nadále sloužit jako aktivní dotyková místa pro různé dotykové gesta, která zahrnují jiné prsty. Dotyková gesta zahrnují stisknutí klávesy One-Finger, klepnutí jedním prstem, stisknutí dvou prstů a klávesových zkratek s pěti prsty, jak je znázorněno níže:

kolidující pohodlně
Kolidující pohodlně

Stisknutí jedním prstem
Stisknutí jedním prstem

Klepnutí jedním prstem
Klepnutí jedním prstem

Stisknutí pěti prsty
Stisknutí pěti prsty



Kolidující objekt sphere

Namísto použití náhodného obecného tvaru doporučujeme použít kolizi koule. Pak ji můžete vizuálně vykreslit, aby poskytovala lepší pomůcky pro blížící se cílení. Průměr koule se musí shodovat s tloušťkou prstu indexu, aby se zvýšila přesnost dotykového ovládání. Je snazší načíst proměnnou tloušťky prstu voláním rozhraní API ruky.

Ukazatel na dosah ruky

Kromě vykreslování kolidující koule na dosah indexu jsme vytvořili pokročilý kurzor, který vám umožní dosáhnout lepší blízkosti cílení. Je to ukazatel na prstence, který je připojený k dosahu indexu. V závislosti na blízkosti se s ohledem na orientaci a velikost podle níže uvedených pokynů dynamicky chová na cíl:

  • Když se prst indexeru přesune k hologramu, ukazatel je vždycky rovnoběžný s povrchem hologramu a postupně zmenšuje jeho velikost.
  • Jakmile se prst dotkne povrchu, kurzor se zmenší na tečku a vygeneruje dotykové události.

Díky interaktivní zpětné vazbě mohou uživatelé dosáhnout vysoké přesnosti v blízkosti úkolů, jako je například aktivace hypertextového odkazu nebo stisknutí tlačítka, jak je uvedeno níže.

Zcela pohodlně – kurzor
Zcela pohodlně – kurzor

Dosahovat kurzoru blízko
Dosahovat kurzoru blízko

Dopohodlněný kontaktní kurzor
Dopohodlněný kontaktní kurzor


Ohraničovací rámeček s shaderem blízkosti

Samotný hologram také vyžaduje schopnost poskytovat vizuální i zvukové názory na náhradu nedostatku hmatatelné zpětné vazby. Za tímto účelem vygenerujeme koncept ohraničujícího pole s shaderem blízkosti. Ohraničující rámeček je minimální Odměrná oblast, která obklopuje 3D objekt. Ohraničovací rámeček má mechanismus interaktivního vykreslování nazvaný shader blízkosti. Shader blízkosti se chová:

Najetí myší (daleko) pomocí vizuální zpětné vazby
Najetí myší (daleko)
Když je prst indexu v rozsahu, je na povrchu ohraničujícího pole přetypování Spotlightu.

Najetí myší (blízko) s vizuálními názory
Najetí myší (blízko)
Když se dostanete blíž k povrchu, Spotlight se zmenší.

Zahájení kontaktu
Zahájení kontaktu
Jakmile se pohyb dotkne povrchu, celý ohraničovací rámeček změní barvu nebo vygeneruje vizuální efekty, které odráží stav dotykového ovládání.

Konec kontaktu
Konec kontaktu
Pro zvýšení zpětné vazby vizuálního dotyku můžete také aktivovat zvukový efekt.



Tlačítko stisknutím tlačítka

S kolidujícím dosahem jsou nyní uživatelé připraveni pracovat se základní holografickou komponentou uživatelského rozhraní, jako je například stisknuté tlačítko. Tlačítko, které se dá stisknout, je holografické tlačítko přizpůsobené přímému stisknutí klávesy. Z důvodu nedostatku hmatatelné zpětné vazby si znovu využije více mechanismů pro řešení problémů souvisejících s hmatatelnými názory.

  • Prvním mechanismem je ohraničující rámeček s shaderem blízkosti, který je podrobně popsán v předchozí části. Dává uživatelům lepší představu o blízkosti při přístupu a navazování kontaktu s tlačítkem.
  • Druhý mechanismus je stlačení. Stlačení vytvoří představu o tom, že se po stisknutí tlačítka v rozevíracích seznamech obrátí. Mechanismus zajišťuje, aby bylo tlačítko úzce přesunuto na dosah podél osy hloubky. Tlačítko se může aktivovat, když dosáhne zvolené hloubky (při stisknutí), nebo po jeho přenechání mít hloubku (ve verzi).
  • Zvukový efekt by měl být přidán za účelem vylepšení zpětné vazby při aktivaci tlačítka.

tlačítko po stisknutí klávesy daleko
Prst je daleko pryč

stisknout tlačítko vedle
Přístupy k Finger

začátek kontaktu stisknutého tlačítka
Zahájení kontaktu

stisknuté tlačítko stisknutím tlačítka
Stisknout dolů



interakce 2D SLAT

2D SLAT je holografický kontejner, který slouží k hostování obsahu 2D aplikace, jako je například webový prohlížeč. Koncept návrhu pro interakci s 2D SLAT prostřednictvím přímé manipulace je stejný jako při práci s fyzickou dotykovou obrazovkou.

Interakce s kontaktem SLAT

Dotykové ovládání
Dotykové ovládání
Pomocí prstu indexů stiskněte hypertextový odkaz nebo tlačítko.

Posuv
Posuv
Pomocí ukazováčku můžete posunout slate obsah nahoru a dolů.

Zoom
Zoom
K přiblížení a oddálení obsahu s slatem se podle relativního pohybu smyšlení používá dva indexové smyšlení uživatele.

Pro manipulaci se samotnou 2D slate

Obrázek znázorňující funkci uchopování a přetahování
Přesunout
Přesuňte ruce k rohům a okrajům, abyste odhalili nejbližší dostupnost manipulace. Vezměte Holobar v horní části 2D slate, což vám umožní přesunout celý slate.

Obrázek znázorňující funkci škálování
Škálování
Vezměte si cenové nabídky pro manipulaci a proveďte jednotné škálování přes cenové nabídky v rohu.

Přeformátování
Přeformátování
Vezměte si cenové nabídky pro manipulaci a přeformátování proveďte přes cenové nabídky na hraničních zařízeních.



Manipulace s 3D objekty

HoloLens 2 umožňuje uživatelům řídit 3D holografické objekty a manipulovat s nimi použitím ohraničovacího rámečku na každý 3D objekt. Ohraničující rámeček poskytuje lepší vnímání hloubky prostřednictvím svého shaderu blízkosti. U ohraničovacího rámečku existují dva přístupy k návrhu pro manipulaci s 3D objekty.

Manipulace na základě cenové dostupnosti

Manipulace s cenovou dostupností umožňuje manipulovat s 3D objektem prostřednictvím ohraničovacího rámečku společně s cenovými dostupnostmi manipulace, které jsou kolem něj.

Obrázek znázorňující funkci ohraničující rámeček a přesunutí objektů
Přesunout
Jakmile se uživatel přibli ke 3D objektu, zobrazí se ohraničující rámeček a nejbližší dostupnost. Uživatelé mohou ohraničující rámeček přesunout celý objekt.

Obrázek znázorňující, jak uživatel uchopuje hranu objektů k otočení
Otočit
Uživatelé si můžou obměny obměnou cen hraničních zařízení.

Obrázek znázorňující, jak uživatel uchopí roh objektů ke škálování
Škálování
Uživatelé si můžou rovnoměrně škálovat cenové nabídky v rohu.


Manipulace na základě cenové dostupnosti

Manipulace na základě cenové dostupnosti nepřidá k ohraničující rámečku cenovou dostupnost. Uživatelé mohou zobrazit pouze ohraničující rámeček a pak s ním přímo pracovat. Pokud je ohraničující rámeček navázán jednou rukou, je posunutí a otočení objektu přidruženo k pohybu a orientaci ruky. Když je objekt uchopen dvěma rukou, uživatelé ho mohou překládat, škálovat a otáčet podle relativních pohybů dvou rukou.

Konkrétní manipulace vyžaduje přesnost. Doporučujeme používat manipulaci založenou na cenové dostupnosti, protože poskytuje vysokou úroveň členitosti. Pro flexibilní manipulaci doporučujeme používat manipulaci, která si dovolit, protože umožňuje okamžité a hravé prostředí.



Nesmyšlená gesta

S HoloLens (1. generace) jsme uživatele naučili několik předdefinovaných gest, jako je bloom a klepnutí ve vzduchu. Například HoloLens 2 neposínáme uživatele k zapamatování žádných symbolických gest. Všechna požadovaná uživatelská gesta, kde uživatelé potřebují pracovat s hologramy a obsahem, jsou nesměšná. Způsob, jak dosáhnout nesnachových gest, je pomoct uživatelům provádět gesta prostřednictvím návrhu cen uživatelského rozhraní.

Pokud například uživateli doporučujeme uchopit objekt nebo řídicí bod se dvěma prstů, měl by být objekt nebo řídicí bod malý. Pokud chceme, aby uživatel uchopl pět prstu, měl by být objekt nebo řídicí bod poměrně velký. Podobně jako u tlačítek by malé tlačítko omezoval uživatele, aby ho stiskl jedním prstem. Velké tlačítko by uživatele přinuce k tomu, aby ho stiskl pomocí svých nácků.

Obrázek znázorňující, jak uživatel uchopuje malý objekt k přesunutí
Malý objekt

Obrázek znázorňující, jak uživatel uchopuje střední objekt, který se má přesunout
Medium – objekt

Obrázek znázorňující, jak uživatel uchopuje velký objekt k přesunutí
Velký objekt




Symetrický návrh mezi rukou a 6 kontrolery DoF

Možná jste si všimli, že existují paralelní interakce, které můžeme kreslit mezi rukou v realitě a ovladači pohybu ve virtuální realitě. Oba vstupy lze použít k aktivaci přímých manipulací v příslušných prostředích. V HoloLens 2 funguje uchopování a přetahování rukou v těsné vzdálenosti velmi stejně jako tlačítko pro uchopování na ovladačích pohybu WMR. To uživatelům poskytuje znalost interakce mezi těmito dvěma platformami, což může být užitečné, pokud se někdy rozhodnete aplikaci portovat mezi platformami.



Optimalizace pomocí sledování očí

Přímá manipulace může být při zamýšleném použití nesvůdná. Ale může být frustrující i v případě, že nemůžete posunout ruce kamkoli, aniž byste neúmyslně spouštěli hologram. Sledování očí může pomoci lépe identifikovat záměr uživatele.

  • When:Omezte neúmyslné spuštění odpovědi na manipulaci. Sledování očí umožňuje lépe pochopit, s čím je uživatel aktuálně zapojený. Představte si například, že čtete holografický (instrukční) text, když se blížíte k vám, abyste si prošli skutečný pracovní nástroj.

Nechtěně tak přesunete ruce mezi několik interaktivních holografických tlačítek, kterých jste si předtím ani nevšimli. Může být například mimo zorné pole (FoV) uživatele.

Pokud se uživatel na hologram chvíli nepodíval, ale byla zjištěna událost dotykového ovládání nebo pochopení, interakce je pravděpodobně neúmyslná.

  • Která z nich: Kromě řešení falešně pozitivních aktivací další příklad zahrnuje lepší identifikaci hologramů, které se mají uchopit nebo prochytát jako přesný průnikový bod, nemusí být z vašeho pohledu zřejmé, zejména pokud je blízko sebe několik hologramů.

    Sledování pohledu na HoloLens 2 má omezení na základě toho, jak přesně dokáže určit pohled na oko, ale může to být užitečné i pro interakce v blízkosti, protože při interakci s ručním vstupem je to z důvodu neprůhlednosti hloubky. To znamená, že někdy je obtížné určit, jestli se vaše ruky nachází za hologramem nebo před ním, aby bylo možné přesně uchopit například widget pro manipulaci.

  • Where to: Use information about what a user is looking at with quick-throwing gestures. Uchopte hologram a přibližně ho přehodíte k zamýšlenému cíli.

    I když to někdy funguje, rychlé ruční gesty mohou vést k nepřesných cílům. Sledování očí ale může zvýšit přesnost gesta.



Manipulace v MRTK (Mixed Reality Toolkit) pro Unity

Pomocí MRTKmůžete snadno dosáhnout běžných chování při manipulaci pomocí skriptu ObjectManipulator. Pomocí ObjectManipulatoru můžete uchopit a přesouvat objekty přímo rukou nebo pomocí ručního paprsku. Podporuje také manipulaci se dvěma příkazy pro škálování a obměně objektu.


Viz také

Tlačítko

Přímá manipulace je vstupní model, který zahrnuje přímé ovládání hologramů rukou. Myšlenka za tímto konceptem je, že objekty se chovají stejně jako v reálném světě. Tlačítka je možné aktivovat jednoduše tak, že je stisknete, objekty můžete uchopit jejich uchopením a 2D obsah se chová jako virtuální dotyková obrazovka. Přímá manipulace je založená na cenové dostupnosti, což znamená, že je uživatelsky přívětivá. Neexistují žádná symbolická gesta, která by uživatele naučili. Všechny interakce jsou postavené na vizuálním prvku, který můžete uchopit nebo uchopit. Považuje se za "blízko" vstupní model v tom smyslu, že se nejlépe používá pro interakci s obsahem v náručí.

Podpora zařízení