Trenér rukou

  • Článek

Příklad: Trenér rukou

Hand Coach aktivuje 3D modelované ruce, když systém nerozpozná ruce uživatele. Tato funkce je "výuková" komponenta, která pomáhá uživatele vést, když se gesto nenaučilo. Pokud uživatelé zadané gesto po určitou dobu neudělali, budou se ruce opakovat se zpožděním. Hand coach by se dal použít k reprezentaci stisknutí tlačítka nebo vyzvednutí hologramu.

Hand coach provided

Aktuální model interakce představuje širokou škálu ovládacích prvků gest, jako je posouvání, výběr na dálku a blízké klepnutí. Níže je úplný seznam existujících gest rukou poskytovaných v MRTK:

Příklad funkce Near Select
Příklad funkce Near Select – Používá se k výběru tlačítek nebo zavření interagovatelných objektů.

Příklad funkce Air Tap
Příklad funkce Air Tap – Slouží k zobrazení, jak vybrat objekty, které jsou daleko.

Příklad přesunutí
Příklad přesunutí objektu v prostoru – Slouží k předvzorování, jak přesunout hologram v prostoru.

Příklad otočení
Příklad Rotate-Used, který ukazuje, jak otáčet hologramy nebo objekty

Příklad škálování
Příklad funkce Scale (Měřítko) – Slouží k předvzorování, jak manipulovat s hologramy tak, aby byly větší nebo menší.

Příklad dlaně nahoru
Příklad dlaně nahoru – Navrhované použití k vyvolání nabídek rukou

Příklad handflipu
Příklad překlopení rukou – další způsob, jak vyvolat nabídky rukou

Příklad posouvání
Příklad posouvání – slouží k posouvání seznamu nebo dlouhého dokumentu.

Koncepty návrhu

Pro Hololens2 jsme navrhli interakce rukou na základě instinktivních a přirozených gest rukou. Věříme, že jsou pro většinu uživatelů intuitivní, takže jsme nevytvořili vyhrazené momenty pro výuku gest. Místo toho jsme vytvořili ručního trenéra, který uživatelům pomůže seznámit se s těmito gesty, pokud se zasekne nebo nejsou obeznámeni s hologramovými interakcemi. Bez výukového okamžiku jsme se domnívali, že nejlepší možností je ukázat uživatelům, jak provést nějakou akci. Zjistili jsme, že uživatelé dokázali zjistit gesto, ale potřebovali trochu poradit. Pokud zjistíme, že uživatel s objektem po určitou dobu nepracuje, aktivuje se trenér rukou, který demonstruje správné umístění ruky a prstu.

Intuitivní

Při animování rukou by to mělo být zřejmé a nemělo by to způsobovat žádné nejasnosti. Animace rukou představuje gesto, které se snažíte uživateli vysvětlit.

Pokud například chcete, aby uživatel stiskl tlačítko, aktivovala by se ruka stisknutá tlačítko.

Příklad: Hand coach Near Tap
Hand Coach demonstruje blízko klepnutí na klenot

Ruční měřítko

Testovali jsme různé velikosti rukou s nabídkami uživatelského rozhraní a cítili jsme, že pokud jsou ruce pravdivé velikosti, dává to choutný pocit. Pokud byly příliš malé, bylo obtížné vidět a pochopit gesto.

Hlas a ruce

Neočekávejte, že uživatelé budou naslouchat jedné sadě pokynů prostřednictvím hlasového hlasu a watch různé instrukce přes Hand Coach. Seřaďte pokyny tak, abyste uživatelům pomohli soustředit se na soutěž o pozornost a snížit tak smyslové přetížení.

Můžu si vytvořit vlastní?

Ano. Doporučujeme, abyste si vytvořili své vlastní jedinečné gesto pro vaši hru a přispěli zpět do komunity! Poskytli jsme soubor Maya se zmanipulovanou rukou, který lze použít pro vaši aplikaci, který si můžete stáhnout tady: Stáhnout HandCoach_MRTK.zip

Příklad animovaných rukou v Mayi
Příklad animovaného ručně šťouchaného boxu v Mayě

Doporučený nástroj pro vytváření obsahu

Mezi 3D umělci se mnozí rozhodli použít Aplikaci Maya společnosti Autodesk, která může použít HoloLens k transformaci způsobu vytváření prostředků. Poskytnutý soubor rukou je binární soubor Maya, proto se doporučuje použít Maya k animaci a exportu rukou. Pokud dáváte přednost použití jiného 3D programu, tady je . FBX: Stáhněte si HandCoachMRTK_FBX.zip a vytvořte si vlastní nastavení kontroleru.

Pokud používáte soubor maya Hand File ke stažení, doporučujeme vertikálně snížit kapacitu rukou v jednotě na 0,6.

Příklad: Ruční trenažér v Mayě
Zmanipulované ruce

Technické specifikace

  • Soubor s dvěma rukama je k dispozici ve formátu Maya Ascii.
  • Pravá a levá ruka je k dispozici v binárním formátu Maya.
  • Nastavte váš soubor Maya na 24 FPS
  • V souboru je levá a pravá ruka, která se dá použít pro gesta dvěma nebo jednou rukou. Pravá ruka bude viditelná jenom ve výchozím nastavení.
  • Doporučuje se ponechat vyrovnávací paměť asi 10 snímků na začátku a na konci pro vyblednutí.
  • Při animaci objektu se zadaným cílem je osvědčeným postupem animovat pole Výchozí nebo Null.
  • Pokud ruka animuje fyzický objekt, jako je například pole, je osvědčeným postupem animovat překlad v Aplikaci Maya, ale počkat na jeho animaci v Unity nebo v kódu.
  • Viditelná animace by měla být 1,5 sekundy, aby se sdělovaly smysluplné informace.
  • Když budete s animací spokojeni:

Export z Maya

Po spokojenosti s animací

  • Vybrat všechny spoje: Vybrat > hierarchii

    Příklad: Hierarchie v nabídce

  • Upečte si animaci: Přepnutí na animační > klávesu > Pečení Animace

    Příklad: Umístění nabídky animací pečení

  • Odstraňte MainR_Grp nebo MainL_Grp kontroleru Rig: Outliner >

    Příklad: Umístění nabídky řídicího zařízení

  • Exportovat jako FBX: Vyberte JNT + Mesh: Výběr exportu souboru > (pole možností) > Exportovat výběr

    Příklad: Export výběru – Umístění nabídky

    Příklad: Umístění nabídky

    Příklad: Umístění nabídky Možnosti exportu

Při exportu jako FBX a přenesení do Unity škálujte ruce dolů na 0,6. Zjistili jsme, že je to ideální vyvážení pro zobrazení rukou.

Příklad: Nastavení Unity
Nastavení Unity pro HandCoach_R prefab nalezené v MRTK

Implementace rukou do projektu Unity

Osvědčené postupy

  • Doporučuje se snížit kapacitu rukou v jednotě na 0,6.

  • Ruce by měly být přehrány dvakrát, a pokud nejsou dokončeny, pak se nepřetržitě smyčte, dokud se gesto nedokončí. Ruce by se měly dvakrát opakovat, aby uživatel měl čas na registraci a zobrazení gesta. Mezi smyčkami by se měly vytrácet a vysouvat ruce.

  • Pokud kamery HL2 vidí ruce uživatele, ale uživatelé s nimi neprovádí požadovanou interakci, zobrazí se ruce po 10 sekundách.

  • Pokud kamery HL2 nevidí ruce uživatele, zobrazí se po 5 sekundách.

  • Pokud jsou ruce uživatele viditelně sledovány kamerami HL2 uprostřed animace, animace se dokončí a zmizí.

  • Pokud zahrnete hlas, doporučujeme, aby odpovídal gestu ruky.

  • Pokud jste ruce alespoň jednou naučili, opakujte toto gesto jenom v případě, že se zjistí, že se uživatel zasekl.

  • Pokud jsou určité pozice prstů nebo rukou kritické, ujistěte se, že uživatelé jasně vidí tyto nuance v animaci. Zkuste chytát ruce, aby nejdůležitější části byly jasně viditelné.

  • Pokud si všimnete zkreslení rukou, musíte přejít na Nastavení kvality Unity zvýšit počet kostí. Přejděte na Upravit > nastavení > projektu Unity Kvalita > Další > závaží blendu. Ujistěte se, že je vybrána možnost "4 kosti", aby se zobrazily hladké klouby.

    Příklad: Okno Nastavení projektu

Čemu se vyhnout

Viz také