4. Interaktivní scéna

  • Článek

V předchozím kurzu jste přidali ARSession, Pawn a Herní režim pro dokončení nastavení hybridní reality pro šachovou aplikaci. Tato část se zaměřuje na použití modulu plug-in open source Mixed Reality Toolkit UX Tools, který poskytuje nástroje pro interaktivní scénu. Na konci této části se vaše šachové figurky budou přesouvat podle uživatelského vstupu.

Cíle

  • Instalace modulu plug-in Mixed Reality UX Tools
  • Přidání herců interakce rukou na dosah ruky
  • Vytváření a přidávání manipulátorů k objektům ve scéně
  • Použití simulace vstupu k ověření projektu

Stažení modulu plug-in Mixed Reality UX Tools

Než začnete pracovat s uživatelským vstupem, budete muset do projektu přidat modul plug-in Mixed Reality UX Tools. Další informace o nástrojích UX najdete v projektu na GitHubu.

  1. Otevřete spouštěč epických her. Přejděte na Unreal Engine Marketplace a vyhledejte "Mixed Reality UX Tools". Nainstalujte modul plug-in do modulu.

Unreal Marketplace

  1. Zpátky v editoru Unreal přejděte naModuly plug-innastavení> projektu a vyhledejte "Mixed Reality UX Tools". Ujistěte se, že je modul plug-in povolený, a po zobrazení výzvy restartujte editor.

Povolení modulu plug-in nástroje UX Mixed Reality

  1. Modul plug-in UXTools obsahuje složku Content s podsložkami pro komponenty, včetně tlačítek, simulace XR a ukazatelů, a složku Tříd jazyka C++ s dalším kódem.

Poznámka

Pokud v Prohlížeči obsahu nevidíte sekci Obsah nástroje UXTools, zaškrtněte možnosti Zobrazení obsahu > modulu a Možnosti zobrazení > obsahu modulu plug-in.

Zobrazit obsah modulu

Další dokumentaci k modulům plug-in najdete v úložišti Mixed Reality UX Tools na GitHubu.

Po nainstalování modulu plug-in jste připraveni začít používat nástroje, které nabízí, počínaje aktéry ruční interakce.

Rodící se aktéři interakce rukou

Ruční interakce s prvky uživatelského rozhraní se provádí pomocí herců interakce rukou, které vytvářejí a řídí ukazatele a vizuály pro blízké a vzdálené interakce.

  • Blízké interakce - svírání prvků mezi ukazováčkem a palcem nebo jejich pošťouchnutím prstem.
  • Vzdálené interakce – nasměrování paprsku z virtuální ruky na prvek a stisknutí indexu a palce k sobě.

V našem případě přidání aktéra interakce rukou do MRPawn :

  • Přidejte kurzor na špičky ukazováčků pěšce.
  • Zajistěte události pro zadávání artikulovaných rukou, se kterými je možné manipulovat prostřednictvím pěšce.
  • Povolte vstupní události vzdálené interakce prostřednictvím paprsků rukou rozprostírajících se z dlaní virtuálních rukou.

Než budete pokračovat, doporučujeme si projít dokumentaci k ručním interakcím.

Až budete připraveni, otevřete podrobný plán MRPawn a přejděte na Event Graph.

  1. Přetažením a uvolněním spouštěcího kolíku z Event BeginPlay umístěte nový uzel.

    • Vyberte Spawn Actor from Class (Třída), klikněte na rozevírací seznam vedle špendlíku třídy a vyhledejte Uxt Hand Interaction Actor (Aktér interakce rukou Uxt).

  2. Vytvořte druhý objekt Uxt Hand Interaction Actor, tentokrát nastavte handudoprava. Po zahájení události se na každé ruce vytvoří objekt Uxt Hand Interaction Actor.

Graf událostí by měl odpovídat následujícímu snímku obrazovky:

Spawn UXT Hand Interaction Actors

Oba aktéři interakce rukou Uxt potřebují vlastníky a počáteční umístění transformace. Na počáteční transformaci v tomto případě nezáleží, protože nástroje UX tools můžou herci interakce rukou přejít do virtuálních rukou, jakmile budou vidět. Funkce však vyžaduje vstup transformace, SpawnActor aby se zabránilo chybě kompilátoru, takže použijete výchozí hodnoty.

  1. Přetažením a uvolněním špendlíku z připínáčku pro vytvoření nového uzlu

    • Vyhledejte uzel Make Transform (Transformovat) a potom přetáhněte návratovou hodnotu do transformace Spawn(SpawnActor ) druhé strany, aby byly oba uzly SpawnActor připojené.

  2. Výběrem šipky dolů v dolní části obou uzlů SpawnActoru zobrazte pin vlastníka .

    • Přetáhněte špendlík mimo jeden z pinů vlastníka a uvolněte ho, aby se umístil nový uzel.
    • Vyhledejte vlastní a vyberte proměnnou Získat odkaz na self .
    • Vytvořte propojení mezi uzlem Odkaz na vlastní objekt a pinem vlastníka druhého aktéra interakce ruky.

  3. Nakonec zaškrtněte políčko Zobrazit kurzor blízko u uchopte cílů pro oba aktéry interakce rukou. Kurzor by se měl na uchopovacím cíli objevit, když se váš ukazováček blíží, abyste viděli, kde je prst vzhledem k cíli.

    • Zkompilujte, uložte a vraťte se do hlavního okna.

Ujistěte se, že připojení odpovídají následujícímu snímku obrazovky, ale můžete přetáhnout uzly, aby byl podrobný plán čitelnější.

Dokončení nastavení objektu UXT Hand Interaction Actor

Další informace o aktérech interakce rukou najdete v dokumentaci k nástrojům UX.

Teď mají virtuální ruce v projektu způsob, jak vybrat objekty, ale pořád s nimi nemůžou manipulovat. Vaším posledním úkolem před testováním aplikace je přidat komponenty Manipulátoru do herců ve scéně.

Připojení manipulátorů

Manipulátor je součást, která reaguje na artikulovaný vstup rukou a dá se uchopit, otočit a přeložit. Použití transformace Manipulátoru na transformaci Actors umožňuje přímou manipulaci s objekty Actor.

  1. Otevřete podrobný plán Panel, klikněte na Přidat komponentu a na panelu Komponentyvyhledejte Uxt Generic Manipulator.

Přidání obecného manipulátoru

  1. Rozbalte oddíl Generic Manipulator na panelu Podrobnosti . Odsud můžete nastavit manipulaci s jednou nebo dvěma rukama, režim otáčení a vyhlazování. Nebojte se vybrat libovolný režim a pak Zkompilovat a Uložit panel.

Nastavení režimu

  1. Opakujte výše uvedené kroky pro objekt WhiteKing Actor.

Další informace o komponentách manipulátoru najdete v modulu plug-in Mixed Reality UX Tools v dokumentaci.

Testování scény

Dobrá zpráva pro všechny! Jste připraveni otestovat aplikaci pomocí nových virtuálních rukou a uživatelského vstupu. Stiskněte Přehrát v hlavním okně a uvidíte dvě oka ručičky s paprsky, které se rozprostírají z dlaně každé ruky. Ruce a jejich interakce můžete ovládat následujícím způsobem:

  • Podržením levé klávesy Alt můžete ovládat levou ruku a levou klávesou Shift ovládat pravou ruku.
  • Pohybem myši můžete pohybovat rukou a posouvat se kolečkem myši a pohybovat rukou dopředu nebo dozadu.
  • Pomocí levého tlačítka myši sevřete a prostředním tlačítkem myši se šťouchnete.

Poznámka

Simulace vstupu nemusí fungovat, pokud máte k počítači připojených více náhlavních souprav. Pokud máte problémy, zkuste odpojit ostatní náhlavní soupravy.

Simulované ruce v zobrazení

Zkuste pomocí simulovaných rukou zvednout, pohybovat se a posouvat bílého šachového krále a manipulovat s tabulí! Experimentujte s blízkou i vzdálenou interakcí - všimněte si, že když se vaše ruce dostanou dostatečně blízko, aby chytily desku a přímo král, kurzor prstu na špičce ukazováčku nahradí paprsek ruky.

Další informace o funkci simulovaných rukou, kterou poskytuje modul plug-in MRTK UX Tools, najdete v dokumentaci.

Teď, když vaše virtuální ruce můžou interagovat s objekty, jste připraveni přejít k dalšímu kurzu a přidat uživatelská rozhraní a události.

Další oddíl: 5. Přidání tlačítka & resetování umístění kusu