Služba simulace vstupu – MRTK2

  • Článek

Simulace vstupu MRTK

Pomocí simulace vstupu MRTK můžete testovat různé typy interakcí v editoru Unity bez sestavování a nasazování do zařízení. To vám umožní rychle iterovat své nápady v procesu návrhu a vývoje. Pomocí kombinací klávesnice a myši můžete ovládat simulované vstupy.

Input Simulation Service emuluje chování zařízení a platforem, které nemusí být dostupné v editoru Unity. Příklady:

  • Sledování hlavy zařízení HoloLens nebo VR
  • Gesta rukou HoloLensu
  • HoloLens 2 kloubové sledování rukou
  • HoloLens 2 sledování očí
  • Ovladače zařízení VR

Upozornění

To nefunguje, pokud používáte režim emulace XR holografické emulace > Unity = "Simulovat v editoru". Simulace v editoru Unity převezme kontrolu nad simulací vstupu MRTK. Abyste mohli používat službu simulace vstupu MRTK, budete muset nastavit holografickou emulaci XR na režim emulace = "Žádný".

Jak používat simulaci vstupu MRTK

Simulace vstupu je ve výchozím nastavení povolená v profilech, které se dodávají s MRTK. Stačí kliknout na tlačítko Přehrát a spustit scénu s podporou vstupní simulace.

  • Stisknutím kláves W, A, S, D, Q, E přesuňte kameru.
  • Podržte tlačítko pravé myši a pohybem myši se rozhlédněte.
  • Pokud chcete vyvolat simulované ruce, stiskněte mezerník (pravá ruka) nebo levou klávesu Shift (levá ruka).
  • Pokud chcete zachovat simulované ruce v zobrazení, stiskněte klávesu T nebo Y .
  • Pokud chcete otočit simulované ruce, stiskněte a podržte klávesu Ctrl a pohybujte myší.

Tahák simulace vstupu v editoru

Stisknutím kombinace kláves Ctrl+H ve scéně HandInteractionExamples zobrazíte tahák s ovládacími prvky simulace vstupu.

Tahák pro simulaci vstupu MRTK

Povolení služby simulace vstupu

V konfiguraci zprostředkovatele dat vstupního systému lze službu Input Simulation nakonfigurovat pomocí následujících možností.

  • Typ musí být Microsoft.MixedReality.Toolkit.Input > InputSimulationService.
  • Podporované platformy ve výchozím nastavení zahrnují všechny platformy editoru , protože služba používá vstup pomocí klávesnice a myši.

Poznámka

Službu Input Simulation je možné použít na jiných koncových bodech platformy, jako je například samostatná, změnou vlastnosti Podporované platformy tak, aby zahrnovala požadované cíle.
Podporované platformy simulace vstupu

Ovládání kamery

Pohyb hlavy může být emulován službou Input Simulation Service.

Otáčení kamery

  1. Najeďte myší na okno editoru zobrazení. Pokud stisknutí tlačítka nefunguje, budete možná muset na okno kliknout, aby se na něm fokus na vstupu.
  2. Stiskněte a podržte tlačítko Vzhled myši (výchozí: Pravé tlačítko myši).
  3. Pohybem myši v okně výřezu kameru otočíte.
  4. Pomocí rolovacího kolečka můžete otočit kameru kolem směru zobrazení.

Rychlost otáčení kamery lze nakonfigurovat změnou nastavení Rychlost pohledu myši ve vstupním profilu simulace.

Případně můžete kameru otočit pomocí os Look Horizontal/Look Vertical (výchozí: pravý palec ovladače hry).

Přesunutí kamery

K pohybu kamery použijte vodorovně/Přesunout svislé osy (výchozí: klávesy WASD nebo ovladač hry doleva).

Umístění kamery a úhly otočení lze také explicitně nastavit v okně nástrojů. Fotoaparát je možné obnovit do výchozího nastavení pomocí tlačítka Obnovit .

Simulace kontroleru

Simulace vstupu podporuje emulovaná řídicí zařízení (tj. ovladače pohybu a ruce). Tyto virtuální kontrolery můžou pracovat s libovolným objektem, který podporuje běžné kontrolery, jako jsou tlačítka nebo uchopitelné objekty.

Režim simulace kontroleru

V okně nástrojů pro simulaci vstupu nastavení Výchozí režim simulace kontroleru přepíná mezi třemi různými vstupními modely. Tento výchozí režim lze také nastavit ve vstupním profilu simulace.

  • Kloubové ruce: Simuluje plně kloubové ruční zařízení s daty o poloze.

    Emuluje model interakce HoloLens 2.

    V tomto režimu je možné simulovat interakce založené na přesném umístění ruky nebo dotykovém ovládání.

  • Gesta rukou: Simuluje zjednodušený model rukou pomocí klepnutí vzduchem a základních gest.

    Emuluje model interakce HoloLens.

    Fokus se řídí pomocí ukazatele pohledu. Gesto air tap slouží k interakci s tlačítky.

  • Ovladač pohybu: Simuluje ovladač pohybu používaný s náhlavními soupravami VR, který funguje podobně jako interakce s kloubovými ručičkami.

    Emuluje náhlavní soupravu VR s modelem interakce s ovladači.

    Klávesy trigger, grab a menu se simulují pomocí klávesnice a myši.

Simulace pohybu ovladače

Stisknutím a podržením klávesy Pro manipulaci s levým nebo pravým ovladačem (výchozí: Levý shift pro levý ovladač a Mezerník pro pravý ovladač) získáte kontrolu nad některým z ovladačů. Když stisknete klávesu pro manipulaci, ovladač se zobrazí v zobrazení. Po uvolnění manipulačního klíče zmizí kontrolery po krátkém vypršení časového limitu skrytí kontroleru.

Ovladače lze zapnout a zmrazit vzhledem ke kameře v okně vstupních nástrojů simulace nebo stisknutím klávesy Přepnout ovladač doleva/doprava (výchozí nastavení: T pro vlevo a Y pro pravé). Opětovným stisknutím přepínací klávesy ovladače znovu skryjete. Chcete-li manipulovat s ovladači, je nutné držet klávesu pro manipulaci s levým nebo pravým ovladačem . Poklepáním na klávesu Pro manipulaci s levým nebo pravým ovladačem můžete také zapnout/vypnout ovladače.

Pohyb myší přesune ovladač v rovině zobrazení. Ovladače lze přesunout dále nebo blíž ke kameře pomocí kolečka myši.

Pokud chcete ovladače otočit pomocí myši, podržte klávesu Pro manipulaci s levým nebo pravým ovladačem (levý shift nebo mezerník) itlačítko otočit ovladač (výchozí: Levé tlačítko Ctrl ) a pak pohybem myši ovladač otočte. Rychlost otáčení ovladače lze nakonfigurovat změnou nastavení Rychlost otáčení ovladače myši ve vstupním profilu simulace.

Veškeré umístění rukou se může také změnit v okně vstupních simulačních nástrojů, včetně resetování rukou na výchozí.

Další nastavení profilu

  • Násobitel hloubky ovladače řídí citlivost pohybu hloubky rolovacího kolečka myši. Větší počet zrychlí přiblížení ovladače.
  • Výchozí vzdálenost ovladače je počáteční vzdálenost ovladačů od kamery. Kliknutím na tlačítko Resetovat ovladače také umístíte ovladače do této vzdálenosti.
  • Množství chvění kontroleru přidává náhodné pohyby kontrolerů. Pomocí této funkce můžete simulovat nepřesné sledování kontroleru na zařízení a zajistit, aby interakce dobře fungovaly s hlučným vstupem.

Gesta rukou

Gesta rukou, jako je stažení prstů, chytnutí, šťouchání atd. lze také simulovat.

  1. Povolení ručního ovládání pomocí klávesy pro manipulaci s levým/pravým ovladačem (levý shift nebo mezerník)

  2. Při manipulaci stiskněte a podržte tlačítko myši a proveďte gesto rukou.

Každé z tlačítek myši je možné namapovat tak, aby se obrazec ruky převedla na jiné gesto pomocí nastavení Gesta levé/prostřední/pravé ruky myši . Výchozí gesto ruky je tvar ruky, když není stisknuto žádné tlačítko.

Poznámka

Gesto Stažení prstů je jediným gestem, které v tomto okamžiku provede akci Vybrat.

Manipulace jednou rukou

  1. Stiskněte a podržte klávesu pro manipulaci s levým nebo pravým ovladačem (levý shift nebo mezerník)
  2. Nasměrovat na objekt
  3. Přidržení tlačítka myši pro stažení prstů
  4. Pohyb objektu pomocí myši
  5. Uvolněním tlačítka myši zastavíte interakci.

Manipulace dvěma rukou

Pro manipulaci s objekty dvěma rukama najednou se doporučuje režim trvalé ruky.

  1. Zapněte obě ruce stisknutím přepínacích tlačítek (T/Y).
  2. Manipulace jednou rukou:
    1. Podržení mezerníku pro ovládání pravé ruky
    2. Přesuňte ruku na místo, kam chcete uchopit objekt
    3. Stisknutím levého tlačítka myši aktivujte gesto Stažení prstů .
    4. Uvolněte mezerník , abyste přestali ovládat pravou ruku. Ruka zmrzne na místě a zamkne se do gesta Stažení prstů , protože s ní už nebudete manipulovat.
  3. Opakujte tento postup druhou rukou a uchopte stejný objekt na druhém místě.
  4. Když teď obě ruce chytají stejný objekt, můžete jejich přesunutím provést manipulaci se dvěma rukama.

Interakce GGV (pohled, gesto a hlas)

Ve výchozím nastavení je v editoru povolená interakce GGV, zatímco ve scéně nejsou žádné kloubové ruce.

  1. Otočením kamery nasměrujte kurzor pohledu na interagovatelný objekt (pravé tlačítko myši)
  2. Kliknutí a podržení levého tlačítka myši pro interakci
  3. Otočením kamery znovu manipulujte s objektem.

Tuto možnost můžete vypnout přepnutím možnosti Je povolen vstup bez ruky uvnitř vstupního profilu simulace.

Kromě toho můžete pro interakci GGV použít simulované ruce.

  1. Povolení simulace GGV přepnutím režimu simulace rukou na Gesta ve vstupním profilu simulace
  2. Otočením kamery nasměrujte kurzor pohledu na interagovatelný objekt (pravé tlačítko myši)
  3. Podržení mezerníku pro ovládání pravé ruky
  4. Kliknutí a podržení levého tlačítka myši pro interakci
  5. Pohyb objektu pomocí myši
  6. Uvolněním tlačítka myši zastavíte interakci.

Vyvolávání událostí teleportu

Pokud chcete vyvolat událost teleportu v simulaci vstupu, nakonfigurujte nastavení gesta rukou ve vstupním profilu simulace tak, aby jedno provádělo gesto zahájení teleportu a druhé gesto ukončení teleportu . Gesto zahájení teleportu vyvolá teleportační ukazatel, zatímco koncová funkce Teleportu dokončí akci teleportu a přesune uživatele.

Pozice y výsledného teleportu závisí na posunutí kamery podél osy y. V editoru je to ve výchozím nastavení 0, takže pomocí kláves Q a E upravte hodnotu na odpovídající výšku.

Nastavení teleportu simulace vstupu

Interakce ovladače pohybu

Se simulovanými ovladači pohybu lze manipulovat stejným způsobem jako s kloubovanými rukama. Model interakce se podobá vzdálené interakci s kloubovanou rukou, zatímco aktivační klávesy, klávesy pro chytání a nabídky jsou namapovány na levé tlačítko myši, klávesu G a klávesu M v uvedeném pořadí.

Sledování očí

Simulaci sledování očí můžete povolit zaškrtnutím možnosti Simulovat polohu oka ve vstupním profilu simulace. Toto nastavení by se nemělo používat u interakcí se styly GGV nebo ovladače pohybu (proto zajistěte, aby byl výchozí režim simulace kontroleru nastavený na Artikulovaná ruka).

Okno nástrojů simulace vstupu

V nabídce simulace vstupu Mixed Reality>Toolkit>Utilities> povolte okno nástrojůpro simulaci vstupu. Toto okno poskytuje přístup ke stavu simulace vstupu během režimu přehrávání.

Tlačítka oblasti zobrazení (volitelné)

Prefab pro tlačítka v editoru pro ovládání základního umístění ruky lze zadat ve vstupním profilu simulace v části Indikátory Prefab. Jedná se o volitelný nástroj, ke stejným funkcím se dostanete v okně vstupních nástrojů simulace.

Poznámka

Indikátory oblasti zobrazení jsou ve výchozím nastavení zakázané, protože v současné době můžou někdy kolidovat s interakcemi s uživatelským rozhraním Unity. Viz problém č. 6106. Pokud to chcete povolit, přidejte prefab InputSimulationIndicators do indikátorů Prefab.

Ikony rukou zobrazují stav simulovaných rukou:

  • Ikona nesledované ruky Ruka neslídí. Kliknutím povolte ruku.
  • Tracked hand icon Tracked Ruka je sledována, ale není řízena uživatelem. Kliknutím skryjete ruku.
  • Ikona ovládané ruky Ruka je sledována a řízena uživatelem. Kliknutím skryjete ruku.
  • Resetovat ikony ruky Kliknutím obnovíte výchozí pozici ruky.

Viz také