Usługa symulacji danych wejściowych

Symulacja danych wejściowych MRTK

Symulacja wejściowa mrTK umożliwia testowanie różnych typów interakcji w edytorze aparatu Unity bez konieczności budowania i wdrażania na urządzeniu. Dzięki temu możesz szybko iterować swoje pomysły w procesie projektowania i opracowywania. Używanie kombinacji myszy i klawiatury do kontrolowania symulowanych danych wejściowych.

Usługa Input Simulation Service emuluje zachowanie urządzeń i platform, które mogą być niedostępne w edytorze aparatu Unity. Przykłady obejmują:

  • HoloLens lub VR urządzenia
  • HoloLens gestów dłonią
  • HoloLens 2
  • HoloLens 2 śledzenie oczu
  • Kontrolery urządzeń VR

Ostrzeżenie

Nie działa to w przypadku korzystania z funkcji emulacji XR holographic aparatu Unity > tryb emulacji = "Symulowanie w edytorze". Symulacja w edytorze aparatu Unity przejmie kontrolę nad symulacją wejściową mrTK. Aby można było korzystać z usługi symulacji danych wejściowych zestawu danych mrTK, należy ustawić tryb emulacji XR Holographic na wartość Tryb emulacji = "Brak"

Jak używać symulacji danych wejściowych MRTK

Symulacja danych wejściowych jest domyślnie włączona w profilach, które są wprowadzane z mrTK. Możesz po prostu kliknąć przycisk Odtąd, aby uruchomić scenę z obsługą symulacji danych wejściowych.

  • Naciśnij klawisze W, A, S, D, Q, E, aby przenieść aparat.
  • Przytrzymaj prawy przycisk myszy i przesuń mysz, aby się rozejrzeć.
  • Aby wydoić symulowane ręce, naciśnij klawisz Spacja (prawa ręka) lub Klawisz Shift w lewo (lewa ręka)
  • Aby zachować symulowane ręce w widoku, naciśnij klawisz T lub Y
  • Aby obrócić symulowane ręce, naciśnij i przytrzymaj klawisz Ctrl oraz przesuń mysz

Ściągawka w symulacji danych wejściowych edytora

Naciśnij klawisze Ctrl +H w scenie HandInteractionExamples, aby wyprowadzić ściągawkę z kontrolkami symulacji danych wejściowych.

Ściągawka symulacji danych wejściowych MRTK

Włączanie usługi symulacji danych wejściowych

W obszarze konfiguracji dostawcy danych systemu danych wejściowych można skonfigurować usługę symulacji danych wejściowych przy użyciu następujących ustawień.

  • Typem musi być Microsoft.MixedReality.Toolkit.Input > InputSimulationService.
  • Obsługiwane platformy domyślnie obejmują wszystkie platformy edytora, ponieważ usługa używa klawiatury i myszy.

Uwaga

Usługa Symulacja danych wejściowych może być używana w innych punktach końcowych platformy, takich jak autonomiczne, przez zmianę właściwości Obsługiwanych platform w celu dołączyć żądane obiekty docelowe.
Input Simulation Supported Platforms

Kontrolka aparatu

Ruch głowy może być emulowany przez usługę symulacji danych wejściowych.

Obracanie kamery

  1. Umieść kursor na oknie edytora okienka ekranu. Jeśli naciśnięcie przycisku nie zadziała, może być konieczne kliknięcie okna w celu ustawienia fokusu wejściowego.
  2. Naciśnij i przytrzymaj przycisk wyszukiwania myszy (domyślnie: prawy przycisk myszy).
  3. Przesuń myszą w oknie okienka ekranu, aby obrócić kamerę.
  4. Użyj kółka przewijania, aby przetoczyć kamerę w kierunku widoku.

Szybkość obrotu kamery można skonfigurować, zmieniając ustawienie Szybkość wyglądu myszy w profilu symulacji danych wejściowych.

Możesz też użyć osi Look Horizontal Look Vertical (Wygląd poziomy w pionie), aby obrócić kamerę / (ustawienie domyślne: kontroler gry ma prawą podpętkę).

Przenoszenie aparatu fotograficznego

Użyj pionowych osi przenoszenia w poziomie, aby przenieść / kamerę (ustawienie domyślne: klucze WASD lub lewy kciuk kontrolera gry).

Kąty położenia i obrotu kamery można również ustawić jawnie w oknie narzędzi. Aparat można zresetować do domyślnego przy użyciu przycisku Resetuj.

Symulacja kontrolera

Symulacja wejściowa obsługuje emulowane urządzenia kontrolera (tj. kontrolery ruchu i ręce). Te kontrolery wirtualne mogą wchodzić w interakcje z dowolnym obiektem, który obsługuje zwykłe kontrolery, takie jak przyciski lub obiekty z możliwość chwytącania.

Tryb symulacji kontrolera

W oknie narzędzi symulacji danych wejściowych ustawienie Tryb symulacji kontrolera domyślnego przełącza się między trzema różnymi modelami wejściowymi. Ten tryb domyślny można również ustawić w profilu symulacji danych wejściowych.

  • Wskazówki: symuluje w pełni sformułowane urządzenie ręczne z danymi o wspólnej pozycji.

    Emuluje HoloLens 2 interakcji.

    W tym trybie można symulować interakcje oparte na dokładnym pozycjonowaniu ręki lub dotykaniu.

  • Gesty ręczne: symuluje uproszczony model dłoni za pomocą naciśnięcia w powietrzu i podstawowych gestów.

    Emuluje HoloLens interakcji.

    Fokus jest kontrolowany za pomocą wskaźnika Spojrzenia. Gest naciśnięcia w powietrzu służy do interakcji z przyciskami.

  • Kontroler ruchu: symuluje kontroler ruchu używany z zestawami VR, który działa podobnie do dalekosiątkich interakcji z artykułami układu praktycznego.

    Emuluje zestaw VR z modelem interakcji kontrolerów.

    Wyzwalacz, chwyt i klawisze menu są symulowane za pomocą klawiatury i myszy.

Symulowanie ruchu kontrolera

Naciśnij i przytrzymaj lewy/prawy klawisz manipulowania kontrolerem (domyślnie: Przesunięcie w lewo dla lewego kontrolera i Spacja dla prawego kontrolera), aby uzyskać kontrolę nad każdym kontrolerem. Po naciśnięciu klawisza manipulowania kontroler pojawi się w widoku. Po zwolnieniu klucza manipulowania kontrolery znikną po upływie krótkiego limitu czasu ukrycia kontrolera.

Kontrolery mogą być włączane i zamrożone względem aparatu w oknie narzędzi symulacji danych wejściowych lub przez naciśnięcie klawisza Przełącz lewy/prawy kontroler (domyślnie: T dla lewej i Y w prawo). Naciśnij ponownie klawisz przełącznika, aby ponownie ukryć kontrolery. Aby manipulować kontrolerami, należy przychylić klucz manipulowania lewym/prawym kontrolerem. Dwukrotne naciśnięcie klawisza manipulowania kontrolerem w lewo/w prawo może również włączać/wyłączać kontrolery.

Ruch myszą spowoduje przeniesienie kontrolera na płaszczyźnie widoku. Kontrolery można przenosić dalej lub bliżej aparatu za pomocą kółka myszy.

Aby obrócić kontrolery za pomocą myszy, przytrzymaj zarówno lewy/prawy klawisz manipulowania kontrolerem (lewy klawisz Shift lub spacja), jak i przycisk rotacji kontrolera (domyślnie: lewy przycisk Ctrl), a następnie przesuń wskaźnik myszy, aby obrócić kontroler. Szybkość obrotu kontrolera można skonfigurować, zmieniając ustawienie Szybkość obrotu kontrolera myszy w profilu symulacji danych wejściowych.

Całe rozmieszczenie ręki można również zmienić w oknie narzędzi do symulacjidanych wejściowych, w tym zresetowanie rąk do wartości domyślnej.

Dodatkowe ustawienia profilu

  • Mnożenie głębokości kontrolera kontroluje czułość ruchu głębokości kółka przewijania myszy. Większa liczba przyspieszy powiększenie kontrolera.
  • Domyślna odległość kontrolera to początkowa odległość kontrolerów od aparatu. Kliknięcie przycisku Resetuj spowoduje również, że kontrolery będą umieszczać w tej odległości.
  • Ilość zakłócć kontrolera dodaje ruch losowy do kontrolerów. Ta funkcja może służyć do symulowania niedokładnego śledzenia kontrolera na urządzeniu i zapewnienia, że interakcje dobrze działają z hałaśliwymi wejściami.

Gesty ręczne

Można również symulować gesty ręczne, takie jak uszczypnięcia, chwytanie, pozorowanie itp.

  1. Włączanie kontroli ręcznej przy użyciu klawisza manipulowania kontrolerem w lewo/w prawo (przesunięcie w lewo lub spacja)

  2. Podczas manipulowania naciśnij i przytrzymaj przycisk myszy, aby wykonać gest dłonią.

Każdy z przycisków myszy można mapować, aby przekształcić kształt ręki w inny gest przy użyciu ustawień Gest myszy w lewo/w środku/prawo. Domyślny gest dłoni jest kształtem ręki, gdy nie zostanie naciśnięty żaden przycisk.

Uwaga

Gest uszczypnięcia jest jedynym gestem, który wykonuje akcję "Wybierz".

Manipulowanie jednym rękią

  1. Naciśnij i przytrzymaj lewy/prawy klawisz do manipulowania kontrolerem (przesunięcie w lewo lub spacja)
  2. Wskaż obiekt
  3. Przytrzymaj przycisk myszy, aby uszczypnij
  4. Przenoszenie obiektu za pomocą myszy
  5. Zwolnij przycisk myszy, aby zatrzymać interakcję

Manipulowanie dwiema rękę

Do manipulowania obiektami przy użyciu dwóch rąk w tym samym czasie zalecany jest tryb trwały rąk.

  1. Przełącz obie strony, naciskając klawisze przełączania (T/Y).
  2. Manipuluj jedną ręką na raz:
    1. Przytrzymaj spację, aby kontrolować prawą rękę
    2. Przenieś rękę do miejsca, w którym chcesz pobrać obiekt
    3. Naciśnij lewy przycisk myszy, aby aktywować gest uszczypnięcia.
    4. Zwolnij miejsce, aby zatrzymać kontrolowanie prawej ręki. Ręka będzie zamrożona i zablokowana za pomocą gestu uszczypnięcia, ponieważ nie jest już manipulowana.
  3. Powtórz ten proces z drugiej strony, pobierając ten sam obiekt w drugim miejscu.
  4. Teraz, gdy obie strony chwycą ten sam obiekt, możesz przenieść jedną z nich, aby wykonać ręczną manipulację.

Interakcja z GGV (spojrzenie, gest i głos)

Domyślnie interakcja z pojazdami GGV jest włączona w edytorze, gdy w scenie nie ma żadnych wyraźniej ręki.

  1. Obróć kamerę, aby wskazać kursor na obiekt, który wchodzi w interakcję (prawy przycisk myszy)
  2. Kliknij i przytrzymaj lewy przycisk myszy, aby wchodzić w interakcje
  3. Obracanie aparatu ponownie w celu manipulowania obiektem

Tę opcję można wyłączyć, przełączanie opcji Jest wolnym wprowadzaniem bez ręki w profilu symulacji danych wejściowych.

Ponadto można użyć symulowanych rąk do interakcji z systemem GGV

  1. Włącz symulację GGV, przełączając tryb symulacji ręcznej na gesty w profilu symulacji danych wejściowych
  2. Obróć kamerę, aby wskazać kursor na obiekt, który wchodzi w interakcję (prawy przycisk myszy)
  3. Przytrzymaj spację, aby kontrolować prawą rękę
  4. Kliknij i przytrzymaj lewy przycisk myszy, aby wchodzić w interakcje
  5. Przenoszenie obiektu za pomocą myszy
  6. Zwolnij przycisk myszy, aby zatrzymać interakcję

Podnoszenie zdarzeń teleportacji

Aby podnieść zdarzenie teleportu w symulacji danych wejściowych, skonfiguruj ustawienia gestu ręcznego Ustawienia profilu symulacji danych wejściowych, tak aby jeden z nich wykonuje gest startu teleportacji, a drugi wykonuje gest zakończenia teleportacji. Gest uruchamiania teleportacji spowoduje uruchomienie wskaźnika teleportacji, a po zakończeniu akcji teleportacji użytkownik zostanie przeniesiony.

Pozycja y wynikowej kamery zależy od przesunięcia kamery wzdłuż osi Y. W edytorze domyślnie jest to 0, więc użyj klawiszy Q i E, aby dostosować go do odpowiedniej wysokości.

Symulacja danych wejściowych i Ustawienia

Interakcja kontrolera ruchu

Symulowane kontrolery ruchu mogą być manipulowane w taki sam sposób, jak w przypadku układu rąk. Model interakcji jest podobny do daleko interakcji ręki wyrażanej, gdy wyzwalacz, chwyt i klawisze menu są mapowane odpowiednio na lewy przycisk myszy , klawisz G i M.

Śledzenie wzroku

Symulację śledzenia oka można włączyć, zaznaczając opcję Simulate Eye Position (Symulowanie położenia oka) w profilu symulacji danych wejściowych. Nie należy jej używać z interakcjami typu GGV ani kontrolera ruchu (dlatego upewnij się, że domyślny tryb symulacji kontrolera jest ustawiony na wartość Articulated Hand).

Okno narzędzi do symulacji danych wejściowych

Włącz okno narzędzi do symulacji danych wejściowych z menu Mixed Reality Toolkit Utilities Input Simulation (Symulacja danych > > > wejściowych narzędzi zestawu narzędzi). To okno zapewnia dostęp do stanu symulacji danych wejściowych w trybie odtwarzania.

Przyciski w portie ekranu (opcjonalnie)

Prefabrykat przycisków w edytorze do kontrolowania podstawowego rozmieszczenia ręki można określić w profilu symulacji danych wejściowych w obszarze Wskaźniki Przedfabryka. Jest to opcjonalne narzędzie. Dostęp do tych samych funkcji można uzyskać w oknie narzędzi do symulacji danych wejściowych.

Uwaga

Wskaźniki w widoku są domyślnie wyłączone, ponieważ obecnie mogą czasami zakłócać interakcje interfejsu użytkownika aparatu Unity. Zobacz problem #6106. Aby włączyć tę funkcję, dodaj prefabrykat InputSimulationIndicators do kontrolki Indicators Prefab.

Ikony ręki pokazują stan symulowanych rąk:

  • Ikona nieśledzonej ręki Ręka nie śledzi. Kliknij, aby włączyć ręka.
  • Ikona śledzonej ręki Ręka jest śledzona, ale nie jest kontrolowana przez użytkownika. Kliknij, aby ukryć rękę.
  • Ikona kontrolowanej ręki Ręka jest śledzona i kontrolowana przez użytkownika. Kliknij, aby ukryć rękę.
  • Ikona resetowania ręki Kliknij, aby zresetować ręka do domyślnej pozycji.

Zobacz też