Erweiterte Eingabe für HoloLens-Emulator und Mixed Reality-Simulator

Die meisten Emulatorbenutzer müssen nur die grundlegenden Eingabesteuerelemente für die HoloLens Emulator oder den Windows Mixed Reality-Simulatorverwenden. Die folgenden Details gelten für fortgeschrittene Benutzer, die komplexere Eingabetypen simulieren müssen.

Konzepte

Um mit dem Steuern der virtuellen Eingabe für den HoloLens Emulator und Windows Mixed Reality Simulator zu beginnen, sollten Sie zunächst einige Konzepte verstehen.

Bewegung bezieht sich auf das Steuern und Ändern der Position und Ausrichtung von etwas in der Szene. Für ein zielorientiertes steuerbares Objekt wird die Bewegung sowohl mit Drehung als auch mit Übersetzung (Bewegung) auf drei Achsen gesteuert.

  • Yaw: Nach links oder rechts drehen.
  • Tonhöhe: Nach oben oder unten.
  • Roll: Roll von Seite zu Seite.
  • X: Nach links oder rechts verschieben.
  • Y: Nach oben oder unten verschieben.
  • Z: Vorwärts- oder Rückwärtsbewegung.

Gesten- und Bewegungscontrollereingaben werden physischen Geräten eng zugeordnet:

  • Aktion: Simuliert die Aktion, indem der Zeigefinger auf den Ziehfinger gedrückt oder die Aktionsschaltfläche auf einem Controller gedrückt wird. Beispielsweise kann die Aktionseingabe verwendet werden, um die Tippbewegung in die Luft zu simulieren, um durch den Inhalt zu scrollen und zu halten.
  • Bloom/Systemgeste oder Home: Die HoloLens-/Systemgeste oder die Home-Schaltfläche eines Controllers wird verwendet, um zur Shell zurückzukehren und Systemaktionen auszulöschen.

Hände verfügen über eine umfangreiche Darstellung in HoloLens 2. Zusätzlich zur Nachverfolgung bzw. nicht nachverfolgt und für Fahrgesten verwendbar, verfügen Die Hände jetzt über ein artikuliertes Gerüstmodell, das an sie angepasst und für den Entwickler verfügbar gemacht wird. Das Gerüstmodell verfügt über 26 nachverfolgte Punkte auf jeder Hand.

  • Joint: Eine von 20 nachverfolgten Positionen für eine bestimmte nachverfolgte Hand mit einem zugeordneten Punkt im 3D-Raum.
  • Pose: Eine vollständige Sammlung aller Joints in einer nachverfolgten Hand, 26 Joints in all.

Wir machen derzeit keine direkte Kontrolle über einzelne gemeinsame Positionen über den Emulator verfügbar, aber Sie können sie über die Simulations-API festlegen. Wir verfügen über eine Reihe nützlicher repräsentativer Positionen, mit denen Sie mit dem Emulator zwischen diesen wechseln können.

Sie können auch den Zustand der simulierten Sensoreingabe steuern:

  • Zurücksetzen: Gibt alle simulierten Sensoren auf ihre Standardwerte zurück. Ab dem HoloLens 2 Emulator kann ein Zurücksetzen auf einen oder beide Hände eingestellt werden. Binden Sie die gewünschten Hand(en) mithilfe der Modifizierertaste(n) oder Schaltfläche(n) (Links und/oder Rechts alt oder mit dem linken und/oder rechten Bumper auf dem Gamepad) ein.
  • Nachverfolgung: Durchläufe durch die Positionsverfolgungsmodi, einschließlich:
    • Standard: Das Betriebssystem wählt den besten Nachverfolgungsmodus basierend auf den Anforderungen des Systems aus.
    • Orientation: Erzwingt die ausschließliche Ausrichtungsnachverfolgung, unabhängig von den Systemanforderungen.
    • Positional: Erzwingt die Positionsnachverfolgung, unabhängig von den Systemanforderungen.

Eingabetypen

Die folgende Tabelle zeigt, wie die einzelnen Eingabetypen der Tastatur, der Maus und dem Xbox-Controller zugeordnet werden. Jeder Typ weist je nach Eingabesteuerungsmodus eine andere Zuordnung auf. Weitere Informationen zu Eingabesteuerungsmodi finden Sie weiter unten in diesem Dokument.

Eingabe Tastatur Maus Xbox-Controller
Gier Nach-links-/nach-rechts-Pfeile Ziehen Sie nach links/rechts. Rechter Fingerabdruck nach links/rechts
Neigung NACH-OBEN-/NACH-UNTEN-TASTE Nach oben/unten ziehen Rechter Fingerabdruck nach oben/unten
Rollen Q/E DPad links/rechts
X A/D Linker Fingerabdruck nach links/rechts
J Vorherige Seite/Seite nach unten DPad nach oben/unten
Z W/S Linker Fingerabdruck nach oben/unten
Aktion Eingabe oder Leerzeichen Schaltfläche "Rechts" Eine Schaltfläche oder ein Trigger
Bloom/System F2- oder Windows-Taste B-Taste
Controller-Klammertaste/Handgriff G
Menüschaltfläche "Controller" M
Touchpad-Toucheingabe für Controller U
Controller-Touchpad drücken P
Controllerfingerabdruck drücken K
Nachverfolgungsstatus des linken Controllers F9
Nachverfolgungsstatus des rechten Controllers F10
Hand "Close" Pose 7
Hand "Open" Pose (Standard) 8
Hand "Point" Pose 9
Hand "Pinch" Pose 0
Reset Escapetaste Starttaste
Nachverfolgung T oder F3 X-Taste

Hinweis: Die Controllerschaltflächen können mithilfe der Hand-Targeting-Modifizierer auf eine Hand/einen Controller oder auf die andere ausgerichtet werden.

Zielgruppenadressierung

Einige der oben genannten Eingabekonzepte sind eigenständig. Action, Bloom/System, Reset und Tracking sind vollständige Konzepte, benötigen keine zusätzlichen Modifizierer für die Zielgruppenadressierung und sind davon nicht betroffen. Die verbleibenden Konzepte können auf eines von mehreren Zielen angewendet werden. Wir haben Möglichkeiten eingeführt, mit denen Sie angeben können, auf welches Ziel Ihr Befehl angewendet werden soll. In allen Fällen ist es möglich, über die Benutzeroberfläche oder durch Drücken der Tastatur anzugeben, welches Objekt als Ziel verwendet werden soll. In einigen Fällen ist es auch möglich, direkt mit dem Xbox-Controller anzugeben.

In der folgenden Tabelle werden die Optionen für die Zielgruppenadressierung und deren Aktivierung beschrieben.

Object Tastaturmodifizierer Controllermodifizierer Emulator UI-Modifizierer
Text (Standard) (Standard) (Standard)
Head H halten (Nicht verfügbar) (Nicht verfügbar)
Linke Hand/Controller Linke ALT-Taste halten Schaltfläche "Linke Shoulder" halten Left-Hand-Pin
Rechte Hand/Controller Halten Sie die RECHTE ALT-TASTE gedrückt. Schaltfläche "Rechte Seite halten" Right-Hand-Pin
Augen Halten Sie Y. (Nicht verfügbar) Augen-Schubnadel

In der folgenden Tabelle wird gezeigt, wie jeder Zielmodifizierer die einzelnen Kernbewegungseingabekonzepte zu ordnet.

Eingabe Standard (Text) Hand/Controller (Halten Sie ALT, halten Sie die Gamepad-Umschaltfläche gedrückt, oder schalten Sie die UI-Pin um) Head (H halten) Augen (Y halten oder Ui-Pin umschalten)
Gier Text nach links/rechts drehen Hand nach links/rechts bewegen Kopf nach links/rechts drehen Anv mit den Augen sieht nach links/rechts aus.
Neigung Haupt- und Nach-Unten-Schalten Hand nach oben/unten verschieben Kopf nach oben/unten drehen Anv mit den Augen nach oben/unten
Rollen Roll head left/right (Kopf nach links/rechts rollen) Roll head left/right (Kopf nach links/rechts rollen) (Keine Aktion)
X Schieben des Textkörpers nach links/rechts Hand/Controller nach links/rechts verschieben Kopf nach links/rechts drehen (Keine Aktion)
J Text nach oben/unten verschieben Hand/Controller nach oben/unten verschieben Haupt- und Nach-Unten-Schalten (Keine Aktion)
Z Verschieben des Textkörpers nach vorn/rückwärts Hand/Controller vorwärts/rückwärts verschieben Haupt- und Nach-Unten-Schalten (Keine Aktion)

Steuern einer App

Die folgenden Steuerelemente werden für die tägliche Verwendung empfohlen:

Vorgang Tastatur und Maus Controller
Text X A/D Linker Fingerabdruck nach links/rechts
Text Y Vorherige Seite/Seite nach unten DPad nach oben/unten
Text Z W/S Linker Fingerabdruck nach oben/unten
Body Yaw Maus nach links/rechts ziehen Rechter Fingerabdruck nach links/rechts
Kopf-Yaw H + Maus nach links/rechts ziehen H (auf Tastatur) + rechter Fingerabdruck nach links/rechts
Kopfhöhe Maus nach oben/unten ziehen Rechter Fingerabdruck nach oben/unten
Kopfrolle Q/E DPad links/rechts
Hand/Controller X Alt + A / D Shoulder + left thumbstick left/right
Hand/Controller Y ALT+ Vorherige Seite/Seite nach unten Shoulder + DPad nach oben/unten
Hand/Controller Z ALT +W/S Shoulder + Left thumbstick up/down
Hand-/Controller-Yaw ALT +Maus nach links/rechts ziehen Shoulder + right thumbstick left/right
Hand/Controller-Tonhöhe ALT + Maus nach oben/unten ziehen Shoulder + right thumbstick up/down
Hand/Controllerroll ALT +Q/E Shoulder + DPad links/rechts
Aktion Rechte Maustaste Trigger
Bloom/System/Home F2- oder Windows-Taste B-Taste
Reset Escape Starttaste
Nachverfolgung T X-Taste
Bildlauf ALT+ RECHTE MAUSTASTE + Maus nach oben/Unten ziehen Shoulder + Trigger + right thumbstick up/down
Schnelleres Verschieben/Drehen UMSCHALTTASTE nach links oder rechts Drücken Sie den rechten Fingerabdruck, und halten Sie den Stick gedrückt.
Langsames Verschieben/Drehen LINKE oder RECHTE STRG-TASTE Halten Sie den linken Daumenstick gedrückt.

Verwenden eines immersiven Headsets für Windows Mixed Reality und des Motion-Controllers mit dem Hololens 2-Emulator

Bei Verwendung eines Windows Mixed Reality immersiven Headsets mit dem HoloLens 2 Emulator werden Bewegung und Drehung automatisch Headsetbewegungen und Drehungen zugeordnet. Position und Ausrichtung des Bewegungscontrollers werden automatisch der Handposition und -ausrichtung im Emulator zugeordnet. In der folgenden Tabelle sind zusätzliche Aktionen aufgeführt, die bei Verwendung eines Motion-Controllers verfügbar sind.

Hinweis

Bei Verwendung eines Headsets werden standard-Tastatur-, Maus- und Gamepad-Steuerelemente automatisch ignoriert.

Vorgang Aktion Hinweise
Text X Thumbstick Left/Right
Text Z Thumbstick Forward/Back
Text Y Tastaturseite nach oben /Nach unten Stellen Sie sicher, dass Windows Mixed Reality den Fokus besitzt. Drücken Sie Win+Y, wenn der Fokus auf dem Windows Desktop liegt, um den Fokus auf Windows Mixed Reality zurückzugeben.
Augen sehen nach links/rechts aus DPad links/rechts
Augen nach oben/unten DPad nach oben/unten
Tippen Trigger
Stecknadeln/Greifen Taste "Klammer"
Systemgeste Menü-Taste
Position zurücksetzen Thumbstick-Klick

Perception Simulation Systemsteuerung Tastenkombinationen

Sie können auf die Perception Simulation-Systemsteuerung zugreifen und PC-Eingabegeräte mit den folgenden Tastenkombinationen aktivieren oder deaktivieren.

Vorgang Verknüpfung Beschreibung/Hinweise
Umschalten von "Verwenden der Tastatur für die Simulation" F4 Wenn sie deaktiviert ist, wird die Tastatureingabe an die HoloLens oder Windows Mixed Reality Anwendung gerichtet.
Umschalten von "Maus für Simulation verwenden" F5 Wenn die Mauseingabe deaktiviert ist, wird sie an die Mixed Reality Umgebung (nur Windows Mixed Reality) gerichtet.
Umschalten von "Gamepad für Simulation verwenden" F6 Wenn die Gamepadeingabe deaktiviert ist, wird sie von der Simulation ignoriert.
Ein- oder Ausblenden der Systemsteuerung F7
Festlegen des Tastaturfokus auf die Systemsteuerung F8 Wenn der Bereich derzeit nicht angezeigt wird, wird er zuerst angezeigt.
Andocken oder Abdocken des Bereichs an den Emulator oder Mixed Reality-Portal Fenster F9 Wenn das Fenster beim Abdocken geschlossen wird, wird es angedockt und ausgeblendet.

Siehe auch