Erweiterte Eingabe für HoloLens-Emulator und Mixed Reality-Simulator

Die meisten Emulatorbenutzer müssen nur die grundlegenden Eingabesteuerelemente für die HoloLens Emulator oder den Windows Mixed Reality-Simulator verwenden. Die folgenden Details gelten für fortgeschrittene Benutzer, die komplexere Eingabetypen simulieren müssen.

Konzepte

Um mit dem Steuern der virtuellen Eingabe für den HoloLens Emulator und Windows Mixed Reality Simulator zu beginnen, sollten Sie zunächst einige Konzepte verstehen.

Bewegung bezieht sich auf das Steuern und Ändern der Position und Ausrichtung von etwas in der Szene. Für ein zielorientiertes steuerbares Objekt wird die Bewegung sowohl mit Drehung als auch mit Übersetzung (Bewegung) auf drei Achsen gesteuert.

  • Yaw: Nach links oder rechts drehen.
  • Tonhöhe: Nach oben oder unten.
  • Roll: Roll-to-Side.
  • X: Nach links oder rechts verschieben.
  • Y: Nach oben oder unten verschieben.
  • Z: Vorwärts- oder Rückwärtsbewegung.

Gesten- und Bewegungscontrollereingaben sind physischen Geräten eng zugeordnet:

  • Aktion: Simuliert die Aktion, indem der Zeigefinger auf den Daumen gedrückt oder die Aktionsschaltfläche auf einem Controller gedrückt wird. Beispielsweise kann die Aktionseingabe verwendet werden, um die Tippbewegung in die Luft zu simulieren, um durch den Inhalt zu scrollen und zu halten.
  • Bloom/Systemgeste oder Home: Die HoloLens-/Systemgeste oder die Home-Schaltfläche eines Controllers wird verwendet, um zur Shell zurückzukehren und Systemaktionen auszulöschen.

Hände verfügen über eine umfangreiche Darstellung in HoloLens 2. Zusätzlich zu nachverfolgt bzw. nicht nachverfolgt und für Fahrgesten verwendbar, verfügen Die Hände jetzt über ein artikuliertes Gerüstmodell, das an sie angepasst und für den Entwickler verfügbar gemacht wird. Das Gerüstmodell verfügt über 26 nachverfolgte Punkte auf jeder Hand.

  • Gemeinsam: Eine von 20 nachverfolgten Positionen für eine bestimmte nachverfolgte Hand mit einem zugeordneten Punkt im 3D-Raum.
  • Pose: Eine vollständige Sammlung aller Joints in einer nachverfolgten Hand, 26 Joints in all.

Wir machen derzeit keine direkte Kontrolle über einzelne gemeinsame Positionen über den Emulator verfügbar, aber Sie können sie über die Simulations-API festlegen. Wir haben eine Reihe nützlicher repräsentativer Posen, mit denen Sie mit dem Emulator zwischen diesen wechseln können.

Sie können auch den Zustand der simulierten Sensoreingabe steuern:

  • Zurücksetzen: Gibt alle simulierten Sensoren auf ihre Standardwerte zurück. Ab dem HoloLens 2 Emulator kann ein Zurücksetzen auf einen oder beide Hände erweitert werden. Binden Sie die gewünschten Hand(en) mithilfe der Modifizierertaste(n) oder Schaltfläche(n) (Links und/oder Rechts alt oder mit dem linken und/oder rechten Bumper auf dem Gamepad) ein.
  • Nachverfolgung: Durchläufe durch die Positionsnachverfolgungsmodi, einschließlich:
    • Standard: Das Betriebssystem wählt den besten Nachverfolgungsmodus basierend auf den Anforderungen des Systems aus.
    • Ausrichtung: Erzwingt die ausschließliche Ausrichtungsnachverfolgung, unabhängig von den Systemanforderungen.
    • Positional: Erzwingt die Positionsnachverfolgung, unabhängig von den Systemanforderungen.

Eingabetypen

Die folgende Tabelle zeigt, wie die einzelnen Eingabetypen tastatur-, maus- und xbox-Controller zugeordnet werden. Jeder Typ weist je nach Eingabesteuerungsmodus eine andere Zuordnung auf. Weitere Informationen zu Eingabesteuerungsmodi finden Sie weiter unten in diesem Dokument.

Eingabe Tastatur Maus Xbox-Controller
Gier Nach-links-/nach-rechts-Pfeile Ziehen Sie nach links/rechts. Rechter Fingerabdruck nach links/rechts
Tonhöhe Pfeile nach oben/unten Nach oben/unten ziehen Rechter Fingerabdruck nach oben/unten
Rollen Q/E DPad links/rechts
X A/D Linker Fingerabdruck nach links/rechts
J Vorherige Seite/Seite nach unten DPad nach oben/unten
Z W/S Linker Fingerabdruck nach oben/unten
Aktion Eingabe oder Leerzeichen Schaltfläche "Rechts" Eine Schaltfläche oder ein Trigger
Bloom/System F2- oder Windows-Taste B-Taste
Controller-Klammertaste/Handumfassen G
Menüschaltfläche "Controller" M
Touchpad-Toucheingabe für Controller U
Controllertouchpad drücken P
Controllerfingerabdruck K
Nachverfolgungsstatus des linken Controllers F9
Nachverfolgungsstatus des rechten Controllers F10
Hand "Close" Pose 7
Hand "Open" Pose (Standard) 8
Hand "Point" Pose 9
Hand "Pinch" Pose 0
Reset Escapetaste Starttaste
Nachverfolgung T oder F3 X-Taste

Hinweis: Die Controllerschaltflächen können mithilfe der Hand-Targeting-Modifizierer auf eine Hand/einen Controller oder auf die andere ausgerichtet werden.

Zielgruppenadressierung

Einige der oben genannten Eingabekonzepte sind eigenständig. Action, Bloom/System, Reset und Tracking sind vollständige Konzepte, benötigen keine zusätzlichen Modifizierer für die Zielgruppenadressierung und sind davon nicht betroffen. Die verbleibenden Konzepte können auf eines von mehreren Zielen angewendet werden. Wir haben Möglichkeiten eingeführt, mit denen Sie angeben können, auf welches Ziel Ihr Befehl angewendet werden soll. In allen Fällen ist es möglich, über die Benutzeroberfläche oder durch Drücken der Tastatur anzugeben, welches Objekt als Ziel verwendet werden soll. In einigen Fällen ist es auch möglich, direkt mit dem Xbox-Controller anzugeben.

In der folgenden Tabelle werden die Optionen für die Zielgruppenadressierung und deren Aktivierung beschrieben.

Object Tastaturmodifizierer Controllermodifizierer Emulator UI-Modifizierer
Text (Standard) (Standard) (Standard)
Head H halten (Nicht verfügbar) (Nicht verfügbar)
Linke Hand/Controller Linke ALT-Taste gedrückt halten Schaltfläche "Linke Shoulder" halten Left-Hand-Pin
Rechte Hand/Controller Halten Sie die RECHTE ALT-TASTE gedrückt. Schaltfläche "Rechte Seite halten" Right-Hand-Pin
Augen Y halten (Nicht verfügbar) Augen-Schubnadel

In der folgenden Tabelle wird gezeigt, wie jeder Zielmodifizierer die einzelnen Kerneingabekonzepte der Bewegung zuschaut.

Eingabe Standard (Text) Hand/Controller (Halten Sie ALT, halten Sie die Gamepad-Umschaltfläche gedrückt, oder schalten Sie die UI-Schieberegler um) Head (H halten) Augen (Y halten oder UI-Schiebenadel umschalten)
Gier Text nach links/rechts drehen Hand nach links/rechts verschieben Kopf nach links/rechts drehen Anv mit den Augen sieht nach links/rechts aus.
Tonhöhe Kopf nach oben/unten drehen Hand nach oben/unten verschieben Kopf nach oben/unten drehen Anv mit den Augen sieht nach oben/unten aus
Rollen Roll head left/right Roll head left/right (Keine Aktion)
X Schieben des Textkörpers nach links/rechts Hand/Controller nach links/rechts verschieben Kopf nach links/rechts drehen (Keine Aktion)
J Text nach oben/unten verschieben Hand/Controller nach oben/unten verschieben Kopf nach oben/unten drehen (Keine Aktion)
Z Verschieben des Textkörpers nach vorn/rückwärts Hand/Controller vorwärts/rückwärts verschieben Kopf nach oben/unten drehen (Keine Aktion)

Steuern einer App

Die folgenden Steuerelemente werden für die tägliche Verwendung empfohlen:

Vorgang Tastatur und Maus Controller
Text X A/D Linker Fingerabdruck nach links/rechts
Text Y Vorherige Seite/Seite nach unten DPad nach oben/unten
Text Z W/S Linker Fingerabdruck nach oben/unten
Body Yaw Maus nach links/rechts ziehen Rechter Fingerabdruck nach links/rechts
Kopf-Yaw H + Maus nach links/rechts ziehen H (auf Tastatur) + rechter Fingerabdruck nach links/rechts
Kopfhöhe Maus nach oben/unten ziehen Rechter Fingerabdruck nach oben/unten
Kopfrolle Q/E DPad links/rechts
Hand/Controller X Alt + A / D Shoulder + left thumbstick left/right
Hand/Controller Y ALT+ Vorherige Seite/Seite nach unten Shoulder + DPad nach oben/unten
Hand/Controller Z ALT +W/S Shoulder + Left thumbstick up/down
Hand/Controller Yaw ALT+ Maus nach links/rechts ziehen Shoulder + right thumbstick left/right
Tonhöhe für Hand/Controller ALT+ Maus nach oben/unten ziehen Shoulder + right thumbstick up/down
Hand-/Controllerroll ALT + Q/E Shoulder + DPad left/right
Aktion Rechte Maustaste Trigger
Bloom/System/Home F2- oder Windows Taste B-Taste
Reset Escape Starttaste
Nachverfolgung T X-Taste
Scrollen ALT+RECHTE MAUSTASTE + Ziehen der Maus nach oben/unten Shoulder + trigger + right thumbstick up/down
Schnelleres Verschieben/Drehen UMSCHALTTASTE NACH LINKS oder RECHTS Halten Sie den rechten Stick gedrückt.
Langsames Verschieben/Drehen NACH-LINKS- oder RECHTS-STRG-TASTE Halten Sie den linken Stick gedrückt.

Verwenden eines immersiven Headsets für Windows Mixed Reality und des Motion-Controllers mit dem Hololens 2-Emulator

Bei Verwendung eines Windows Mixed Reality immersiven Headsets mit dem HoloLens 2 Emulator werden Bewegung und Drehung automatisch der Bewegung und Drehung des Headsets zugeordnet. Position und Ausrichtung des Bewegungscontrollers werden automatisch der Handposition und -ausrichtung im Emulator zugeordnet. In der folgenden Tabelle sind zusätzliche Aktionen aufgeführt, die bei Verwendung eines Motion-Controllers verfügbar sind.

Hinweis

Bei Verwendung eines Headsets werden standardmäßige Tastatur-, Maus- und Gamepad-Steuerelemente automatisch ignoriert.

Vorgang Aktion Hinweise
Text X Thumbstick Left/Right
Text Z Thumbstick Forward/Back
Text Y Tastaturseite nach oben/unten Stellen Sie sicher, Windows Mixed Reality den Fokus besitzt. Drücken Sie Win+Y, wenn der Fokus auf dem Windows Desktop liegt, um den Fokus auf die Windows Mixed Reality.
Augen sehen links/rechts aus DPad Links/Rechts
Blick nach oben/unten DPad nach oben/unten
Tippen Trigger
Heften/Erfassen Greiftaste
Systemgeste Menü-Taste
Position zurücksetzen Thumbstick-Klick

Perception Simulation Systemsteuerung Tastenkombinationen

Sie können mit den folgenden Tastenkombinationen auf die Systemsteuerung der Wahrnehmungssimulation zugreifen und PC-Eingabegeräte aktivieren oder deaktivieren.

Vorgang Verknüpfung Beschreibung/Hinweise
Umschalten von "Tastatur für Simulation verwenden" F4 Wenn sie deaktiviert ist, wird die Tastatureingabe an die HoloLens oder Windows Mixed Reality werden.
Umschalten von "Maus für Simulation verwenden" F5 Wenn sie deaktiviert ist, wird die Mauseingabe an die Mixed Reality (nur Windows Mixed Reality)
Umschalten von "Gamepad für Simulation verwenden" F6 Wenn die Gamepadeingabe deaktiviert ist, wird sie von der Simulation ignoriert.
Anzeigen oder Ausblenden der Systemsteuerung F7
Festlegen des Tastaturfokus auf die Systemsteuerung F8 Wenn der Bereich derzeit nicht sichtbar ist, wird er zuerst angezeigt.
Andocken oder Abdocken des Panels an den Emulator oder Mixed Reality Portalfensters F9 Wenn das Fenster beim Abdocken geschlossen wird, wird es angedockt und ausgeblendet.

Siehe auch