Erweiterte Eingabe für HoloLens-Emulator und Mixed Reality-Simulator
Die meisten Emulatorbenutzer müssen nur die grundlegenden Eingabesteuerelemente für die HoloLens Emulator oder den Windows Mixed Reality-Simulator verwenden. Die folgenden Details gelten für fortgeschrittene Benutzer, die komplexere Eingabetypen simulieren müssen.
Konzepte
Um mit dem Steuern der virtuellen Eingabe für den HoloLens Emulator und Windows Mixed Reality Simulator zu beginnen, sollten Sie zunächst einige Konzepte verstehen.
Bewegung bezieht sich auf das Steuern und Ändern der Position und Ausrichtung von etwas in der Szene. Für ein zielorientiertes steuerbares Objekt wird die Bewegung sowohl mit Drehung als auch mit Übersetzung (Bewegung) auf drei Achsen gesteuert.
- Yaw: Nach links oder rechts drehen.
- Tonhöhe: Nach oben oder unten.
- Roll: Roll-to-Side.
- X: Nach links oder rechts verschieben.
- Y: Nach oben oder unten verschieben.
- Z: Vorwärts- oder Rückwärtsbewegung.
Gesten- und Bewegungscontrollereingaben sind physischen Geräten eng zugeordnet:
- Aktion: Simuliert die Aktion, indem der Zeigefinger auf den Daumen gedrückt oder die Aktionsschaltfläche auf einem Controller gedrückt wird. Beispielsweise kann die Aktionseingabe verwendet werden, um die Tippbewegung in die Luft zu simulieren, um durch den Inhalt zu scrollen und zu halten.
- Bloom/Systemgeste oder Home: Die HoloLens-/Systemgeste oder die Home-Schaltfläche eines Controllers wird verwendet, um zur Shell zurückzukehren und Systemaktionen auszulöschen.
Hände verfügen über eine umfangreiche Darstellung in HoloLens 2. Zusätzlich zu nachverfolgt bzw. nicht nachverfolgt und für Fahrgesten verwendbar, verfügen Die Hände jetzt über ein artikuliertes Gerüstmodell, das an sie angepasst und für den Entwickler verfügbar gemacht wird. Das Gerüstmodell verfügt über 26 nachverfolgte Punkte auf jeder Hand.
- Gemeinsam: Eine von 20 nachverfolgten Positionen für eine bestimmte nachverfolgte Hand mit einem zugeordneten Punkt im 3D-Raum.
- Pose: Eine vollständige Sammlung aller Joints in einer nachverfolgten Hand, 26 Joints in all.
Wir machen derzeit keine direkte Kontrolle über einzelne gemeinsame Positionen über den Emulator verfügbar, aber Sie können sie über die Simulations-API festlegen. Wir haben eine Reihe nützlicher repräsentativer Posen, mit denen Sie mit dem Emulator zwischen diesen wechseln können.
Sie können auch den Zustand der simulierten Sensoreingabe steuern:
- Zurücksetzen: Gibt alle simulierten Sensoren auf ihre Standardwerte zurück. Ab dem HoloLens 2 Emulator kann ein Zurücksetzen auf einen oder beide Hände erweitert werden. Binden Sie die gewünschten Hand(en) mithilfe der Modifizierertaste(n) oder Schaltfläche(n) (Links und/oder Rechts alt oder mit dem linken und/oder rechten Bumper auf dem Gamepad) ein.
- Nachverfolgung: Durchläufe durch die Positionsnachverfolgungsmodi, einschließlich:
- Standard: Das Betriebssystem wählt den besten Nachverfolgungsmodus basierend auf den Anforderungen des Systems aus.
- Ausrichtung: Erzwingt die ausschließliche Ausrichtungsnachverfolgung, unabhängig von den Systemanforderungen.
- Positional: Erzwingt die Positionsnachverfolgung, unabhängig von den Systemanforderungen.
Eingabetypen
Die folgende Tabelle zeigt, wie die einzelnen Eingabetypen tastatur-, maus- und xbox-Controller zugeordnet werden. Jeder Typ weist je nach Eingabesteuerungsmodus eine andere Zuordnung auf. Weitere Informationen zu Eingabesteuerungsmodi finden Sie weiter unten in diesem Dokument.
| Eingabe | Tastatur | Maus | Xbox-Controller |
|---|---|---|---|
| Gier | Nach-links-/nach-rechts-Pfeile | Ziehen Sie nach links/rechts. | Rechter Fingerabdruck nach links/rechts |
| Tonhöhe | Pfeile nach oben/unten | Nach oben/unten ziehen | Rechter Fingerabdruck nach oben/unten |
| Rollen | Q/E | DPad links/rechts | |
| X | A/D | Linker Fingerabdruck nach links/rechts | |
| J | Vorherige Seite/Seite nach unten | DPad nach oben/unten | |
| Z | W/S | Linker Fingerabdruck nach oben/unten | |
| Aktion | Eingabe oder Leerzeichen | Schaltfläche "Rechts" | Eine Schaltfläche oder ein Trigger |
| Bloom/System | F2- oder Windows-Taste | B-Taste | |
| Controller-Klammertaste/Handumfassen | G | ||
| Menüschaltfläche "Controller" | M | ||
| Touchpad-Toucheingabe für Controller | U | ||
| Controllertouchpad drücken | P | ||
| Controllerfingerabdruck | K | ||
| Nachverfolgungsstatus des linken Controllers | F9 | ||
| Nachverfolgungsstatus des rechten Controllers | F10 | ||
| Hand "Close" Pose | 7 | ||
| Hand "Open" Pose (Standard) | 8 | ||
| Hand "Point" Pose | 9 | ||
| Hand "Pinch" Pose | 0 | ||
| Reset | Escapetaste | Starttaste | |
| Nachverfolgung | T oder F3 | X-Taste |
Hinweis: Die Controllerschaltflächen können mithilfe der Hand-Targeting-Modifizierer auf eine Hand/einen Controller oder auf die andere ausgerichtet werden.
Zielgruppenadressierung
Einige der oben genannten Eingabekonzepte sind eigenständig. Action, Bloom/System, Reset und Tracking sind vollständige Konzepte, benötigen keine zusätzlichen Modifizierer für die Zielgruppenadressierung und sind davon nicht betroffen. Die verbleibenden Konzepte können auf eines von mehreren Zielen angewendet werden. Wir haben Möglichkeiten eingeführt, mit denen Sie angeben können, auf welches Ziel Ihr Befehl angewendet werden soll. In allen Fällen ist es möglich, über die Benutzeroberfläche oder durch Drücken der Tastatur anzugeben, welches Objekt als Ziel verwendet werden soll. In einigen Fällen ist es auch möglich, direkt mit dem Xbox-Controller anzugeben.
In der folgenden Tabelle werden die Optionen für die Zielgruppenadressierung und deren Aktivierung beschrieben.
| Object | Tastaturmodifizierer | Controllermodifizierer | Emulator UI-Modifizierer |
|---|---|---|---|
| Text | (Standard) | (Standard) | (Standard) |
| Head | H halten | (Nicht verfügbar) | (Nicht verfügbar) |
| Linke Hand/Controller | Linke ALT-Taste gedrückt halten | Schaltfläche "Linke Shoulder" halten | Left-Hand-Pin |
| Rechte Hand/Controller | Halten Sie die RECHTE ALT-TASTE gedrückt. | Schaltfläche "Rechte Seite halten" | Right-Hand-Pin |
| Augen | Y halten | (Nicht verfügbar) | Augen-Schubnadel |
In der folgenden Tabelle wird gezeigt, wie jeder Zielmodifizierer die einzelnen Kerneingabekonzepte der Bewegung zuschaut.
| Eingabe | Standard (Text) | Hand/Controller (Halten Sie ALT, halten Sie die Gamepad-Umschaltfläche gedrückt, oder schalten Sie die UI-Schieberegler um) | Head (H halten) | Augen (Y halten oder UI-Schiebenadel umschalten) |
|---|---|---|---|---|
| Gier | Text nach links/rechts drehen | Hand nach links/rechts verschieben | Kopf nach links/rechts drehen | Anv mit den Augen sieht nach links/rechts aus. |
| Tonhöhe | Kopf nach oben/unten drehen | Hand nach oben/unten verschieben | Kopf nach oben/unten drehen | Anv mit den Augen sieht nach oben/unten aus |
| Rollen | Roll head left/right | Roll head left/right | (Keine Aktion) | |
| X | Schieben des Textkörpers nach links/rechts | Hand/Controller nach links/rechts verschieben | Kopf nach links/rechts drehen | (Keine Aktion) |
| J | Text nach oben/unten verschieben | Hand/Controller nach oben/unten verschieben | Kopf nach oben/unten drehen | (Keine Aktion) |
| Z | Verschieben des Textkörpers nach vorn/rückwärts | Hand/Controller vorwärts/rückwärts verschieben | Kopf nach oben/unten drehen | (Keine Aktion) |
Steuern einer App
Die folgenden Steuerelemente werden für die tägliche Verwendung empfohlen:
| Vorgang | Tastatur und Maus | Controller |
|---|---|---|
| Text X | A/D | Linker Fingerabdruck nach links/rechts |
| Text Y | Vorherige Seite/Seite nach unten | DPad nach oben/unten |
| Text Z | W/S | Linker Fingerabdruck nach oben/unten |
| Body Yaw | Maus nach links/rechts ziehen | Rechter Fingerabdruck nach links/rechts |
| Kopf-Yaw | H + Maus nach links/rechts ziehen | H (auf Tastatur) + rechter Fingerabdruck nach links/rechts |
| Kopfhöhe | Maus nach oben/unten ziehen | Rechter Fingerabdruck nach oben/unten |
| Kopfrolle | Q/E | DPad links/rechts |
| Hand/Controller X | Alt + A / D | Shoulder + left thumbstick left/right |
| Hand/Controller Y | ALT+ Vorherige Seite/Seite nach unten | Shoulder + DPad nach oben/unten |
| Hand/Controller Z | ALT +W/S | Shoulder + Left thumbstick up/down |
| Hand/Controller Yaw | ALT+ Maus nach links/rechts ziehen | Shoulder + right thumbstick left/right |
| Tonhöhe für Hand/Controller | ALT+ Maus nach oben/unten ziehen | Shoulder + right thumbstick up/down |
| Hand-/Controllerroll | ALT + Q/E | Shoulder + DPad left/right |
| Aktion | Rechte Maustaste | Trigger |
| Bloom/System/Home | F2- oder Windows Taste | B-Taste |
| Reset | Escape | Starttaste |
| Nachverfolgung | T | X-Taste |
| Scrollen | ALT+RECHTE MAUSTASTE + Ziehen der Maus nach oben/unten | Shoulder + trigger + right thumbstick up/down |
| Schnelleres Verschieben/Drehen | UMSCHALTTASTE NACH LINKS oder RECHTS | Halten Sie den rechten Stick gedrückt. |
| Langsames Verschieben/Drehen | NACH-LINKS- oder RECHTS-STRG-TASTE | Halten Sie den linken Stick gedrückt. |
Verwenden eines immersiven Headsets für Windows Mixed Reality und des Motion-Controllers mit dem Hololens 2-Emulator
Bei Verwendung eines Windows Mixed Reality immersiven Headsets mit dem HoloLens 2 Emulator werden Bewegung und Drehung automatisch der Bewegung und Drehung des Headsets zugeordnet. Position und Ausrichtung des Bewegungscontrollers werden automatisch der Handposition und -ausrichtung im Emulator zugeordnet. In der folgenden Tabelle sind zusätzliche Aktionen aufgeführt, die bei Verwendung eines Motion-Controllers verfügbar sind.
Hinweis
Bei Verwendung eines Headsets werden standardmäßige Tastatur-, Maus- und Gamepad-Steuerelemente automatisch ignoriert.
| Vorgang | Aktion | Hinweise |
|---|---|---|
| Text X | Thumbstick Left/Right | |
| Text Z | Thumbstick Forward/Back | |
| Text Y | Tastaturseite nach oben/unten | Stellen Sie sicher, Windows Mixed Reality den Fokus besitzt. Drücken Sie Win+Y, wenn der Fokus auf dem Windows Desktop liegt, um den Fokus auf die Windows Mixed Reality. |
| Augen sehen links/rechts aus | DPad Links/Rechts | |
| Blick nach oben/unten | DPad nach oben/unten | |
| Tippen | Trigger | |
| Heften/Erfassen | Greiftaste | |
| Systemgeste | Menü-Taste | |
| Position zurücksetzen | Thumbstick-Klick |
Perception Simulation Systemsteuerung Tastenkombinationen
Sie können mit den folgenden Tastenkombinationen auf die Systemsteuerung der Wahrnehmungssimulation zugreifen und PC-Eingabegeräte aktivieren oder deaktivieren.
| Vorgang | Verknüpfung | Beschreibung/Hinweise |
|---|---|---|
| Umschalten von "Tastatur für Simulation verwenden" | F4 | Wenn sie deaktiviert ist, wird die Tastatureingabe an die HoloLens oder Windows Mixed Reality werden. |
| Umschalten von "Maus für Simulation verwenden" | F5 | Wenn sie deaktiviert ist, wird die Mauseingabe an die Mixed Reality (nur Windows Mixed Reality) |
| Umschalten von "Gamepad für Simulation verwenden" | F6 | Wenn die Gamepadeingabe deaktiviert ist, wird sie von der Simulation ignoriert. |
| Anzeigen oder Ausblenden der Systemsteuerung | F7 | |
| Festlegen des Tastaturfokus auf die Systemsteuerung | F8 | Wenn der Bereich derzeit nicht sichtbar ist, wird er zuerst angezeigt. |
| Andocken oder Abdocken des Panels an den Emulator oder Mixed Reality Portalfensters | F9 | Wenn das Fenster beim Abdocken geschlossen wird, wird es angedockt und ausgeblendet. |