Erweiterte Eingabe für HoloLens-Emulator und Mixed Reality-Simulator
Die meisten Emulatorbenutzer müssen nur die grundlegenden Eingabesteuerelemente für den HoloLens-Emulator oder den Windows Mixed Reality-Simulator verwenden. Die folgenden Details gelten für fortgeschrittene Benutzer, die festgestellt haben, dass komplexere Eingabetypen simuliert werden müssen.
Konzepte
Um mit der Steuerung der virtuellen Eingabe für den HoloLens-Emulator und Windows Mixed Reality Simulator zu beginnen, sollten Sie zunächst einige Konzepte verstehen.
Bewegung bezieht sich auf das Steuern und Ändern der Position und Ausrichtung von etwas in der Szene. Bei einem gezielt steuerbaren Objekt wird die Bewegung mit Drehung und Übersetzung (Bewegung) über drei Achsen gesteuert.
- Yaw: Links oder rechts abbiegen.
- Pitch: Nach oben oder unten.
- Rolle: Roll-to-Side.
- X: Bewegen Sie sich nach links oder rechts.
- Y: Bewegen Sie sich nach oben oder unten.
- Z: Vorwärts oder rückwärts bewegen.
Gesten- und Bewegungscontrollereingaben werden physischen Geräten eng zugeordnet:
- Aktion: Simuliert die Aktion, den Zeigefinger auf den Daumen zu drücken oder die Aktionsschaltfläche auf einem Controller zu ziehen. Beispielsweise kann die Aktionseingabe verwendet werden, um die Luft tippende Geste zu simulieren, durch Inhalte zu scrollen und gedrückt zu halten.
- Bloom/System-Geste oder Home: Die HoloLens-Bloom-/Systemgeste oder die Schaltfläche "Home" eines Controllers wird verwendet, um zur Shell zurückzukehren und Systemaktionen auszulösen.
Hände haben eine umfassende Darstellung in HoloLens 2. Zusätzlich zum Nachverfolgen/Nicht nachverfolgen und für Fahrgesten verwendbar, verfügen die Hände jetzt über ein artikuliertes Skelettmodell, das für den Entwickler geeignet ist. Das Skelettmodell verfügt über 26 nachverfolgte Punkte an jeder Hand.
- Joint: Eine von 20 nachverfolgten Positionen für eine bestimmte nachverfolgte Hand mit einem zugeordneten Punkt im 3d-Raum.
- Pose: Eine vollständige Sammlung aller Gelenke in einer getrackten Hand, insgesamt 26 Gelenke.
Wir machen derzeit keine direkte Steuerung einzelner gemeinsamer Positionen über den Emulator verfügbar, aber Sie können sie über die Simulations-API festlegen. Wir haben eine Reihe nützlicher repräsentativer Posen, zwischen denen Sie mit dem Emulator umschalten können.
Sie können auch den Zustand der simulierten Sensoreingabe steuern:
- Zurücksetzen: Gibt alle simulierten Sensoren auf ihre Standardwerte zurück. Ab dem HoloLens 2 Emulator kann eine Zurücksetzung auf eine oder beide Hände festgelegt werden. Aktivieren Sie die gewünschten Hand(n) mithilfe der Modifizierertaste(n) oder Schaltflächen (linke und/oder rechte Alt oder den linken und/oder rechten Stoßfänger auf dem Gamepad).
- Nachverfolgung: Zyklen durch die Positionsverfolgungsmodi, einschließlich:
- Standardeinstellung: Das Betriebssystem wählt den besten Nachverfolgungsmodus basierend auf den Anforderungen des Systems aus.
- Ausrichtung: Erzwingt die reine Orientierungsnachverfolgung, unabhängig von den Systemanforderungen.
- Positional: Erzwingt die Positionsnachverfolgung, unabhängig von den Systemanforderungen.
Eingabetypen
In der folgenden Tabelle wird gezeigt, wie jeder Eingabetyp der Tastatur, der Maus und dem Xbox-Controller zugeordnet ist. Jeder Typ weist je nach Eingabesteuerungsmodus eine andere Zuordnung auf. Weitere Informationen zu Eingabesteuerungsmodi finden Sie weiter unten in diesem Dokument.
| Eingabe | Tastatur | Maus | Xbox-Controller |
|---|---|---|---|
| Gieren | Pfeile nach links/rechts | Ziehen nach links/rechts | Rechter Thumbstick links/rechts |
| Neigung | Pfeile nach oben und unten | Nach oben/unten ziehen | Rechter Daumenstick nach oben/unten |
| Rollen | Frage/E | DPad links/rechts | |
| X | A/D | Linker Thumbstick links /rechts | |
| J | Seite nach oben / Seite nach unten | DPad nach oben/unten | |
| Z | W/S | Linker Daumenstick nach oben/unten | |
| Action | Eingeben oder Leerzeichen | Schaltfläche "Rechts" | Eine Schaltfläche oder ein Trigger |
| Bloom/System | F2- oder Windows-Taste | B-Taste | |
| Controllergrifftaste / Handgriff | G | ||
| Menüschaltfläche "Controller" | M | ||
| Touchpad-Touchpad des Controllers | U | ||
| Controller-Touchpad drücken | P | ||
| Controllerfingerstick drücken | K | ||
| Nachverfolgungszustand des linken Controllers | F9 | ||
| Status der richtigen Controllernachverfolgung | F10 | ||
| Hand "Close" Pose | 7 | ||
| Hand "Offene" Pose (Standard) | 8 | ||
| Hand "Punkt"-Pose | 9 | ||
| Hand 'Pinch' Pose | 0 | ||
| Reset | Escapetaste | Starttaste | |
| Nachverfolgung | T oder F3 | X-Taste |
Hinweis: Die Controllerschaltflächen können mit den Handzielmodifizierern auf eine Hand/einen Controller oder eine andere ausgerichtet werden.
Zielgruppenadressierung
Einige der oben genannten Eingabekonzepte stehen für sich allein. Action, Bloom/System, Reset und Tracking sind vollständige Konzepte, die keine zusätzlichen Modifizierer für das Targeting benötigen und davon nicht betroffen sind. Die restlichen Konzepte können auf eines von mehreren Zielen angewendet werden. Wir haben Möglichkeiten eingeführt, mit denen Sie angeben können, auf welches Ziel Ihr Befehl angewendet werden soll. In allen Fällen ist es möglich, über die Benutzeroberfläche oder durch Tastendruck anzugeben, welches Objekt als Ziel verwendet werden soll. In einigen Fällen ist es auch möglich, direkt mit dem Xbox-Controller anzugeben.
In der folgenden Tabelle werden die Optionen für das Targeting und die Art und Weise beschrieben, wie sie aktiviert werden können.
| Object | Tastaturmodifizierer | Controllermodifizierer | Benutzeroberflächenmodifizierer des Emulators |
|---|---|---|---|
| Text | (Standard) | (Standard) | (Standard) |
| Head | Halten Sie H | (Nicht verfügbar) | (Nicht verfügbar) |
| Linke Hand/Controller | Schaltfläche "Linke Alt" gedrückt halten | Linke Schultertaste gedrückt halten | Left-Hand Pushpin |
| Rechte Hand/Controller | Rechte Alt-Schaltfläche gedrückt halten | Halten Sie die rechte Schultertaste | Right-Hand Pushpin |
| Augen | Y halten | (Nicht verfügbar) | Augen-Schubspin |
Die folgende Tabelle zeigt, wie die einzelnen Zielmodifizierer die wichtigsten Bewegungseingabekonzepte zuordnen.
| Eingabe | Standard (Text) | Hand/Controller (Alt halten, Gamepad-Schultertaste halten oder UI-Drucknadel umschalten) | Kopf (Halte H) | Augen (Y halten oder UI-Drucknadel umschalten) |
|---|---|---|---|---|
| Gieren | Text nach links/rechts drehen | Hand nach links/rechts bewegen | Kopf links/rechts drehen | Blick nach links/rechts |
| Neigung | Kopf nach oben/unten drehen | Hand nach oben/ unten bewegen | Kopf nach oben/unten drehen | Blick nach oben/unten |
| Rollen | Rollkopf links/rechts | Rollkopf links/rechts | (Keine Aktion) | |
| X | Folienkörper links/rechts | Hand/Controller nach links/rechts bewegen | Kopf links/rechts drehen | (Keine Aktion) |
| J | Körper nach oben/unten verschieben | Hand/Controller nach oben/unten bewegen | Kopf nach oben/unten drehen | (Keine Aktion) |
| Z | Text vorwärts/rückwärts verschieben | Hand/Controller vorwärts/rückwärts bewegen | Kopf nach oben/unten drehen | (Keine Aktion) |
Steuern einer App
Die folgenden Steuerelemente werden für die tägliche Verwendung vorgeschlagen:
| Vorgang | Tastatur und Maus | Controller |
|---|---|---|
| Textkörper X | A/D | Linker Thumbstick links /rechts |
| Body Y | Seite nach oben / Seite nach unten | DPad nach oben/unten |
| Textkörper Z | W/S | Linker Daumenstick nach oben/unten |
| Body Yaw | Ziehen Sie die Maus nach links/rechts | Rechter Thumbstick links/rechts |
| Kopf yaw | H + Maus nach links/ rechts ziehen | H (auf der Tastatur) + rechtser Fingerabdruck links /rechts |
| Kopfhöhe | Maus nach oben/unten ziehen | Rechter Daumenstick nach oben/unten |
| Kopfrolle | Frage/E | DPad links/rechts |
| Hand/Controller X | Alt + A / D | Schulter + linker Daumenstick links / rechts |
| Hand/Controller Y | ALT + Seite nach oben / Seite nach unten | Schulter + DPad nach oben / unten |
| Hand/Controller Z | ALT+W/S | Schulter + Linker Daumenstick nach oben/ unten |
| Hand-/Controller-Yaw | ALT+Maus nach links/rechts ziehen | Schulter + rechter Daumenstick links / rechts |
| Hand-/Controller-Pitch | ALT+Maus nach oben/unten ziehen | Schulter + rechter Daumenstick nach oben / unten |
| Hand-/Controllerrolle | ALT + Q/E | Schulter + DPad links /rechts |
| Action | Rechte Maustaste | Trigger |
| Bloom / System / Startseite | F2- oder Windows-Taste | B-Taste |
| Reset | Escape | Starttaste |
| Nachverfolgung | T | X-Taste |
| Scrollen | ALT + rechte Maustaste + Ziehen der Maus nach oben / unten | Schulter + Trigger + rechter Daumenstick nach oben / unten |
| Schnelleres Verschieben/Drehen | Umschalttaste nach links oder rechts | Drücken und Halten Sie den rechten Fingerabdruckstick. |
| Langsames Verschieben/Rotieren | Linke oder rechte STRG-TASTE | Drücken und halten Sie den linken Daumenstick |
Verwenden eines immersiven Headsets für Windows Mixed Reality und des Motion-Controllers mit dem Hololens 2-Emulator
Bei Verwendung eines Windows Mixed Reality immersiven Headsets mit dem HoloLens 2 Emulator werden Bewegung und Drehung automatisch der Bewegung und Drehung des Headsets zugeordnet. Position und Ausrichtung des Bewegungscontrollers werden automatisch der Handposition und Ausrichtung im Emulator zugeordnet. In der folgenden Tabelle sind zusätzliche Aktionen aufgeführt, die bei Verwendung eines Bewegungscontrollers verfügbar sind.
Hinweis
Bei Verwendung eines Headsets werden standardmäßige Tastatur-, Maus- und Gamepadsteuerelemente automatisch ignoriert.
| Vorgang | Aktion | Hinweise |
|---|---|---|
| Textkörper X | Thumbstick Links/Rechts | |
| Textkörper Z | Thumbstick Vorwärts /Zurück | |
| Body Y | Tastaturseite nach oben /unten | Stellen Sie sicher, dass Windows Mixed Reality den Fokus hat. Drücken Sie Win+Y, wenn der Fokus auf dem Windows-Desktop liegt, um den Fokus auf Windows Mixed Reality zurückzugeben. |
| Augen nach links/ rechts | DPad links/rechts | |
| Augen nach oben/ unten | DPad nach oben/unten | |
| Tippen | Trigger | |
| Anheften/Greifen | Grifftaste | |
| Systemgeste | Menü-Taste | |
| Position zurücksetzen | Fingerabdruckklick |
Wahrnehmungssimulation Systemsteuerung Tastenkombinationen
Sie können auf den Bereich Wahrnehmungssimulationssteuerung zugreifen und PC-Eingabegeräte mit den folgenden Tastenkombinationen aktivieren oder deaktivieren.
| Vorgang | Tastenkombination | Beschreibung/Hinweise |
|---|---|---|
| Umschalten von "Tastatur für Simulation verwenden" | F4 | Wenn sie deaktiviert ist, wird die Tastatureingabe an die HoloLens- oder Windows Mixed Reality-Anwendung ausgeführt. |
| Umschalten "Maus für Simulation verwenden" | F5 | Wenn sie deaktiviert ist, wird die Mauseingabe an die Mixed Reality Umgebung (nur Windows Mixed Reality) |
| Umschalten von "Gamepad für Simulation verwenden" | F6 | Wenn sie deaktiviert ist, wird die Gamepadeingabe von der Simulation ignoriert. |
| Ein- oder Ausblenden der Systemsteuerung | F7 | |
| Festlegen des Tastaturfokus auf die Systemsteuerung | F8 | Wenn der Bereich derzeit nicht sichtbar ist, wird er zuerst angezeigt. |
| Docken oder Koppeln des Bereichs an/aus dem Emulator oder Mixed Reality Portalfenster | F9 | Wenn das Fenster geschlossen ist, wenn es abgedockt wird, wird es angedockt und ausgeblendet. |