Erweiterte Eingabe für HoloLens-Emulator und Mixed Reality-SimulatorAdvanced HoloLens Emulator and Mixed Reality Simulator input

Die meisten emulatorbenutzer müssen nur die grundlegenden Eingabe Steuerelemente für den hololens-Emulator oder den Windows Mixed Reality-Simulatorverwenden.Most emulator users will only need to use the basic input controls for the HoloLens Emulator or the Windows Mixed Reality simulator. Die folgenden Details sind für fortgeschrittene Benutzer bestimmt, die sich mit dem simulieren komplexer Typen von Eingaben herausgestellt haben.The details below are for advanced users who have found a need to simulate more complex types of input.

KonzepteConcepts

Um mit dem Steuern der virtuellen Eingabe an den hololens-Emulator und dem Windows Mixed Reality-Simulator zu beginnen, sollten Sie sich zunächst mit einigen Konzepten vertraut machen.To get started controlling the virtual input to the HoloLens Emulator and Windows Mixed Reality simulator, you should first understand a few concepts.

Bewegung bezieht sich auf das Steuern und Ändern der Position und Ausrichtung eines etwas in der Szene.Motion refers to controlling and changing the position and orientation of something in the scene. Für ein Ziel steuerbares Objekt wird Bewegung sowohl mit Drehung als auch Übersetzung (Bewegung) entlang von drei Achsen gesteuert.For a targeted controllable object, motion is controlled with both rotation and translation (movement) along three axes.

  • Yaw: nach links oder rechts.Yaw: Turn left or right.
  • Tonhöhe: ein-oder ausschalten.Pitch: Turn up or down.
  • Roll: Roll Side-to-SideRoll: Roll side-to-side.
  • X: nach links oder rechts verschieben.X: Move left or right.
  • Y: nach oben oder unten verschieben.Y: Move up or down.
  • Z: vorwärts oder rückwärts.Z: Move forward or backward.

Gesten-und Bewegungs Controller Eingaben werden physischen Geräten sehr stark zugeordnet:Gesture and motion controller input are mapped closely to physical devices:

  • Aktion: simuliert die Aktion, mit der der Vorder-und-oder die Aktions Schaltfläche auf einem Controller gedrückt wird.Action: Simulates the action of pressing the forefinger to the thumb or pulling the action button on a controller. Beispielsweise kann die Aktions Eingabe verwendet werden, um die Luft tippen Bewegung zu simulieren, einen Bildlauf durch den Inhalt durchführen und die Tastenkombination zu drücken.For example, the Action input can be used to simulate the air-tap gesture, to scroll through content, and to press-and-hold.
  • Bloom/Systemanbieter Geste oder Home: die hololens-Blüte/System Bewegung oder die Start Schaltfläche eines Controllers wird verwendet, um zur Shell zurückzukehren und System Aktionen auszulösen.Bloom/System gesture or Home: The HoloLens bloom/system gesture or a controller's Home button is used to return to the shell and to fire system actions.

Hände haben eine umfangreiche Darstellung in hololens 2.Hands have a rich representation in HoloLens 2. Neben der Nachverfolgung/Nichtverfolgung und Verwendung für den Einsatz von Gesten haben die Hände nun ein geclustertes Skelett Modell, das für den Entwickler verfügbar ist.In addition to being tracked/not tracked and usable for driving gestures, hands now have an articulated skeleton model fit to them and exposed to the developer. Das Skeleton-Modell weist jeweils 26 nach verfolgte Punkte auf.The skeleton model has 26 tracked points on each hand.

  • Joint: eine von 20 nach verfolgten Positionen für eine angegebene nach verfolgte Hand mit einem zugeordneten Punkt im 3D--Raum.Joint: One of 20 tracked positions for a given tracked hand with an associated point in 3d space.
  • Pose: eine vollständige Auflistung aller Gelenke in einer nach verfolgten Hand, 26 Gelenke in allen.Pose: A complete collection of all of the Joints in a tracked hand, 26 Joints in all.

Derzeit wird die direkte Steuerung einzelner gemeinsamer Positionen über den Emulator nicht verfügbar gemacht, Sie können Sie jedoch über die Simulations-API festlegen.We don't currently expose direct control of individual joint positions through the emulator, but you can set them through the simulation API. Wir haben eine Reihe nützlicher Vertreter, die der Emulator ermöglicht, zwischen zu wechseln.We have a set of useful representative poses that the emulator allows you to toggle between.

Sie können auch den Status der simulierten Sensor Eingabe Steuern:You can also control the state of simulated sensor input:

  • Reset: gibt alle simulierten Sensoren auf ihre Standardwerte zurück.Reset: Returns all simulated sensors to their default values. Beginnend mit dem hololens 2-Emulator kann eine zurück setzung auf ein oder beide Hände beschränkt werden.Starting with the HoloLens 2 Emulator, a reset can be scoped to one or both hands. Nehmen Sie die gewünschten Hand (en) mithilfe der Modifizierertaste oder der Schaltfläche (n) (Links und/oder Rechte alt oder Links und/oder rechter Stoß Taste im Gamepad).Engage the desired hand(s) using the modifier key(s) or button(s) (Left and/or Right Alt, or the left and/or right bumper on the gamepad).
  • Nach Verfolgung: durchläuft die nach Verfolgungs Modi mit Feldern fester Breite, einschließlich:Tracking: Cycles through the positional tracking modes, including:
    • Standard: das Betriebssystem wählt basierend auf den Anforderungen des Systems den besten Überwachungsmodus aus.Default: The OS chooses the best tracking mode based upon the requests made of the system.
    • Ausrichtung: erzwingt die Ausrichtung, unabhängig von den Systemanforderungen.Orientation: Forces Orientation-only tracking, no matter the system requests.
    • Positional: erzwingt die Positionsüberwachung, unabhängig von den Systemanforderungen.Positional: Forces Positional tracking, no matter the system requests.

EingabetypenTypes of input

In der folgenden Tabelle ist dargestellt, wie die einzelnen Eingabetypen dem Tastatur-, Maus-und Xbox-Controller zugeordnet werden.The following table shows how each type of input maps to the keyboard, mouse, and Xbox controller. Jeder Typ hat abhängig vom Eingabe Steuerungs Modus eine andere Zuordnung.Each type has a different mapping depending on the input control mode. Weitere Informationen zu den Eingabe Steuerungs Modi finden Sie weiter unten in diesem Dokument.You can find more information on input control modes later in this document.

EingabeInput TastaturKeyboard MausMouse Xbox-ControllerXbox controller
YawYaw Pfeile nach links/rechtsLeft / right arrows Nach links/rechts ziehenDrag Left / Right Rechter Finger Stick links/rechtsRight thumbstick left / right
NeigungPitch Pfeile nach oben/nach untenUp / down arrows Nach oben/unten ziehenDrag up / down Rechter fingerstick nach oben/untenRight thumbstick up / down
NRoll Q/EQ / E Dpad links/rechtsDPad left / right
XX A/DA / D Linker Finger Stick links/rechtsLeft thumbstick left / right
YY Bild-auf/Bild-abPage up / page down Dpad nach oben/untenDPad up / down
ZZ W/SW / S Linker Finger Stick nach oben/untenLeft thumbstick up / down
AktionAction Eingabe oder LeerraumEnter or space Rechte SchaltflächeRight button Eine Schaltfläche oder einen der beiden OptionenA button or either trigger
Blüht/SystemBloom/System F2-oder Windows-TasteF2 or Windows key B-TasteB button
Schaltfläche für Controller Zieh Fläche/HandController grip button / Hand grasp GG
Schaltfläche "controller"Controller menu button MM
Touchpad-Touch für ControllerController touchpad touch UU
Controller Touchpad-TasteController touchpad press PP
STRG-Taste für ControllerController thumbstick press KK
Linker Controller-nach verfolgungsstatusLeft controller tracking state F9F9
Rechter Controller-nach verfolgungsstatusRight controller tracking state F10F10
Hand "Close"-PoseHand 'Close' Pose 77
Hand ' Open '-Pose (Standard)Hand 'Open' Pose (default) 88
Hand Punkt darstellenHand 'Point' Pose 99
Hand "Pinch" darstellenHand 'Pinch' Pose 00
ResetReset EscapeschlüsselEscape key StarttasteStart button
NachverfolgungTracking T oder F3T or F3 X-TasteX button

Hinweis: die Controller Schaltflächen können mit den Modifizierern für die Hand Ausrichtung auf eine Hand/einen Controller oder die andere als Ziel verwendet werden.Note: The controller buttons can be targeted to one hand/controller or the other using the hand targeting modifiers.

ZielgruppenadressierungTargeting

Einige der oben genannten Eingabe Konzepte sind eigenständig.Some of the above input concepts stand on their own. Aktion, Blüte/System, zurück Setzung und Nachverfolgung sind umfassende Konzepte, benötigen keine weiteren modifiziererer für die Zielsetzung und sind von diesen nicht betroffen.Action, Bloom/System, Reset, and Tracking are complete concepts, don't need, and are not affected by, any additional modifiers for targeting. Die verbleibenden Konzepte können auf eines von mehreren Zielen angewendet werden.The remaining concepts can be applied to one of multiple targets. Wir haben Möglichkeiten zum Angeben des beabsichtigten Ziels eingeführt, auf das der Befehl angewendet werden soll.We have introduced ways for you to specify which intended target your command should be applied to. In allen Fällen ist es möglich, über die Benutzeroberfläche oder über Tastatureingaben anzugeben, welches Objekt als Ziel festgelegt wird.In all cases, it's possible to specify through the UI or through keyboard presses, which object to target. In einigen Fällen ist es auch möglich, mit dem Xbox-Controller direkt anzugeben.In some cases, it's also possible to specify with the xbox controller directly.

In der folgenden Tabelle werden die Optionen für die Zielplattform und die Möglichkeit zum Aktivieren der einzelnen Optionen beschrieben.The following table describes the options for targeting, and the way to activate each of them.

ObjectObject Tastatur-ModifiziererKeyboard Modifier ControllermodifiziererController Modifier Emulator UI-ModifiziererEmulator UI Modifier
TextBody (Standard)(default) (Standard)(default) (Standard)(default)
HeadHead Halten HHold H (Nicht verfügbar)(Not available) (Nicht verfügbar)(Not available)
Linker/ControllerLeft Hand/Controller Linke ALT-Taste gedrückt haltenHold Left Alt button Linke Schulter Taste haltenHold Left Shoulder Button Left-Hand PushPinLeft-Hand pushpin
Rechte Seite/ControllerRight Hand/Controller Alt-Taste gedrückt haltenHold Right Alt Button Rechte Schulter Taste haltenHold Right Shoulder Button Right-Hand PushPinRight-Hand pushpin
BlickeEyes Halten Sie YHold Y (Nicht verfügbar)(Not available) Augen-PushPinEyes Pushpin

In der folgenden Tabelle wird gezeigt, wie die einzelnen zielmodifizierer die einzelnen Grundkonzepte der Verschiebungs Eingabe zuordnen.The following table shows how each target modifier maps each of the core movement input concepts

EingabeInput Standard (Text)Default (Body) Hand-/Controller (alt, halten, Gamepad-Schulter Schaltfläche halten oder UI-PushPin umschalten)Hand/controller (Hold Alt, hold gamepad shoulder button, or toggle UI pushpin) Head (halten H)Head (Hold H) Augen (halten Sie die UI-PushPin gedrückt oder Umschalten)Eyes (Hold Y or toggle UI pushpin)
YawYaw Text nach links/rechts drehenTurn body left / right Hand nach links/rechts verschiebenMove hand left / right Kopfzeile nach links/rechtsTurn head left / right Der Augenblick sieht links/rechts aus.Eye gaze looks left/right
NeigungPitch Kopf-/ausschaltenTurn head up / down Hand nach oben/unten verschiebenMove hand up / down Kopf-/ausschaltenTurn head Up / down Eye-Blick nach oben/untenEye gaze looks up/down
NRoll Rollenspitze links/rechtsRoll head left / right Rollenspitze links/rechtsRoll head left / right (Keine Aktion)(No action)
XX Folien Text Links/rechtsSlide body left / right Hand/Controller nach links/rechts verschiebenMove hand/controller left / right Kopfzeile nach links/rechtsTurn head left / right (Keine Aktion)(No Action)
YY Text nach oben/unten verschiebenMove body up / down Hand/Controller nach oben/unten verschiebenMove hand/controller up / down Kopf-/ausschaltenTurn head up / down (Keine Aktion)(No Action)
ZZ Text vorwärts/rückwärts verschiebenMove body forward / backward Hand/Controller vorwärts/rückwärts verschiebenMove hand/controller forward / backward Kopf-/ausschaltenTurn head up / down (Keine Aktion)(No Action)

Steuern einer APPControlling an app

Der folgende Satz von Steuerelementen wird für die alltägliche Verwendung vorgeschlagen:The following set of controls is suggested for day-to-day use:

VorgangOperation Tastatur und MausKeyboard and mouse ControllerController
Text XBody X A/DA / D Linker Finger Stick links/rechtsLeft thumbstick left / right
Textkörper YBody Y Bild-auf/Bild-abPage up / page down Dpad nach oben/untenDPad up / down
Text ZBody Z W/SW / S Linker Finger Stick nach oben/untenLeft thumbstick up / down
Text-YawBody Yaw Ziehen Sie die Maus nach links/rechtsDrag mouse left / right Rechter Finger Stick links/rechtsRight thumbstick left / right
Head-YawHead Yaw H + Maus nach links/rechts ziehenH + drag mouse left / right H (auf Tastatur) + Rechte fingerstick links/rechtsH (on Keyboard) + right thumbstick left / right
Head-TonhöheHead Pitch Maus nach oben/nach unten ziehenDrag mouse up / down Rechter fingerstick nach oben/untenRight thumbstick up / down
Head-RollHead Roll Q/EQ / E Dpad links/rechtsDPad left / right
Hand/Controller XHand/Controller X Alt + A/DAlt + A / D Schulter + Linker Finger Stick links/rechtsShoulder + left thumbstick left / right
Hand-/controlleryHand/Controller Y Alt + Bild-auf/Bild-abAlt + Page up / page down Schulter + Dpad nach oben/untenShoulder + DPad up / down
Hand/Controller ZHand/Controller Z Alt + W/SAlt + W / S Schulter + Left-fingerstick nach oben/untenShoulder + Left thumbstick up / down
Hand-/Controller-YawHand/Controller Yaw Alt + Maus nach links/rechts ziehenAlt + drag mouse left / right Schulter + nach-rechts-Taste links/rechtsShoulder + right thumbstick left / right
Hand-/Controller-TonhöheHand/Controller Pitch Alt + Maus nach oben/unten ziehenAlt + drag mouse up / down Schulter + rechter fingerstick nach oben/untenShoulder + right thumbstick up / down
Hand-/controllerrollenHand/Controller Roll Alt + Q/EAlt + Q / E Schulter + Dpad links/rechtsShoulder + DPad left / right
AktionAction Rechte MaustasteRight mouse button TriggerTrigger
Blüte/System/StartseiteBloom / System / Home F2-oder Windows-TasteF2 or Windows key B-TasteB button
ResetReset EscapeEscape StarttasteStart button
NachverfolgungTracking TT X-TasteX button
ScrollenScrolling Alt + nach-rechts-Taste + Maus nach oben/unten ziehenAlt + right mouse button + drag mouse up / down Schulter + Auslöse Taste + rechter fingerstick nach oben/untenShoulder + trigger + right thumbstick up / down
Schneller verschieben/drehenMove/rotate faster Linke oder Rechte UMSCHALTTASTELeft or right Shift key Halten Sie den richtigen Finger Stick gedrückt.Press and hold the right thumbstick
Langsam verschieben/drehenMove/rotate slow Links oder rechts STRG-TasteLeft or right Ctrl key Halten Sie den linken Finger Stick gedrückt.Press and hold the left thumbstick

Verwenden eines immersiven Headsets für Windows Mixed Reality und des Motion-Controllers mit dem Hololens 2-EmulatorUsing a Windows Mixed Reality immersive headset and motion controllers with the HoloLens 2 Emulator

Wenn Sie ein Windows Mixed Reality-immersives Headset mit dem hololens 2-Emulator verwenden, werden Bewegung und Drehung automatisch der Headset-Bewegung und-Drehung zugeordnet.When using a Windows Mixed Reality immersive headset with the HoloLens 2 Emulator, movement and rotation are automatically mapped to headset movement and rotation. Position und Ausrichtung des Bewegungs Controllers werden automatisch der Handposition und Ausrichtung im Emulator zugeordnet.Motion controller position and orientation are automatically mapped to hand position and orientation in the emulator. In der folgenden Tabelle sind zusätzliche Aktionen aufgeführt, die bei der Verwendung eines Bewegungs Controllers verfügbar sind.The table below lists additional actions available when using a motion controller.

Hinweis

Bei Verwendung eines Headsets werden standardmäßige Tastatur-, Maus-und Gamepad-Steuerelemente automatisch ignoriert.When using a headset, standard keyboard, mouse, and gamepad controls are automatically ignored.

VorgangOperation AktionAction NotizenNotes
Text XBody X Thumbstick links/rechtsThumbstick Left / Right
Text ZBody Z Fingerabdruck vorwärts/zurückThumbstick Forward / Back
Textkörper YBody Y Tastatur Seite nach oben/DownKeyboard Page Up /Down Stellen Sie sicher, dass Windows Mixed Reality den Fokus besitzt.Ensure that Windows Mixed Reality has focus. Drücken Sie Win + Y, wenn sich der Fokus auf dem Windows-Desktop befindet, um den Fokus auf Windows Mixed Reality zurückzusetzen.Press Win+Y if focus is on the Windows Desktop to return focus to Windows Mixed Reality.
Augen sehen Links/rechtsEyes Look Left / Right Dpad links/rechtsDPad Left / Right
Augen suchen nach oben/untenEyes Look Up / Down Dpad nach oben/untenDPad Up / Down
TippenTap TriggerTrigger
Pinsel/ReichweitePinch/Grasp Zieh SchaltflächeGrip button
System GesteSystem Gesture Menü-TasteMenu button
Position zurücksetzenReset Position Fingerabdruck klickenThumbstick click

System Steuerungs Tastenkombinationen für die Wahrnehmungs SimulationPerception Simulation Control Panel keyboard shortcuts

Mithilfe der folgenden Tastenkombinationen können Sie auf die Systemsteuerung für die Wahrnehmungs Simulation zugreifen und PC-Eingabegeräte aktivieren bzw. deaktivieren.You can access the Perception Simulation Control panel and enable or disable PC input devices with the following keyboard shortcuts.

VorgangOperation VerknüpfungShortcut Beschreibung/NotizenDescription/Notes
"Tastatur für Simulation verwenden" umschaltenToggle 'Use keyboard for simulation' F4F4 Wenn diese deaktiviert ist, wird die Tastatureingabe an die hololens-oder Windows Mixed Reality-Anwendung weitergeleitet.When turned off, keyboard input goes to the HoloLens or Windows Mixed Reality application.
"Maus für Simulation verwenden" umschaltenToggle 'Use mouse for simulation' F5F5 Wenn Sie ausgeschaltet ist, wird die Mauseingabe an die gemischte Reality-Umgebung weitergeleitet (nur Windows Mixed Reality).When turned off, mouse input goes to the Mixed Reality environment (Windows Mixed Reality only)
"Gamepad für Simulation verwenden" umschaltenToggle 'Use gamepad for simulation' F6F6 Wenn Sie ausgeschaltet ist, wird die Gamepad-Eingabe von der Simulation ignoriert.When turned off, gamepad input is ignored by simulation
Anzeigen oder Ausblenden der SystemsteuerungShow or hide the control panel F7F7
Festlegen des Tastaturfokus auf die SystemsteuerungSet keyboard focus to the control panel F8F8 Wenn der Bereich momentan nicht sichtbar ist, wird er zuerst angezeigt.If the panel is not currently visible, it will be shown first.
Andocken oder Abdocken des Bereichs im Emulator-oder Mixed Reality-Portal FensterDock or undock the panel to/from the emulator or Mixed Reality Portal window F9F9 Wenn das Fenster geschlossen wird, wenn es nicht angedockt ist, wird es angedockt und ausgeblendet.If the window is closed when undocked, it's docked and hidden.

Siehe auchSee also