Introducción de datos avanzada en el emulador de HoloLens y el simulador de realidad mixtaAdvanced HoloLens Emulator and Mixed Reality Simulator input

La mayoría de los usuarios del emulador solo tendrán que usar los controles de entrada básicos para el emulador de HoloLens o el simulador de realidad de Windows Mixed.Most emulator users will only need to use the basic input controls for the HoloLens Emulator or the Windows Mixed Reality simulator. Los detalles siguientes son para usuarios avanzados que han encontrado una necesidad de simular tipos de entrada más complejos.The details below are for advanced users who have found a need to simulate more complex types of input.

ConceptosConcepts

Para empezar a controlar la entrada virtual en el emulador de HoloLens y el simulador de realidad de Windows Mixed, primero debe comprender algunos conceptos.To get started controlling the virtual input to the HoloLens Emulator and Windows Mixed Reality simulator, you should first understand a few concepts.

El movimiento se refiere a controlar y cambiar la posición y la orientación de un elemento de la escena.Motion refers to controlling and changing the position and orientation of something in the scene. En el caso de un objeto controlable en el destino, el movimiento se controla con la rotación y la traslación (movimiento) a lo largo de tres ejes.For a targeted controllable object, motion is controlled with both rotation and translation (movement) along three axes.

  • Guiñada: gire a la izquierda o a la derecha.Yaw: Turn left or right.
  • Paso: activar o desactivar.Pitch: Turn up or down.
  • Roll: rollo de un lado a otro.Roll: Roll side-to-side.
  • X: moverse a la izquierda o a la derecha.X: Move left or right.
  • Y: subir o bajar.Y: Move up or down.
  • Z: moverse hacia delante o hacia atrás.Z: Move forward or backward.

Los movimientos y la entrada del controlador de movimiento se asignan estrechamente a los dispositivos físicos:Gesture and motion controller input are mapped closely to physical devices:

  • Acción: simula la acción de presionar índice en el control de posición o de extraer el botón de acción de un controlador.Action: Simulates the action of pressing the forefinger to the thumb or pulling the action button on a controller. Por ejemplo, la entrada de acción se puede usar para simular el gesto de punteo de aire, desplazarse por el contenido y mantener presionado.For example, the Action input can be used to simulate the air-tap gesture, to scroll through content, and to press-and-hold.
  • Gesto o inicio del/System de floración: el gesto de la floración/del sistema de HoloLens o el botón Inicio de un controlador se usa para volver al shell y activar las acciones del sistema.Bloom/System gesture or Home: The HoloLens bloom/system gesture or a controller's Home button is used to return to the shell and to fire system actions.

Las manos tienen una representación enriquecida en HoloLens 2.Hands have a rich representation in HoloLens 2. Además de ser sometidos a seguimiento y sin seguimiento, y que se pueden usar para los gestos de conducción, ahora tienen un modelo de esqueleto articulado que se ajusta a ellos y se exponen al desarrollador.In addition to being tracked/not tracked and usable for driving gestures, hands now have an articulated skeleton model fit to them and exposed to the developer. El modelo de esqueleto tiene 26 puntos de seguimiento en cada mano.The skeleton model has 26 tracked points on each hand.

  • Conjunto: una de las 20 posiciones de las que se ha realizado un seguimiento para una mano controlada determinada con un punto asociado en el espacio 3D.Joint: One of 20 tracked positions for a given tracked hand with an associated point in 3d space.
  • Pose: una colección completa de todas las uniones en una mano con seguimiento, 26 uniones.Pose: A complete collection of all of the Joints in a tracked hand, 26 Joints in all.

Actualmente no exponemos el control directo de las posiciones uniones individuales a través del emulador, pero puede establecerlas a través de la API de simulación.We don't currently expose direct control of individual joint positions through the emulator, but you can set them through the simulation API. Tenemos un conjunto de representativos útiles que el emulador le permite alternar entre.We have a set of useful representative poses that the emulator allows you to toggle between.

También puede controlar el estado de la entrada de sensor simulado:You can also control the state of simulated sensor input:

  • Restablecer: devuelve todos los sensores simulados a sus valores predeterminados.Reset: Returns all simulated sensors to their default values. A partir del emulador de HoloLens 2, un restablecimiento puede tener como ámbito una o ambas manos.Starting with the HoloLens 2 Emulator, a reset can be scoped to one or both hands. Interactúe con las manos deseadas mediante las teclas modificadoras o los botones (Alt izq o derecha, o el reboteador izquierdo y/o derecho en el controlador de juegos).Engage the desired hand(s) using the modifier key(s) or button(s) (Left and/or Right Alt, or the left and/or right bumper on the gamepad).
  • Seguimiento: recorre los modos de seguimiento posicional, incluidos:Tracking: Cycles through the positional tracking modes, including:
    • Valor predeterminado: el sistema operativo elige el mejor modo de seguimiento en función de las solicitudes realizadas del sistema.Default: The OS chooses the best tracking mode based upon the requests made of the system.
    • Orientación: fuerza el seguimiento de solo orientación, con independencia de las solicitudes del sistema.Orientation: Forces Orientation-only tracking, no matter the system requests.
    • Posicional: fuerza el seguimiento posicional, con independencia de las solicitudes del sistema.Positional: Forces Positional tracking, no matter the system requests.

Tipos de entradaTypes of input

En la tabla siguiente se muestra cómo se asignan los tipos de entrada al teclado, el mouse y el controlador Xbox.The following table shows how each type of input maps to the keyboard, mouse, and Xbox controller. Cada tipo tiene una asignación diferente en función del modo de control de entrada.Each type has a different mapping depending on the input control mode. Puede encontrar más información sobre los modos de control de entrada más adelante en este documento.You can find more information on input control modes later in this document.

EntradaInput TecladoKeyboard MouseMouse Controladora XboxXbox controller
EjeYaw Flechas izquierda/derechaLeft / right arrows Arrastrar a la izquierda o a la derechaDrag Left / Right Palanca derecha izquierda/derechaRight thumbstick left / right
InclinaciónPitch Flechas arriba/abajoUp / down arrows Arrastrar hacia arriba o hacia abajoDrag up / down Palanca derecha arriba/abajoRight thumbstick up / down
VolverRoll P/EQ / E DPad izquierda/derechaDPad left / right
XX A/DA / D Stick izquierdo izquierdo/derechoLeft thumbstick left / right
estéY RE PÁG/AV págPage up / page down DPad arriba/abajoDPad up / down
ZZ W/SW / S Stick izquierdo hacia arriba/abajoLeft thumbstick up / down
AcciónAction Escriba o espacioEnter or space Botón derechoRight button Un botón o cualquier desencadenadorA button or either trigger
Floración/sistemaBloom/System F2 o tecla WindowsF2 or Windows key Botón BB button
Botón de control de controlador/agarre de la manoController grip button / Hand grasp GG
Botón de menú controladorController menu button MM
Touch Touchpad del controladorController touchpad touch UU
Pulsador de controlador TouchpadController touchpad press PP
Pulsador del Stick del controladorController thumbstick press KK
Estado de seguimiento del controlador izquierdoLeft controller tracking state F9F9
Estado correcto de seguimiento del controladorRight controller tracking state F10F10
Pose de mano ' Close 'Hand 'Close' Pose 77
Pose de mano ' abrir ' (predeterminado)Hand 'Open' Pose (default) 88
Pose de manoHand 'Point' Pose 99
Postura de mano ' Pinch 'Hand 'Pinch' Pose 00
ResetReset Tecla escapeEscape key Botón IniciarStart button
SeguimientoTracking T o F3T or F3 Botón XX button

Nota: los botones del controlador pueden tener como destino una mano o un controlador, o el otro, mediante los modificadores de destino de la mano.Note: The controller buttons can be targeted to one hand/controller or the other using the hand targeting modifiers.

Establecer destinosTargeting

Algunos de los conceptos de entrada anteriores se destacan por sí mismos.Some of the above input concepts stand on their own. Acción, floración/sistema, restablecimiento y seguimiento son conceptos completos, no es necesario y no se ven afectados por ningún modificador adicional para el destino.Action, Bloom/System, Reset, and Tracking are complete concepts, don't need, and are not affected by, any additional modifiers for targeting. Los conceptos restantes se pueden aplicar a uno de varios destinos.The remaining concepts can be applied to one of multiple targets. Hemos introducido maneras de especificar el destino al que debe aplicarse el comando.We have introduced ways for you to specify which intended target your command should be applied to. En todos los casos, es posible especificar a través de la interfaz de usuario o a través de las pulsaciones de teclado, a qué objeto se va a dirigir.In all cases, it's possible to specify through the UI or through keyboard presses, which object to target. En algunos casos, también es posible especificar con el controlador Xbox directamente.In some cases, it's also possible to specify with the xbox controller directly.

En la tabla siguiente se describen las opciones de destino y la manera de activar cada una de ellas.The following table describes the options for targeting, and the way to activate each of them.

ObjectObject Modificador de tecladoKeyboard Modifier Modificador de controladorController Modifier Modificador de interfaz de usuario del emuladorEmulator UI Modifier
CuerpoBody (predeterminado).(default) (predeterminado).(default) (predeterminado).(default)
HeadHead Mantener HHold H (No disponible)(Not available) (No disponible)(Not available)
Mano izquierda/controladorLeft Hand/Controller Mantener presionado el botón Alt izqHold Left Alt button Mantenga presionado el botón izquierdo del hombroHold Left Shoulder Button Chincheta Left-HandLeft-Hand pushpin
Mano derecha/controladorRight Hand/Controller Mantenga presionado el botón Alt derechoHold Right Alt Button Botón mantener el hombro derechoHold Right Shoulder Button Chincheta Right-HandRight-Hand pushpin
PerspectivaEyes Mantener YHold Y (No disponible)(Not available) Marcador de ojosEyes Pushpin

En la tabla siguiente se muestra cómo cada modificador de destino asigna cada uno de los conceptos de entrada de movimiento principales.The following table shows how each target modifier maps each of the core movement input concepts

EntradaInput Predeterminado (cuerpo)Default (Body) Mano/controlador (mantenga presionada la tecla Alt, mantenga presionado el botón de juego del controlador de juegos o alterne el marcador de IU)Hand/controller (Hold Alt, hold gamepad shoulder button, or toggle UI pushpin) Head (mantener H)Head (Hold H) Ojos (mantener el marcador de IU Y o alternar)Eyes (Hold Y or toggle UI pushpin)
EjeYaw Convertir cuerpo a la izquierda o a la derechaTurn body left / right Subir a la derecha o a la izquierdaMove hand left / right Desactivar la izquierda o la derechaTurn head left / right Ojo mira a la izquierda o a la derechaEye gaze looks left/right
InclinaciónPitch Activar o desactivar el cabezalTurn head up / down Subir o bajarMove hand up / down Activar o desactivar el cabezalTurn head Up / down El ojo mira hacia arriba o hacia abajoEye gaze looks up/down
VolverRoll Deshacer el cabezal izquierdo y derechoRoll head left / right Deshacer el cabezal izquierdo y derechoRoll head left / right (Ninguna acción)(No action)
XX Cuerpo de la diapositiva a la izquierda o a la derechaSlide body left / right Movimiento de mano o controlador izquierda/derechaMove hand/controller left / right Desactivar la izquierda o la derechaTurn head left / right (Ninguna acción)(No Action)
estéY Subir o bajar el cuerpoMove body up / down Subir o bajar el controladorMove hand/controller up / down Activar o desactivar el cabezalTurn head up / down (Ninguna acción)(No Action)
ZZ Desplazar el cuerpo hacia delante o hacia atrásMove body forward / backward Avanzar o retroceder el controladorMove hand/controller forward / backward Activar o desactivar el cabezalTurn head up / down (Ninguna acción)(No Action)

Controlar una aplicaciónControlling an app

Se sugiere el siguiente conjunto de controles para el uso cotidiano:The following set of controls is suggested for day-to-day use:

OperaciónOperation Teclado y mouseKeyboard and mouse ControllerController
Cuerpo XBody X A/DA / D Stick izquierdo izquierdo/derechoLeft thumbstick left / right
Cuerpo YBody Y RE PÁG/AV págPage up / page down DPad arriba/abajoDPad up / down
Cuerpo ZBody Z W/SW / S Stick izquierdo hacia arriba/abajoLeft thumbstick up / down
Guiñada del cuerpoBody Yaw Arrastrar el mouse hacia la izquierda o la derechaDrag mouse left / right Palanca derecha izquierda/derechaRight thumbstick left / right
Guiñada de encabezadoHead Yaw H + arrastrar el mouse hacia la izquierda o la derechaH + drag mouse left / right H (en el teclado) + stick analógico izquierdo/derechoH (on Keyboard) + right thumbstick left / right
Extremo principalHead Pitch Arrastrar el mouse hacia arriba o abajoDrag mouse up / down Palanca derecha arriba/abajoRight thumbstick up / down
Rollo de cabezaHead Roll P/EQ / E DPad izquierda/derechaDPad left / right
Mano/controlador XHand/Controller X Alt + A/DAlt + A / D Hombro + Stick izquierdo izquierdo/derechoShoulder + left thumbstick left / right
Mano/controlador YHand/Controller Y Alt + Re Pág/Av PágAlt + Page up / page down Hombro + DPad arriba/abajoShoulder + DPad up / down
Mano/controlador ZHand/Controller Z Alt + W/SAlt + W / S Hombro + Stick izquierdo hacia arriba/abajoShoulder + Left thumbstick up / down
Guiñada de mano/controladorHand/Controller Yaw Alt + arrastrar mouse a la izquierda/derechaAlt + drag mouse left / right Hombro + stick analógico izquierdo/derechoShoulder + right thumbstick left / right
Tono de mano/controladorHand/Controller Pitch Alt + arrastrar el mouse hacia arriba o abajoAlt + drag mouse up / down Hombro + stick analógico derecho arriba/abajoShoulder + right thumbstick up / down
Rollo de mano/controladorHand/Controller Roll Alt + Q/EAlt + Q / E Hombro + DPad izquierda/derechaShoulder + DPad left / right
AcciónAction Botón secundario del mouseRight mouse button DesencadenadorTrigger
Floración/sistema/InicioBloom / System / Home F2 o tecla WindowsF2 or Windows key Botón BB button
ResetReset EscapeEscape Botón IniciarStart button
SeguimientoTracking TT Botón XX button
DesplazarseScrolling Alt + botón derecho del mouse + arrastrar el mouse hacia arriba o abajoAlt + right mouse button + drag mouse up / down Hombro + desencadenador + stick derecho arriba/abajoShoulder + trigger + right thumbstick up / down
Movimiento y giro más rápidoMove/rotate faster Tecla Mayús izquierda o derechaLeft or right Shift key Mantenga presionado el stick derechoPress and hold the right thumbstick
Movimiento y giro lentosMove/rotate slow Tecla Ctrl izquierda o derechaLeft or right Ctrl key Mantenga presionado el stick izquierdoPress and hold the left thumbstick

Uso de un casco envolvente y controladores de movimiento de Windows Mixed Reality con el emulador de HoloLens 2Using a Windows Mixed Reality immersive headset and motion controllers with the HoloLens 2 Emulator

Cuando se usa un auricular envolvente de Windows Mixed Reality con el emulador de HoloLens 2, el movimiento y la rotación se asignan automáticamente al movimiento y la rotación de los auriculares.When using a Windows Mixed Reality immersive headset with the HoloLens 2 Emulator, movement and rotation are automatically mapped to headset movement and rotation. La posición y la orientación del controlador de movimiento se asignan automáticamente a la posición y orientación de la mano en el emulador.Motion controller position and orientation are automatically mapped to hand position and orientation in the emulator. En la tabla siguiente se enumeran las acciones adicionales disponibles cuando se usa un controlador de movimiento.The table below lists additional actions available when using a motion controller.

Nota

Cuando se usa un auricular, el teclado estándar, el mouse y los controles de controlador para juegos se omiten automáticamente.When using a headset, standard keyboard, mouse, and gamepad controls are automatically ignored.

OperaciónOperation AcciónAction NotasNotes
Cuerpo XBody X Palanca izquierda/derechaThumbstick Left / Right
Cuerpo ZBody Z Avanzar/retroceder del stick analógicoThumbstick Forward / Back
Cuerpo YBody Y Página del teclado arriba/DownKeyboard Page Up /Down Asegúrese de que Windows Mixed Reality tiene el foco.Ensure that Windows Mixed Reality has focus. Presione Win + Y si el foco está en el escritorio de Windows para devolver el foco a Windows Mixed Reality.Press Win+Y if focus is on the Windows Desktop to return focus to Windows Mixed Reality.
Los ojos se ven a la izquierda o a la derechaEyes Look Left / Right DPad izquierda/derechaDPad Left / Right
Apariencia de los ojosEyes Look Up / Down DPad arriba/abajoDPad Up / Down
PulsarTap DesencadenadorTrigger
Contacto y agarrePinch/Grasp Botón de controlGrip button
Gestos del sistemaSystem Gesture Botón de menúMenu button
Restablecer posiciónReset Position Clic en el StickThumbstick click

Métodos abreviados de teclado del panel de control de simulación de percepciónPerception Simulation Control Panel keyboard shortcuts

Puede tener acceso al panel de control de simulación de percepción y habilitar o deshabilitar dispositivos de entrada de equipo con los siguientes métodos abreviados de teclado.You can access the Perception Simulation Control panel and enable or disable PC input devices with the following keyboard shortcuts.

OperaciónOperation Acceso directoShortcut Descripción/NotasDescription/Notes
Alternancia de ' usar teclado para simulación 'Toggle 'Use keyboard for simulation' F4F4 Cuando está desactivada, la entrada de teclado se dirige a la aplicación HoloLens o Windows Mixed Reality.When turned off, keyboard input goes to the HoloLens or Windows Mixed Reality application.
Alternancia de ' usar Mouse para simulación 'Toggle 'Use mouse for simulation' F5F5 Cuando está desactivada, la entrada del mouse se dirige al entorno de realidad mixta (solo Windows Mixed Reality)When turned off, mouse input goes to the Mixed Reality environment (Windows Mixed Reality only)
Alternar ' usar controlador de juegos para simulación 'Toggle 'Use gamepad for simulation' F6F6 Cuando esta opción está desactivada, la simulación omite la entrada del controlador de juegosWhen turned off, gamepad input is ignored by simulation
Mostrar u ocultar el panel de controlShow or hide the control panel F7F7
Establecer el foco del teclado en el panel de controlSet keyboard focus to the control panel F8F8 Si el panel no está visible actualmente, se mostrará primero.If the panel is not currently visible, it will be shown first.
Acoplar o desacoplar el panel en el emulador o en la ventana del portal de realidad mixtaDock or undock the panel to/from the emulator or Mixed Reality Portal window F9F9 Si la ventana se cierra cuando está desacoplada, está acoplada y oculta.If the window is closed when undocked, it's docked and hidden.

Consulta tambiénSee also