Servicio de simulación de entrada

MRTK Input Simulation

Con la simulación de entrada de MRTK, puede probar varios tipos de interacción en el editor de Unity sin necesidad de compilar ni implementar en un dispositivo. Esto le permite iterar rápidamente las ideas en el proceso de diseño y desarrollo. Use combinaciones de teclado y mouse para controlar las entradas simuladas.

El servicio de simulación de entrada emula el comportamiento de los dispositivos y las plataformas que pueden no estar disponibles en el editor de Unity. Algunos ejemplos son:

  • HoloLens o seguimiento de la cabeza del dispositivo VR
  • HoloLens gestos de mano
  • HoloLens 2 seguimiento de manos articulado
  • seguimiento ocular de HoloLens 2
  • Controladores de dispositivos VR

Advertencia

Esto no funciona cuando se usa el modo de emulación > holográfica XR de Unity = "Simular en el editor". La simulación en el editor de Unity quitará el control de la simulación de entrada de MRTK. Para usar el servicio de simulación de entrada MRTK, deberá establecer la emulación holográfica XR en Modo de emulación = "None"

Cómo usar la simulación de entrada de MRTK

La simulación de entrada está habilitada de forma predeterminada en los perfiles que se incluyen con MRTK. Simplemente puede hacer clic en el botón Reproducir para ejecutar la escena con compatibilidad con la simulación de entrada.

  • Presiona las teclas W, A, S, D, Q, E para mover la cámara.
  • Mantenga presionado el botón derecho del mouse y muévalo para mirar alrededor.
  • Para abrir las manos simuladas, presione la barra espaciadora (mano derecha) o la tecla Mayús izquierda (mano izquierda) .
  • Para mantener las manos simuladas en la vista, presione las teclas T o Y.
  • Para girar las manos simuladas, mantenga presionada la tecla Ctrl y mueva el mouse.

En la hoja de referencia rápida de simulación de entrada del editor

Presione Ctrl + H izquierdo en la escena HandInteractionExamples para mostrar una hoja de referencia rápida con controles de simulación de entrada.

MRTK Input Simulation Cheat Sheet

Habilitación del servicio de simulación de entrada

En la configuración del proveedor de datos del sistema de entrada, el servicio Input Simulation se puede configurar con lo siguiente.

  • El tipo debe ser Microsoft.MixedReality.Toolkit. InputSimulationService>.
  • Las plataformas admitidas incluyen de forma predeterminada todas las plataformas editor , ya que el servicio usa la entrada de teclado y mouse.

Nota

El servicio Input Simulation se puede usar en otros puntos de conexión de plataforma, como independiente, cambiando la propiedad Plataformas admitidas para incluir los destinos deseados.
Input Simulation Supported Platforms

Control de cámara

El servicio de simulación de entrada puede emular el movimiento de la cabeza.

Rotación de la cámara

  1. Mantenga el puntero sobre la ventana del editor de ventanillas. Es posible que tenga que hacer clic en la ventana para darle el foco de entrada si las pulsaciones de botón no funcionan.
  2. Mantenga presionado el botón De vista del mouse (valor predeterminado: Botón derecho del mouse).
  3. Mueva el mouse en la ventana de ventanilla para girar la cámara.
  4. Use la rueda del mouse para girar la cámara alrededor de la dirección de la vista.

La velocidad de rotación de la cámara se puede configurar cambiando el valor De velocidad de búsqueda del mouse en el perfil de simulación de entrada.

Como alternativa, usa los ejes HorizontalLook/ Vertical para girar la cámara (valor predeterminado: stick analógico derecho del controlador de juego).

Movimiento de la cámara

Usa los ejes HorizontalMove/ Vertical para mover la cámara (valor predeterminado: teclas WASD o stick analógico izquierdo del controlador del juego).

Los ángulos de posición y rotación de la cámara también se pueden establecer explícitamente en la ventana de herramientas. La cámara se puede restablecer a su valor predeterminado mediante el botón Restablecer .

Simulación de controlador

La simulación de entrada admite dispositivos de controlador emulados (es decir, controladores de movimiento y manos). Estos controladores virtuales pueden interactuar con cualquier objeto que admita controladores normales, como botones o objetos agarrables.

Modo de simulación de controlador

En la ventana herramientas de simulación de entrada , la configuración Modo de simulación de controlador predeterminado cambia entre tres modelos de entrada distintos. Este modo predeterminado también se puede establecer en el perfil de simulación de entrada.

  • Manos articuladas: simula un dispositivo de mano totalmente articulado con datos de posición de articulación.

    Emula HoloLens 2 modelo de interacción.

    Las interacciones que se basan en el posicionamiento preciso de la mano o el uso de tocar se pueden simular en este modo.

  • Gestos de mano: simula un modelo de mano simplificado con pulsación de aire y gestos básicos.

    Emula HoloLens modelo de interacción.

    El foco se controla mediante el puntero de mirada. El gesto pulsar en el aire se usa para interactuar con los botones.

  • Controlador de movimiento: simula un controlador de movimiento usado con auriculares VR que funciona de forma similar a interacciones lejanas con manos articuladas.

    Emula cascos vr con el modelo de interacción de controladores.

    El desencadenador, la toma y las teclas de menú se simulan a través de la entrada del teclado y del mouse.

Simulación del movimiento del controlador

Mantenga presionada la tecla de manipulación del controlador izquierdo/derecho (valor predeterminado: Desplazamiento a la izquierda para el controlador izquierdo y espacio para el controlador derecho) para obtener el control de cualquiera de los controladores. Mientras se presiona la tecla de manipulación, el controlador aparecerá en la ventanilla. Una vez que se libera la clave de manipulación, los controladores desaparecerán después de un breve tiempo de espera de ocultación del controlador.

Los controladores se pueden activar e inmovilizar en relación con la cámara en la ventana de herramientas de simulación de entrada o presionando la tecla Alternar controladora izquierda/derecha (valor predeterminado: T para izquierda e Y para derecha). Vuelva a presionar la tecla de alternancia para ocultar los controladores de nuevo. Para manipular los controladores, debe mantenerse la tecla de manipulación del controlador de izquierda o derecha . Pulsar dos veces la tecla de manipulación del controlador izquierdo/derecho también puede activar o desactivar los controladores.

El movimiento del mouse moverá el controlador en el plano de vista. Los controladores se pueden mover más o más cerca de la cámara mediante la rueda del mouse.

Para girar los controladores con el mouse, mantenga presionada la tecla de manipulación izquierda/derecha del controlador (desplazamiento a la izquierda o el espacio) y el botón Girar controlador (valor predeterminado: botón Ctrl izquierdo ) y, a continuación, mueva el mouse para girar el controlador. La velocidad de rotación del controlador se puede configurar cambiando la configuración velocidad de rotación del controlador del mouse en el perfil de simulación de entrada.

Toda la colocación de la mano también puede cambiar en la ventana herramientas de simulación de entrada, incluido restablecer las manos al valor predeterminado.

Configuración de perfil adicional

  • El multiplicador de profundidad del controlador controla la sensibilidad del movimiento de profundidad de la rueda del mouse. Un número mayor acelerará el zoom del controlador.
  • Distancia predeterminada del controlador es la distancia inicial de los controladores de la cámara. Al hacer clic en los controladores de botón Restablecer , también se colocarán los controladores a esta distancia.
  • La cantidad de vibración del controlador agrega movimiento aleatorio a los controladores. Esta característica se puede usar para simular el seguimiento de controladores inexactos en el dispositivo y asegurarse de que las interacciones funcionan bien con una entrada ruidosa.

Gestos con la mano

También se pueden simular gestos de mano, como pellizcar, agarrar, golpear, etc.

  1. Habilitar el control de mano mediante la tecla de manipulación del controlador izquierdo/derecho (desplazamiento a la izquierda o el espacio)

  2. Al manipular, mantenga presionado un botón del mouse para realizar un gesto de mano.

Cada uno de los botones del mouse se puede asignar para transformar la forma de la mano en un gesto diferente mediante la configuración Gesto de mano izquierda/media/ratón derecho . El gesto de mano predeterminado es la forma de la mano cuando no se presiona ningún botón.

Nota

El gesto Pinch es el único gesto que realiza la acción "Seleccionar" en este momento.

Manipulación de una mano

  1. Mantenga presionada la tecla de manipulación izquierda/derecha del controlador (mayús o espacio ala izquierda)
  2. Apuntar al objeto
  3. Mantenga presionado el botón del mouse para reducir
  4. Usar el mouse para mover el objeto
  5. Liberar el botón del mouse para detener la interacción

Manipulación de dos manos

Para manipular objetos con dos manos al mismo tiempo, se recomienda el modo de mano persistente.

  1. Para alternar en ambas manos, presione las teclas de alternancia (T/Y).
  2. Manipular una mano a la vez:
    1. Mantener espacio para controlar la mano derecha
    2. Mover la mano al lugar donde desea agarrar el objeto
    3. Presione el botón izquierdo del mouse para activar el gesto Pinch .
    4. Liberar espacio para dejar de controlar la mano derecha. La mano se inmovilizará en su lugar y se bloqueará en el gesto pinch , ya que ya no se está manipulando.
  3. Repita el proceso con la otra mano, agarrando el mismo objeto en un segundo lugar.
  4. Ahora que ambas manos están agarrando el mismo objeto, puede mover cualquiera de ellas para realizar la manipulación de dos manos.

Interacción de GGV (mirada, gesto y voz)

De forma predeterminada, la interacción de GGV está habilitada en el editor mientras no hay manos articuladas presentes en la escena.

  1. Girar la cámara para apuntar el cursor de mirada en el objeto interactivo (botón derecho del mouse)
  2. Haga clic y mantenga presionado el botón izquierdo del mouse para interactuar
  3. Vuelva a girar la cámara para manipular el objeto

Puede desactivarlo alternando la opción Is Hand Free Input Enabled (Activar entrada libre de manos) dentro del perfil de simulación de entrada.

Además, puede usar manos simuladas para la interacción de GGV.

  1. Habilitar la simulación GGV cambiando el modo de simulación de mano a gestos en el perfil de simulación de entrada
  2. Girar la cámara para apuntar el cursor de mirada en el objeto interactivo (botón derecho del mouse)
  3. Mantener espacio para controlar la mano derecha
  4. Haga clic y mantenga presionado el botón izquierdo del mouse para interactuar
  5. Usar el mouse para mover el objeto
  6. Liberar el botón del mouse para detener la interacción

Generar eventos de teletransporte

Para generar el evento de teletransporte en la simulación de entrada, configure el gesto de mano Configuración en el perfil de simulación de entrada para que realice el gesto de inicio de la teletransporte mientras que el otro realiza el gesto de extremo de teletransporte. El gesto De inicio de teletransporte abrirá el puntero teleportar, mientras que la gesure del extremo de teleporte completará la acción de teletransporte y moverá al usuario.

La posición y del teletransporte resultante depende del desplazamiento de la cámara a lo largo del eje Y. En el editor, es 0 de forma predeterminada, por lo que use las teclas Q y E para ajustarla al alto adecuado.

Input Simulation Teleport Settings

Interacción del controlador de movimiento

Los controladores de movimiento simulados se pueden manipular de la misma manera que las manos articuladas. El modelo de interacción es similar a la interacción lejana de la mano articulada mientras que el desencadenador, la toma y las teclas de menú se asignan al botón izquierdo del mouse, la tecla G y M , respectivamente.

Seguimiento de los ojos

La simulación de seguimiento ocular se puede habilitar activando la opción Simulate Eye Position (Simular posición ocular ) en el perfil de simulación de entrada. Esto no debe usarse con interacciones de estilo GGV o de controlador de movimiento (por lo tanto, asegúrese de que el modo de simulación de controlador predeterminado esté establecido en Mano articulada).

Ventana herramientas de simulación de entrada

Habilite la ventana herramientas de simulación de entrada desde el menú Mixed Reality>Toolkit>UtilitiesInput>Simulation ( Simulación de entrada). Esta ventana proporciona acceso al estado de la simulación de entrada durante el modo de reproducción.

Botones de ventanilla (opcional)

Se puede especificar un objeto prefabricado para los botones del editor para controlar la colocación básica de la mano en el perfil de simulación de entrada en Indicadores prefabricados. Se trata de una utilidad opcional, a las mismas características se puede acceder en la ventana de herramientas de simulación de entrada.

Nota

Los indicadores de ventanilla están deshabilitados de forma predeterminada, ya que actualmente pueden interferir con las interacciones de la interfaz de usuario de Unity. Consulte el problema n.º 6106. Para habilitarlo, agregue el objeto prefabricado InputSimulationIndicators al objeto Prefabricado de indicadores.

Los iconos de mano muestran el estado de las manos simuladas:

  • Untracked hand icon La mano no es seguimiento. Haga clic para habilitar la mano.
  • Tracked hand icon Se realiza un seguimiento de la mano, pero no está controlada por el usuario. Haga clic para ocultar la mano.
  • Controlled hand icon El usuario realiza un seguimiento de la mano y lo controla. Haga clic para ocultar la mano.
  • Reset hand icon Haga clic para restablecer la mano a la posición predeterminada.

Vea también