Gestos: MRTK2

Los gestos son eventos de entrada basados en manos humanas. Hay dos tipos de dispositivos que generan eventos de entrada de gestos en MRTK:

• Windows Mixed Reality dispositivos como HoloLens. Aquí se describen los movimientos de pellizco ("Toque de aire") y los gestos de pulsación y suspensión.

  Para obtener más información sobre los gestos de HoloLens, consulte la documentación de Windows Mixed Reality Gestos.

  WindowsMixedRealityDeviceManager ajusta la XR de Unity. WSA. Input.GestureRecognizer para consumir los eventos de gestos de Unity desde dispositivos HoloLens.

• Dispositivos de pantalla táctil.

  UnityTouchController ajusta la clase Unity Touch que admite pantallas táctiles físicas.

Ambos orígenes de entrada usan el perfil De configuración de gestos para convertir los eventos Touch y Gesture de Unity respectivamente en acciones de entrada de MRTK. Este perfil se puede encontrar en el perfil Configuración del sistema de entrada .

Eventos de gestos

Los eventos de gestos se reciben mediante la implementación de una de las interfaces del controlador de gestos: IMixedRealityGestureHandler o IMixedRealityGestureHandler<TYPE> (vea la tabla de controladores de eventos).

Vea Escena de ejemplo para obtener una implementación de ejemplo de un controlador de eventos de gestos.

Al implementar la versión genérica, los eventos OnGestureCompleted y OnGestureUpdated pueden recibir datos con tipo de los siguientes tipos:

• Vector2 - Gesto de posición 2D. Producido por pantallas táctiles para informar de su deltaPosition.
• Vector3 - Gesto de posición 3D. Generado por HoloLens para informar de:
  • cumulativeDelta de un evento de manipulación
  • normalizedOffset de un evento de navegación
• Quaternion - Gesto de rotación 3D. Disponible para orígenes de entrada personalizados, pero no generados actualmente por ninguno de los existentes.
• MixedRealityPose - Gesto combinado de posición/rotación 3D. Disponible para orígenes de entrada personalizados, pero no generados actualmente por ninguno de los existentes.

Orden de los eventos

Hay dos cadenas principales de eventos, en función de la entrada del usuario:

• "Hold":

  1. Mantenga pulsado:
     • iniciar manipulación
  2. Mantenga pulsado más allá de HoldStartDuration:
     • iniciar suspensión
  3. Pulse liberar:
     • suspensión completa
     • manipulación completa

• "Mover":

  1. Mantenga pulsado:
     • iniciar manipulación
  2. Mantenga pulsado más allá de HoldStartDuration:
     • iniciar suspensión
  3. Vaya más allá de NavigationStartThreshold:
     • cancelar suspensión
     • iniciar navegación
  4. Pulse liberar:
     • manipulación completa
     • navegación completa

Escena de ejemplo

La escena HandInteractionGestureEventsExample (Assets/MRTK/Examples/Demos/HandTracking/Scenes) muestra cómo usar el resultado del puntero para generar un objeto en la ubicación de aciertos.

El GestureTester script (Assets/MRTK/Examples/Demos/HandTracking/Script) es una implementación de ejemplo para visualizar eventos de gestos a través de GameObjects. Las funciones de controlador cambian el color de los objetos de indicador y muestran el último evento grabado en los objetos de texto de la escena.