Apuntar y confirmar con las manosPoint and commit with hands

Cursores

"Apuntar y confirmar con las manos" es un modelo de entrada que permite a los usuarios seleccionar y manipular contenido 2D y 3D que esté fuera de su alcance.Point and commit with hands is an input model that lets users target, select, and manipulate out of reach 2D and 3D content. Esta técnica de interacción "lejana" es exclusiva de la realidad mixta, ya que los usuarios no interactúan de forma natural con el mundo real.This "far" interaction technique is unique to mixed reality because humans don't naturally interact with the real world that way. Por ejemplo, en la película de superhéroes X-Men, el personaje Magneto es capaz de manipular objetos lejanos a distancia con las manos.For example, in the super hero movie, X-Men, the character Magneto can manipulate far objects in the distance with his hands. Esto no es algo que los seres humanos puedan hacer en el mundo real.This isn't something humans can do in reality. Por ello, tanto en HoloLens (AR) como en Mixed Reality (MR), equipamos a los usuarios con este poder mágico para romper las restricciones físicas del mundo real.In both HoloLens (AR) and Mixed Reality (MR), we equip users with this magical power to break the physical constraint of the real world. No solo es una experiencia holográfica divertida, sino que también hace que las interacciones de los usuarios sean más eficaces.Not only is it a fun holographic experience, but it also makes user interactions more effective and efficient.

Compatibilidad con dispositivosDevice support

Modelo de entradaInput model HoloLens (1.ª generación)HoloLens (1st gen) HoloLens 2HoloLens 2 Cascos envolventesImmersive headsets
Apuntar y confirmar con las manosPoint and commit with hands ❌ No se admite❌ Not supported ✔️ Recomendado✔️ Recommended ✔️ Recomendado✔️ Recommended

"Apuntar y confirmar con las manos" es una de las nuevas características que usa el nuevo sistema articulado de seguimiento de la mano."Point and commit with hands" is one of the new features that use the new articulated hand-tracking system. Este modelo de entrada es también el modelo de entrada principal de los auriculares envolventes, gracias al uso de controladores de movimiento.This input model is also the primary input model on immersive headsets by using motion controllers.



Rayos de las manosHand rays

En HoloLens 2, hemos creado un haz que sale desde el centro de la palma de la mano.On HoloLens 2, we created a hand ray that shoots out from the center of the user's palm. Dicho rayo se trata como una extensión de la mano.This ray is treated as an extension of the hand. Un cursor con forma de anillo se acopla al final del rayo para indicar la ubicación en que el rayo se cruza con un objeto de destino.A donut-shaped cursor is attached to the end of the ray to indicate the location where the ray intersects with a target object. El objeto en que se posa el cursor puede recibir comandos gestuales de la mano.The object that the cursor lands on can then receive gestural commands from the hand.

Este comando gestual básico se desencadena al usar los dedos pulgar e índice para realizar la acción de pulsar en el aire.This basic gestural command is triggered by using the thumb and index finger to do the air-tap action. Si se usa el haz de mano para apuntar y la acción de pulsar en el aire para confirmar, los usuarios pueden activar un botón o un hipervínculo.By using the hand ray to point and air tap to commit, users can activate a button or a hyperlink. Si usan más gestos compuestos, los usuarios pueden navegar por el contenido web y manipular objetos 3D a distancia.With more composite gestures, users can navigating web content and manipulating 3D objects from a distance. El diseño visual del rayo de la mano también debe reaccionar a estos estados de apuntar y confirmar, como se describe y se muestra a continuación:The visual design of the hand ray should also react to these point and commit states, as described and shown below:

haces de mano que apuntanhand rays pointing
Estado de apuntarPointing state
En el estado señalar, el rayo es una línea discontinua y el cursor tiene forma de anillo.In the pointing state, the ray is a dash line and the cursor is a donut shape.

haces de mano que confirmanhand rays commit
Estado de confirmaciónCommit state
En el estado confirmar, el rayo se convierte en una línea sólida y el cursor se reduce a un punto.In the commit state, the ray turns into a solid line and the cursor shrinks to a dot.



Transición entre cerca y lejosTransition between near and far

En lugar de usar gestos específicos como "señalar con el dedo índice" para dirigir el rayo, hemos diseñado el rayo para que salga del centro de la palma de la mano del usuario.Instead of using specific gestures like "pointing with index finger" to direct the ray, we designed the ray to comout out from the center of the users' palm. De este modo, tenemos los cinco dedos disponibles para realizar más gestos de manipulación, como el contacto y la captura.This way, we've released and reserved the Five Fingers for more manipulative gestures like pinch and grab. Con este diseño, creamos solo un modelo mental, se usa el mismo conjunto de gestos de las manos para la interacción cercana y la lejana.With this design, we create only one mental model - the same set of hand gestures are used for both near and far interaction. Puedes usar el mismo gesto de arrastrar para manipular objetos que se encuentren a distinta distancia.You can use the same grab gesture to manipulate objects at different distances. La invocación de los haces es automática y se basa en la proximidad:The invocation of the rays is automatic and proximity-based as follows:

Manipulación cercanaNear manipulation
Manipulación cercanaNear manipulation
Cuando a un objeto se llega estirando el brazo (aproximadamente 50 cm), los haces se desactivan automáticamente, lo que fomenta la interacción cercana.When an object is within arm's length (roughly 50 cm), the rays are turned off automatically, encouraging near interaction.

Manipulación lejanaFar manipulation
Manipulación lejanaFar manipulation
Cuando el objeto está a más de 50 cm, los rayos se activan.When the object is farther than 50 cm, the rays are turned on. La transición suave y sin problemas.The transition should be smooth and seamless.



Interacción con una tableta táctil 2D2D slate interaction

Una tableta táctil 2D es un contenedor holográfico que hospeda contenido de aplicaciones 2D, como un explorador web.A 2D slate is a holographic container hosting 2D app contents, such as a web browser. El concepto de diseño para la interacción lejana con una tableta táctil 2D es usar los rayos de las manos para buscar el objetivo y pulsar en el aire para seleccionarlo.The design concept for far interacting with a 2D slate is to use hand rays to target and air tap to select. Después de buscar el destino con un rayo de la mano, los usuarios pueden pulsar en el aire para desencadenar un hipervínculo o un botón.After targeting with a hand ray, users can air tap to trigger a hyperlink or a button. Pueden usar una mano para "pulsar en el aire y arrastrar" a fin de desplazar el contenido de la tableta táctil hacia arriba y hacia abajo.They can use one hand to "air tap and drag" to scroll slate content up and down. El movimiento relativo de usar las dos manos para pulsar en el aire y arrastrar puede acercar y alejar el contenido de la tableta táctil.The relative motion of using two hands to air tap and drag can zoom in and out the slate content.

Si se seleccionan como destino del rayo las esquinas y los bordes aparece la prestación de manipulación más cercana.Targeting the hand ray at the corners and edges reveals the closest manipulation affordance. Al "agarrar y arrastrar" las prestaciones de manipulación, los usuarios pueden realizar un escalado uniforme mediante las prestaciones de la esquina y redistribuir la tableta táctil mediante las prestaciones del borde.By "grab and drag" manipulation affordances, users can do uniform scaling through the corner affordances, and can reflow the slate via the edge affordances. El procedimiento de agarrar y arrastrar la barra holográfica de la parte superior de la tableta táctil 2D permite a los usuarios mover toda la tableta táctil.Grabbing and dragging the holobar at the top of the 2D slate lets users move the entire slate.

Hacer clic en la interacción con una tableta táctil 2D2d slate interaction click
Hacer clicClick

Desplazar en la interacción con una tableta táctil 2D2d slate interaction scroll
DesplazarScroll

Zoom en la interacción con una tableta táctil 2D2d slate interaction zoom
ZoomZoom


Para manipular la tableta táctil 2DFor manipulating the 2D slate

  • los usuarios apuntan el rayo de la mano a las esquinas y bordes y aparece la prestación de manipulación más cercana.Users point the hand ray at the corners or edges to reveal the closest manipulation affordance.
  • Al aplicar un gesto de manipulación en la prestación, los usuarios pueden realizar un escalado uniforme mediante la prestación de la esquina y redistribuir la tableta táctil mediante la prestación del borde.By applying a manipulation gesture on the affordance, users can do uniform scaling through the corner affordance, and can reflow the slate via the edge affordance.
  • Al aplicar un gesto de manipulación a la barra holográfica de la parte superior de la tableta táctil 2D, los usuarios pueden mover toda la tableta táctil.By applying a manipulation gesture on the holobar at the top of the 2D slate, users can move the entire slate.


Manipulación de objetos 3D3D object manipulation

En la manipulación directa, hay dos formas de que los usuarios manipulen objetos 3D, la manipulación con prestaciones y la manipulación sin prestaciones.In direct manipulation, there are two ways for users to manipulate 3D objects: affordance-based manipulation and non-affordance based manipulation. En el modelo para apuntar y confirmar, los usuarios pueden conseguir exactamente las mismas tareas a través de los haces de mano.In the point and commit model, users can achieve exactly the same tasks through the hand rays. No es necesario realizar ningún aprendizaje adicional.No extra learning is needed.

Manipulación con prestacionesAffordance-based manipulation

Los usuarios usan los rayos de las manos para apuntar y mostrar el rectángulo de selección y las prestaciones de manipulación.Users use hand rays to point and reveal the bounding box and manipulation affordances. Los usuarios pueden aplicar el gesto de manipulación al rectángulo de selección para mover todo el objeto, a las prestaciones del borde para girarlo y a las prestaciones de la esquina para escalarlo de forma uniforme.Users can apply the manipulation gesture on the bounding box to move the whole object, on the edge affordances to rotate, and on the corner affordances to scale uniformly.

Movimiento lejano en la manipulación de objetos 3D3d object manipulation far move
MoverMove

Giro lejano en la manipulación de objetos 3D3d object manipulation far rotate
GirarRotate

Escala lejana en la manipulación de objetos 3D3d object manipulation far scale
EscalarScale

Manipulación sin prestacionesNon-affordance-based manipulation

Los usuarios señalan con los rayos de las manos para mostrar el rectángulo de selección y, después, le aplican directamente los gestos de manipulación.Users point with hand rays to reveal the bounding box then directly apply manipulation gestures on it. Con una mano, la traslación y rotación del objeto se asocian con el movimiento y la orientación de la mano.With one hand, the translation and rotation of the object are associated to motion and orientation of the hand. Con dos manos, los usuarios pueden trasladarlo, escalarlo y girarlo en función de los movimientos relativos de las dos manos.With two hands, users can translate, scale, and rotate it according to relative motions of two hands.



Gestos instintivosInstinctual gestures

El concepto de gestos instintivos para señalar y confirmar es similar a la de la manipulación directa con las manos.The concept of instinctual gestures for point and commit is similar to that for direct manipulation with hands. Los gestos que los usuarios realizan en un objeto 3D los guía el diseño de las prestaciones de interfaz de usuario.The gestures users do on a 3D object are guided by the design of UI affordances. Por ejemplo, un punto de control pequeño podría motivar a los usuarios a acercar los dedos pulgar e índice, mientras que si un usuario quiere agarrar un objeto mayor, debe usar los cinco dedos.For example, a small control point might motivate users to pinch with their thumb and index finger, while a user might want to use all Five Fingers to grab a larger object.

gestos instintivos para objetos lejanos pequeñosinstinctual gestures far small object
Objeto pequeñoSmall object

gestos instintivos para objetos lejanos medianosinstinctual gestures far medium object
Objeto medianoMedium object

gestos instintivos para objetos lejanos grandesinstinctual gestures far large object
Objeto grandeLarge object



Diseño simétrico entre las manos y 6 controladores DoFSymmetric design between hands and 6 DoF controller

El concepto de señalar y confirmar de la interacción lejana se creó y definió para el portal de realidad mixta (PRM).The concept of point and commit for far interaction was created and defined for the Mixed Reality Portal (MRP). En este escenario, el usuario lleva un casco envolvente e interactúa con objetos 3D a través de los controladores de movimiento.In this scenario, a user wears an immersive headset and interacts with 3D objects via motion controllers. Los controladores de movimiento lanzar rayos para señalar y manipular objetos lejanos.The motion controllers shoot out rays for pointing and manipulating far objects. Hay botones en los controladores para confirmar más acciones diferentes.There are buttons on the controllers for further committing different actions. Aprovecharemos el modelo de interacción de rayos y los acoplaremos a ambas manos.We apply the interaction model of rays and attached them to both hands. Con este diseño simétrico, los usuarios que están familiarizados con MRP no necesitan aprender otro modelo de interacción para señalar y manipular a distancia cuando usan HoloLens 2, y viceversa.With this symmetric design, users who are familiar with MRP won't need to learn another interaction model for far pointing and manipulation when they use HoloLens 2, and the other way around.

diseño simétrico para haces con controladoressymmetric design for rays with controllers
Haces de controladorController rays

diseño simétrico para haces con manossymmetric design for rays with hands
Haces de manoHand rays



Haz de mano en MRTK (Mixed Reality Toolkit) para UnityHand ray in MRTK (Mixed Reality Toolkit) for Unity

De forma predeterminada, MRTK proporciona un haz de mano prefabricado (DefaultControllerPointer.prefab) que tiene el mismo estado visual que el haz de mano del sistema del shell.By default, MRTK provides a hand ray prefab (DefaultControllerPointer.prefab) which has the same visual state as the shell's system hand ray. Se asigna en el perfil de entrada de MRTK, en Punteros.It's assigned in MRTK's Input profile, under Pointers. En un casco envolvente, se usan los mismos haces para los controladores de movimiento.In an immersive headset, the same rays are used for the motion controllers.


Consulte tambiénSee also