Modelos de interação

  • 3 minutos

O kit de ferramentas de Realidade Misturada permite consumir entradas de várias fontes de entrada, como controladores, mãos articuladas ou fala. A escolha do modelo de interação mais adequado para sua experiência de realidade misturada exige que você identifique o seu usuário e seus objetivos, considerando todos os fatores ambientais ou de situação que possam afetar a experiência dele. Aqui, você aprenderá sobre os três modelos de interação principais para experiências de realidade misturada e como simular a entrada no Unity.

Modelos de interação

Há três modelos de interação principais que se adaptam à maioria das experiências de realidade misturada.

Modelo Cenários de exemplo Adequação
Controladores de mãos e de movimento Experiências 3D espaciais, como layout e design espaciais, manipulação de conteúdo ou simulação. Excelente para novos usuários, juntamente com voz, acompanhamento ocular ou foco com a cabeça. Baixa curva de aprendizado. UX consistente com acompanhamento de mão e controladores 6DoF.
Mãos livres Experiências contextuais em que as mãos de um usuário estão ocupadas, como aprendizado e manutenção no trabalho. Algum aprendizado é necessário. Se as mãos estiverem ocupadas, o dispositivo será emparelhado com a voz e o idioma natural.
Focar e confirmar Experiências de clique, por exemplo, apresentações em 3D ou demonstrações. Exige treinamento com headsets de realidade virtual, mas não em dispositivos móveis. Ideal para controladores acessíveis.

Embora você possa combinar partes de vários modelos de interação em sua experiência de realidade misturada, lembre-se de que fazer isso gera o risco de criar entradas de usuário concorrentes, como traços de mãos simultâneos e um cursor de foco com a cabeça. Isso pode sobrecarregar e confundir os usuários.

Caso a sua experiência exija vários modelos de interação, lembre-se de que muitos usuários podem ter dificuldade ao fazer a transição de um modelo para outro, especialmente usuários não familiarizados com a realidade misturada.

Modelo de controladores de mãos e de movimento

O modelo de controladores de mãos e movimento exige que os usuários usem uma ou as duas mãos para interagir com o mundo holográfico. Esse modelo remove a fronteira entre virtual e físico.

Alguns cenários específicos incluem:

  • Fornecimento de telas virtuais 2D a profissionais da informação, com funcionalidades de UI (interface do usuário) para exibir e controlar o conteúdo
  • Fornecer tutoriais e guias para trabalhadores de linha de frente/ linhas de montagem de fábrica
  • Desenvolvimento de ferramentas profissionais para auxiliar e orientar profissionais médicos
  • Uso de objetos virtuais 3D para decorar o mundo real ou criar um outro mundo
  • Criação de serviços e jogos baseados em localização usando o mundo real como tela de fundo

Há três modalidades de controladores de mão e de movimento:

  • Manipulação direta com as mãos
  • Apontar e confirmar com as mãos
  • Controladores de movimento

Modelo de mãos livres

O modelo de mãos livres permite aos usuários interagir com o conteúdo holográfico sem o uso das mãos. Essa é a melhor abordagem caso o usuário precise usar as mãos para concretizar seus objetivos no mundo real e tenha dificuldade de interagir com uma interface usando controladores e as mãos.

Alguns cenários específicos incluem:

  • Ser guiado para realizar uma tarefa enquanto o usuário está com as mãos ocupadas
  • Consulta de materiais enquanto as mãos do usuário estão ocupadas
  • Descanso das mãos em caso de fadiga
  • Uso de luvas que não podem ser rastreadas
  • Usuário carregando algo com as mãos
  • Constrangimento social de fazer grandes gestos com as mãos
  • Espaços apertados

Há duas modalidades de mãos livres:

  • Entrada de voz
  • Focar e pesquisar

Focar e confirmar

Focar e confirmar é um modelo de entrada que está fortemente relacionado à maneira como interagimos com computadores usando um mouse para apontar e clicar. Focar e confirmar é considerado um modelo de entrada à distância, com manipulação indireta. Por isso ele é ideal para interagir com o conteúdo holográfico que está fora do alcance. Há dois tipos de entrada de foco (com a cabeça e com o olhar) e diferentes ações de confirmação.

Depois que o usuário usar o foco para encontrar um objeto ou elemento da interface do usuário, ele poderá interagir com ele ou selecioná-lo usando uma entrada secundária. Isso é conhecido como a etapa de confirmação do modelo de entrada. Os métodos de confirmação incluem comandos de voz, pressionamento de botão ou gesto de mão.

Simulação de entrada no editor do Unity

A simulação de entrada no editor do Unity permite que você teste o comportamento do objeto holográfico ao usar a interação com as mãos ou com os olhos.

Como se movimentar em uma cena:

  • Use as teclas W/A/S/D para mover a câmera para frente/para a esquerda/para trás/para a direita.
  • Use as teclas Q/E para mover a câmera verticalmente.
  • Pressione e segure o botão direito do mouse para girar a câmera.

Como simular a entrada manual:

  • Pressione e segure a barra de espaço para habilitar a mão direita.
  • Enquanto continua pressionando a barra de espaço, mova o mouse para movimentar a mão.
  • Use a roda de rolagem do mouse para ajustar a profundidade da mão.
  • Clique no botão esquerdo do mouse para simular um gesto de pinçagem.
  • Use as teclas T/Y para tornar a mão permanente na exibição.
  • Pressione a tecla CTRL e mova o mouse para girar a mão.
  • Pressione e segure a tecla SHIFT esquerda para habilitar a mão esquerda.