Modelos de interação

  • 3 minutos

O Mixed Reality Toolkit permite-lhe consumir entradas a partir de uma variedade de origens de entrada, como controladores 6DoF (graus de liberdade), mãos articuladas ou voz. Escolher o modelo de interação mais adequado para a sua experiência de realidade mista exige que identifique o utilizador, os objetivos e que considere quaisquer fatores ambientais ou situacionais, que podem afetar a experiência. Aqui, vai ficará a conhecer os três modelos de interação principais para experiências de realidade mista e como simular a entrada no Unity.

Modelos de interação

Existem três modelos de interação principais que se adaptam à maioria das experiências de realidade mista.

Modelo Cenários de exemplo Ajustar
Comandos de movimento e mãos Experiências espaciais 3D, como disposição espacial e design, manipulação de conteúdos ou simulação. Excelente para novos utilizadores quando utilizado em combinação com voz, rastreamento ocular ou seguimento do olhar. Curva de aprendizagem reduzida. Experiência do utilizador consistente entre o rastreamento das mãos e controlos 6DoF.
Mãos-livres Experiências contextuais em que as mãos de um utilizador estão ocupadas, como aprendizagem prática e manutenção. É necessária alguma aprendizagem. Se as mãos não estiverem livres, o dispositivo funcionará bem com voz e linguagem natural.
Olhar e confirmar Experiências onde faz clique para avançar, por exemplo, apresentações 3D, demonstrações. Exige preparação na utilização de dispositivos montados na cabeça, mas não de dispositivos móveis. Melhor para comandos acessíveis.

Apesar de poder combinar partes de vários modelos de interação na experiência de realidade mista, tenha em atenção que se o fizer criará o risco de concorrer com as entradas do utilizador, como raios manuais e um cursor de seguimento do olhar em simultâneo. Tal pode sobrecarregar e confundir os utilizadores.

Se a sua experiência exigir vários modelos de interação, tenha em mente que muitos utilizadores poderão encontrar dificuldades ao fazer a transição de um modelo para outro, especialmente os utilizadores que são novos na realidade mista.

Modelo de comandos de movimento e mãos

O modelo de comandos de movimento e mãos requer que os utilizadores utilizem uma ou as duas mãos para interagir com o mundo holográfico. Este modelo remove o limite entre o virtual e o físico.

Alguns cenários específicos incluem:

  • Proporcionar aos técnicos de informação ecrãs virtuais 2D com funcionalidades de IU para apresentação e controlo de conteúdos
  • Proporcionar tutoriais aos Trabalhadores de Primeira Linha e guias às linhas de montagem em fábricas
  • Desenvolver ferramentas profissionais para auxiliar e formar os profissionais de saúde
  • Utilizar objetos virtuais 3D para decorar o mundo real ou para criar um segundo mundo
  • Criar serviços e jogos baseados na localização com o mundo real como plano de fundo

Existem três modalidades de comandos de movimento e mãos:

  • Manipulação direta com as mãos
  • Apontar e confirmar com as mãos
  • Comandos de movimento

Modelo mãos-livres

O modelo mãos-livres permite que os utilizadores interajam com conteúdos holográficos com as mãos. Esta abordagem deverá ser utilizada se o utilizador precisar de utilizar as mãos para realizar tarefas no mundo real, o que poderá criar dificuldades em interagir com uma interface baseada em comandos e mãos.

Alguns cenários específicos incluem:

  • Ser orientado ao longo de uma tarefa, enquanto as mãos do utilizador estão ocupadas
  • Referenciar materiais enquanto as mãos do utilizador estão ocupadas
  • Fadiga das mãos
  • As luvas que não podem ser rastreadas
  • Transportar algo nas mãos
  • Desconforto social em gesticular de forma expansiva
  • Espaços apertados

Existem duas modalidades mãos-livres:

  • Entrada de voz
  • Olhar e Permanecer

Olhar e confirmar

Olhar e confirmar é um modelo de entrada que está intimamente relacionado com a forma como interagimos com os computadores com um rato para apontar e clicar. Olhar e confirmar é considerado um modelo de entrada remota com manipulação indireta. Portanto, é melhor utilizar o modelo olhar e confirmar ao interagir com conteúdos holográficos que estão fora de alcance. Existem dois tipos de entrada por olhar (cabeça e seguimento do olhar) e diferentes ações de confirmação.

Após o utilizador utilizar o olhar para apontar para um objeto ou elemento da IU, poderá interagir ou clicar no mesmo com uma entrada secundária. Conhecido como o passo de confirmação do modelo de entrada. Os métodos de confirmação incluem comandos de voz, premir botões ou gestos de mão.

Simulação de entrada no editor do Unity

A simulação de entrada no editor do Unity permite-lhe testar o comportamento do objeto holográfico ao utilizar a interação com a mão ou com o olho.

Como se movimentar na cena:

  • Utilize as teclas W/A/S/D para mover a câmara para a frente/esquerda/trás/direita.
  • Utilize Q/E para mover a câmara verticalmente.
  • Mantenha premido o botão direito do rato para rodar a câmara.

Como simular uma entrada da mão:

  • Mantenha premida a barra de espaços para ativar a mão direita.
  • Mantenha premida a barra de espaços e mova o rato para mover a mão.
  • Utilize a roda do rato para ajustar a profundidade da mão.
  • Clique no botão esquerdo do rato para simular gestos de apertar.
  • Utilize as teclas T/Y para tornar a mão persistente na vista.
  • Mantenha a tecla CTRL premida e mova o rato para rodar a mão.
  • Mantenha premida a tecla de shift esquerda para ativar a mão esquerda.