Serviço de simulação de entrada — MRTK2

Com a simulação de entrada do MRTK, você pode testar vários tipos de interações no editor do Unity sem compilar e implantar em um dispositivo. Isso permite que você itere rapidamente suas ideias no processo de design e desenvolvimento. Use combinações de teclado e mouse para controlar as entradas simuladas.

O Serviço de Simulação de Entrada emula o comportamento de dispositivos e plataformas que podem não estar disponíveis no editor do Unity. Os exemplos incluem:

• Rastreamento da cabeça no dispositivo HoloLens ou VR
• Gestos de mão no HoloLens
• Acompanhamento articulado da mão no HoloLens 2
• rastreamento ocular HoloLens 2
• Controladores de dispositivo VR

Aviso

Isso não funciona ao usar o modo de emulação de emulação > holográfica XR do Unity = "Simular no Editor". A simulação no editor do Unity tirará o controle da simulação de entrada do MRTK. Para usar o serviço de simulação de entrada do MRTK, você precisará definir a Emulação Holográfica XR como Modo de Emulação = "Nenhum"

Como usar a simulação de entrada do MRTK

A simulação de entrada é habilitada por padrão nos perfis fornecidos com o MRTK. Você pode simplesmente clicar no botão Reproduzir para executar a cena com suporte à simulação de entrada.

• Pressione as teclas W, A, S, D, Q, Epara mover a câmera.
• Mantenha o Botão direito do mouse pressionado e mova o mouse para examinar.
• Para exibir as mãos simuladas, pressione Barra de espaço (à direita) ou tecla SHIFT esquerda
• Para manter as mãos simuladas no modo de exibição, pressione as teclas T ou Y
• Para girar as mãos simuladas, pressione e segure a tecla Ctrl e mova o mouse

Na folha de referência de simulação de entrada do editor

Pressione Ctrl à Esquerda + H na cena HandInteractionExamples para abrir uma folha de referência com controles de simulação de entrada.

Habilitando o serviço de simulação de entrada

Na configuração do provedor de Dados do Sistema de Entrada, o serviço de Simulação de Entrada pode ser configurado com o seguinte.

• O tipo deve ser Microsoft.MixedReality.Toolkit.InputSimulationService>.
• Por padrão, as Plataformas compatíveis incluem todas as plataformas do Editor, já que o serviço usa entrada de teclado e mouse.

Observação

O serviço de Simulação de Entrada pode ser usado em outros pontos de extremidade da plataforma, como autônomos, alterando a propriedade Plataformas Com Suporte para incluir os destinos desejados.

Controle de câmera

O movimento da cabeça pode ser emulado pelo Serviço de Simulação de Entrada.

Girando a câmera

1. Passe o mouse sobre a janela do editor do visor. Talvez seja necessário clicar na janela para dar a ela foco de entrada se as teclas de botão não funcionarem.
2. Pressione e segure o Botão De Aparência do Mouse (padrão: botão direito do mouse).
3. Mova o mouse na janela do visor para girar a câmera.
4. Use a roda de rolagem para rolar a câmera ao redor da direção do modo de exibição.

A velocidade de rotação da câmera pode ser configurada alterando a configuração Velocidade da Aparência do Mouse no perfil de simulação de entrada.

Como alternativa, use os eixos Look Horizontal/Look Vertical para girar a câmera (padrão: botão direito do controlador de jogo).

Movimentação da câmera

Use os eixos Mover HorizontalMente/Vertical para mover a câmera (padrão: teclas WASD ou botão esquerdo do controlador de jogo).

Os ângulos de rotação e posição da câmera também podem ser definidos explicitamente na janela de ferramentas. A câmera pode ser redefinida para o padrão usando o botão Redefinir .

Simulação do controlador

A simulação de entrada dá suporte a dispositivos de controlador emulados (ou seja, controladores de movimento e mãos). Esses controladores virtuais podem interagir com qualquer objeto que dê suporte a controladores regulares, como botões ou objetos agarráveis.

Modo de simulação do controlador

Na janela ferramentas de simulação de entrada , a configuração Modo de Simulação do Controlador Padrão alterna entre três modelos de entrada distintos. Esse modo padrão também pode ser definido no perfil de simulação de entrada.

• Mãos Articuladas: simula um dispositivo de mão totalmente articulado com dados de posição conjunta.

  Emula HoloLens 2 modelo de interação.

  Interações baseadas no posicionamento preciso da mão ou uso de toque podem ser simuladas nesse modo.

• Gestos de Mão: simula um modelo de mão simplificado com toque de ar e gestos básicos.

  Emula o modelo de interação do HoloLens.

  O foco é controlado usando o ponteiro Gaze. O gesto de Toque no Ar é usado para interagir com botões.

• Controlador de Movimento: simula um controlador de movimento usado com headsets VR que funciona de forma semelhante às interações distantes com as Mãos Articuladas.

  Emula o fone de ouvido VR com o modelo de interação de controladores.

  As teclas de gatilho, captura e menu são simuladas por meio de entrada de teclado e mouse.

Simulando a movimentação do controlador

Pressione e segure a Tecla de Manipulação do Controlador Esquerdo/Direito (padrão: Deslocamento para a Esquerda para o controlador esquerdo e Espaço para o controlador direito) para obter o controle de ambos os controladores. Enquanto a tecla de manipulação é pressionada, o controlador aparecerá no visor. Depois que a chave de manipulação for liberada, os controladores desaparecerão após um curto tempo limite de ocultação do controlador.

Os controladores podem ser alternados e congelados em relação à câmera na janela de ferramentas de simulação de entrada ou pressionando a tecla Desativar o Controlador Esquerdo/Direito (padrão: T para a esquerda e Y para a direita). Pressione a tecla de alternância novamente para ocultar os controladores novamente. Para manipular os controladores, a chave de manipulação do controlador esquerdo/direito precisa ser mantida. Tocar duas vezes na Chave de Manipulação do Controlador Esquerdo/Direito também pode ativar/desativar os controladores.

O movimento do mouse moverá o controlador no plano de exibição. Os controladores podem ser movidos mais ou mais perto da câmera usando a roda do mouse.

Para girar os controladores usando o mouse, segure a Chave de Manipulação do Controlador Esquerdo/Direito (Deslocamento à Esquerda ou Espaço) e o Botão Girar controlador (padrão: botão Ctrl esquerdo ) e mova o mouse para girar o controlador. A velocidade de rotação do controlador pode ser configurada alterando a configuração Velocidade de Rotação do Controlador do Mouse no perfil de simulação de entrada.

Todo o posicionamento manual também pode ser alterado na janela ferramentas de simulação de entrada, incluindo redefinir as mãos para o padrão.

Configurações de perfil adicionais

• O Multiplicador de Profundidade do Controlador controla a sensibilidade do movimento de profundidade da roda de rolagem do mouse. Um número maior acelerará o zoom do controlador.
• Distância padrão do controlador é a distância inicial dos controladores da câmera. Clicar no botão Redefinir controladores também colocará os controladores a essa distância.
• A Quantidade de Tremulação do Controlador adiciona movimento aleatório aos controladores. Esse recurso pode ser usado para simular o acompanhamento impreciso do controlador no dispositivo e garantir que as interações funcionem bem com entrada barulhenta.

Gestos de mão

Gestos de mão, como pinçar, agarrar, cutucar etc. também pode ser simulado.

1. Habilitar o controle manual usando a chave de manipulação do controlador esquerdo/direito (deslocamento à esquerda ou espaço)

2. Durante a manipulação, pressione e segure um botão do mouse para executar um gesto de mão.

Cada um dos botões do mouse pode ser mapeado para transformar a forma da mão em um gesto diferente usando as configurações gesto de mão esquerda/média/direita do mouse . O Gesto padrão da mão é a forma da mão quando nenhum botão é pressionado.

Observação

O gesto pinch é o único gesto que executa a ação "Selecionar" neste ponto.

Manipulação de uma mão

1. Pressione e segure a tecla de manipulação do controlador esquerdo/direito (deslocamento à esquerda ou espaço)
2. Apontar para o objeto
3. Botão Segurar mouse para pinçar
4. Use o mouse para mover o objeto
5. Solte o botão do mouse para interromper a interação

Manipulação de duas mãos

Para manipular objetos com duas mãos ao mesmo tempo, o modo de mão persistente é recomendado.

1. Alterne em ambas as mãos pressionando as teclas de alternância (T/Y).
2. Manipular uma mão de cada vez:
   1. Segure Espaço para controlar a mão direita
   2. Mover a mão para onde você deseja pegar o objeto
   3. Pressione o botão esquerdo do mouse para ativar o gesto de Pinçar .
   4. Libere Espaço para parar de controlar a mão direita. A mão será congelada no lugar e será bloqueada no gesto de Pinçar , pois não está mais sendo manipulada.
3. Repita o processo com a outra mão, agarrando o mesmo objeto em um segundo ponto.
4. Agora que ambas as mãos estão pegando o mesmo objeto, você pode mover qualquer uma delas para executar a manipulação com duas mãos.

Interação GGV (Foco, Gesto e Voz)

Por padrão, a interação de GGV é habilitada no editor enquanto não há mãos articuladas presentes na cena.

1. Girar a câmera para apontar o cursor de foco para o objeto interativo (botão direito do mouse)
2. Clique e segure o botão esquerdo do mouse para interagir
3. Girar a câmera novamente para manipular o objeto

Você pode desativar essa opção alternando a opção É Entrada Livre Habilitada dentro do Perfil de Simulação de Entrada.

Além disso, você pode usar mãos simuladas para interação com GGV

1. Habilitar simulação de GGV alternando o modo de simulação de mão para gestos no perfil de simulação de entrada
2. Girar a câmera para apontar o cursor de foco para o objeto interativo (botão direito do mouse)
3. Segure Espaço para controlar a mão direita
4. Clique e segure o botão esquerdo do mouse para interagir
5. Use o mouse para mover o objeto
6. Solte o botão do mouse para interromper a interação

Gerando eventos de teletransporte

Para gerar o evento de teletransporte na simulação de entrada, defina as Configurações de Gesto da Mão no Perfil de Simulação de Entrada para que um execute o Gesto de Início do Teletransporte enquanto o outro executa o Gesto de Fim do Teletransporte . O gesto de Início do Teletransporte abrirá o Ponteiro de Teletransporte, enquanto a gesure De extremidade do teletransporte concluirá a ação de teletransporte e moverá o usuário.

A posição y do teletransporte resultante depende do deslocamento da câmera ao longo do eixo y. No editor, isso é 0 por padrão, portanto, use as teclas Q e E para ajustá-lo à altura apropriada.

Interação do controlador de movimento

Os controladores de movimento simulados podem ser manipulados da mesma forma que as mãos articuladas. O modelo de interação é semelhante à interação distante da mão articulada enquanto as teclas de gatilho, captura e menu são mapeadas para o botão esquerdo do mouse, tecla G e M , respectivamente.

Acompanhamento ocular

A simulação de acompanhamento ocular pode ser habilitada verificando a opção Simular Posição dos Olhos no Perfil de Simulação de Entrada. Isso não deve ser usado com interações de estilo de controlador de movimento ou GGV (portanto, verifique se o Modo de Simulação do Controlador Padrão está definido como Mão Articulada).

Janela ferramentas de simulação de entrada

Habilite a janela ferramentas de simulação de entrada no menuSimulação de Entrada deUtilitários>do Realidade Misturada>Toolkit>. Essa janela fornece acesso ao estado da simulação de entrada durante o modo de reprodução.

Botões do visor (opcional)

Um pré-fabricado para botões no editor para controlar o posicionamento básico da mão pode ser especificado no perfil de simulação de entrada em Indicadores Pré-fabricado. Esse é um utilitário opcional, os mesmos recursos podem ser acessados na janela ferramentas de simulação de entrada.

Observação

Os indicadores de visor são desabilitados por padrão, pois, às vezes, eles podem interferir nas interações da interface do usuário do Unity. Consulte o problema nº 6106. Para habilitar, adicione o pré-fabricado InputSimulationIndicators ao Pré-fabricado Indicadores.

Os ícones de mão mostram o estado das mãos simuladas:

• A mão não está rastreando. Clique para habilitar a mão.
• A mão é rastreada, mas não controlada pelo usuário. Clique para ocultar a mão.
• A mão é controlada e controlada pelo usuário. Clique para ocultar a mão.
• Clique para redefinir a mão para a posição padrão.

Confira também

• Perfil do sistema de entrada.