Serviço de simulação de entrada – MRTK2

MRTK Input Simulation

Com a simulação de entrada do MRTK, você pode testar vários tipos de interações no editor do Unity sem compilar e implantar em um dispositivo. Isso permite que você itere rapidamente suas ideias no processo de design e desenvolvimento. Use combinações de teclado e mouse para controlar as entradas simuladas.

O Serviço de Simulação de Entrada emula o comportamento de dispositivos e plataformas que podem não estar disponíveis no editor do Unity. Os exemplos incluem:

  • Rastreamento da cabeça no dispositivo HoloLens ou VR
  • Gestos de mão no HoloLens
  • Acompanhamento articulado da mão no HoloLens 2
  • acompanhamento ocular HoloLens 2
  • Controladores de dispositivo VR

Aviso

Isso não funciona ao usar o modo de emulação de emulação > holográfica XR do Unity = "Simular no Editor". A simulação no editor do Unity tirará o controle da simulação de entrada do MRTK. Para usar o serviço de simulação de entrada mrtk, você precisará definir a Emulação Holográfica XR para o Modo de Emulação = "Nenhum"

Como usar a simulação de entrada do MRTK

A simulação de entrada é habilitada por padrão nos perfis que são fornecidos com o MRTK. Você pode simplesmente clicar no botão Reproduzir para executar a cena com suporte à simulação de entrada.

  • Pressione as teclas W, A, S, D, Q, Epara mover a câmera.
  • Mantenha o Botão direito do mouse pressionado e mova o mouse para examinar.
  • Para exibir as mãos simuladas, pressione Barra de espaço (à direita) ou tecla SHIFT esquerda
  • Para manter as mãos simuladas no modo de exibição, pressione as teclas T ou Y
  • Para girar as mãos simuladas, pressione e segure a tecla Ctrl e mova o mouse

Na folha de referência de simulação de entrada do editor

Pressione Ctrl à Esquerda + H na cena HandInteractionExamples para criar uma folha de trapaça com controles de simulação de entrada.

MRTK Input Simulation Cheat Sheet

Habilitando o serviço de simulação de entrada

Na configuração do provedor de dados do sistema de entrada, o serviço de Simulação de Entrada pode ser configurado com o seguinte.

  • O tipo deve ser Microsoft.MixedReality.Toolkit. InputSimulationService de entrada>.
  • Por padrão, as plataformas compatíveis incluem todas as plataformas do Editor, já que o serviço usa entrada de teclado e mouse.

Observação

O serviço de Simulação de Entrada pode ser usado em outros pontos de extremidade de plataforma, como autônomos, alterando a propriedade plataforma com suporte para incluir os destinos desejados.
Input Simulation Supported Platforms

controle Câmera

O movimento da cabeça pode ser emulado pelo Serviço de Simulação de Entrada.

Girar a câmera

  1. Passe o mouse sobre a janela do editor do visor. Talvez seja necessário clicar na janela para dar a ela o foco de entrada se as teclas de botão não funcionarem.
  2. Pressione e segure o Botão de Aparência do Mouse (padrão: botão direito do mouse).
  3. Mova o mouse na janela do visor para girar a câmera.
  4. Use a roda de rolagem para rolar a câmera ao redor da direção do modo de exibição.

Câmera velocidade de rotação pode ser configurada alterando a configuração de Velocidade de Aparência do Mouse no perfil de simulação de entrada.

Como alternativa, use os eixos Look Horizontal/Look Vertical para girar a câmera (padrão: botão direito do controlador de jogo).

Movimentação da câmera

Use os eixos Move Horizontal/Move Vertical para mover a câmera (padrão: teclas WASD ou thumbstick esquerdo do controlador de jogo).

Câmera ângulos de posição e rotação também podem ser definidos explicitamente na janela de ferramentas. A câmera pode ser redefinida para seu padrão usando o botão Redefinir .

Simulação do controlador

A simulação de entrada dá suporte a dispositivos de controlador emulado (ou seja, controladores de movimento e mãos). Esses controladores virtuais podem interagir com qualquer objeto que dê suporte a controladores regulares, como botões ou objetos agarráveis.

Modo de simulação do controlador

Na janela de ferramentas de simulação de entrada , a configuração do Modo de Simulação do Controlador Padrão alterna entre três modelos de entrada distintos. Esse modo padrão também pode ser definido no perfil de simulação de entrada.

  • Mãos Articuladas: simula um dispositivo de mão totalmente articulado com dados de posição conjunta.

    Emula HoloLens modelo de interação 2.

    As interações baseadas no posicionamento preciso da mão ou no toque de uso podem ser simuladas nesse modo.

  • Gestos de Mão: simula um modelo de mão simplificado com toque de ar e gestos básicos.

    Emula HoloLens modelo de interação.

    O foco é controlado usando o ponteiro Gaze. O gesto de Toque no Ar é usado para interagir com botões.

  • Controlador de Movimento: simula um controlador de movimento usado com headsets VR que funciona de forma semelhante a interações distantes com Mãos Articuladas.

    Emula o fone de ouvido VR com o modelo de interação de controladores.

    As teclas de gatilho, captura e menu são simuladas por meio de entrada de teclado e mouse.

Simulando a movimentação do controlador

Pressione e segure a Tecla de Manipulação do Controlador Esquerdo/Direito (padrão: Shift esquerdo para o controlador esquerdo e Espaço para o controlador direito) para obter o controle de qualquer controlador. Enquanto a tecla de manipulação é pressionada, o controlador aparecerá no visor. Depois que a chave de manipulação for liberada, os controladores desaparecerão após um curto tempo limite de ocultação do controlador.

Os controladores podem ser ativados e congelados em relação à câmera na janela de ferramentas de simulação de entrada ou pressionando a tecla De alternância Esquerda/Direita (padrão: T para a esquerda e Y para a direita). Pressione a tecla de alternância novamente para ocultar os controladores novamente. Para manipular os controladores, a Chave de Manipulação do Controlador Esquerdo/Direito precisa ser mantida. Tocar duas vezes na chave de manipulação do controlador esquerdo/direito também pode ativar/desativar os controladores.

O movimento do mouse moverá o controlador no plano de exibição. Os controladores podem ser movidos mais ou mais perto da câmera usando a roda do mouse.

Para girar os controladores usando o mouse, mantenha pressionada a chave de manipulação do controlador esquerdo/direito (deslocamento à esquerda ou espaço) e o botão Girar controlador (padrão: botão Ctrl esquerdo ) e mova o mouse para girar o controlador. A velocidade de rotação do controlador pode ser configurada alterando a configuração velocidade de rotação do controlador do mouse no perfil de simulação de entrada.

Todo o posicionamento manual também pode ser alterado na janela de ferramentas de simulação de entrada, incluindo a redefinição das mãos para o padrão.

Configurações de perfil adicionais

  • O Multiplicador de Profundidade do Controlador controla a sensibilidade do movimento de profundidade da roda de rolagem do mouse. Um número maior acelerará o zoom do controlador.
  • Distância padrão do controlador é a distância inicial dos controladores da câmera. Clicar nos controladores de botão Redefinir também colocará os controladores a essa distância.
  • A Quantidade de Tremulação do Controlador adiciona movimento aleatório aos controladores. Esse recurso pode ser usado para simular o acompanhamento impreciso do controlador no dispositivo e garantir que as interações funcionem bem com entradas ruivas.

Gestos de mão

Gestos de mão, como beliscar, agarrar, cutucar, etc. também podem ser simulados.

  1. Habilitar o controle manual usando a chave de manipulação do controlador esquerdo/direito (deslocamento à esquerda ou espaço)

  2. Durante a manipulação, pressione e segure um botão do mouse para executar um gesto de mão.

Cada um dos botões do mouse pode ser mapeado para transformar a forma da mão em um gesto diferente usando as configurações de Gesto da Mão esquerda/média/direita do mouse . O Gesto de Mão Padrão é a forma da mão quando nenhum botão é pressionado.

Observação

O gesto Pinch é o único gesto que executa a ação "Selecionar" neste momento.

Manipulação de uma mão

  1. Pressione e mantenha pressionada a tecla de manipulação do controlador esquerdo/direito (deslocamento à esquerda ou espaço)
  2. Apontar para o objeto
  3. Segure o botão do mouse para pinçar
  4. Use o mouse para mover o objeto
  5. Liberar o botão do mouse para interromper a interação

Manipulação em duas mãos

Para manipular objetos com duas mãos ao mesmo tempo, o modo de mão persistente é recomendado.

  1. Alterne em ambas as mãos pressionando as teclas de alternância (T/Y).
  2. Manipular uma mão de cada vez:
    1. Segure Espaço para controlar a mão direita
    2. Mover a mão para onde você deseja pegar o objeto
    3. Pressione o botão esquerdo do mouse para ativar o gesto Pinch.
    4. Libere Espaço para parar de controlar a mão direita. A mão será congelada no lugar e será bloqueada no gesto Pinch , pois ela não está mais sendo manipulada.
  3. Repita o processo com a outra mão, agarrando o mesmo objeto em um segundo ponto.
  4. Agora que ambas as mãos estão agarrando o mesmo objeto, você pode mover qualquer uma delas para executar a manipulação com duas mãos.

Interação GGV (Olhar, Gesto e Voz)

Por padrão, a interação GGV é habilitada no editor enquanto não há mãos articuladas presentes na cena.

  1. Girar a câmera para apontar o cursor de foco para o objeto interacionável (botão direito do mouse)
  2. Clique e segure o botão esquerdo do mouse para interagir
  3. Girar a câmera novamente para manipular o objeto

Você pode desativar isso alternando a opção Habilitada para Entrada Livre à Mão dentro do Perfil de Simulação de Entrada.

Além disso, você pode usar as mãos simuladas para interação GGV

  1. Habilitar simulação de GGV alternando o Modo de Simulação de Mão para Gestos no Perfil de Simulação de Entrada
  2. Girar a câmera para apontar o cursor de foco para o objeto interacionável (botão direito do mouse)
  3. Segure Espaço para controlar a mão direita
  4. Clique e segure o botão esquerdo do mouse para interagir
  5. Use o mouse para mover o objeto
  6. Liberar o botão do mouse para interromper a interação

Gerando eventos de teletransporte

Para gerar o evento de teletransporte na simulação de entrada, configure o Gesto da Mão Configurações no Perfil de Simulação de Entrada para que um execute o Gesto de Início do Teletransporte enquanto o outro executa o Gesto de Extremidade do Teletransporte. O gesto iniciar teletransporte abrirá o Ponteiro de Teletransporte, enquanto o gesure De Extremidade do Teletransporte concluirá a ação de teletransporte e moverá o usuário.

A posição y do teletransporte resultante depende do deslocamento da câmera ao longo do eixo y. No editor, isso é 0 por padrão, portanto, use as teclas Q e E para ajustá-la à altura apropriada.

Input Simulation Teleport Settings

Interação do controlador de movimento

Os controladores de movimento simulados podem ser manipulados da mesma forma que as mãos articuladas. O modelo de interação é semelhante à interação distante da mão articulada, enquanto as teclas gatilho, captura e menu são mapeadas para o botão esquerdo do mouse, tecla G e M , respectivamente.

Acompanhamento ocular

A simulação de acompanhamento ocular pode ser habilitada verificando a opção Simular Posição Ocular no Perfil de Simulação de Entrada. Isso não deve ser usado com interações de estilo de controlador de movimento ou GGV (portanto, verifique se o modo de simulação do controlador padrão está definido como Mão Articulada).

Janela ferramentas de simulação de entrada

Habilite a janela de ferramentas de simulação de entrada do menu Realidade Misturada>Toolkit>Utilities>Input Simulation. Essa janela fornece acesso ao estado da simulação de entrada durante o modo de reprodução.

Botões de visor (opcional)

Um pré-fabricado para botões no editor para controlar o posicionamento básico das mãos pode ser especificado no perfil de simulação de entrada em Indicadores Pré-fabricados. Esse é um utilitário opcional, os mesmos recursos podem ser acessados na janela de ferramentas de simulação de entrada.

Observação

Os indicadores de visor são desabilitados por padrão, pois atualmente podem interferir nas interações da interface do usuário do Unity. Consulte o problema nº 6106. Para habilitar, adicione o pré-fabricado InputSimulationIndicators ao Prefab indicators.

Ícones de mão mostram o estado das mãos simuladas:

  • Untracked hand icon A mão não está rastreando. Clique para habilitar a mão.
  • Tracked hand icon A mão é rastreada, mas não controlada pelo usuário. Clique para ocultar a mão.
  • Controlled hand icon A mão é controlada e controlada pelo usuário. Clique para ocultar a mão.
  • Reset hand icon Clique para redefinir a mão para a posição padrão.

Veja também