Entrada avançada HoloLens Emulator e simulador de realidade mista

A maioria dos utilizadores de emuladores apenas terá de utilizar os controlos básicos de entrada para o HoloLens Emulator ou o simulador de Windows Mixed Reality. Os detalhes abaixo são para utilizadores avançados que encontraram a necessidade de simular tipos de entrada mais complexos.

Conceitos

Para começar a controlar a entrada virtual para o HoloLens Emulator e Windows Mixed Reality simulador, você deve primeiro entender alguns conceitos.

Movimento refere-se a controlar e alterar a posição e orientação de algo na cena. Para um objeto controlável direcionado, o movimento é controlado tanto com rotação como com tradução (movimento) ao longo de três eixos.

  • Bocejo:Vire à esquerda ou à direita.
  • Pitch: Vire para cima ou para baixo.
  • Rolo: Rolar de um lado para o outro.
  • X: Mova-se para a esquerda ou para a direita.
  • Y: Mova-se para cima ou para baixo.
  • Z:Avance ou recue.

A entrada do controlador de gestos e movimentos é mapeada de perto para dispositivos físicos:

  • Ação: Simula a ação de pressionar o dedo indicador no polegar ou de puxar o botão de ação num controlador. Por exemplo, a entrada Action pode ser usada para simular o gesto de toque de ar, para deslocar o conteúdo e para pressionar e segurar.
  • Bloom/System gesture ou Home: O HoloLens gesto de bloom/sistema ou o botão Home de um controlador é usado para voltar à concha e para disparar ações do sistema.

As mãos têm uma representação rica em HoloLens 2. Além de ser rastreado/não rastreado e utilizável para gestos de condução, as mãos têm agora um modelo de esqueleto articulado adequado a eles e exposto ao desenvolvedor. O modelo esqueleto tem 26 pontos seguidos em cada mão.

  • Articulação: Uma das 20 posições rastreadas para uma dada mão rastreada com um ponto associado em espaço 3d.
  • Pose: Uma coleção completa de todas as articulações numa mão rastreada, 26 juntas no total.

Atualmente, não expomos o controlo direto de posições articulares individuais através do emulador, mas pode defini-las através da simulação API. Temos um conjunto de poses representativas úteis que o emulador permite que você alterne entre.

Também pode controlar o estado da entrada do sensor simulado:

  • Reset: Devolve todos os sensores simulados aos seus valores predefinidos. Começando pelo HoloLens 2 Emulator, um reset pode ser examinado para uma ou ambas as mãos. Engate as mãos desejadas utilizando a ou as teclas modificadoras ou botões (Esquerda e/ou Direita Alt, ou o para-choques esquerdo e/ou direito no gamepad).
  • Rastreio: Ciclos através dos modos de rastreio posicional, incluindo:
    • Predefinição: O SISTEMA escolhe o melhor modo de rastreio com base nos pedidos feitos do sistema.
    • Orientação: Força o rastreio apenas de orientação, independentemente dos pedidos do sistema.
    • Posicional: Força o rastreio posicional, independentemente dos pedidos do sistema.

Tipos de entrada

A tabela que se segue mostra como cada tipo de mapas de entrada para o teclado, rato e controlador Xbox. Cada tipo tem um mapeamento diferente dependendo do modo de controlo de entrada. Pode encontrar mais informações sobre os modos de controlo de entradas mais tarde neste documento.

Entrada Teclado Rato Controlador Xbox
Rio Yaw Setas esquerda/direita Arrastar para a esquerda / Direita Polegar direito à esquerda / direita
Pitch Setas para cima / para baixo Arrastar para cima / para baixo Polegar direito para cima / para baixo
Rolo Q / E DPad à esquerda / à direita
X A / D Polegar esquerdo esquerdo / direita
Y Página para cima / página para baixo DPad para cima / para baixo
Z W/ S Polegar esquerdo para cima / para baixo
Ação Entrar ou espaço Botão direito Um botão ou um gatilho
Bloom/Sistema Chave F2 ou Windows Botão B
Botão de aderência do controlador / Aperto de mão G
Botão de menu do controlador M
Toque de touchpad do controlador U
Prensa de touchpad do controlador P
Prensa de polegar do controlador K
Estado de rastreio do controlador esquerdo F9
Estado de rastreio do controlador direito F10
Pose 'Perto' da Mão 7
Pose 'Aberta' da Mão (padrão) 8
Pose de mão 'Point' 9
Pose de mão 'Pinch' 0
Repor Chave de fuga Botão Iniciar
Controlo T ou F3 Botão X

Nota: Os botões do controlador podem ser direcionados para uma mão/controlador ou para a outra utilizando os modificadores de mira manual.

Segmentagem

Alguns dos conceitos de entrada acima estão por si sós. Ação, Bloom/System, Reset e Tracking são conceitos completos, não precisam e não são afetados por quaisquer modificadores adicionais para segmentar. Os restantes conceitos podem ser aplicados a um dos múltiplos alvos. Introduzimos formas de especificar a que alvo pretendido deve ser aplicado. Em todos os casos, é possível especificar através da UI ou através de prensas de teclado, que se opõem ao alvo. Em alguns casos, também é possível especificar diretamente com o comando Xbox.

A tabela seguinte descreve as opções de segmentagem e a forma de ativar cada uma delas.

Objeto Modificador de teclado Modificador controlador modificador de UI Emulator
Corpo (Predefinição) (Predefinição) (Predefinição)
Head Manter H (Não disponível) (Não disponível)
Mão esquerda/controlador Mantenha o botão Left Alt Mantenha o botão do ombro esquerdo Left-Hand de empurrar
Mão direita/controlador Mantenha o botão Alt direito Mantenha o botão do ombro direito Right-Hand de empurrar
Olhos Hold Y (Não disponível) Olhos Pushpin

A tabela a seguir mostra como cada modificador de alvo mapeia cada um dos conceitos de entrada de movimento do núcleo

Entrada Padrão (Corpo) Mão/controlador (Segure Alt, segure o botão do ombro do gamepad ou altere o pino do UI) Cabeça (Hold H) Olhos (Segure Y ou altere o pushpin UI)
Rio Yaw Vire o corpo para a esquerda / à direita Mover a mão esquerda / direita Vire a cabeça para a esquerda / direita Olhar olhar para a esquerda/direita
Pitch Vire a cabeça para cima / para baixo Mover a mão para cima / para baixo Vire a cabeça para cima / para baixo Olhar de olhos olha para cima/para baixo
Rolo Rolar cabeça para a esquerda / direita Rolar cabeça para a esquerda / direita (Sem ação)
X Deslize corpo para a esquerda / direita Mover mão/controlador para a esquerda / direita Vire a cabeça para a esquerda / direita (Sem ação)
Y Mover o corpo para cima / para baixo Mover mão/controlador para cima / para baixo Vire a cabeça para cima / para baixo (Sem ação)
Z Mover o corpo para a frente / para trás Mover a mão/controlador para a frente / para trás Vire a cabeça para cima / para baixo (Sem ação)

Controlar uma aplicação

É sugerido o seguinte conjunto de controlos para a utilização diária:

Operação Teclado e rato Controlador
Corpo X A / D Polegar esquerdo esquerdo / direita
Corpo Y Página para cima / página para baixo DPad para cima / para baixo
Corpo Z W/ S Polegar esquerdo para cima / para baixo
Yaw corpo Arrastar rato para a esquerda / direita Polegar direito à esquerda / direita
Cabeça Yaw H + arrastar rato para a esquerda / direita H (no Teclado) + polegar direito esquerdo / direito
Pitch de cabeça Arrastar rato para cima / para baixo Polegar direito para cima / para baixo
Rolo de cabeça Q / E DPad à esquerda / à direita
Mão/Controlador X Alt + A / D Ombro + polegar esquerdo esquerdo / direito
Mão/Controlador Y Alt + Página para cima / página para baixo Ombro + DPad para cima / para baixo
Mão/Controlador Z Alt + W / S Ombro + Polegar esquerdo para cima / para baixo
Yaw mão/controlador Alt + arrastar rato para a esquerda / direita Ombro + polegar direito esquerdo / direito
Pitch mão/controlador Alt + arrastar o rato para cima / para baixo Ombro + polegar direito para cima / para baixo
Rolo de mão/controlador Alt + Q / E Ombro + DPad à esquerda / à direita
Ação Botão de rato direito Acionador
Bloom / Sistema / Casa Chave F2 ou Windows Botão B
Repor Esc Botão Iniciar
Controlo T Botão X
Scrolling Botão de rato direito Alt + arrastar o rato para cima / para baixo Ombro + gatilho + polegar direito para cima / para baixo
Mova-se/rode mais rápido Chave de mudança esquerda ou direita Pressione e segure o polegar direito
Mova/rode devagar Chave ctrl esquerda ou direita Pressione e segure o polegar esquerdo

Utilizando um Windows Mixed Reality auscultadores imersivos e controladores de movimento com o HoloLens 2 Emulator

Quando se utiliza um auricular Windows Mixed Reality imersivo com o HoloLens 2 Emulator, o movimento e a rotação são automaticamente mapeados para o movimento e rotação dos auscultadores. A posição e orientação do controlador de movimento são automaticamente mapeadas para a posição e orientação da mão no emulador. A tabela abaixo lista as ações adicionais disponíveis quando se utiliza um controlador de movimento.

Nota

Quando se utiliza um auricular, os comandos padrão do teclado, do rato e do gamepad são automaticamente ignorados.

Operação Ação Notas
Corpo X Polegar esquerdo / direito
Corpo Z Polegar para a frente / para trás
Corpo Y Página de teclado para cima /para baixo Certifique-se de que Windows Mixed Reality tem foco. Prima Win+Y se o foco estiver no Windows Desktop para voltar a concentrar-se no Windows Mixed Reality.
Olhos olhar para a esquerda / Direita DPad Esquerda / Direita
Olhos olhar para cima / para baixo DPad Para cima / Para baixo
Toque Acionador
Pinch/Agarre Botão de aderência
Gesto do Sistema Botão de menu
Posição de reset Clique de polegar

Atalhos de teclado do painel de controlo de simulação de perceção

Pode aceder ao painel de Controlo de Simulação de Perceção e ativar ou desativar dispositivos de entrada para PC com os seguintes atalhos de teclado.

Operação Atalho Descrição/Notas
Toggle 'Use teclado para simulação' F4 Quando desligado, a entrada do teclado vai para a aplicação HoloLens ou Windows Mixed Reality.
Toggle 'Use mouse for simulation' F5 Quando desligado, a entrada do rato vai para o ambiente de Realidade Mista (apenas Windows Mixed Reality)
Toggle 'Use gamepad para simulação' F6 Quando desligado, a entrada do gamepad é ignorada por simulação
Mostrar ou esconder o painel de controlo F7
Desafoque o teclado para o painel de controlo F8 Se o painel não estiver atualmente visível, será mostrado primeiro.
Doca ou desancora o painel de/para a janela do Emulador ou do Portal da Realidade Mista F9 Se a janela estiver fechada quando desancorada, está ancorada e escondida.

Ver também