Comandos de movimento


Suporte de dispositivos

Funcionalidade HoloLens (1ª geração) HoloLens 2 Auscultadores imersivos
Comandos de movimento ✔️

Detalhes de hardware

Windows Mixed Reality controladores de movimento oferecem um rastreio preciso e responsivo no seu campo de visão utilizando os sensores nos auscultadores imersivos. Não há necessidade de instalar hardware nas paredes do seu espaço. Estes controladores de movimento oferecerão a mesma facilidade de configuração e portabilidade que Windows Mixed Reality auscultadores imersivos. Os nossos parceiros de dispositivos planeiam comercializar e vender estes controladores nas prateleiras de retalho neste feriado.

Conheça o seu controlador
Conheça o seu controlador

Características:

  • Rastreio ótico
  • Acionador
  • Agarre o botão
  • Polegar
  • Touchpad

Configuração

Antes de começar

Precisará:

  • Um conjunto de dois controladores de movimento.
  • Quatro baterias AA.
  • Um PC com suporte Bluetooth 4.0.

Verifique se Windows, Unidade e atualizações do motorista

  • Visite Instalar as ferramentas para as versões preferidas de Windows, Unidade, e assim por diante, para desenvolvimento de realidade mista.
  • Certifique-se de que tem os controladores de auscultadores e de movimento mais atualizados.

Controladores de emparelhamento

Os controladores de movimento podem ser ligados ao PC anfitrião utilizando Windows configurações como qualquer outro dispositivo Bluetooth.

  1. Insira duas pilhas AA na parte de trás do controlador. Deixe a tampa da bateria desligada por enquanto.
  2. Se estiver a utilizar um adaptador de Bluetooth USB externo em vez de um rádio Bluetooth incorporado, reveja as melhores práticas Bluetooth antes de prosseguir. Para a configuração do ambiente de trabalho com rádio incorporado, certifique-se de que a antena está ligada.
  3. Abra Windows Definições - Dispositivos - Adicione Bluetooth ou outro dispositivo - Bluetooth e remova quaisquer instâncias anteriores de "Controlador de movimento – Direita" e "Controlador de movimento – Esquerda". Verifique também Outra categoria de dispositivos na parte inferior da lista.
  4. Selecione Adicione Bluetooth ou outro dispositivo e veja-o começando a descobrir Bluetooth dispositivos.
  5. Pressione e segure o botão Windows do controlador para ligar o controlador, solte-o assim que tocar.
  6. Pressione e segure o botão de emparelhamento (separador no compartimento das pilhas) até os LEDs começarem a pulsar.
  1. Aguarde "Controlador de movimento - Esquerda" ou "Controlador de movimento - À direita" para aparecer na parte inferior da lista. Selecione para emparelhar. O controlador vibrará uma vez quando estiver ligado.

    Imagem: Selecione "Controlador de movimento" para emparelhar; se houver várias instâncias, selecione uma a partir da parte inferior da lista

Selecione o controlador de movimento para emparelhar, se várias instâncias selecionarem uma de aparecer na parte inferior da lista

  1. Verá o controlador aparecer nas definições Bluetooth na categoria "Rato, teclado, caneta" como Connected. Neste momento, poderá obter uma atualização de firmware – consulte a próxima secção.
  2. Voltar a ligar a tampa da bateria.
  3. Repita os passos 1-9 para o segundo controlador.

Depois de emparelhar com sucesso ambos os controladores, as suas definições devem parecer as seguintes, na categoria "Rato, teclado, caneta".

Imagem: Controladores de movimento ligados

Controladores de movimento ligados

Se os controladores forem desligados após o emparelhamento, o seu estado aparecerá como Emparelhado. Para os controladores permanentemente na categoria "Outros dispositivos", o emparelhamento só pode ter sido parcialmente concluído. Neste caso, volte a executar os passos de emparelhamento para obter o controlo funcional.

Atualizar o firmware do controlador

  • Se um auricular imersivo estiver ligado ao seu PC com o novo firmware do controlador, o firmware será automaticamente empurrado para os seus controladores de movimento da próxima vez que os ligar. As atualizações do firmware do controlador são indicadas por um padrão de quadrantes LED iluminantes num movimento circular e demoram 1-2 minutos.
  • Após a conclusão da atualização do firmware, os controladores reiniciarão e reconectar-se-ão. Ambos os controladores devem estar ligados agora.

    Imagem: Controladores ligados em definições Bluetooth

Controladores ligados

Olhar e apontar

Windows Mixed Reality suporta dois modelos-chave para a interação; olhar e comprometer-se e apontar e comprometer- se:

  • Com olhar e comprometer-os utilizadores direcionam um objeto com o seu olhar, e depois selecionam objetos com toques de ar manual, um gamepad, um clicker ou a sua voz.
  • Com o ponto e o compromisso,um utilizador pode apontar um controlador de movimento capaz de apontar para o objeto alvo e, em seguida, selecionar objetos com o gatilho do controlador.

As aplicações que suportam apontar com controladores de movimento também devem permitir interações orientadas para o olhar, sempre que possível, para dar aos utilizadores uma escolha em que dispositivos de entrada utilizam.

Gerir o recuo ao apontar

Ao utilizar controladores de movimento para apontar e comprometer, os seus utilizadores utilizarão o controlador para direcionar e interagir puxando o gatilho. Os utilizadores que puxam o gatilho vigorosamente podem acabar por apontar o controlador mais alto no final da sua atração do gatilho do que pretendiam.

Para gerir qualquer recuo que possa ocorrer quando os utilizadores puxarem o gatilho, a sua aplicação pode estalar o raio de mira quando o valor do eixo analógico do gatilho subir acima de 0.0. Em seguida, pode tomar medidas utilizando o raio-alvo alguns quadros mais tarde, uma vez que o valor do gatilho atinge 1.0, desde que a pressão final ocorra dentro de um curto espaço de tempo. Ao utilizar o gesto de toque compostode nível superior, Windows conseguirá controlar esta captura de raios de destino e tempo limite para si.

Pose de aderência vs. pose apontando

Windows Mixed Reality suporta controladores de movimento em diferentes fatores de forma, com o design de cada controlador a diferir na sua relação entre a posição da mão do utilizador e a direção natural "para a frente" que as aplicações devem usar para apontar ao renderizar o controlador.

Para melhor representar estes controladores, existem dois tipos de poses que pode investigar para cada fonte de interação; a pose de aderência e a pose do ponteiro.

Pose de aperto

A pose de aderência representa a localização da palma de uma mão detetada por um HoloLens, ou a palma segurando um controlador de movimento.

Nos auscultadores imersivos, a pose de aderência é melhor utilizada para tornar a mão do utilizador ou um objeto na mão do utilizador, como uma espada ou uma arma. A pose de aderência também é usada ao visualizar um controlador de movimento, uma vez que o modelo renderizável fornecido por Windows para um controlador de movimento usa a pose de aderência como origem e centro de rotação.

A pose de aderência é definida especificamente da seguinte forma:

  • Posição de aderência: A palma centroid quando segura o controlador naturalmente, ajustado para a esquerda ou direita para centrar a posição dentro da pega. No controlador de movimento Windows Mixed Reality, esta posição geralmente alinha-se com o botão Agarrar.
  • O eixo direito da orientação da aderência: Quando abre completamente a mão para formar uma pose plana de cinco dedos, o raio que é normal à palma da mão (para a frente da palma da esquerda, para trás da palma da direita)
  • O eixo da orientação da aderência: Quando fecha parcialmente a mão (como se segurasse o controlador), o raio que aponta "para a frente" através do tubo formado pelos dedos não polegares.
  • O eixo up da orientação de aderência: O eixo ascendente implícito pelas definições de Direita e Para a Frente.

Pose de ponteiro

A pose do ponteiro representa a ponta do controlador apontando para a frente.

A pose de ponteiro fornecida pelo sistema é melhor utilizada para o raycast quando está a renderizar o próprio modelo do controlador. Se estiver a renderizar algum outro objeto virtual no lugar do controlador, como uma arma virtual, deve apontar com um raio que seja mais natural para esse objeto virtual, como um raio que viaja ao longo do cano do modelo de arma definido pela aplicação. Como os utilizadores podem ver o objeto virtual e não o controlador físico, apontar com o objeto virtual será provavelmente mais natural para quem usa a sua app.

Estado de rastreio do controlador

Tal como os auscultadores, o controlador de movimento Windows Mixed Reality não necessita de configuração de sensores externos de rastreio. Em vez disso, os controladores são rastreados por sensores nos próprios auscultadores.

Se o utilizador tirar os controladores do campo de visão do auricular, na maioria dos casos Windows continuará a inferir posições do controlador e a forneê-los à aplicação. Quando o controlador tiver perdido o rastreio visual durante tempo suficiente, as posições do controlador baixarão para posições de precisão aproximada.

Neste ponto, o sistema irá bloquear o controlador ao utilizador, rastreando a posição do utilizador à medida que se deslocam, enquanto expõe a verdadeira orientação do controlador utilizando os seus sensores de orientação interna. Muitas aplicações que usam controladores para apontar e ativar elementos de UI podem funcionar normalmente enquanto em precisão aproximada sem que o utilizador perceba.


Raciocínio sobre o estado de rastreio explicitamente

As aplicações que desejem tratar posições de forma diferente com base no estado de rastreio podem ir mais longe e inspecionar propriedades no estado do controlador, tais como SourceLossRisk e PositionAccuracy:

Estado de rastreio SourceLossRisk PosiçãoAccuciação TryGetPosition
Alta precisão < 1.0 Alto true
Alta precisão (em risco de perder) == 1.0 Alto true
Precisão aproximada == 1.0 Aproximação true
Sem posição == 1.0 Aproximação false

Estes estados de rastreio do controlador de movimento são definidos da seguinte forma:

  • Alta precisão: Embora o controlador de movimento esteja dentro do campo de visão do auricular, geralmente fornecerá posições de alta precisão, com base no rastreio visual. Um controlador móvel que, momentaneamente, sai do campo de visão ou é momentaneamente obscurecido dos sensores dos auscultadores (por exemplo, por outra mão do utilizador) continuará a devolver poses de alta precisão durante um curto período de tempo, com base no rastreio inercial do próprio controlador.
  • Alta precisão (em risco de perder): Quando o utilizador deslocar o controlador de movimento para além da borda do campo de visão do auricular, o auricular em breve não será capaz de rastrear visualmente a posição do controlador. A aplicação sabe quando o controlador atingiu este limite FOV vendo o SourceLossRisk chegar a 1.0. Nessa altura, a aplicação pode optar por interromper gestos de controlador que requerem um fluxo constante de poses de alta qualidade.
  • Precisão aproximada: Quando o controlador tiver perdido o rastreio visual durante tempo suficiente, as posições do controlador baixarão para posições de precisão aproximada. Neste ponto, o sistema irá bloquear o controlador ao utilizador, rastreando a posição do utilizador à medida que se deslocam, enquanto expõe a verdadeira orientação do controlador utilizando os seus sensores de orientação interna. Muitas aplicações que usam controladores para apontar e ativar elementos de UI podem funcionar normalmente enquanto em precisão aproximada sem que o utilizador perceba. As aplicações com requisitos de entrada mais pesados podem optar por sentir esta queda de alta precisão para precisão Aproximada, inspecionando a propriedade PositionAccuracy, por exemplo, para dar ao utilizador uma caixa de entrada mais generosa em alvos fora do ecrã durante este período.
  • Sem posição: Embora o controlador possa funcionar com uma precisão aproximada durante muito tempo, às vezes o sistema sabe que mesmo uma posição de bloqueio corporal não tem significado no momento. Por exemplo, um controlador que foi ligado pode nunca ter sido observado visualmente, ou um utilizador pode colocar um controlador que é depois recolhido por outra pessoa. Nessas alturas, o sistema não fornecerá qualquer posição à aplicação, e o TryGetPosition devolverá falso.

Interações: Entrada espacial de baixo nível

As interações centrais entre mãos e controladores de movimento são Select, Menu, Grasp,Touchpad,Thumbsticke Home.

  • Select é a interação primária para ativar um holograma, consistindo de uma imprensa seguida de um lançamento. Para controladores de movimento, executa uma prensa Select utilizando o gatilho do controlador. Outras formas de executar um Select são falando o comando de voz "Select". A mesma interação selecionada pode ser usada em qualquer aplicação. Pense em Select como o equivalente a um clique de rato; uma ação universal que aprende uma vez e depois aplica-se em todas as suas aplicações.
  • Menu é a interação secundária para agir em um objeto, usado para puxar um menu de contexto ou tomar alguma outra ação secundária. Com controladores de movimento, pode tomar uma ação de menu utilizando o botão de menu do controlador. (isto é, o botão com o ícone de "menu" de hambúrguer)
  • Compreender é como os utilizadores podem tomar medidas diretas sobre objetos na sua mão para manipulá-los. Com os controladores de movimento, pode fazer uma ação de apreensão apertando o punho com força. Um controlador de movimento pode detetar um Grab com um botão de agarrar, um gatilho da palma da mão ou outro sensor.
  • O touchpad permite ao utilizador ajustar uma ação em duas dimensões ao longo da superfície do touchpad de um controlador de movimento, cometendo a ação clicando no touchpad. Os touchpads fornecem um estado pressionado, estado tocado e coordenadas de XY normalizadas. X e Y variam de -1 a 1 ao longo da gama do touchpad circular, com um centro em (0,0). Para X, -1 é à esquerda e 1 à direita. Para Y, -1 está na parte inferior e 1 está em cima.
  • O polegar permite ao utilizador ajustar uma ação em duas dimensões movendo o polegar de um controlador de movimento dentro da sua gama circular, cometendo a ação clicando no polegar. Os polegares também fornecem um estado prensado e coordenadas XY normalizadas. X e Y variam de -1 a 1 ao longo da gama do touchpad circular, com um centro em (0,0). Para X, -1 é à esquerda e 1 à direita. Para Y, -1 está na parte inferior e 1 está em cima.
  • Home é uma ação especial do sistema que é usada para voltar ao Menu Iniciar. É semelhante a premir a tecla Windows num teclado ou no botão Xbox num controlador Xbox. Pode ir para casa premindo o botão Windows num controlador de movimento. Nota, pode sempre voltar a Começar dizendo "Hey Cortana, Vai para casa". As aplicações não podem reagir especificamente às ações do Home, uma vez que estas são tratadas pelo sistema.

Gestos compósitos: Entrada espacial de alto nível

Tanto os gestos com as mãos como os controladores de movimento podem ser rastreados ao longo do tempo para detetar um conjunto comum de gestos compósitosde alto nível . Isto permite que a sua aplicação detete toquede alto nível , mantenha,manipulação e gestos de navegação, quer os utilizadores acabem por usar mãos ou controladores.

Renderização do modelo do controlador de movimento

Os modelos de controlador 3D Windows disponibiliza às aplicações um modelo renderizável de cada controlador de movimento atualmente ativo no sistema. Ao ter a sua aplicação a carregar e articular estes modelos controladores fornecidos pelo sistema em tempo de execução, pode garantir que a sua aplicação é compatível com o futuro controlador.

Recomendamos a transformação de todos os modelos renderáveis na posição de aderência do controlador, uma vez que a origem do modelo está alinhada com este ponto no mundo físico. Se estiver a renderizar modelos de controlador, poderá então desejar entrar na sua cena a partir da pose do ponteiro, que representa o raio ao longo do qual os utilizadores naturalmente esperam apontar, dado o design físico do controlador.

Para obter mais informações sobre como carregar os modelos do controlador dinamicamente em Unidade, consulte o modelo de controlador de movimento renderizador na secção Unidade.

Arte da linha do controlador 2D Embora recomendemos a anexação de dicas e comandos de controlador na aplicação aos próprios modelos controladores na aplicação, alguns desenvolvedores podem querer usar representações de arte de linha 2D dos controladores de movimento em UI plana "tutorial" ou "como fazer". Para esses desenvolvedores, disponibilizámos .png ficheiros de arte da linha de controlo de movimento disponíveis em preto e branco abaixo (clique certo para guardar).

Pré-visualização da arte da linha dos controladores de movimento

Controladores de movimento de resolução completa alinham arte em ''branco''

Controladores de movimento de resolução completa alinham arte em ''black''

FAQ

Posso emparelhar controladores de movimento a vários computadores?

Os controladores de movimento suportam o emparelhamento com um único PC. Siga as instruções sobre a configuração do controlador de movimento para emparelhar os seus controladores.

Como actualo o firmware do controlador de movimento?

O firmware do controlador de movimento faz parte do controlador de auscultadores e será atualizado automaticamente na ligação, se necessário. As atualizações do firmware normalmente demoram 1-2 minutos dependendo da qualidade de rádio e ligação Bluetooth. Em casos raros, as atualizações do firmware do controlador podem demorar até 10 minutos, o que pode indicar uma fraca conectividade Bluetooth ou interferência sonora. Consulte Bluetooth boas práticas no Guia Entusiasta para resolver problemas de conectividade. Depois de uma atualização do firmware, os controladores reiniciarão e reconectar-se-ão com o PC anfitrião (pode notar que os LEDs ficam brilhantes para rastreio). Se uma atualização do firmware for interrompida (por exemplo, os controladores perdem energia), será novamente tentado da próxima vez que os controladores forem ligados.

Como posso verificar o nível da bateria?

No Windows Mixed Reality casa,pode virar o controlador para ver o nível da bateria no lado inverso do modelo virtual. Não há indicador de nível de bateria física.

Pode usar estes controladores sem auscultadores? Só para a entrada joystick/gatilho/etc?

Não para aplicações de Windows Universal.

Resolução de problemas

Consulte a resolução de problemas do controlador de movimento no Guia Entusiasta.

Arquivamento de feedback/bugs do controlador de movimento

Dê-nos feedback no Feedback Hub, utilizando a categoria "Realidade Mista - Entrada".

Ver também

Os controladores de movimento são acessórios de hardware que permitem que os utilizadores tomem medidas em realidade mista. Uma vantagem dos controladores de movimento sobre os gestos é que os controladores têm uma posição precisa no espaço, permitindo uma interação fina com objetos digitais. Para Windows Mixed Reality auscultadores imersivos, os controladores de movimento são a principal forma de os utilizadores tomarem medidas no seu mundo.

Imagem: Um controlador de movimento Windows Mixed Reality

Controladores de movimento Windows Mixed Reality