4. Tornar a sua cena interativa

No tutorial anterior, adicionou uma ARSession, Penhor e Modo de Jogo para concluir a configuração da realidade mista para a aplicação de xadrez. Esta secção centra-se na utilização do plug-in ferramentas do open source Mixed Reality Toolkit UX, que fornece ferramentas para tornar a cena interativa. No final desta secção, as peças de xadrez serão movidas pela entrada do utilizador.

Objetivos

• Instalar o plug-in Mixed Reality UX Tools
• Adicionar Atores de Interação da Mão à ponta dos dedos
• Criar e adicionar manipuladores a objetos na cena
• Utilizar a simulação de entrada para validar o projeto

Transferir o plug-in Mixed Reality UX Tools

Antes de começar a trabalhar com a entrada do utilizador, terá de adicionar o plug-in Mixed Reality UX Tools ao projeto. Para saber mais sobre as Ferramentas de EXPERIÊNCIA, pode consultar o projeto no GitHub.

1. Abra o Iniciador de Jogos Épicos. Navegue para Unreal Engine Marketplace e procure "Mixed Reality UX Tools". Instale o plug-in no motor.

2. Novamente no editor Unreal, aceda aPlug-insde Definições> do Projeto e procure "ferramentas Mixed Reality UX". Certifique-se de que o plug-in está ativado e reinicie o editor, se lhe for pedido.

3. O plug-in UXTools tem uma pasta Conteúdo com subpastas para componentes, incluindo Botões, Simulação XR e Ponteiros, e uma pasta classes C++ com código adicional.

Nota

Se não vir a secção Conteúdo do UXTools no Browser de Conteúdos, selecione Ver Opções > Mostrar Conteúdo do Motor e *Ver Opções > Mostrar Conteúdo do Plug-in.

Pode encontrar documentação de plug-in adicional no repositório do GitHub Mixed Reality UX Tools.

Com o plug-in instalado, está pronto para começar a utilizar as ferramentas que tem para oferecer, começando pelos atores de interação manual.

Atores de Interação manual de desova

A interação manual com elementos UX é feita com a Hand Interaction Actors, que cria e conduz os ponteiros e os elementos visuais para interações próximas e distantes.

• Interações próximas – aproximar os elementos entre o dedo indicador e o polegar ou ao espetá-los com a ponta do dedo.
• Interações distantes - apontar um raio da mão virtual para um elemento e premir índice e polegar juntos.

No nosso caso, a adição de um Ator de Interação Entre Mãos ao MRPawn irá:

• Adicione um cursor às pontas dos dedos de índice do Peão.
• Forneça eventos de introdução de mão articulados que podem ser manipulados através do Peão.
• Permitir eventos de entrada de interação distantes através de raios de mão que se estendem a partir das palmas das mãos virtuais.

Recomendamos que leia a documentação sobre as interações manumédias antes de continuar.

Assim que estiver pronto, abra o Esquema MRPawn e aceda ao Gráfico de Eventos.

1. Arraste e solte o pin de execução de Event BeginPlay para colocar um novo nó.

   • Selecione Gerar Ator na Classe, clique no menu pendente junto ao pin da Classe e procure Uxt Hand Interaction Actor.

2. Desova um segundo Ator de Interação com Mão Uxt, desta vez definindo a Mão para a Direita. Quando o evento começar, será gerado um Actor de Interação Mão Uxt em cada mão.

O Gráfico de Eventos deve corresponder à seguinte captura de ecrã:

Ambos os Uxt Hand Interaction Actors precisam de proprietários e localizações de transformação iniciais. Neste caso, a transformação inicial não importa porque as Ferramentas de UX terão os Hand Interaction Actors a saltar para as mãos virtuais assim que estiverem visíveis. No entanto, a SpawnActor função requer uma entrada Transformar para evitar um erro de compilador, pelo que irá utilizar os valores predefinidos.

1. Arraste e solte o pino de um dos pinos Desovar Transformação para colocar um novo nó.

   • Procure o nó Transformar e , em seguida, arraste o Valor devolvido para a Transformação de Desova do outro lado para que ambos os nós Desova estejam ligados.

2. Selecione a seta para baixo na parte inferior de ambos os nós SpawnActor para revelar o pin proprietário .

   • Arraste o pino de um dos pinos do Proprietário e solte-o para colocar um novo nó.
   • Procure por si próprio e selecione Obter uma referência para a variável auto .
   • Crie uma ligação entre o nó Referência de objetos autónomos e o pin Proprietário do Ator de Interação manual.

3. Por fim, selecione a caixa Mostrar Perto do Cursor em Agarrar Alvos para ambos os Atores de Interação manual. Um cursor deve aparecer no destino de captura à medida que o dedo indicador se aproxima, para que possa ver onde o dedo é relativo ao destino.

   • Compile, guarde e regresse à janela Principal.

Certifique-se de que as ligações correspondem à seguinte captura de ecrã, mas não hesite em arrastar os nós para tornar o Esquema mais legível.

Pode encontrar mais informações sobre Os Atores de Interação Manual na documentação das Ferramentas da EXPERIÊNCIA.

Agora, as mãos virtuais no projeto têm uma forma de selecionar objetos, mas continuam a não conseguir manipulá-los. A sua última tarefa antes de testar a aplicação é adicionar componentes manipuladores aos atores na cena.

Anexar Manipuladores

Um Manipulador é um componente que responde à introdução articulada da mão e pode ser agarrado, rodado e traduzido. Aplicar a transformação do Manipulador a uma transformação de Atores permite manipulação direta do Ator.

1. Abra o esquema Quadro , clique em Adicionar Componente e procure Uxt Generic Manipulator no painel Componentes .

2. Expanda a secção Manipulador Genérico no painel Detalhes . Pode definir manipulação com uma mão ou duas mãos, modo de rotação e suavização a partir daqui. Pode selecionar os modos que quiser e, em seguida, Compilar e Guardar Quadro.

3. Repita os passos acima para o WhiteKing Actor.

Pode encontrar mais informações sobre os Componentes do Manipulador fornecidos no plug-in ferramentas da Mixed Reality UX na documentação.

Testar a cena

Boas notícias para todos! Está pronto para testar a aplicação com as suas novas mãos virtuais e entradas de utilizador. Prima Reproduzir na Janela Principal e verá duas mãos de malha com raios que se estendem a partir da palma da mão de cada mão. Pode controlar as mãos e as respetivas interações da seguinte forma:

• Mantenha premida a tecla Alt esquerda para controlar a mão esquerda e a tecla Shift esquerda para controlar a mão direita.
• Mova o rato para mover a mão e desloque-se com a roda do rato para mover a mão para a frente ou para trás.
• Utilize o botão esquerdo do rato para aproximar os dedos e o botão central do rato para picar.

Nota

A simulação de entrada poderá não funcionar se tiver vários auscultadores ligados ao PC. Se estiver a ter problemas, experimente desligar os outros auscultadores.

Experimente usar as mãos simuladas para pegar, mover e definir o rei do xadrez branco e manipular o quadro! Experimente com interação próxima e distante - repare que quando as suas mãos se aproximam o suficiente para agarrar a prancha e o rei diretamente, um cursor de dedo na ponta do dedo indicador substitui o raio da mão.

Pode encontrar mais informações sobre a funcionalidade mãos simuladas fornecida pelo plug-in Ferramentas de UX do MRTK na documentação.

Agora que as suas mãos virtuais podem interagir com objetos, está pronto para avançar para o próximo tutorial e adicionar interfaces de utilizador e eventos.

Secção Seguinte: 5. Adicionar um botão & repor localizações de peças