Entrada de voz em Irreal

A entrada de voz em Unreal permite interagir com um holograma sem ter de usar gestos com as mãos e só é suportada HoloLens 2. A entrada de voz no HoloLens 2 é alimentada pelo mesmo motor que suporta a fala em todas as outras Aplicações de Windows Universal, mas a Unreal usa um motor mais limitado para processar a entrada de voz. Isto limita as funcionalidades de entrada de voz em Unreal a mapeamentos de fala predefinidos, que são cobertos nas seguintes secções.

Habilitar o reconhecimento da fala

Se utilizar Windows Mixed Reality Plugin, a entrada de voz não requer nenhuma APIs especial Windows Mixed Reality; é construída sobre a API de mapeamento de entrada unreal existente. Se utilizar o OpenXR, deverá ainda instalar plugin Microsoft OpenXR.

Para permitir o reconhecimento da fala em HoloLens:

  1. Selecione Project Definições >> capacidades de HoloLens plataforma e ative o >.
  2. Habilitado reconhecimento de voz em Definições Privacy > Speech e selecione >.

Nota

O reconhecimento da fala funciona sempre na Windows apresentar o idioma configurado na aplicação Definições. Recomenda-se que também permita o reconhecimento de voz online para a melhor qualidade do serviço.

Windows Speech recognition settings

  1. Aparecerá um diálogo quando a aplicação começar a perguntar se pretende ativar o microfone. Selecionar Sim inicia a entrada de voz na aplicação.

Adicionar mapeamentos de discurso

Ligar a fala à ação é um passo importante quando se utiliza a entrada de voz. Estes mapeamentos monitorizam a aplicação para palavras-chave de voz que um utilizador pode dizer, e depois disparam uma ação ligada. Pode encontrar mapeamentos de discurso:

  1. Selecionando editar Project Definições, deslocando-se para a secção do motor e clicando em Entrada.

Para adicionar um novo Mapa de Discursos para um comando de salto:

  1. Selecione o + ícone ao lado dos + e preencha os seguintes valores:
    • palavra de salto para nome de ação
    • salto para palavra-chave de discurso

Nota

Qualquer palavra(s) ou frase curta em inglês pode ser usada como palavra-chave.

UE4 Engine Input Settings

Os mapeamentos da fala podem ser usados como componentes de entrada, como Mapeamentos de Ação ou Eixos ou como nós de planta no Graph de Eventos. Por exemplo, pode ligar o comando de salto para imprimir dois registos diferentes dependendo de quando a palavra é falada:

  1. Clique duas vezes numa planta para abri-la no Graph de Eventos.
  2. Clique à direita e procure o Nome de Ação do seu mapeamento de voz (neste caso jumpWord), em seguida, clique em Enter para adicionar um nó de Entrada Action no gráfico.
  3. Arraste e deixe cair o pino pressionado para imprimir o nó de corda, como mostrado na imagem abaixo. Pode deixar o pino solto vazio, não executará nada para mapeamentos de discursos.

Simple action for voice

  1. Jogue a aplicação, diga a palavra salto,e veja a consola imprimir os registos!

É toda a configuração que precisa para começar a adicionar entrada de voz às suas aplicações HoloLens em Unreal. Pode encontrar mais informações sobre a fala e interatividade nos links abaixo, e não se esqueça de pensar na experiência que está a criar para os seus utilizadores.

Próximo checkpoint de desenvolvimento

Se você está seguindo a jornada de desenvolvimento irreal que estabelecemos, a próxima tarefa é explorar as capacidades da plataforma de Realidade Mista e APIs:

Podes sempre voltar aos postos de controlo de desenvolvimento irreais a qualquer momento.

Ver também