Entrada de voz no Unreal
A entrada de voz no Unreal permite que você interaja com um holograma sem precisar usar gestos de mão e só tem suporte HoloLens 2. A entrada de voz em HoloLens 2 é alimentada pelo mesmo mecanismo que dá suporte à fala em todos os outros Aplicativos Universais do Windows, mas o Unreal usa um mecanismo mais limitado para processar a entrada de voz. Isso limita os recursos de entrada de voz no Unreal a mapeamentos de fala predefinidos, que são abordados nas seções a seguir.
Habilitando o reconhecimento de fala
Se você usar Windows Mixed Reality Plug-in, a entrada de voz não exigirá nenhuma APIs de Windows Mixed Reality especiais; ela é criada na API de mapeamento de entrada do Unreal Engine 4 existente. Se você usar o OpenXR, também deverá instalar o plug-in do Microsoft OpenXR.
Para habilitar o reconhecimento de fala no HoloLens:
- Selecione Configurações > do Projeto Plataforma > Recursos do HoloLens > e habilite Microfone.
- Habilitado o reconhecimento de fala em Configurações Política de > Privacidade > e selecione Inglês.
Observação
O reconhecimento de fala sempre funciona no idioma de exibição do Windows configurado no aplicativo Configurações . É recomendável que você também habilite o reconhecimento de fala online para obter a melhor qualidade de serviço.
- Uma caixa de diálogo será exibida quando o aplicativo começar a perguntar se você deseja habilitar o microfone. Selecionar Sim inicia a entrada de voz no aplicativo.
Adicionando mapeamentos de fala
Conectar a fala à ação é uma etapa importante ao usar a entrada de voz. Esses mapeamentos monitoram o aplicativo quanto a palavras-chave de fala que um usuário pode dizer e, em seguida, disparam uma ação vinculada. Você pode encontrar Mapeamentos de Fala por:
- Selecionando Editar > Configurações do Projeto, rolando até a seção Mecanismo e clicando em Entrada.
Para adicionar um novo Mapeamento de Fala para um comando jump:
- Selecione o + ícone ao lado de Elementos de matriz e preencha os seguintes valores:
- jumpWord para Nome da Ação
- jump for Speech Keyword
Observação
Qualquer palavra(s) em inglês ou frases curtas pode ser usada como um palavra-chave.
Mapeamentos de Fala podem ser usados como componentes de entrada, como Mapeamentos de Ação ou Eixo ou como nós de blueprint no Gráfico de Eventos. Por exemplo, você pode vincular o comando jump para imprimir dois logs diferentes, dependendo de quando a palavra for falada:
- Clique duas vezes em um blueprint para abri-lo no Gráfico de Eventos.
- Clique com o botão direito do mouse e pesquise o Nome da Ação do mapeamento de fala (nesse caso, jumpWord) e clique em Enter para adicionar um nó de Ação de Entrada ao grafo.
- Arraste e solte o pino Pressionado no nó Cadeia de Caracteres de Impressão , conforme mostrado na imagem abaixo. Você pode deixar o pino Liberado vazio, ele não executará nada para mapeamentos de fala.
- Reproduza o aplicativo, diga a palavra jump e watch o console imprimir os logs!
Essa é toda a configuração que você precisará para começar a adicionar entrada de voz aos seus aplicativos holoLens no Unreal. Você pode encontrar mais informações sobre fala e interatividade nos links abaixo e lembre-se de pensar na experiência que está criando para seus usuários.
Próximo ponto de verificação de desenvolvimento
Se você estiver seguindo a jornada de desenvolvimento do Unreal que apresentamos, a próxima tarefa será explorar os recursos e APIs da plataforma Realidade Misturada:
Você sempre pode voltar para os pontos de verificação de desenvolvimento do Unreal a qualquer momento.