Anterior

Seguinte

Exercício - Integrar e utilizar reconhecimento de voz e transcrição

Concluído

Neste módulo, irá criar uma aplicação Mixed Reality que explora o uso dos Serviços de Fala Azure com o HoloLens 2. Quando completar esta série, poderá utilizar o microfone do seu dispositivo para transcrever a fala para texto em tempo real, traduzir o seu discurso para outras línguas e utilizar a funcionalidade de reconhecimento de Intenções para entender comandos de voz usando inteligência artificial.

Criar e preparar o projeto Unidade

Nesta secção, você vai criar um novo projeto de Unidade e prepará-lo para o desenvolvimento mrtk.

Como pré-requisito, certifique-se de ter completado os passos abaixo para inicializar o seu projeto e aplicação:

1. Criar o projeto Unidade e dar-lhe um nome adequado, por exemplo, Tutoriais MRTK
2. Mudar a plataforma de construção
3. Importação do TextMeshPro Recursos Essenciais
4. Importar o Mixed Reality Toolkit
5. Configurar o projeto Unidade
6. Criar e configurar a cena e dar à cena um nome adequado, por exemplo, AzureSpeechServices

Em seguida, siga as instruções de Alteração da Opção de Visualização do Espaço para garantir que o perfil de configuração MRTK para a sua cena é DefaultHoloLens2ConfigurationProfile e alterar as opções de visualização da malha de consciência espacial para oclusão.

Nota

Pode aprender a configurar o seu projeto de realidade mista no módulo Introdução ao Mixed Reality Toolkit.

Configure os comandos da fala iniciar o comportamento

Como utilizará o SDK do discurso para reconhecimento de voz e transcrição, tem de configurar os Comandos de Discurso mrtk para que não interfiram com a funcionalidade SDK do Discurso. Para isso, pode alterar o comportamento dos comandos de fala do Início Automático para o Início Manual.

1. Com o objeto MixedRealityToolkit selecionado na janela hierarquia, na janela Do Inspetor, selecione o separador Entrada , clone o DefaultHoloLens2InputSystemProfile e o DefaultMixedRealitySpeechCommandsProfile e, em seguida, alterar os comandos de fala Iniciar o Comportamento para Iniciar Manualmente:

   

Configure as capacidades

1. No menu Unidade, selecione Edit Project Definições>... para abrir a janela Definições do Jogador e, em seguida, localize a secção Definições de publicação do PlayerPublishing>:

   

2. Na Definições editorial, desloque-se até à secção De Capacidades e verifique duas vezes se as capacidades de InternetClient, Microfone e EspacialPercepção (que ativou quando criou o projeto no início do tutorial) ainda estão ativadas. Em seguida, ative as capacidades do InternetClientServer e privateNetworkClientServer :

   

Importar os ativos tutoriais

1. Descarregue e importe os seguintes pacotes personalizados da Unidade na ordem em que estão listados:

   • Microsoft.CognitiveServices.Speech.N.N.N.unitypackage (versão mais recente)
   • MRTK. HoloLens2.Unity.Tutorials.Assets.GettingStarted.2.3.0.3.unitypackage
   • MRTK. HoloLens2.Unity.Tutorials.Assets.AzureSpeechServices.2.5.1.unitypackage

2. Uma vez importa os ativos tutoriais, a sua janela Project deve ser assim:

   

Preparar a cena

Nesta secção, irá preparar a cena adicionando o pré-fabricado tutorial e configurar o componente do Controlador Lunarcom (Script) para controlar a sua cena.

1. Na janela Project, navegue até ao AssetsMRTK>. Tutorials.AzureSpeechServicesPrefabs> pasta e arrastar o prefab Lunarcom para a janela da hierarquia para adicioná-lo à sua cena:

   

2. Com o objeto Lunarcom ainda selecionado na janela hierarquia, na janela Do Inspetor, utilize o botão Adicionar Componente para adicionar o componente do Controlador Lunarcom (Script) ao objeto Lunarcom:

   

3. Com o objeto Lunarcom ainda selecionado, expanda-o para revelar os seus objetos infantis e, em seguida, arraste o objeto Terminal para o campo terminal do controlador Lunarcom (Script):

   

4. Com o objeto Lunarcom ainda selecionado, expanda o objeto Terminal para revelar os seus objetos infantis e, em seguida, arraste o objeto ConnectionLight para o campo de luz de ligação do controlador Lunarcom (Script) e o objeto OutputText no campo de Texto de Saída :

   

5. Com o objeto Lunarcom ainda selecionado, expanda o objeto Botões para revelar os seus objetos infantis e, em seguida, na janela do Inspetor, expanda a lista de botões , coloque o seu Tamanho em 3, e arraste os objetos MicButton, SatelliteButton e RocketButton para os campos Elemento 0, 1 e 2, respectivamente:

   

Ligação o projeto Unidade ao recurso Azure

Para utilizar os Serviços de Fala Azure, precisa de criar um recurso Azure e obter uma chave API para o Serviço de Fala. Siga o serviço Desemaça o Serviço de Observação para obter instruções gratuitas e tome nota da sua região de serviço (também conhecida como Localização) e tecla API (também conhecida como Key1 ou Key2).

1. Na janela da Hierarquia, selecione o objeto Lunarcom e, em seguida, na janela do Inspetor, localize a secção de Credenciais SDK do controlador Lunarcom (Script) e configuure-o da seguinte forma:

   • No campo Chave API do Serviço de Fala , insira a sua tecla API (Key1 ou Key2)
   • No campo Região de Serviço de Fala , insira a sua região de serviço (Localização) utilizando letras minúsculas e espaços removidos

   

Use o reconhecimento da fala para transcrever o discurso

1. Na janela hierarquia, selecione o objeto Lunarcom e, em seguida, na janela Do Inspetor, utilize o botão Adicionar Componente para adicionar o componente Lunarcom Speech Recogniser (Script) ao objeto Lunarcom:

   

2. Se entrar agora no modo Jogo, pode testar o reconhecimento da fala premindo primeiro o botão do microfone:

   

3. Então, assumindo que o seu computador tem um microfone, quando disser alguma coisa, o seu discurso será transcrito no painel terminal:

   

   Atenção

   A aplicação precisa de se ligar ao Azure, por isso certifique-se de que o seu computador/dispositivo está ligado à internet.

Continuar