Exercício - Integrar e utilizar reconhecimento de voz e transcrição

Concluído

Neste módulo, irá criar uma aplicação Mixed Reality que explora o uso dos Serviços de Fala Azure com o HoloLens 2. Quando completar esta série, poderá utilizar o microfone do seu dispositivo para transcrever a fala para texto em tempo real, traduzir o seu discurso para outras línguas e utilizar a funcionalidade de reconhecimento de Intenções para entender comandos de voz usando inteligência artificial.

Criar e preparar o projeto Unidade

Nesta secção, você vai criar um novo projeto de Unidade e prepará-lo para o desenvolvimento mrtk.

Como pré-requisito, certifique-se de ter completado os passos abaixo para inicializar o seu projeto e aplicação:

  1. Criar o projeto Unidade e dar-lhe um nome adequado, por exemplo, Tutoriais MRTK
  2. Mudar a plataforma de construção
  3. Importação do TextMeshPro Recursos Essenciais
  4. Importar o Mixed Reality Toolkit
  5. Configurar o projeto Unidade
  6. Criar e configurar a cena e dar à cena um nome adequado, por exemplo, AzureSpeechServices

Em seguida, siga as instruções de Alteração da Opção de Visualização do Espaço para garantir que o perfil de configuração MRTK para a sua cena é DefaultHoloLens2ConfigurationProfile e alterar as opções de visualização da malha de consciência espacial para oclusão.

Nota

Pode aprender a configurar o seu projeto de realidade mista no módulo Introdução ao Mixed Reality Toolkit.

Configure os comandos da fala iniciar o comportamento

Como utilizará o SDK do discurso para reconhecimento de voz e transcrição, tem de configurar os Comandos de Discurso mrtk para que não interfiram com a funcionalidade SDK do Discurso. Para isso, pode alterar o comportamento dos comandos de fala do Início Automático para o Início Manual.

  1. Com o objeto MixedRealityToolkit selecionado na janela hierarquia, na janela Do Inspetor, selecione o separador Entrada , clone o DefaultHoloLens2InputSystemProfile e o DefaultMixedRealitySpeechCommandsProfile e, em seguida, alterar os comandos de fala Iniciar o Comportamento para Iniciar Manualmente:

    Screenshot that describes Change the speech commands.

Configure as capacidades

  1. No menu Unidade, selecione Edit Project Definições>... para abrir a janela Definições do Jogador e, em seguida, localize a secção Definições de publicação do PlayerPublishing>:

    Screenshot of Configuring capabilities.

  2. Na Definições editorial, desloque-se até à secção De Capacidades e verifique duas vezes se as capacidades de InternetClient, Microfone e EspacialPercepção (que ativou quando criou o projeto no início do tutorial) ainda estão ativadas. Em seguida, ative as capacidades do InternetClientServer e privateNetworkClientServer :

    Screenshot of Enable the capabilities.

Importar os ativos tutoriais

  1. Descarregue e importe os seguintes pacotes personalizados da Unidade na ordem em que estão listados:

  2. Uma vez importa os ativos tutoriais, a sua janela Project deve ser assim:

    Screenshot of Project window must look similar to this.

Preparar a cena

Nesta secção, irá preparar a cena adicionando o pré-fabricado tutorial e configurar o componente do Controlador Lunarcom (Script) para controlar a sua cena.

  1. Na janela Project, navegue até ao AssetsMRTK>. Tutorials.AzureSpeechServicesPrefabs> pasta e arrastar o prefab Lunarcom para a janela da hierarquia para adicioná-lo à sua cena:

    Screenshot of Preparing the scene.

  2. Com o objeto Lunarcom ainda selecionado na janela hierarquia, na janela Do Inspetor, utilize o botão Adicionar Componente para adicionar o componente do Controlador Lunarcom (Script) ao objeto Lunarcom:

    Screenshot of Adding Lunarcom controller (Script).

  3. Com o objeto Lunarcom ainda selecionado, expanda-o para revelar os seus objetos infantis e, em seguida, arraste o objeto Terminal para o campo terminal do controlador Lunarcom (Script):

    Screenshot of Terminal field.

  4. Com o objeto Lunarcom ainda selecionado, expanda o objeto Terminal para revelar os seus objetos infantis e, em seguida, arraste o objeto ConnectionLight para o campo de luz de ligação do controlador Lunarcom (Script) e o objeto OutputText no campo de Texto de Saída :

    Screenshot of Output text field.

  5. Com o objeto Lunarcom ainda selecionado, expanda o objeto Botões para revelar os seus objetos infantis e, em seguida, na janela do Inspetor, expanda a lista de botões , coloque o seu Tamanho em 3, e arraste os objetos MicButton, SatelliteButton e RocketButton para os campos Elemento 0, 1 e 2, respectivamente:

    Screenshot of Configure the buttons.

Ligação o projeto Unidade ao recurso Azure

Para utilizar os Serviços de Fala Azure, precisa de criar um recurso Azure e obter uma chave API para o Serviço de Fala. Siga o serviço Desemaça o Serviço de Observação para obter instruções gratuitas e tome nota da sua região de serviço (também conhecida como Localização) e tecla API (também conhecida como Key1 ou Key2).

  1. Na janela da Hierarquia, selecione o objeto Lunarcom e, em seguida, na janela do Inspetor, localize a secção de Credenciais SDK do controlador Lunarcom (Script) e configuure-o da seguinte forma:

    • No campo Chave API do Serviço de Fala , insira a sua tecla API (Key1 ou Key2)
    • No campo Região de Serviço de Fala , insira a sua região de serviço (Localização) utilizando letras minúsculas e espaços removidos

    Screenshot of Configure Speech SDK Credentials.

Use o reconhecimento da fala para transcrever o discurso

  1. Na janela hierarquia, selecione o objeto Lunarcom e, em seguida, na janela Do Inspetor, utilize o botão Adicionar Componente para adicionar o componente Lunarcom Speech Recogniser (Script) ao objeto Lunarcom:

    Screenshot of Add Lunarcom Speech Recognizer (Script).

  2. Se entrar agora no modo Jogo, pode testar o reconhecimento da fala premindo primeiro o botão do microfone:

    Screenshot of Enter game mode.

  3. Então, assumindo que o seu computador tem um microfone, quando disser alguma coisa, o seu discurso será transcrito no painel terminal:

    Screenshot of Speech will be transcribed on the terminal panel.

    Atenção

    A aplicação precisa de se ligar ao Azure, por isso certifique-se de que o seu computador/dispositivo está ligado à internet.