1. Intégration et utilisation de la reconnaissance vocale et de la transcription1. Integrating and using speech recognition and transcription

Dans cette série de tutoriels, vous allez créer une application de réalité mixte qui explore l’utilisation des services Azure Speech avec le HoloLens 2.In this tutorial series, you will create a Mixed Reality application that explores the use of Azure Speech Services with the HoloLens 2. À la fin de cette série de tutoriels, vous serez en mesure d’utiliser le microphone de votre appareil pour convertir la parole en texte en temps réel, traduire votre parole en d’autres langues et exploiter la fonctionnalité Reconnaissance de l’intention pour comprendre des commandes vocales à l’aide de l’intelligence artificielle.When you complete this tutorial series, you will be able to use your device's microphone to transcribe speech to text in real time, translate your speech into other languages, and leverage the Intent recognition feature to understand voice commands using artificial intelligence.

ObjectifsObjectives

  • Apprendre à intégrer les services Azure Speech à une application HoloLens 2Learn how to integrate Azure Speech Services with a HoloLens 2 application
  • Apprendre à utiliser la reconnaissance vocale pour transcrire du texteLearn how to use speech recognition to transcribe text

PrérequisPrerequisites

Conseil

Si vous n’avez pas encore terminé la série de tutoriels de démarrage, nous vous conseillons de le faire avant d’aller plus loin.If you have not completed the Getting started tutorials series yet, it's recommended that you complete those tutorials first.

  • PC Windows 10 configuré avec les outils appropriés installésA Windows 10 PC configured with the correct tools installed
  • SDK Windows 10 (10.0.18362.0 ou version ultérieure)Windows 10 SDK 10.0.18362.0 or later
  • Capacité de programmation C# de baseSome basic C# programming ability
  • Appareil HoloLens 2 configuré pour le développementA HoloLens 2 device configured for development
  • Unity Hub avec Unity 2019 LTS installé et le module de prise en charge de la build d’applications de plateforme Windows universelle ajoutéUnity Hub with Unity 2019 LTS installed and the Universal Windows Platform Build Support module added

Important

La version d’Unity recommandée pour cette série de tutoriels est Unity 2019 LTS.The recommended Unity version for this tutorial series is Unity 2019 LTS. Elle remplace toutes les versions Unity requises ou recommandées qui sont indiquées dans les prérequis ci-dessus.This supersedes any Unity version requirements or recommendations stated in the prerequisites linked above.

Création et préparation du projet UnityCreating and preparing the Unity project

Dans cette section, vous allez créer un projet Unity et le préparer au développement avec MRTK.In this section, you will create a new Unity project and get it ready for MRTK development.

Pour cela, suivez d’abord Initialisation de votre projet et de votre première application, en excluant les instructions données dans Générer votre application sur votre appareil, ce qui inclut les étapes suivantes :For this, first follow the Initializing your project and first application, excluding the Build your application to your device instructions, which includes the following steps:

  1. Création du projet Unity et affectation d’un nom pertinent, par exemple MRTK TutorialsCreating the Unity project and give it a suitable name, for example, MRTK Tutorials
  2. Changement de plateforme de générationSwitching the build platform
  3. Importation des ressources TextMeshPro EssentialImporting the TextMeshPro Essential Resources
  4. Importation du Mixed Reality ToolkitImporting the Mixed Reality Toolkit
  5. Configuration du projet UnityConfiguring the Unity project
  6. Création et configuration de la scène, et affectation d’un nom pertinent à la scène, par exemple AzureSpeechServicesCreating and configuring the scene and give the scene a suitable name, for example, AzureSpeechServices

Ensuite, suivez les instructions de Modification de l’option d’affichage de la reconnaissance spatiale pour remplacer le profil de configuration MRTK de votre scène par DefaultHoloLens2ConfigurationProfile et remplacer les options d’affichage du maillage de la reconnaissance spatiale par Occlusion.Then follow the Changing the Spatial Awareness Display Option instructions to change the MRTK configuration profile for your scene to the DefaultHoloLens2ConfigurationProfile and change the display options for the spatial awareness mesh to Occlusion.

Configuration du comportement de démarrage des commandes vocalesConfiguring the speech commands start behavior

Étant donné que vous allez utiliser le SDK Speech pour la reconnaissance vocale et la transcription, vous avez besoin de configurer les commandes vocales MRTK se sorte qu’elles n’interfèrent pas avec la fonctionnalité du SDK Speech.Because you will use the Speech SDK for speech recognition and transcription you need to configure the MRTK Speech Commands so they do not interfere with the Speech SDK functionality. Pour cela, vous pouvez modifier le comportement de démarrage des commandes vocales en passant d’un démarrage automatique à un démarrage manuel.To achieve this you can change the speech commands start behavior from Auto Start to Manual Start.

Avec l’objet MixedRealityToolkit sélectionné dans la fenêtre Hierarchy, dans la fenêtre Inspector, sélectionnez l’onglet Input, clonez DefaultHoloLens2InputSystemProfile et DefaultMixedRealitySpeechCommandsProfile, puis remplacez le comportement de démarrage (Start Behavior) des commandes vocales en choisissant Manual Start :With the MixedRealityToolkit object selected in the Hierarchy window, in the Inspector window, select the Input tab, clone the DefaultHoloLens2InputSystemProfile and the DefaultMixedRealitySpeechCommandsProfile, and then change the speech commands Start Behavior to Manual Start:

mrlearning-speech

Conseil

Pour vous rappeler comment cloner et configurer des profils MRTK, reportez-vous aux instructions fournies dans Configuration des profils Mixed Reality Toolkit.For a reminder on how to clone and configure MRTK profiles, you can refer to the Configuring the Mixed Reality Toolkit profiles instructions.

Configuration des fonctionnalitésConfiguring the capabilities

Dans le menu Unity, sélectionnez Edit > Project Settings... pour ouvrir la fenêtre Player Settings, puis recherchez la section Player > Publishing Settings :In the Unity menu, select Edit > Project Settings... to open the Player Settings window, then locate the Player > Publishing Settings section:

mrlearning-speech

Dans la section Publishing Settings, accédez à la section Capabilities et vérifiez que les fonctionnalités InternetClient, Microphone et SpatialPerception, que vous avez activées lors de la création du projet au début de ce tutoriel, sont cochées.In the Publishing Settings, scroll down to the Capabilities section and double-check that the InternetClient, Microphone, and SpatialPerception capabilities, which you enabled when you created the project at the beginning of the tutorial, are enabled. Activez ensuite les fonctionnalités InternetClientServer et PrivateNetworkClientServer :Then, enable the InternetClientServer and PrivateNetworkClientServer capabilities:

mrlearning-speech

Importation des ressources du tutorielImporting the tutorial assets

Téléchargez et importez les packages personnalisés Unity suivants dans l’ordre dans lequel ils sont listés :Download and import the following Unity custom packages in the order they are listed:

Conseil

Pour vous rappeler comment importer un package personnalisé Unity, reportez-vous aux instructions fournies dans Importation du Mixed Reality Toolkit.For a reminder on how to import a Unity custom package, you can refer to the Importing the Mixed Reality Toolkit instructions.

Une fois que vous avez importé les ressources du tutoriel, votre fenêtre Project doit ressembler à ceci :After you have imported the tutorial assets your Project window should look similar to this:

mrlearning-speech

Préparation de la scènePreparing the scene

Dans cette section, vous allez préparer la scène en ajoutant le préfabriqué du tutoriel et configurer le composant Lunarcom Controller (Script) pour contrôler votre scène.In this section, you will prepare the scene by adding the tutorial prefab and configure the Lunarcom Controller (Script) component to control your scene.

Dans la fenêtre Project, accédez au dossier Assets > MRTK.Tutorials.AzureSpeechServices > Prefabs et faites glisser le préfabriqué Lunarcom dans la fenêtre Hierarchy pour l’ajouter à votre scène :In the Project window, navigate to Assets > MRTK.Tutorials.AzureSpeechServices > Prefabs folder and drag the Lunarcom prefab into the Hierarchy window to add it to your scene:

mrlearning-speech

Avec l’objet Lunarcom toujours sélectionné dans la fenêtre Hierachy, dans la fenêtre Inspector, utilisez le bouton Add Component pour ajouter le composant Lunarcom Controller (Script) à l’objet Lunarcom :With the Lunarcom object still selected in the Hierarchy window, in the Inspector window, use the Add Component button to add the Lunarcom Controller (Script) component to the Lunarcom object:

mrlearning-speech

Notes

Le composant Lunarcom Controller (Script) ne fait pas partie de MRTK.The Lunarcom Controller (Script) component is not part of MRTK. Il a été fourni avec les ressources de ce tutoriel.It was provided with this tutorial's assets.

L’objet Lunarcom étant toujours sélectionné, développez-le pour révéler ses objets enfants, puis faites glisser l’objet Terminal dans le champ Terminal du composant Lunarcom Controller (Script) :With the Lunarcom object still selected, expand it to reveal its child objects, then drag the Terminal object into the Lunarcom Controller (Script) component's Terminal field:

mrlearning-speech

Avec l’objet Lunarcom toujours sélectionné, développez l’objet Terminal pour révéler ses objets enfants, puis faites glisser l’objet ConnectionLight dans le champ Connection Light du composant Lunarcom Controller (Script) et l’objet OutputText dans le champ Output Text :With the Lunarcom object still selected, expand the Terminal object to reveal its child objects, then drag the ConnectionLight object into the Lunarcom Controller (Script) component's Connection Light field and the OutputText object into the Output Text field:

mrlearning-speech

Avec l’objet Lunarcom toujours sélectionné, développez l’objet Buttons pour révéler ses objets enfants, puis, dans la fenêtre Inspector, développez la liste Buttons, définissez Size sur 3, puis faites glisser les objets MicButton, SatelliteButton et RocketButton dans les champs Element 0, 1 et 2 respectivement :With the Lunarcom object still selected, expand the Buttons object to reveal its child objects, and then in the Inspector window, expand the Buttons list, set its Size to 3, and drag the MicButton, SatelliteButton, and RocketButton objects into the Element 0, 1, and 2 fields respectively:

mrlearning-speech

Connexion du projet Unity à la ressource AzureConnecting the Unity project to the Azure resource

Pour utiliser les services Azure Speech, vous devez créer une ressource Azure et obtenir une clé API pour le service Speech.To use Azure Speech Services, you need to create an Azure resource and obtain an API key for the Speech Service. Suivez les instructions données dans Essayer le service Speech gratuitement et notez votre région de service (également appelée Emplacement) ainsi que votre clé API (également appelée Key1 ou Key2).Follow the Try the Speech service for free instructions and make a note of your service region (also known as Location) and API key (also known as Key1 or Key2).

Dans la fenêtre Hierarchy, sélectionnez l’objet Lunarcom, puis dans la fenêtre Inspector, localisez la section Speech SDK Credentials du composant Lunarcom Controller (Script) et configurez-la de la façon suivante :In the Hierarchy window, select the Lunarcom object, then in the Inspector window, locate the Lunarcom Controller (Script) component's Speech SDK Credentials section and configure it as follows:

  • Dans le champ Speech Service API Key, entrez votre clé API (Key1 or Key2).In the Speech Service API Key field, enter your API key (Key1 or Key2)
  • Dans le champ Speech Service Region, entrez votre région de service (Emplacement) en utilisant des lettres minuscules et en supprimant les espaces.In the Speech Service Region field, enter your service region (Location) using lowercase letters and spaces removed

mrlearning-speech

Utilisation de la reconnaissance vocale pour transcrire la paroleUsing speech recognition to transcribe speech

Dans la fenêtre Hierachy, sélectionnez l’objet Lunarcom puis, dans la fenêtre Inspector, utilisez le bouton Add Component pour ajouter le composant Lunarcom Speech Recognizer (Script) à l’objet Lunarcom :In the Hierarchy window, select the Lunarcom object, then in the Inspector window, use the Add Component button to add the Lunarcom Speech Recognizer (Script) component to the Lunarcom object:

mrlearning-speech

Notes

Le composant Lunarcom Speech Recognizer (Script) ne fait pas partie de MRTK.The Lunarcom Speech Recognizer (Script) component is not part of MRTK. Il a été fourni avec les ressources de ce tutoriel.It was provided with this tutorial's assets.

Si vous entrez maintenant en mode Game, vous pouvez tester la reconnaissance vocale en commençant par appuyer sur le bouton du microphone :If you now enter Game mode, you can test the speech recognition by first pressing the microphone button:

mrlearning-speech

Ensuite, en supposant que votre ordinateur est doté d’un microphone, quand vous dites quelque chose, votre parole est transcrite sur le panneau du terminal :Then, assuming your computer has a microphone, when you say something, your speech will be transcribed on the terminal panel:

mrlearning-speech

Attention

L’application a besoin de se connecter à Azure, donc vérifiez que votre ordinateur/appareil est connecté à Internet.The application needs to connect to Azure, so make sure your computer/device is connected to the internet.

FélicitationsCongratulations

Vous avez implémenté la technologie Azure de reconnaissance vocale.You have implemented speech recognition powered by Azure. Exécutez l’application sur votre appareil pour vérifier que tout fonctionne bien.Run the application on your device to ensure the feature is working properly.

Dans le tutoriel suivant, vous allez apprendre à exécuter des commandes à l’aide de la reconnaissance vocale Azure.In the next tutorial, you will learn how to execute commands using Azure speech recognition.