Kom igång med avsiktsigenkänning

I den här snabbstarten använder du Speech SDK och tjänsten Language Understanding (LUIS) för att identifiera avsikter från ljuddata som samlas in från en mikrofon. Mer specifikt använder du Speech SDK för att samla in tal och en förbyggd domän från LUIS för att identifiera avsikter för hemautomatisering, till exempel att aktivera och stänga av en lampa.

När du uppfyller några krav kan du känna igen tal och identifiera avsikter från en mikrofon med några få steg:

  • Skapa ett SpeechConfig -objekt från din prenumerationsnyckel och region.
  • Skapa ett IntentRecognizer -objekt med SpeechConfig hjälp av objektet ovan.
  • Med IntentRecognizer hjälp av -objektet startar du igenkänningsprocessen för ett enda uttryck.
  • Granska den IntentRecognitionResult returnerade.

Du kan visa eller ladda ned alla Speech SDK C#-exempel på GitHub.

Förutsättningar

Innan du börjar:

Skapa en LUIS-app för avsiktsigenkänning

För att slutföra snabbstarten för avsiktsigenkänning måste du skapa ett LUIS-konto och ett projekt med hjälp av LUIS-förhandsgranskningsportalen. Den här snabbstarten kräver en LUIS-prenumeration i en region där avsiktsigenkänning är tillgänglig. Det krävs ingen prenumeration på Speech-tjänsten.

Det första du behöver göra är att skapa ett LUIS-konto och en app med hjälp av LUIS-förhandsgranskningsportalen. LUIS-appen som du skapar använder en förbyggd domän för hemautomatisering, som innehåller avsikter, entiteter och exempelyttranden. När du är klar har du en LUIS-slutpunkt som körs i molnet som du kan anropa med hjälp av Speech SDK.

Följ de här anvisningarna för att skapa LUIS-appen:

När du är klar behöver du fyra saker:

  • Publicera igen med talprimering
  • Din LUIS-primärnyckel
  • Din LUIS-plats
  • Ditt LUIS-app-ID

Här hittar du den här informationen i LUIS-förhandsgranskningsportalen:

  1. Från LUIS-förhandsgranskningsportalen väljer du din app och sedan knappen Publicera.

  2. Välj facket Produktion, om du använder, välj ändra inställningar och växla alternativet en-US Talprimering till positionen På. Välj sedan knappen Publicera.

    Viktigt

    Talprimering rekommenderas starkt eftersom det förbättrar noggrannheten för taligenkänning.

    Publicera LUIS till slutpunkt

  3. Från LUIS-förhandsgranskningsportalen väljer du Hantera och sedan Azure-resurser. På den här sidan hittar du din LUIS-nyckel och plats (kallas ibland region) för din LUIS-förutsägelseresurs.

    LUIS-nyckel och plats

  4. När du har fått din nyckel och plats behöver du app-ID:t. Välj inställningar. ditt app-ID är tillgängligt på den här sidan.

    LUIS-app-ID

Öppna projektet i Visual Studio

Öppna sedan projektet i Visual Studio.

  1. Starta Visual Studio 2019.
  2. Läs in projektet och öppna Program.cs .

Börja med lite exempelkod

Nu ska vi lägga till kod som fungerar som en stomme för vårt projekt. Observera att du har skapat en asynkron metod med namnet RecognizeIntentAsync() .

using System;
using System.Threading.Tasks;
using Microsoft.CognitiveServices.Speech;
using Microsoft.CognitiveServices.Speech.Intent;

namespace helloworld
{
    class Program
    {
        public static async Task RecognizeIntentAsync()
        {
                            Console.WriteLine($"CANCELED: Did you update the subscription info?");
                        }
                        break;
                }
            }
        }

        static async Task Main()
        {
            await RecognizeIntentAsync();

Skapa en Speech-konfiguration

Innan du kan initiera ett objekt måste du skapa en konfiguration som använder nyckeln och platsen IntentRecognizer för LUIS-förutsägelseresursen.

Viktigt

Startnyckeln och redigeringsnycklarna fungerar inte. Du måste använda din förutsägelsenyckel och plats som du skapade tidigare. Mer information finns i Skapa en LUIS-app för avsiktsigenkänning.

Infoga den här koden i RecognizeIntentAsync() metoden . Se till att du uppdaterar dessa värden:

  • Ersätt "YourLanguageUnderstandingSubscriptionKey" med din LUIS-förutsägelsenyckel.
  • Ersätt "YourLanguageUnderstandingServiceRegion" med din LUIS-plats. Använd Regionsidentifierare från region.

Tips

Om du behöver hjälp med att hitta dessa värden kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

var config = SpeechConfig.FromSubscription(

I det här exemplet FromSubscription() används metoden för att skapa SpeechConfig . En fullständig lista över tillgängliga metoder finns i SpeechConfig-klassen.

Speech SDK känner som standard igen med hjälp av en-us för språket. Mer information om hur du väljer källspråk finns i Ange källspråk för tal till text.

Initiera en IntentRecognizer

Nu ska vi skapa en IntentRecognizer . Det här objektet skapas inuti en using-instruktion för att säkerställa korrekt frisläppning av ohanterade resurser. Infoga den här koden i RecognizeIntentAsync() -metoden, precis under speech-konfigurationen.


// Creates an intent recognizer using microphone as audio input.
                Console.WriteLine($"CANCELED: ErrorDetails={cancellation.ErrorDetails}");

Lägga till ett LanguageUnderstandingModel och avsikter

Du måste associera en med LanguageUnderstandingModel avsikts känna igen och lägga till de avsikter som du vill ska identifieras. Vi ska använda avsikter från den fördefinierade domänen för hemautomatisering. Infoga den här koden i using-instruktionen från föregående avsnitt. Se till att du ersätter "YourLanguageUnderstandingAppId" med ditt LUIS-app-ID.

Tips

Om du behöver hjälp med att hitta det här värdet kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

// Creates a Language Understanding model using the app id, and adds specific intents from your model
var model = LanguageUnderstandingModel.FromAppId("YourLanguageUnderstandingAppId");
recognizer.AddIntent(model, "YourLanguageUnderstandingIntentName1", "id1");

I det här exemplet används AddIntent() funktionen för att lägga till avsikter individuellt. Om du vill lägga till alla avsikter från en modell använder AddAllIntents(model) du och skickar modellen.

Anteckning

Speech SDK stöder endast LUIS v2.0-slutpunkter. Du måste ändra v3.0-slutpunkts-URL:en som finns i exempelfrågefältet manuellt för att använda ett v2.0-URL-mönster. LUIS v2.0-slutpunkter följer alltid något av följande två mönster:

  • https://{AzureResourceName}.cognitiveservices.azure.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=
  • https://{Region}.api.cognitive.microsoft.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=

Identifiera en avsikt

Från IntentRecognizer -objektet anropar du RecognizeOnceAsync() metoden . Den här metoden låter Speech-tjänsten veta att du skickar en enda fras för igenkänning, och att när frasen har identifierats för att sluta känna igen tal.

I using-instruktionen lägger du till den här koden under din modell.

// single utterance is determined by listening for silence at the end or until a maximum of 15

Visa igenkänningsresultat (eller fel)

När igenkänningsresultatet returneras av Speech-tjänsten bör du göra något med det. Vi håller det enkelt och skriver ut resultatet till konsolen.

Lägg till den här koden i RecognizeOnceAsync() using-instruktionen nedan:

// shot recognition like command or query. 
// For long-running multi-utterance recognition, use StartContinuousRecognitionAsync() instead.
var result = await recognizer.RecognizeOnceAsync();

// Checks result.
switch (result.Reason)
{
    case ResultReason.RecognizedIntent:
        Console.WriteLine($"RECOGNIZED: Text={result.Text}");
        Console.WriteLine($"    Intent Id: {result.IntentId}.");
        var json = result.Properties.GetProperty(PropertyId.LanguageUnderstandingServiceResponse_JsonResult);
        Console.WriteLine($"    Language Understanding JSON: {json}.");
        break;
    case ResultReason.RecognizedSpeech:
        Console.WriteLine($"RECOGNIZED: Text={result.Text}");
        Console.WriteLine($"    Intent not recognized.");
        break;
    case ResultReason.NoMatch:
        Console.WriteLine($"NOMATCH: Speech could not be recognized.");
        break;
    case ResultReason.Canceled:
        var cancellation = CancellationDetails.FromResult(result);
        Console.WriteLine($"CANCELED: Reason={cancellation.Reason}");

        if (cancellation.Reason == CancellationReason.Error)
        {
            Console.WriteLine($"CANCELED: ErrorCode={cancellation.ErrorCode}");

Kontrollera koden

Nu bör koden se ut så här:

Anteckning

Vi har lagt till några kommentarer i den här versionen.

using System;
using System.Threading.Tasks;
using Microsoft.CognitiveServices.Speech;
using Microsoft.CognitiveServices.Speech.Intent;

namespace helloworld
{
    class Program
    {
        public static async Task RecognizeIntentAsync()
        {
            // Creates an instance of a speech config with specified subscription key
            // and service region. Note that in contrast to other services supported by
            // the Cognitive Services Speech SDK, the Language Understanding service
            // requires a specific subscription key from https://www.luis.ai/.
            // The Language Understanding service calls the required key 'endpoint key'.
            // Once you've obtained it, replace with below with your own Language Understanding subscription key
            // and service region (e.g., "westus").
            // The default language is "en-us".
            var config = SpeechConfig.FromSubscription(
                "YourLanguageUnderstandingSubscriptionKey",
                "YourLanguageUnderstandingServiceRegion");

            // Creates an intent recognizer using microphone as audio input.
            using (var recognizer = new IntentRecognizer(config))
            {
                // Creates a Language Understanding model using the app id, and adds specific intents from your model
                var model = LanguageUnderstandingModel.FromAppId("YourLanguageUnderstandingAppId");
                recognizer.AddIntent(model, "YourLanguageUnderstandingIntentName1", "id1");
                recognizer.AddIntent(model, "YourLanguageUnderstandingIntentName2", "id2");
                recognizer.AddIntent(model, "YourLanguageUnderstandingIntentName3", "any-IntentId-here");

                // To add all of the possible intents from a LUIS model to the recognizer, uncomment the line below:
                // recognizer.AddAllIntents(model);

                // Starts recognizing.
                Console.WriteLine("Say something...");

                // Starts intent recognition, and returns after a single utterance is recognized. The end of a
                // single utterance is determined by listening for silence at the end or until a maximum of 15
                // seconds of audio is processed.  The task returns the recognition text as result. 
                // Note: Since RecognizeOnceAsync() returns only a single utterance, it is suitable only for single
                // shot recognition like command or query. 
                // For long-running multi-utterance recognition, use StartContinuousRecognitionAsync() instead.
                var result = await recognizer.RecognizeOnceAsync();

                // Checks result.
                switch (result.Reason)
                {
                    case ResultReason.RecognizedIntent:
                        Console.WriteLine($"RECOGNIZED: Text={result.Text}");
                        Console.WriteLine($"    Intent Id: {result.IntentId}.");
                        var json = result.Properties.GetProperty(PropertyId.LanguageUnderstandingServiceResponse_JsonResult);
                        Console.WriteLine($"    Language Understanding JSON: {json}.");
                        break;
                    case ResultReason.RecognizedSpeech:
                        Console.WriteLine($"RECOGNIZED: Text={result.Text}");
                        Console.WriteLine($"    Intent not recognized.");
                        break;
                    case ResultReason.NoMatch:
                        Console.WriteLine($"NOMATCH: Speech could not be recognized.");
                        break;
                    case ResultReason.Canceled:
                        var cancellation = CancellationDetails.FromResult(result);
                        Console.WriteLine($"CANCELED: Reason={cancellation.Reason}");

                        if (cancellation.Reason == CancellationReason.Error)
                        {
                            Console.WriteLine($"CANCELED: ErrorCode={cancellation.ErrorCode}");
                            Console.WriteLine($"CANCELED: ErrorDetails={cancellation.ErrorDetails}");
                            Console.WriteLine($"CANCELED: Did you update the subscription info?");
                        }
                        break;
                }
            }
        }

        static async Task Main()
        {
            await RecognizeIntentAsync();

Skapa och köra din app

Nu är du redo att skapa din app och testa vår taligenkänning med hjälp av taltjänsten.

  1. Kompilera koden – Från menyraden i Visual Studio väljer du Skapa > bygglösning.
  2. Starta appen – Från menyraden väljer du Felsök > Starta felsökning eller tryckerF5.
  3. Starta igenkänning – Du uppmanas att tala en fras på engelska. Ditt tal skickas till Speech-tjänsten, transkriberas som text och renderas i konsolen.

Nästa steg

I den här snabbstarten använder du Speech SDK och tjänsten Language Understanding (LUIS) för att identifiera avsikter från ljuddata som samlas in från en mikrofon. Mer specifikt använder du Speech SDK för att samla in tal och en förbyggd domän från LUIS för att identifiera avsikter för hemautomatisering, till exempel att aktivera och stänga av en lampa.

När du uppfyller några krav kan du känna igen tal och identifiera avsikter från en mikrofon med några få steg:

  • Skapa ett SpeechConfig -objekt från din prenumerationsnyckel och region.
  • Skapa ett IntentRecognizer -objekt med SpeechConfig hjälp av objektet ovan.
  • Med IntentRecognizer hjälp av -objektet startar du igenkänningsprocessen för ett enda uttryck.
  • Granska den IntentRecognitionResult returnerade.

Du kan visa eller ladda ned alla Speech SDK C++-exempel på GitHub.

Förutsättningar

Innan du börjar:

Skapa en LUIS-app för avsiktsigenkänning

För att slutföra snabbstarten för avsiktsigenkänning måste du skapa ett LUIS-konto och ett projekt med hjälp av LUIS-förhandsgranskningsportalen. Den här snabbstarten kräver en LUIS-prenumeration i en region där avsiktsigenkänning är tillgänglig. Det krävs ingen prenumeration på Speech-tjänsten.

Det första du behöver göra är att skapa ett LUIS-konto och en app med hjälp av LUIS-förhandsgranskningsportalen. LUIS-appen som du skapar använder en förbyggd domän för hemautomatisering, som innehåller avsikter, entiteter och exempelyttranden. När du är klar har du en LUIS-slutpunkt som körs i molnet som du kan anropa med hjälp av Speech SDK.

Följ de här anvisningarna för att skapa LUIS-appen:

När du är klar behöver du fyra saker:

  • Publicera igen med talprimering
  • Din LUIS-primärnyckel
  • Din LUIS-plats
  • Ditt LUIS-app-ID

Här hittar du den här informationen i LUIS-förhandsgranskningsportalen:

  1. Från LUIS-förhandsgranskningsportalen väljer du din app och sedan knappen Publicera.

  2. Välj facket Produktion, om du använder, välj ändra inställningar och växla alternativet en-US Talprimering till positionen På. Välj sedan knappen Publicera.

    Viktigt

    Talprimering rekommenderas starkt eftersom det förbättrar noggrannheten för taligenkänning.

    Publicera LUIS till slutpunkt

  3. Från LUIS-förhandsgranskningsportalen väljer du Hantera och sedan Azure-resurser. På den här sidan hittar du din LUIS-nyckel och plats (kallas ibland region) för din LUIS-förutsägelseresurs.

    LUIS-nyckel och plats

  4. När du har fått din nyckel och plats behöver du app-ID:t. Välj inställningar. ditt app-ID är tillgängligt på den här sidan.

    LUIS-app-ID

Öppna projektet i Visual Studio

Öppna sedan projektet i Visual Studio.

  1. Starta Visual Studio 2019.
  2. Läs in projektet och öppna helloworld.cpp .

Börja med lite exempelkod

Nu ska vi lägga till kod som fungerar som en stomme för vårt projekt. Observera att du har skapat en asynkron metod med namnet recognizeIntent() .

#include "stdafx.h"
// <code>
#include <iostream>
#include <speechapi_cxx.h>

using namespace std;
using namespace Microsoft::CognitiveServices::Speech;
using namespace Microsoft::CognitiveServices::Speech::Intent;

void recognizeIntent()
{
        {
            cout << "CANCELED: ErrorCode=" << (int)cancellation->ErrorCode << std::endl;
            cout << "CANCELED: ErrorDetails=" << cancellation->ErrorDetails << std::endl;
            cout << "CANCELED: Did you update the subscription info?" << std::endl;
        }
    }
}

int wmain()

Skapa en Speech-konfiguration

Innan du kan initiera ett objekt måste du skapa en konfiguration som använder nyckeln och platsen IntentRecognizer för LUIS-förutsägelseresursen.

Viktigt

Startnyckeln och redigeringsnycklarna fungerar inte. Du måste använda din förutsägelsenyckel och plats som du skapade tidigare. Mer information finns i Skapa en LUIS-app för avsiktsigenkänning.

Infoga den här koden i recognizeIntent() metoden . Se till att du uppdaterar dessa värden:

  • Ersätt "YourLanguageUnderstandingSubscriptionKey" med din LUIS-förutsägelsenyckel.
  • Ersätt "YourLanguageUnderstandingServiceRegion" med din LUIS-plats. Använd Regionsidentifierare från region.

Tips

Om du behöver hjälp med att hitta dessa värden kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

auto config = SpeechConfig::FromSubscription(

I det här exemplet FromSubscription() används metoden för att skapa SpeechConfig . En fullständig lista över tillgängliga metoder finns i SpeechConfig-klassen.

Speech SDK känner som standard igen med hjälp av en-us för språket. Mer information om hur du väljer källspråk finns i Ange källspråk för tal till text.

Initiera en IntentRecognizer

Nu ska vi skapa en IntentRecognizer . Infoga den här koden i recognizeIntent() -metoden, precis under speech-konfigurationen.


Lägga till ett LanguageUnderstandingModel och intents

Du måste associera en med LanguageUnderstandingModel avsikts känna igen och lägga till de avsikter som du vill ska identifieras. Vi ska använda avsikter från den fördefinierade domänen för hemautomatisering.

Infoga den här koden under IntentRecognizer din . Se till att du ersätter "YourLanguageUnderstandingAppId" med ditt LUIS-app-ID.

Tips

Om du behöver hjälp med att hitta det här värdet kan du gå till Skapa en LUIS-app för avsiktsigenkänning.


// Creates a Language Understanding model using the app id, and adds specific intents from your model
auto model = LanguageUnderstandingModel::FromAppId("YourLanguageUnderstandingAppId");

I det här exemplet används AddIntent() funktionen för att lägga till avsikter individuellt. Om du vill lägga till alla avsikter från en modell använder AddAllIntents(model) du och skickar modellen.

Anteckning

Speech SDK stöder endast LUIS v2.0-slutpunkter. Du måste ändra v3.0-slutpunkts-URL:en som finns i exempelfrågefältet manuellt för att använda ett v2.0-URL-mönster. LUIS v2.0-slutpunkter följer alltid något av följande två mönster:

  • https://{AzureResourceName}.cognitiveservices.azure.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=
  • https://{Region}.api.cognitive.microsoft.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=

Identifiera en avsikt

Från IntentRecognizer -objektet anropar du RecognizeOnceAsync() metoden . Den här metoden låter Speech-tjänsten veta att du skickar en enda fras för igenkänning, och att när frasen har identifierats för att sluta känna igen tal. För enkelhetens skull väntar vi på att framtiden ska slutföras.

Infoga den här koden under din modell:

// Starts intent recognition, and returns after a single utterance is recognized. The end of a

Visa igenkänningsresultat (eller fel)

När igenkänningsresultatet returneras av Speech-tjänsten bör du göra något med det. Vi håller det enkelt och skriver ut resultatet till konsolen.

Infoga den här koden auto result = recognizer->RecognizeOnceAsync().get(); nedan:

// Note: Since RecognizeOnceAsync() returns only a single utterance, it is suitable only for single
// shot recognition like command or query. 
// For long-running multi-utterance recognition, use StartContinuousRecognitionAsync() instead.
auto result = recognizer->RecognizeOnceAsync().get();

// Checks result.
if (result->Reason == ResultReason::RecognizedIntent)
{
    cout << "RECOGNIZED: Text=" << result->Text << std::endl;
    cout << "  Intent Id: " << result->IntentId << std::endl;
    cout << "  Intent Service JSON: " << result->Properties.GetProperty(PropertyId::LanguageUnderstandingServiceResponse_JsonResult) << std::endl;
}
else if (result->Reason == ResultReason::RecognizedSpeech)
{
    cout << "RECOGNIZED: Text=" << result->Text << " (intent could not be recognized)" << std::endl;
}
else if (result->Reason == ResultReason::NoMatch)
{
    cout << "NOMATCH: Speech could not be recognized." << std::endl;
}
else if (result->Reason == ResultReason::Canceled)
{
    auto cancellation = CancellationDetails::FromResult(result);
    cout << "CANCELED: Reason=" << (int)cancellation->Reason << std::endl;

    if (cancellation->Reason == CancellationReason::Error)

Kontrollera koden

Nu bör koden se ut så här:

Anteckning

Vi har lagt till några kommentarer i den här versionen.

#include "stdafx.h"
// <code>
#include <iostream>
#include <speechapi_cxx.h>

using namespace std;
using namespace Microsoft::CognitiveServices::Speech;
using namespace Microsoft::CognitiveServices::Speech::Intent;

void recognizeIntent()
{
    // Creates an instance of a speech config with specified subscription key
    // and service region. Note that in contrast to other services supported by
    // the Cognitive Services Speech SDK, the Language Understanding service
    // requires a specific subscription key from https://www.luis.ai/.
    // The Language Understanding service calls the required key 'endpoint key'.
    // Once you've obtained it, replace with below with your own Language Understanding subscription key
    // and service region (e.g., "westus").
    // The default recognition language is "en-us".
    auto config = SpeechConfig::FromSubscription(
        "YourLanguageUnderstandingSubscriptionKey",
        "YourLanguageUnderstandingServiceRegion");

    // Creates an intent recognizer using microphone as audio input.
    auto recognizer = IntentRecognizer::FromConfig(config);

    // Creates a Language Understanding model using the app id, and adds specific intents from your model
    auto model = LanguageUnderstandingModel::FromAppId("YourLanguageUnderstandingAppId");
    recognizer->AddIntent(model, "YourLanguageUnderstandingIntentName1", "id1");
    recognizer->AddIntent(model, "YourLanguageUnderstandingIntentName2", "id2");
    recognizer->AddIntent(model, "YourLanguageUnderstandingIntentName3", "any-IntentId-here");

    // To add all of the possible intents from a LUIS model to the recognizer, uncomment the line below:
    // recognizer->AddAllIntents(model);

    cout << "Say something...\n";

    // Starts intent recognition, and returns after a single utterance is recognized. The end of a
    // single utterance is determined by listening for silence at the end or until a maximum of 15
    // seconds of audio is processed.  The task returns the recognition text as result. 
    // Note: Since RecognizeOnceAsync() returns only a single utterance, it is suitable only for single
    // shot recognition like command or query. 
    // For long-running multi-utterance recognition, use StartContinuousRecognitionAsync() instead.
    auto result = recognizer->RecognizeOnceAsync().get();

    // Checks result.
    if (result->Reason == ResultReason::RecognizedIntent)
    {
        cout << "RECOGNIZED: Text=" << result->Text << std::endl;
        cout << "  Intent Id: " << result->IntentId << std::endl;
        cout << "  Intent Service JSON: " << result->Properties.GetProperty(PropertyId::LanguageUnderstandingServiceResponse_JsonResult) << std::endl;
    }
    else if (result->Reason == ResultReason::RecognizedSpeech)
    {
        cout << "RECOGNIZED: Text=" << result->Text << " (intent could not be recognized)" << std::endl;
    }
    else if (result->Reason == ResultReason::NoMatch)
    {
        cout << "NOMATCH: Speech could not be recognized." << std::endl;
    }
    else if (result->Reason == ResultReason::Canceled)
    {
        auto cancellation = CancellationDetails::FromResult(result);
        cout << "CANCELED: Reason=" << (int)cancellation->Reason << std::endl;

        if (cancellation->Reason == CancellationReason::Error)
        {
            cout << "CANCELED: ErrorCode=" << (int)cancellation->ErrorCode << std::endl;
            cout << "CANCELED: ErrorDetails=" << cancellation->ErrorDetails << std::endl;
            cout << "CANCELED: Did you update the subscription info?" << std::endl;
        }
    }
}

Skapa och köra din app

Nu är du redo att skapa din app och testa vår taligenkänning med hjälp av taltjänsten.

  1. Kompilera koden – Från menyraden i Visual Studio väljer du Skapa > bygglösning.
  2. Starta appen – Från menyraden väljer du Felsök > Starta felsökning eller tryckerF5.
  3. Starta igenkänning – Du uppmanas att tala en fras på engelska. Ditt tal skickas till Speech-tjänsten, transkriberas som text och renderas i konsolen.

Nästa steg


I den här snabbstarten använder du Speech SDK och tjänsten Language Understanding (LUIS) för att identifiera avsikter från ljuddata som samlas in från en mikrofon. Mer specifikt använder du Speech SDK för att samla in tal och en förbyggd domän från LUIS för att identifiera avsikter för hemautomatisering, till exempel att aktivera och stänga av en lampa.

När du uppfyller några krav kan du känna igen tal och identifiera avsikter från en mikrofon med några få steg:

  • Skapa ett SpeechConfig -objekt från din prenumerationsnyckel och region.
  • Skapa ett IntentRecognizer -objekt med SpeechConfig hjälp av objektet ovan.
  • Med IntentRecognizer hjälp av -objektet startar du igenkänningsprocessen för ett enda uttryck.
  • Granska den IntentRecognitionResult returnerade.

Du kan visa eller ladda ned alla Speech SDK Java-exempel på GitHub.

Förutsättningar

Innan du börjar:

Skapa en LUIS-app för avsiktsigenkänning

För att slutföra snabbstarten för avsiktsigenkänning måste du skapa ett LUIS-konto och ett projekt med hjälp av LUIS-förhandsgranskningsportalen. Den här snabbstarten kräver en LUIS-prenumeration i en region där avsiktsigenkänning är tillgänglig. Det krävs ingen prenumeration på Speech-tjänsten.

Det första du behöver göra är att skapa ett LUIS-konto och en app med hjälp av LUIS-förhandsgranskningsportalen. LUIS-appen som du skapar använder en förbyggd domän för hemautomatisering, som innehåller avsikter, entiteter och exempelyttranden. När du är klar har du en LUIS-slutpunkt som körs i molnet som du kan anropa med hjälp av Speech SDK.

Följ de här anvisningarna för att skapa LUIS-appen:

När du är klar behöver du fyra saker:

  • Publicera igen med talprimering
  • Din LUIS-primärnyckel
  • Din LUIS-plats
  • Ditt LUIS-app-ID

Här hittar du den här informationen i LUIS-förhandsgranskningsportalen:

  1. Från LUIS-förhandsgranskningsportalen väljer du din app och sedan knappen Publicera.

  2. Välj facket Produktion, om du använder, välj ändra inställningar och växla alternativet en-US Talprimering till positionen På. Välj sedan knappen Publicera.

    Viktigt

    Talprimering rekommenderas starkt eftersom det förbättrar noggrannheten för taligenkänning.

    Publicera LUIS till slutpunkt

  3. Från LUIS-förhandsgranskningsportalen väljer du Hantera och sedan Azure-resurser. På den här sidan hittar du din LUIS-nyckel och plats (kallas ibland region) för din LUIS-förutsägelseresurs.

    LUIS-nyckel och plats

  4. När du har fått din nyckel och plats behöver du app-ID:t. Välj inställningar. ditt app-ID är tillgängligt på den här sidan.

    LUIS-app-ID

Öppna projektet

  1. Öppna önskad IDE.
  2. Läs in projektet och öppna Main.java .

Börja med någon exempelkod

Nu ska vi lägga till kod som fungerar som en stomme för vårt projekt.

package speechsdk.quickstart;

import com.microsoft.cognitiveservices.speech.*;
import com.microsoft.cognitiveservices.speech.intent.*;

/**
 * Quickstart: recognize speech using the Speech SDK for Java.
 */
public class Main {

    /**
     * @param args Arguments are ignored in this sample.
     */
    public static void main(String[] args) {
        
            
        } catch (Exception ex) {
            System.out.println("Unexpected exception: " + ex.getMessage());

            assert(false);
            System.exit(1);
        } 
    }

Skapa en Speech-konfiguration

Innan du kan initiera ett objekt måste du skapa en konfiguration som använder IntentRecognizer nyckeln och platsen för LUIS-prediktionsresursen.

Infoga den här koden i try/catch-blocket i main() . Se till att du uppdaterar dessa värden:

  • Ersätt "YourLanguageUnderstandingSubscriptionKey" med din LUIS-förutsägelsenyckel.
  • Ersätt "YourLanguageUnderstandingServiceRegion" med din LUIS-plats. Använda regionsidentifierare från region

Tips

Om du behöver hjälp med att hitta dessa värden kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

// Recognizer is created with the default microphone audio input and default language "en-us".

I det här exemplet FromSubscription() används metoden för att skapa SpeechConfig . En fullständig lista över tillgängliga metoder finns i SpeechConfig-klass.

Speech SDK känner som standard igen med hjälp av en-us för språket. Mer information om hur du väljer källspråk finns i Ange källspråk för tal till text.

Initiera en IntentRecognizer

Nu ska vi skapa en IntentRecognizer . Infoga den här koden direkt under speech-konfigurationen.


Lägga till ett LanguageUnderstandingModel och intents

Du måste associera en med LanguageUnderstandingModel avsikts igenkänt och lägga till de avsikter som du vill ska identifieras. Vi ska använda avsikter från den fördefinierade domänen för hemautomatisering.

Infoga den här koden under IntentRecognizer din . Se till att du ersätter "YourLanguageUnderstandingAppId" med ditt LUIS-app-ID.

Tips

Om du behöver hjälp med att hitta det här värdet kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

recognizer.addIntent(model, "YourLanguageUnderstandingIntentName1", "id1");
recognizer.addIntent(model, "YourLanguageUnderstandingIntentName2", "id2");
recognizer.addIntent(model, "YourLanguageUnderstandingIntentName3", "any-IntentId-here");

I det här exemplet används addIntent() funktionen för att lägga till avsikter individuellt. Om du vill lägga till alla avsikter från en modell använder addAllIntents(model) du och skickar modellen.

Anteckning

Speech SDK stöder endast LUIS v2.0-slutpunkter. Du måste ändra url:en för v3.0-slutpunkten som finns i exempelfrågefältet manuellt om du vill använda ett v2.0-URL-mönster. LUIS v2.0-slutpunkter följer alltid något av följande två mönster:

  • https://{AzureResourceName}.cognitiveservices.azure.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=
  • https://{Region}.api.cognitive.microsoft.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=

Identifiera en avsikt

Från IntentRecognizer -objektet anropar du recognizeOnceAsync() metoden . Den här metoden gör att Speech-tjänsten vet att du skickar en enda fras för igenkänning och att när frasen har identifierats för att sluta känna igen tal.

Infoga den här koden under din modell:

System.out.println("Say something...");

Visa igenkänningsresultat (eller fel)

När igenkänningsresultatet returneras av Speech-tjänsten bör du göra något med det. Vi håller det enkelt och skriver ut resultatet till konsolen.

Infoga den här koden under anropet till recognizeOnceAsync() .

IntentRecognitionResult result = recognizer.recognizeOnceAsync().get();

// Checks result.
if (result.getReason() == ResultReason.RecognizedIntent) {
    System.out.println("RECOGNIZED: Text=" + result.getText());
    System.out.println("    Intent Id: " + result.getIntentId());
    System.out.println("    Intent Service JSON: " + result.getProperties().getProperty(PropertyId.LanguageUnderstandingServiceResponse_JsonResult));
}
else if (result.getReason() == ResultReason.RecognizedSpeech) {
    System.out.println("RECOGNIZED: Text=" + result.getText());
    System.out.println("    Intent not recognized.");
}
else if (result.getReason() == ResultReason.NoMatch) {
    System.out.println("NOMATCH: Speech could not be recognized.");
}
else if (result.getReason() == ResultReason.Canceled) {
    CancellationDetails cancellation = CancellationDetails.fromResult(result);
    System.out.println("CANCELED: Reason=" + cancellation.getReason());

    if (cancellation.getReason() == CancellationReason.Error) {
        System.out.println("CANCELED: ErrorCode=" + cancellation.getErrorCode());
        System.out.println("CANCELED: ErrorDetails=" + cancellation.getErrorDetails());

Frigöra resurser

Det är viktigt att släppa talresurserna när du är klar med att använda dem. Infoga den här koden i slutet av try/catch-blocket:

    }
}

Kontrollera koden

Nu bör koden se ut så här:

Anteckning

Vi har lagt till några kommentarer till den här versionen.

package speechsdk.quickstart;

import com.microsoft.cognitiveservices.speech.*;
import com.microsoft.cognitiveservices.speech.intent.*;

/**
 * Quickstart: recognize speech using the Speech SDK for Java.
 */
public class Main {

    /**
     * @param args Arguments are ignored in this sample.
     */
    public static void main(String[] args) {
        
        // Replace below with with specified subscription key (called 'endpoint key' by the Language Understanding service)
        String languageUnderstandingSubscriptionKey = "YourLanguageUnderstandingSubscriptionKey";
        // Replace below with your own service region (e.g., "westus").
        String languageUnderstandingServiceRegion = "YourLanguageUnderstandingServiceRegion";

        // Creates an instance of intent recognizer with a given speech configuration.
        // Recognizer is created with the default microphone audio input and default language "en-us".
        try (SpeechConfig config = SpeechConfig.fromSubscription(languageUnderstandingSubscriptionKey, languageUnderstandingServiceRegion);
             IntentRecognizer recognizer = new IntentRecognizer(config)) {
            
            // Creates a language understanding model using the app id, and adds specific intents from your model
            LanguageUnderstandingModel model = LanguageUnderstandingModel.fromAppId("YourLanguageUnderstandingAppId");
            recognizer.addIntent(model, "YourLanguageUnderstandingIntentName1", "id1");
            recognizer.addIntent(model, "YourLanguageUnderstandingIntentName2", "id2");
            recognizer.addIntent(model, "YourLanguageUnderstandingIntentName3", "any-IntentId-here");

            // To add all of the possible intents from a LUIS model to the recognizer, uncomment the line below:
            // recognizer.addAllIntents(model);

            System.out.println("Say something...");

            // Starts recognition. It returns when the first utterance has been recognized.
            IntentRecognitionResult result = recognizer.recognizeOnceAsync().get();

            // Checks result.
            if (result.getReason() == ResultReason.RecognizedIntent) {
                System.out.println("RECOGNIZED: Text=" + result.getText());
                System.out.println("    Intent Id: " + result.getIntentId());
                System.out.println("    Intent Service JSON: " + result.getProperties().getProperty(PropertyId.LanguageUnderstandingServiceResponse_JsonResult));
            }
            else if (result.getReason() == ResultReason.RecognizedSpeech) {
                System.out.println("RECOGNIZED: Text=" + result.getText());
                System.out.println("    Intent not recognized.");
            }
            else if (result.getReason() == ResultReason.NoMatch) {
                System.out.println("NOMATCH: Speech could not be recognized.");
            }
            else if (result.getReason() == ResultReason.Canceled) {
                CancellationDetails cancellation = CancellationDetails.fromResult(result);
                System.out.println("CANCELED: Reason=" + cancellation.getReason());

                if (cancellation.getReason() == CancellationReason.Error) {
                    System.out.println("CANCELED: ErrorCode=" + cancellation.getErrorCode());
                    System.out.println("CANCELED: ErrorDetails=" + cancellation.getErrorDetails());
                    System.out.println("CANCELED: Did you update the subscription info?");
                }
            }
            
        } catch (Exception ex) {
            System.out.println("Unexpected exception: " + ex.getMessage());

            assert(false);
            System.exit(1);
        } 
    }

Skapa och köra din app

Tryck på F11eller välj Kör > felsökning. Följande 15 sekunder av talindata från mikrofonen identifieras och loggas i konsolfönstret.

Nästa steg

I den här snabbstarten använder du Speech SDK och tjänsten Language Understanding (LUIS) för att identifiera avsikter från ljuddata som samlas in från en mikrofon. Mer specifikt använder du Speech SDK för att samla in tal och en förbyggd domän från LUIS för att identifiera avsikter för hemautomatisering, till exempel att aktivera och stänga av en lampa.

När du uppfyller några krav kan du känna igen tal och identifiera avsikter från en mikrofon med några få steg:

  • Skapa ett SpeechConfig -objekt från din prenumerationsnyckel och region.
  • Skapa ett IntentRecognizer -objekt med SpeechConfig hjälp av objektet ovan.
  • Med IntentRecognizer hjälp av -objektet startar du igenkänningsprocessen för ett enda uttryck.
  • Granska den IntentRecognitionResult returnerade.

Du kan visa eller ladda ned alla Speech SDK Python-exempel på GitHub.

Förutsättningar

Innan du börjar:

Skapa en LUIS-app för avsiktsigenkänning

För att slutföra snabbstarten för avsiktsigenkänning måste du skapa ett LUIS-konto och ett projekt med hjälp av LUIS-förhandsgranskningsportalen. Den här snabbstarten kräver en LUIS-prenumeration i en region där avsiktsigenkänning är tillgänglig. Det krävs ingen prenumeration på Speech-tjänsten.

Det första du behöver göra är att skapa ett LUIS-konto och en app med hjälp av LUIS-förhandsgranskningsportalen. LUIS-appen som du skapar använder en förbyggd domän för hemautomatisering, som innehåller avsikter, entiteter och exempelyttranden. När du är klar har du en LUIS-slutpunkt som körs i molnet som du kan anropa med hjälp av Speech SDK.

Följ de här anvisningarna för att skapa LUIS-appen:

När du är klar behöver du fyra saker:

  • Publicera igen med talprimering
  • Din LUIS-primärnyckel
  • Din LUIS-plats
  • Ditt LUIS-app-ID

Här hittar du den här informationen i LUIS-förhandsgranskningsportalen:

  1. Från LUIS-förhandsgranskningsportalen väljer du din app och sedan knappen Publicera.

  2. Välj facket Produktion, om du använder, välj ändra inställningar och växla alternativet en-US Talprimering till positionen På. Välj sedan knappen Publicera.

    Viktigt

    Talprimering rekommenderas starkt eftersom det förbättrar noggrannheten för taligenkänning.

    Publicera LUIS till slutpunkt

  3. Från LUIS-förhandsgranskningsportalen väljer du Hantera och sedan Azure-resurser. På den här sidan hittar du din LUIS-nyckel och plats (kallas ibland region) för din LUIS-förutsägelseresurs.

    LUIS-nyckel och plats

  4. När du har fått din nyckel och plats behöver du app-ID:t. Välj inställningar. ditt app-ID är tillgängligt på den här sidan.

    LUIS-app-ID

Öppna projektet

  1. Öppna önskad IDE.
  2. Skapa ett nytt projekt och skapa en fil med quickstart.py namnet och öppna det.

Börja med någon exempelkod

Nu ska vi lägga till kod som fungerar som en stomme för vårt projekt.

import azure.cognitiveservices.speech as speechsdk

print("Say something...")

Skapa en Speech-konfiguration

Innan du kan initiera ett objekt måste du skapa en konfiguration som använder IntentRecognizer nyckeln och platsen för LUIS-prediktionsresursen.

Infoga den här koden i quickstart.py . Se till att du uppdaterar dessa värden:

  • Ersätt "YourLanguageUnderstandingSubscriptionKey" med din LUIS-förutsägelsenyckel.
  • Ersätt "YourLanguageUnderstandingServiceRegion" med din LUIS-plats. Använda regionsidentifierare från region

Tips

Om du behöver hjälp med att hitta dessa värden kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

intent_config = speechsdk.SpeechConfig(

Det här exemplet konstruerar objektet SpeechConfig med hjälp av LUIS-nyckel och region. En fullständig lista över tillgängliga metoder finns i SpeechConfig-klass.

Speech SDK känner som standard igen med hjälp av en-us för språket. Mer information om hur du väljer källspråk finns i Ange källspråk för tal till text.

Initiera en IntentRecognizer

Nu ska vi skapa en IntentRecognizer . Infoga den här koden direkt under speech-konfigurationen.


Lägga till ett LanguageUnderstandingModel och intents

Du måste associera en med LanguageUnderstandingModel avsikts igenkänt och lägga till de avsikter som du vill ska identifieras. Vi ska använda avsikter från den fördefinierade domänen för hemautomatisering.

Infoga den här koden under IntentRecognizer din . Se till att du ersätter "YourLanguageUnderstandingAppId" med ditt LUIS-app-ID.

Tips

Om du behöver hjälp med att hitta det här värdet kan du gå till Skapa en LUIS-app för avsiktsigenkänning.

# set up the intents that are to be recognized. These can be a mix of simple phrases and
# intents specified through a LanguageUnderstanding Model.
model = speechsdk.intent.LanguageUnderstandingModel(app_id="YourLanguageUnderstandingAppId")
intents = [
    (model, "HomeAutomation.TurnOn"),
    (model, "HomeAutomation.TurnOff"),
    ("This is a test.", "test"),
    ("Switch to channel 34.", "34"),
    ("what's the weather like", "weather"),

I det här exemplet add_intents() används funktionen för att lägga till en lista över explicit definierade avsikter. Om du vill lägga till alla avsikter från en modell använder add_all_intents(model) du och skickar modellen.

Anteckning

Speech SDK stöder endast LUIS v2.0-slutpunkter. Du måste ändra url:en för v3.0-slutpunkten som finns i exempelfrågefältet manuellt om du vill använda ett v2.0-URL-mönster. LUIS v2.0-slutpunkter följer alltid något av följande två mönster:

  • https://{AzureResourceName}.cognitiveservices.azure.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=
  • https://{Region}.api.cognitive.microsoft.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=

Identifiera en avsikt

Från IntentRecognizer -objektet anropar du recognize_once() metoden . Den här metoden gör att Speech-tjänsten vet att du skickar en enda fras för igenkänning och att när frasen har identifierats för att sluta känna igen tal.

Infoga den här koden under din modell.

# single utterance is determined by listening for silence at the end or until a maximum of 15

Visa igenkänningsresultat (eller fel)

När igenkänningsresultatet returneras av Speech-tjänsten bör du göra något med det. Vi håller det enkelt och skriver ut resultatet till konsolen.

Under anropet till recognize_once() lägger du till den här koden.

# shot recognition like command or query.
# For long-running multi-utterance recognition, use start_continuous_recognition() instead.
intent_result = intent_recognizer.recognize_once()

# Check the results
if intent_result.reason == speechsdk.ResultReason.RecognizedIntent:
    print("Recognized: \"{}\" with intent id `{}`".format(intent_result.text, intent_result.intent_id))
elif intent_result.reason == speechsdk.ResultReason.RecognizedSpeech:
    print("Recognized: {}".format(intent_result.text))
elif intent_result.reason == speechsdk.ResultReason.NoMatch:

Kontrollera koden

Nu bör koden se ut så här.

Anteckning

Vi har lagt till några kommentarer till den här versionen.

import azure.cognitiveservices.speech as speechsdk

print("Say something...")

"""performs one-shot intent recognition from input from the default microphone"""

# Set up the config for the intent recognizer (remember that this uses the Language Understanding key, not the Speech Services key)!
intent_config = speechsdk.SpeechConfig(
    subscription="YourLanguageUnderstandingSubscriptionKey",
    region="YourLanguageUnderstandingServiceRegion")

# Set up the intent recognizer
intent_recognizer = speechsdk.intent.IntentRecognizer(speech_config=intent_config)

# set up the intents that are to be recognized. These can be a mix of simple phrases and
# intents specified through a LanguageUnderstanding Model.
model = speechsdk.intent.LanguageUnderstandingModel(app_id="YourLanguageUnderstandingAppId")
intents = [
    (model, "HomeAutomation.TurnOn"),
    (model, "HomeAutomation.TurnOff"),
    ("This is a test.", "test"),
    ("Switch to channel 34.", "34"),
    ("what's the weather like", "weather"),
]
intent_recognizer.add_intents(intents)

# To add all of the possible intents from a LUIS model to the recognizer, uncomment the line below:
# intent_recognizer.add_all_intents(model);

# Starts intent recognition, and returns after a single utterance is recognized. The end of a
# single utterance is determined by listening for silence at the end or until a maximum of 15
# seconds of audio is processed. It returns the recognition text as result.
# Note: Since recognize_once() returns only a single utterance, it is suitable only for single
# shot recognition like command or query.
# For long-running multi-utterance recognition, use start_continuous_recognition() instead.
intent_result = intent_recognizer.recognize_once()

# Check the results
if intent_result.reason == speechsdk.ResultReason.RecognizedIntent:
    print("Recognized: \"{}\" with intent id `{}`".format(intent_result.text, intent_result.intent_id))
elif intent_result.reason == speechsdk.ResultReason.RecognizedSpeech:
    print("Recognized: {}".format(intent_result.text))
elif intent_result.reason == speechsdk.ResultReason.NoMatch:

Skapa och köra din app

Kör exemplet från -konsolen eller i din IDE:

python quickstart.py

Följande 15 sekunder av talindata från mikrofonen identifieras och loggas i konsolfönstret.

Nästa steg

I den här snabbstarten använder du Speech SDK och tjänsten Language Understanding (LUIS) för att identifiera avsikter från ljuddata som samlas in från en mikrofon. Mer specifikt använder du Speech SDK för att samla in tal och en förbyggd domän från LUIS för att identifiera avsikter för hemautomatisering, till exempel att aktivera och stänga av en lampa.

När du uppfyller några krav kan du känna igen tal och identifiera avsikter från en mikrofon med några få steg:

  • Skapa ett SpeechConfig -objekt från din prenumerationsnyckel och region.
  • Skapa ett IntentRecognizer -objekt med SpeechConfig hjälp av objektet ovan.
  • Med IntentRecognizer hjälp av -objektet startar du igenkänningsprocessen för ett enda uttryck.
  • Granska den IntentRecognitionResult returnerade.

Du kan visa eller ladda ned alla Speech SDK JavaScript-exempel på GitHub.

Förutsättningar

Innan du börjar:

Skapa en LUIS-app för avsiktsigenkänning

För att slutföra snabbstarten för avsiktsigenkänning måste du skapa ett LUIS-konto och ett projekt med hjälp av LUIS-förhandsgranskningsportalen. Den här snabbstarten kräver en LUIS-prenumeration i en region där avsiktsigenkänning är tillgänglig. Det krävs ingen prenumeration på Speech-tjänsten.

Det första du behöver göra är att skapa ett LUIS-konto och en app med hjälp av LUIS-förhandsgranskningsportalen. LUIS-appen som du skapar använder en förbyggd domän för hemautomatisering, som innehåller avsikter, entiteter och exempelyttranden. När du är klar har du en LUIS-slutpunkt som körs i molnet som du kan anropa med hjälp av Speech SDK.

Följ de här anvisningarna för att skapa LUIS-appen:

När du är klar behöver du fyra saker:

  • Publicera igen med talprimering
  • Din LUIS-primärnyckel
  • Din LUIS-plats
  • Ditt LUIS-app-ID

Här hittar du den här informationen i LUIS-förhandsgranskningsportalen:

  1. Från LUIS-förhandsgranskningsportalen väljer du din app och sedan knappen Publicera.

  2. Välj facket Produktion, om du använder, välj ändra inställningar och växla alternativet en-US Talprimering till positionen På. Välj sedan knappen Publicera.

    Viktigt

    Talprimering rekommenderas starkt eftersom det förbättrar noggrannheten för taligenkänning.

    Publicera LUIS till slutpunkt

  3. Från LUIS-förhandsgranskningsportalen väljer du Hantera och sedan Azure-resurser. På den här sidan hittar du din LUIS-nyckel och plats (kallas ibland region) för din LUIS-förutsägelseresurs.

    LUIS-nyckel och plats

  4. När du har fått din nyckel och plats behöver du app-ID:t. Välj inställningar. ditt app-ID är tillgängligt på den här sidan.

    LUIS-app-ID

Börja med någon exempelkod

Nu ska vi lägga till kod som fungerar som en stomme för vårt projekt.

    <!DOCTYPE html>
    <html>
    <head>
    <title>Microsoft Cognitive Services Speech SDK JavaScript Quickstart</title>
    <meta charset="utf-8" />
    </head>
    <body style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif; font-size:13px;">
    </body>
    </html>

Lägga till gränssnittselement

Nu ska vi lägga till ett grundläggande användargränssnitt för inmatningsrutor, referera till Speech SDK:s JavaScript och hämta en auktoriseringstoken om det är tillgängligt.

<body style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif; font-size:13px;">
  <div id="content" style="display:none">
    <table width="100%">
      <tr>
        <td></td>
        <td><h1 style="font-weight:500;">Microsoft Cognitive Services Speech SDK JavaScript Quickstart</h1></td>
      </tr>
      <tr>
        <td align="right"><a href="https://docs.microsoft.com/azure/cognitive-services/speech-service/get-started" target="_blank">Subscription</a>:</td>
        <td><input id="subscriptionKey" type="text" size="40" value="subscription"></td>
      </tr>
      <tr>
        <td align="right">Region</td>
        <td><input id="serviceRegion" type="text" size="40" value="YourServiceRegion"></td>
      </tr>
      <tr>
        <td align="right">Application ID:</td>
        <td><input id="appId" type="text" size="60" value="YOUR_LANGUAGE_UNDERSTANDING_APP_ID"></td>
      </tr>
      <tr>
        <td></td>
        <td><button id="startIntentRecognizeAsyncButton">Start Intent Recognition</button></td>
      </tr>
      <tr>
        <td align="right" valign="top">Input Text</td>
        <td><textarea id="phraseDiv" style="display: inline-block;width:500px;height:200px"></textarea></td>
      </tr>
      <tr>
        <td align="right" valign="top">Result</td>
        <td><textarea id="statusDiv" style="display: inline-block;width:500px;height:100px"></textarea></td>
      </tr>
    </table>
  </div>

  <script src="microsoft.cognitiveservices.speech.sdk.bundle.js"></script>

  <script>
  // Note: Replace the URL with a valid endpoint to retrieve
  //       authorization tokens for your subscription.
  var authorizationEndpoint = "token.php";

  function RequestAuthorizationToken() {
    if (authorizationEndpoint) {
      var a = new XMLHttpRequest();
      a.open("GET", authorizationEndpoint);
      a.setRequestHeader("Content-Type", "application/x-www-form-urlencoded");
      a.send("");
      a.onload = function() {
                var token = JSON.parse(atob(this.responseText.split(".")[1]));
                serviceRegion.value = token.region;
                authorizationToken = this.responseText;
                subscriptionKey.disabled = true;
                subscriptionKey.value = "using authorization token (hit F5 to refresh)";
                console.log("Got an authorization token: " + token);
      }
    }
  }
  </script>

  <script>
    // status fields and start button in UI
    var phraseDiv;
    var statusDiv;
    var startIntentRecognizeAsyncButton;

    // subscription key, region, and appId for LUIS services.
    var subscriptionKey, serviceRegion, appId;
    var authorizationToken;
    var SpeechSDK;
    var recognizer;

    document.addEventListener("DOMContentLoaded", function () {
      startIntentRecognizeAsyncButton = document.getElementById("startIntentRecognizeAsyncButton");
      subscriptionKey = document.getElementById("subscriptionKey");
      serviceRegion = document.getElementById("serviceRegion");
      appId = document.getElementById("appId");
      phraseDiv = document.getElementById("phraseDiv");
      statusDiv = document.getElementById("statusDiv");

      startIntentRecognizeAsyncButton.addEventListener("click", function () {
        startIntentRecognizeAsyncButton.disabled = true;
        phraseDiv.innerHTML = "";
        statusDiv.innerHTML = "";
      });

      if (!!window.SpeechSDK) {
        SpeechSDK = window.SpeechSDK;
        startIntentRecognizeAsyncButton.disabled = false;

        document.getElementById('content').style.display = 'block';
        document.getElementById('warning').style.display = 'none';

        // in case we have a function for getting an authorization token, call it.
        if (typeof RequestAuthorizationToken === "function") {
          RequestAuthorizationToken();
        }
      }
    });
  </script>

Skapa en Speech-konfiguration

Innan du kan initiera ett SpeechRecognizer objekt måste du skapa en konfiguration som använder din prenumerationsnyckel och prenumerationsregion. Infoga den här koden i startRecognizeOnceAsyncButton.addEventListener() metoden .

Anteckning

Speech SDK känner som standard igen med hjälp av en-us för språket. Mer information om hur du väljer källspråk finns i Ange källspråk för tal till text.

        // if we got an authorization token, use the token. Otherwise use the provided subscription key
        var speechConfig;
        if (authorizationToken) {
          speechConfig = SpeechSDK.SpeechConfig.fromAuthorizationToken(authorizationToken, serviceRegion.value);
        } else {
          if (subscriptionKey.value === "" || subscriptionKey.value === "subscription") {
            alert("Please enter your Microsoft Cognitive Services Speech subscription key!");
            return;
          }
          startIntentRecognizeAsyncButton.disabled = false;
          speechConfig = SpeechSDK.SpeechConfig.fromSubscription(subscriptionKey.value, serviceRegion.value);
        }

        speechConfig.speechRecognitionLanguage = "en-US";

Skapa en ljudkonfiguration

Nu måste du skapa ett AudioConfig -objekt som pekar på din indataenhet. Infoga den här koden i startIntentRecognizeAsyncButton.addEventListener() -metoden, precis under speech-konfigurationen.

        var audioConfig = SpeechSDK.AudioConfig.fromDefaultMicrophoneInput();

Initiera en IntentRecognizer

Nu ska vi skapa -objektet med IntentRecognizer hjälp av - och SpeechConfig AudioConfig -objekten som skapades tidigare. Infoga den här koden i startIntentRecognizeAsyncButton.addEventListener() metoden .

        recognizer = new SpeechSDK.IntentRecognizer(speechConfig, audioConfig);

Lägga till ett LanguageUnderstandingModel och intents

Du måste associera en med LanguageUnderstandingModel avsikts igenkänt och lägga till de avsikter som du vill ska identifieras. Vi ska använda avsikter från den fördefinierade domänen för hemautomatisering.

Infoga den här koden under IntentRecognizer din . Se till att du ersätter "YourLanguageUnderstandingAppId" med ditt LUIS-app-ID.

        if (appId.value !== "" && appId.value !== "YOUR_LANGUAGE_UNDERSTANDING_APP_ID") {
          var lm = SpeechSDK.LanguageUnderstandingModel.fromAppId(appId.value);

          recognizer.addAllIntents(lm);
        }

Anteckning

Speech SDK stöder endast LUIS v2.0-slutpunkter. Du måste ändra url:en för v3.0-slutpunkten som finns i exempelfrågefältet manuellt om du vill använda ett v2.0-URL-mönster. LUIS v2.0-slutpunkter följer alltid något av följande två mönster:

  • https://{AzureResourceName}.cognitiveservices.azure.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=
  • https://{Region}.api.cognitive.microsoft.com/luis/v2.0/apps/{app-id}?subscription-key={subkey}&verbose=true&q=

Identifiera en avsikt

Från IntentRecognizer -objektet anropar du recognizeOnceAsync() metoden . Den här metoden gör att Speech-tjänsten vet att du skickar en enda fras för igenkänning och att när frasen har identifierats för att sluta känna igen tal.

Infoga den här koden under modell additionen:

        recognizer.recognizeOnceAsync(
          function (result) {
            window.console.log(result);

            phraseDiv.innerHTML = result.text + "\r\n";

            statusDiv.innerHTML += "(continuation) Reason: " + SpeechSDK.ResultReason[result.reason];
            switch (result.reason) {
              case SpeechSDK.ResultReason.RecognizedSpeech:
                statusDiv.innerHTML += " Text: " + result.text;
                break;
              case SpeechSDK.ResultReason.RecognizedIntent:
                statusDiv.innerHTML += " Text: " + result.text + " IntentId: " + result.intentId;

                // The actual JSON returned from Language Understanding is a bit more complex to get to, but it is available for things like
                // the entity name and type if part of the intent.
                statusDiv.innerHTML += " Intent JSON: " + result.properties.getProperty(SpeechSDK.PropertyId.LanguageUnderstandingServiceResponse_JsonResult);
                phraseDiv.innerHTML += result.properties.getProperty(SpeechSDK.PropertyId.LanguageUnderstandingServiceResponse_JsonResult) + "\r\n";
                break;
              case SpeechSDK.ResultReason.NoMatch:
                var noMatchDetail = SpeechSDK.NoMatchDetails.fromResult(result);
                statusDiv.innerHTML += " NoMatchReason: " + SpeechSDK.NoMatchReason[noMatchDetail.reason];
                break;
              case SpeechSDK.ResultReason.Canceled:
                var cancelDetails = SpeechSDK.CancellationDetails.fromResult(result);
                statusDiv.innerHTML += " CancellationReason: " + SpeechSDK.CancellationReason[cancelDetails.reason];

              if (cancelDetails.reason === SpeechSDK.CancellationReason.Error) {
                statusDiv.innerHTML += ": " + cancelDetails.errorDetails;
              }
            break;
            }
            statusDiv.innerHTML += "\r\n";
            startIntentRecognizeAsyncButton.disabled = false;
          },
          function (err) {
            window.console.log(err);

            phraseDiv.innerHTML += "ERROR: " + err;
            startIntentRecognizeAsyncButton.disabled = false;
          });

Kontrollera koden

<!DOCTYPE html>
<html>
<head>
  <title>Microsoft Cognitive Services Speech SDK JavaScript Quickstart</title>
  <meta charset="utf-8" />
</head>
<body style="font-family:'Helvetica Neue',Helvetica,Arial,sans-serif; font-size:13px;">
  <div id="warning">
    <h1 style="font-weight:500;">Speech Recognition Speech SDK not found (microsoft.cognitiveservices.speech.sdk.bundle.js missing).</h1>
  </div>
  
  <div id="content" style="display:none">
    <table width="100%">
      <tr>
        <td></td>
        <td><h1 style="font-weight:500;">Microsoft Cognitive Services Speech SDK JavaScript Quickstart</h1></td>
      </tr>
      <tr>
        <td align="right"><a href="https://docs.microsoft.com/azure/cognitive-services/speech-service/quickstarts/intent-recognition?pivots=programming-language-csharp#create-a-luis-app-for-intent-recognition" target="_blank">LUIS Primary Key</a>:</td>
        <td><input id="subscriptionKey" type="text" size="40" value="subscription"></td>
      </tr>
      <tr>
        <td align="right">LUIS Location</td>
        <td><input id="serviceRegion" type="text" size="40" value="YourServiceRegion"></td>
      </tr>
      <tr>
        <td align="right">LUIS App ID:</td>
        <td><input id="appId" type="text" size="60" value="YOUR_LANGUAGE_UNDERSTANDING_APP_ID"></td>
      </tr>
      <tr>
        <td></td>
        <td><button id="startIntentRecognizeAsyncButton">Start Intent Recognition</button></td>
      </tr>
      <tr>
        <td align="right" valign="top">Input Text</td>
        <td><textarea id="phraseDiv" style="display: inline-block;width:500px;height:200px"></textarea></td>
      </tr>
      <tr>
        <td align="right" valign="top">Result</td>
        <td><textarea id="statusDiv" style="display: inline-block;width:500px;height:100px"></textarea></td>
      </tr>
    </table>
  </div>

  <!-- Speech SDK reference sdk. -->
  <script src="https://aka.ms/csspeech/jsbrowserpackageraw"></script>

  <!-- Speech SDK USAGE -->
  <script>
    // status fields and start button in UI
    var phraseDiv;
    var statusDiv;
    var startIntentRecognizeAsyncButton;

    // subscription key and region for speech services.
    var subscriptionKey, serviceRegion, appId;
    var SpeechSDK;
    var recognizer;

    document.addEventListener("DOMContentLoaded", function () {

      startIntentRecognizeAsyncButton = document.getElementById("startIntentRecognizeAsyncButton");
      subscriptionKey = document.getElementById("subscriptionKey");
      serviceRegion = document.getElementById("serviceRegion");
      appId = document.getElementById("appId");
      phraseDiv = document.getElementById("phraseDiv");
      statusDiv = document.getElementById("statusDiv");

      startIntentRecognizeAsyncButton.addEventListener("click", function () {
        startIntentRecognizeAsyncButton.disabled = true;
        phraseDiv.innerHTML = "";
        statusDiv.innerHTML = "";

        let audioConfig = SpeechSDK.AudioConfig.fromDefaultMicrophoneInput();
        if (subscriptionKey.value === "" || subscriptionKey.value === "subscription") {
          alert("Please enter your Microsoft Cognitive Services Speech subscription key!");
          startIntentRecognizeAsyncButton.disabled = false;
          return;
        }
        var speechConfig = SpeechSDK.SpeechConfig.fromSubscription(subscriptionKey.value, serviceRegion.value);

        speechConfig.speechRecognitionLanguage = "en-US";
        recognizer = new SpeechSDK.IntentRecognizer(speechConfig, audioConfig);

        // Set up a Language Understanding Model from Language Understanding Intelligent Service (LUIS).
        // See https://www.luis.ai/home for more information on LUIS.
        if (appId.value !== "" && appId.value !== "YOUR_LANGUAGE_UNDERSTANDING_APP_ID") {
          var lm = SpeechSDK.LanguageUnderstandingModel.fromAppId(appId.value);

          recognizer.addAllIntents(lm);
        }

        recognizer.recognizeOnceAsync(
          function (result) {
            window.console.log(result);
            phraseDiv.innerHTML = result.text + "\r\n";

            statusDiv.innerHTML += "(continuation) Reason: " + SpeechSDK.ResultReason[result.reason];
            switch (result.reason) {

              case SpeechSDK.ResultReason.RecognizedSpeech:
                statusDiv.innerHTML += " Text: " + result.text;
                break;

              case SpeechSDK.ResultReason.RecognizedIntent:
                statusDiv.innerHTML += " Text: " + result.text + " IntentId: " + result.intentId;

                // The actual JSON returned from Language Understanding is a bit more complex to get to, but it is available for things like
                // the entity name and type if part of the intent.
                statusDiv.innerHTML += " Intent JSON: " + result.properties.getProperty(SpeechSDK.PropertyId.LanguageUnderstandingServiceResponse_JsonResult);
                phraseDiv.innerHTML += result.properties.getProperty(SpeechSDK.PropertyId.LanguageUnderstandingServiceResponse_JsonResult) + "\r\n";
                break;

              case SpeechSDK.ResultReason.NoMatch:
                var noMatchDetail = SpeechSDK.NoMatchDetails.fromResult(result);
                statusDiv.innerHTML += " NoMatchReason: " + SpeechSDK.NoMatchReason[noMatchDetail.reason];
                break;
                
              case SpeechSDK.ResultReason.Canceled:
                var cancelDetails = SpeechSDK.CancellationDetails.fromResult(result);
                statusDiv.innerHTML += " CancellationReason: " + SpeechSDK.CancellationReason[cancelDetails.reason];

                if (cancelDetails.reason === SpeechSDK.CancellationReason.Error) {
                  statusDiv.innerHTML += ": " + cancelDetails.errorDetails;
                }
                break;
            }
            statusDiv.innerHTML += "\r\n";
            startIntentRecognizeAsyncButton.disabled = false;
          },
          function (err) {
            window.console.log(err);

            phraseDiv.innerHTML += "ERROR: " + err;
            startIntentRecognizeAsyncButton.disabled = false;
        });
      });

      if (!!window.SpeechSDK) {
        SpeechSDK = window.SpeechSDK;
        startIntentRecognizeAsyncButton.disabled = false;

        document.getElementById('content').style.display = 'block';
        document.getElementById('warning').style.display = 'none';
      }
    });

  </script>
</body>
</html>

Skapa tokenkälla (valfritt)

Om du vill värdbasera webbsidan på en webbserver kan du ange en tokenkälla för demoappen. På så sätt lämnar prenumerationen aldrig servern och tillåter att användare använder talfunktioner utan att själva behöva ange en auktoriseringskod.

Skapa en ny fil med namnet token.php. I det här exemplet antar vi att webbservern stöder PHP-skriptspråket med curl aktiverat. Ange följande kod:

<?php
header('Access-Control-Allow-Origin: ' . $_SERVER['SERVER_NAME']);

// Replace with your own subscription key and service region (e.g., "westus").
$subscriptionKey = 'YourSubscriptionKey';
$region = 'YourServiceRegion';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://' . $region . '.api.cognitive.microsoft.com/sts/v1.0/issueToken');
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, '{}');
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/json', 'Ocp-Apim-Subscription-Key: ' . $subscriptionKey));
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
echo curl_exec($ch);
?>

Anteckning

Auktoriseringstoken har en begränsad livslängd. Det här förenklade exemplet visar inte hur du uppdaterar auktoriseringstoken automatiskt. Som användare kan du manuellt läsa in sidan igen eller trycka på F5 för att uppdatera.

Skapa och köra exemplet lokalt

Starta appen genom att dubbelklicka på index.html-filen eller öppna index.html med valfri webbläsare. Ett enkelt grafiskt användargränssnitt visas där du kan ange din LUIS-nyckel, LUIS-regionoch LUIS-program-ID. När dessa fält har angetts kan du klicka på lämplig knapp för att utlösa en igenkänning med hjälp av mikrofonen.

Anteckning

Den här metoden fungerar inte i Webbläsaren Safari. På Safari måste exempelwebbsidan finnas på en webbserver. Safari tillåter inte att webbplatser som lästs in från en lokal fil använder mikrofonen.

Skapa och köra exemplet via en webbserver

Starta appen genom att öppna din favoritwebbläsare och peka den på den offentliga URL som du är värd för mappen på, ange din LUIS-region samt ditt LUIS-program-ID och utlösa en igenkänning med mikrofonen. Om den är konfigurerad hämtar den en token från din tokenkälla och börjar känna igen talade kommandon.

Nästa steg