Batchtestning med en uppsättning exempelyttranden

  • Artikel

Viktigt

LUIS dras tillbaka den 1 oktober 2025 och från och med 1 april 2023 kommer du inte att kunna skapa nya LUIS-resurser. Vi rekommenderar att du migrerar dina LUIS-program till förståelse för konversationsspråk för att dra nytta av fortsatt produktsupport och flerspråkiga funktioner.

Batchtestning validerar din aktiva tränade version för att mäta dess förutsägelsenoggrannhet. Ett batchtest hjälper dig att visa noggrannheten för varje avsikt och entitet i din aktiva version. Granska batchtestresultaten för att vidta lämpliga åtgärder för att förbättra noggrannheten, till exempel lägga till fler exempelyttranden i en avsikt om din app ofta inte kan identifiera rätt avsikt eller märka entiteter i yttrandet.

Gruppera data för batchtest

Det är viktigt att yttranden som används för batchtestning är nya för LUIS. Om du har en datauppsättning med yttranden delar du in yttrandena i tre uppsättningar: exempelyttranden som lagts till i en avsikt, yttranden som tagits emot från den publicerade slutpunkten och yttranden som används för att batchtesta LUIS när den har tränats.

Batch-JSON-filen som du använder ska innehålla yttranden med maskininlärningsentiteter på toppnivå märkta med start- och slutposition. Yttrandena ska inte ingå i exemplen som redan finns i appen. De bör vara yttranden som du vill förutsäga positivt för avsikter och entiteter.

Du kan avgränsa tester efter avsikt och/eller entitet eller ha alla tester (upp till 1 000 yttranden) i samma fil.

Vanliga fel vid import av en batch

Om du stöter på fel när du laddar upp batchfilen till LUIS kontrollerar du om det finns följande vanliga problem:

  • Mer än 1 000 yttranden i en batchfil
  • Ett JSON-uttrycksobjekt som inte har en entitetsegenskap. Egenskapen kan vara en tom matris.
  • Word(er) märkta i flera entiteter
  • Entitetsetiketter som börjar eller slutar på ett blanksteg.

Åtgärda batchfel

Om det finns fel i batchtestningen kan du antingen lägga till fler yttranden till en avsikt och/eller märka fler yttranden med entiteten för att hjälpa LUIS att göra diskrimineringen mellan avsikter. Om du har lagt till yttranden och märkt dem och fortfarande får förutsägelsefel i batchtestning kan du överväga att lägga till en fraslista med domänspecifik vokabulär för att hjälpa LUIS att lära sig snabbare.

Batchtestning med HJÄLP av LUIS-portalen

Importera och träna en exempelapp

Importera en app som tar en pizzabeställning, till exempel 1 pepperoni pizza on thin crust.

  1. Ladda ned och spara JSON-filen för appen.

  2. Logga in på LUIS-portalen och välj din prenumerations - och redigeringsresurs för att se de appar som tilldelats den redigeringsresursen.

  3. Välj pilen bredvid Ny app och klicka på Importera som JSON för att importera JSON till en ny app. Ge appen Pizza appnamnet .

  4. Välj Träna i det övre högra hörnet i navigeringen för att träna appen.

Roller i batchtestning

Varning

Entitetsroller stöds inte i batchtestning.

Batch-testfil

Exempel-JSON innehåller ett yttrande med en märkt entitet för att illustrera hur en testfil ser ut. I dina egna tester bör du ha många yttranden med rätt avsikt och maskininlärningsentitet märkta.

  1. Skapa pizza-with-machine-learned-entity-test.json i en textredigerare eller ladda ned den.

  2. I den JSON-formaterade batchfilen lägger du till ett yttrande med den avsikt som du vill förutsäga i testet.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Kör batchen

  1. Välj Test i det övre navigeringsfältet.

  2. Välj Batch-testpanelen på den högra panelen.

    Batch-testlänk

  3. Välj Importera. I dialogrutan som visas väljer du Välj fil och letar upp en JSON-fil med rätt JSON-format som inte innehåller fler än 1 000 yttranden att testa.

    Importfel rapporteras i ett rött meddelandefält överst i webbläsaren. När en import innehåller fel skapas ingen datauppsättning. Mer information finns i Vanliga fel.

  4. Välj filens pizza-with-machine-learned-entity-test.json filplats.

  5. Namnge datauppsättningen pizza test och välj Klar.

  6. Klicka på knappen Kör.

  7. När batchtestet har slutförts kan du se följande kolumner:

    Kolumn Beskrivning
    Tillstånd Testets status. Se resultat visas bara när testet har slutförts.
    Name Det namn som du har angett för testet.
    Storlek Antal tester i den här batchtestfilen.
    Senaste körning Datum för den senaste körningen av den här batchtestfilen.
    Senaste resultat Antal lyckade förutsägelser i testet.

  8. Om du vill visa detaljerade resultat av testet väljer du Visa resultat.

    Tips

    • Om du väljer Ladda ned hämtas samma fil som du laddade upp.
    • Om du ser att batchtestet misslyckades matchade inte minst ett yttrande avsikt förutsägelsen.

Granska batchresultat för avsikter

Om du vill granska batchtestresultatet väljer du Se resultat. Testresultaten visar grafiskt hur testyttrandena förutsades mot den aktiva versionen.

Batchdiagrammet visar fyra kvadranter med resultat. Till höger om diagrammet finns ett filter. Filtret innehåller avsikter och entiteter. När du väljer ett avsnitt i diagrammet eller en punkt i diagrammet visas de associerade yttrandena under diagrammet.

När du hovrar över diagrammet kan ett mushjul förstora eller minska visningen i diagrammet. Detta är användbart när det finns många punkter i diagrammet som är tätt grupperade.

Diagrammet finns i fyra kvadranter, där två av avsnitten visas i rött.

  1. Välj avsikten ModifyOrder i filterlistan. Yttrandet förutsägs som en Sann positiv , vilket innebär att yttrandet har matchat dess positiva förutsägelse som anges i batchfilen.

    Yttrandet matchade dess positiva förutsägelse

    De gröna bockmarkeringarna i filterlistan visar också att testet lyckades för varje avsikt. Alla andra avsikter visas med en 1/1 positiv poäng eftersom yttrandet testades mot varje avsikt, som ett negativt test för avsikter som inte anges i batchtestet.

  2. Välj avsikten Bekräftelse . Den här avsikten visas inte i batchtestet, så det här är ett negativt test av yttrandet som visas i batchtestet.

    Talindata har förutsagt negativ för olistad avsikt i batchfil

    Det negativa testet lyckades, vilket anges med den gröna texten i filtret och rutnätet.

Granska batchtestresultat för entiteter

Entiteten ModifyOrder, som en datorentitet med underentiteter, visar om entiteten på den översta nivån matchar och hur underentiteterna förutsägs.

  1. Välj entiteten ModifyOrder i filterlistan och välj sedan cirkeln i rutnätet.

  2. Entitetsförutsägelserna visas under diagrammet. Visningen innehåller solida linjer för förutsägelser som matchar förväntan och prickade linjer för förutsägelser som inte matchar förväntningarna.

    Entitetsförordnad förutsagd i batchfil

Filtrera diagramresultat

Om du vill filtrera diagrammet efter en specifik avsikt eller entitet väljer du avsikten eller entiteten i filtreringspanelen till höger. Datapunkterna och deras distributionsuppdatering i diagrammet enligt ditt val.

Visualiserat batchtestresultat

Diagramresultatexempel

Diagrammet i LUIS-portalen kan du utföra följande åtgärder:

Visa data för enpunktsyttrande

Hovra över en datapunkt i diagrammet för att se säkerhetspoängen för förutsägelsen. Välj en datapunkt för att hämta motsvarande yttrande i yttrandelistan längst ned på sidan.

Valt yttrande

Visa avsnittsdata

I diagrammet med fyra avsnitt väljer du avsnittsnamnet, till exempel Falsk positiv identifiering längst upp till höger i diagrammet. Under diagrammet visas alla yttranden i avsnittet under diagrammet i en lista.

Valda yttranden efter avsnitt

I den här föregående bilden är yttrandet switch on märkt med avsikten TurnAllOn, men har fått förutsägelsen none intent (Ingen avsikt). Detta är en indikation på att avsikten TurnAllOn behöver fler exempelyttranden för att göra den förväntade förutsägelsen.

De två avsnitten i diagrammet i rött anger yttranden som inte matchade den förväntade förutsägelsen. Dessa anger yttranden som LUIS behöver mer träning för.

De två avsnitten i diagrammet i grönt matchade den förväntade förutsägelsen.

Nästa steg

Om testning indikerar att LUIS-appen inte känner igen rätt avsikter och entiteter kan du arbeta för att förbättra LUIS-appens prestanda genom att märka fler yttranden eller lägga till funktioner.