Batch-testning med 1000 yttranden i LUIS-portalenBatch testing with 1000 utterances in LUIS portal

Batch-testning verifierar din aktiva utbildade version för att mäta dess förutsägelse noggrannhet.Batch testing validates your active trained version to measure its prediction accuracy. Ett batch-test hjälper dig att Visa precisionen för varje avsikt och entitet i din aktiva version, vilket visar resultat med ett diagram.A batch test helps you view the accuracy of each intent and entity in your active version, displaying results with a chart. Granska resultaten av batch-testet för att vidta lämpliga åtgärder för att förbättra noggrannheten, till exempel lägga till fler exempel yttranden till en avsikt om din app ofta inte kan identifiera rätt avsikts-eller märknings enheter i uttryck.Review the batch test results to take appropriate action to improve accuracy, such as adding more example utterances to an intent if your app frequently fails to identify the correct intent or labeling entities within the utterance.

Gruppera data för batch-testGroup data for batch test

Det är viktigt att yttranden som används för batch-testning är nya för LUIS.It is important that utterances used for batch testing are new to LUIS. Om du har en data uppsättning med yttranden kan du dela upp yttranden i tre mängder: exempel på yttranden som har lagts till i avsikt, yttranden som tagits emot från den publicerade slut punkten och yttranden som används för batch-test LUIS efter att det har tränats.If you have a data set of utterances, divide the utterances into three sets: example utterances added to an intent, utterances received from the published endpoint, and utterances used to batch test LUIS after it is trained.

En data uppsättning yttrandenA data set of utterances

Skicka en batch-fil med yttranden, som kallas för en data uppsättning, för batch-testning.Submit a batch file of utterances, known as a data set, for batch testing. Data uppsättningen är en JSON-formaterad fil som innehåller högst 1 000 märkt icke-duplicerade yttranden.The data set is a JSON-formatted file containing a maximum of 1,000 labeled non-duplicate utterances. Du kan testa upp till 10 data uppsättningar i en app.You can test up to 10 data sets in an app. Om du behöver testa mer tar du bort en data uppsättning och lägger till en ny.If you need to test more, delete a data set and then add a new one.

UttryckRules
* Inga dubbletter av yttranden*No duplicate utterances
1000 yttranden eller mindre1000 utterances or less

* Dubbletter betraktas som exakta sträng matchningar, inte matchningar som är token först.*Duplicates are considered exact string matches, not matches that are tokenized first.

Entiteter som tillåts i batch-testEntities allowed in batch tests

Alla anpassade entiteter i modellen visas i filtret batch-test-entiteter även om det inte finns några motsvarande entiteter i batch-fildata.All custom entities in the model appear in the batch test entities filter even if there are no corresponding entities in the batch file data.

Batch-filformatBatch file format

Kommando filen består av yttranden.The batch file consists of utterances. Varje uttryck måste ha en förväntad förutsägelse för matchning tillsammans med alla enheter som du förväntar dig att identifiera.Each utterance must have an expected intent prediction along with any machine-learned entities you expect to be detected.

Mall för satsvis syntax för avsikter med entiteterBatch syntax template for intents with entities

Använd följande mall för att starta kommando filen:Use the following template to start your batch file:

[
  {
    "text": "example utterance goes here",
    "intent": "intent name goes here",
    "entities": 
    [
        {
            "entity": "entity name 1 goes here",
            "startPos": 14,
            "endPos": 23
        },
        {
            "entity": "entity name 2 goes here",
            "startPos": 14,
            "endPos": 23
        }
    ]
  }
]

Kommando filen använder egenskaperna startPos och endPos för att notera början och slutet på en entitet.The batch file uses the startPos and endPos properties to note the beginning and end of an entity. Värdena är noll-baserade och får inte börja eller sluta med ett blank steg.The values are zero-based and should not begin or end on a space. Det skiljer sig från frågans loggar, som använder start egenskaper och endIndex-egenskaper.This is different from the query logs, which use startIndex and endIndex properties.

Roller i testet med batchRoles in batch testing

Varning

Entiteten roller stöds inte i testet med batch.Entity roles are not supported in batch testing.

Mall för satsvis syntax för avsikter utan entiteterBatch syntax template for intents without entities

Använd följande mall för att starta kommando filen utan entiteter:Use the following template to start your batch file without entities:

[
  {
    "text": "example utterance goes here",
    "intent": "intent name goes here",
    "entities": []
  }
]

Om du inte vill testa entiteter tar du med egenskapen entities och anger värdet som en tom matris [].If you do not want to test entities, include the entities property and set the value as an empty array, [].

Vanliga fel vid import av en batchCommon errors importing a batch

Vanliga fel är:Common errors include:

  • Mer än 1 000 yttrandenMore than 1,000 utterances
  • Ett uttryck JSON-objekt som inte har någon entitets-egenskap.An utterance JSON object that doesn't have an entities property. Egenskapen kan vara en tom matris.The property can be an empty array.
  • Ord som är märkta i flera entiteterWord(s) labeled in multiple entities
  • Enhets etiketten startar eller slutar med ett blank steg.Entity label starting or ending on a space.

Batch-testlägeBatch test state

LUIS spårar statusen för varje data uppsättnings senaste test.LUIS tracks the state of each data set's last test. Detta inkluderar storleken (antalet yttranden i batchen), senaste körnings datum och det senaste resultatet (antalet förväntade yttranden).This includes the size (number of utterances in the batch), last run date, and last result (number of successfully predicted utterances).

Batch test resultatBatch test results

Batch-test resultatet är ett punkt diagram som kallas fel mat ris.The batch test result is a scatter graph, known as an error matrix. Det här diagrammet är en 4-vägs jämförelse av yttranden i kommando filen och den aktuella modellens förväntade avsikt och entiteter.This graph is a 4-way comparison of the utterances in the batch file and the current model's predicted intent and entities.

Data punkter i avsnitten falskt positivt och falskt negativ indikerar fel som bör undersökas.Data points on the False Positive and False Negative sections indicate errors, which should be investigated. Om alla data punkter finns på det sanna positiva och sanna negativa avsnittet är appens noggrannhet perfekt i den här data uppsättningen.If all data points are on the True Positive and True Negative sections, then your app's accuracy is perfect on this data set.

Fyra delar av diagrammet

Det här diagrammet hjälper dig att hitta yttranden som LUIS förutsäger felaktigt baserat på dess aktuella utbildning.This chart helps you find utterances that LUIS predicts incorrectly based on its current training. Resultaten visas per region i diagrammet.The results are displayed per region of the chart. Välj enskilda punkter i grafen för att granska uttryck-informationen eller Välj region namn för att granska uttryck resultat i den regionen.Select individual points on the graph to review the utterance information or select region name to review utterance results in that region.

Batch-testning

Fel i resultatenErrors in the results

Fel i batch-testet anger avsikter som inte förutsägs enligt vad som anges i kommando filen.Errors in the batch test indicate intents that are not predicted as noted in the batch file. Felen visas i de två röda avsnitten i diagrammet.Errors are indicated in the two red sections of the chart.

Avsnittet falsk positiv indikerar att en uttryck matchade ett avsikts-eller entitets när den inte borde ha det.The false positive section indicates that an utterance matched an intent or entity when it shouldn't have. Det falska negativa värdet indikerar att en uttryck inte matchade en avsikts-eller entitet när den borde ha.The false negative indicates an utterance did not match an intent or entity when it should have.

Korrigera batch-felFixing batch errors

Om det finns fel i batch-testning kan du antingen lägga till fler yttranden till ett avsikts sätt och/eller lägga till etiketten mer yttranden med entiteten för att hjälpa LUIS att göra diskrimineringen mellan olika syften.If there are errors in the batch testing, you can either add more utterances to an intent, and/or label more utterances with the entity to help LUIS make the discrimination between intents. Om du har lagt till yttranden och märkt dem och fortfarande får förutsägelse fel i batch-testning, bör du överväga att lägga till en fras lista med en domänbaserad vokabulär för att hjälpa Luis att lära dig snabbare.If you have added utterances, and labeled them, and still get prediction errors in batch testing, consider adding a phrase list feature with domain-specific vocabulary to help LUIS learn faster.

Nästa stegNext steps