Lote de teste com 1.000 declarações no portal do LUISBatch testing with 1000 utterances in LUIS portal

O teste em lotes valida sua versão treinada ativa para medir sua precisão de previsão.Batch testing validates your active trained version to measure its prediction accuracy. Um teste em lote ajuda a exibir a precisão de cada tentativa e entidade em sua versão ativa, exibindo os resultados com um gráfico.A batch test helps you view the accuracy of each intent and entity in your active version, displaying results with a chart. Examine os resultados do teste em lotes para tomar as medidas apropriadas para melhorar a precisão, como adicionar mais exemplos de declarações a uma intenção se seu aplicativo freqüentemente falhar ao identificar a intenção correta ou rotular entidades dentro do expressão.Review the batch test results to take appropriate action to improve accuracy, such as adding more example utterances to an intent if your app frequently fails to identify the correct intent or labeling entities within the utterance.

Agrupar dados para o teste em loteGroup data for batch test

É importante que as declarações usadas para o teste em lote sejam novas no LUIS.It is important that utterances used for batch testing are new to LUIS. Se você tiver um conjunto de dados de declarações, divida o declarações em três conjuntos: exemplo declarações adicionado a uma intenção, declarações recebido do ponto de extremidade publicado e declarações usado para testar o lote LUIS depois de ser treinado.If you have a data set of utterances, divide the utterances into three sets: example utterances added to an intent, utterances received from the published endpoint, and utterances used to batch test LUIS after it is trained.

Um conjunto de dados de declaraçõesA data set of utterances

Envie um arquivo em lotes de declarações, conhecido como um conjunto de dados, para teste em lotes.Submit a batch file of utterances, known as a data set, for batch testing. O conjunto de dados é um arquivo formatado em JSON que contém um máximo de 1.000 rotulado como declarações não duplicado .The data set is a JSON-formatted file containing a maximum of 1,000 labeled non-duplicate utterances. Você pode testar até 10 conjuntos de dados em um aplicativo.You can test up to 10 data sets in an app. Se você precisar testar mais, exclua um conjunto de dados e, em seguida, adicione um novo.If you need to test more, delete a data set and then add a new one.

RegrasRules
*Nenhuma declaração duplicada*No duplicate utterances
1.000 declarações ou menos1000 utterances or less

*As duplicatas serão consideradas correspondências da cadeia de caracteres exatas, não correspondências sinalizadas com token primeiro.*Duplicates are considered exact string matches, not matches that are tokenized first.

Entidades permitidas nos testes em lotesEntities allowed in batch tests

Todas as entidades personalizadas no modelo aparecem no filtro de entidades de teste de lote, mesmo se não houver nenhuma entidade correspondente nos dados do arquivo em lotes.All custom entities in the model appear in the batch test entities filter even if there are no corresponding entities in the batch file data.

Formato do arquivo em loteBatch file format

O arquivo em lote consiste em declarações.The batch file consists of utterances. Cada expressão deve ter uma previsão de intenção esperada junto com as entidades de aprendizado de máquina que você espera que sejam detectadas.Each utterance must have an expected intent prediction along with any machine-learning entities you expect to be detected.

Modelo de sintaxe em lote para intenções com entidadesBatch syntax template for intents with entities

Use o modelo a seguir para iniciar o arquivo em lotes:Use the following template to start your batch file:

[
  {
    "text": "example utterance goes here",
    "intent": "intent name goes here",
    "entities":
    [
        {
            "entity": "entity name 1 goes here",
            "startPos": 14,
            "endPos": 23
        },
        {
            "entity": "entity name 2 goes here",
            "startPos": 14,
            "endPos": 23
        }
    ]
  }
]

O arquivo em lotes usa as propriedades startPos e endPos para observar o início e o fim de uma entidade.The batch file uses the startPos and endPos properties to note the beginning and end of an entity. Os valores são baseados em zero e não devem iniciar ou terminar em um espaço.The values are zero-based and should not begin or end on a space. Isso é diferente dos logs de consulta, que usam as propriedades startIndex e endIndex.This is different from the query logs, which use startIndex and endIndex properties.

Funções no teste do loteRoles in batch testing

Cuidado

Não há suporte para funções de entidade no teste em lotes.Entity roles are not supported in batch testing.

Modelo de sintaxe em lote para intenções sem entidadesBatch syntax template for intents without entities

Use o modelo a seguir para iniciar o arquivo em lotes sem entidades:Use the following template to start your batch file without entities:

[
  {
    "text": "example utterance goes here",
    "intent": "intent name goes here",
    "entities": []
  }
]

Se você não deseja testar entidades, inclua a propriedade entities e defina o valor como uma matriz vazia, [].If you do not want to test entities, include the entities property and set the value as an empty array, [].

Erros comuns ao importar um loteCommon errors importing a batch

Os erros comuns incluem:Common errors include:

  • Mais de 1.000 declaraçõesMore than 1,000 utterances
  • Um objeto JSON de declaração que não tem uma propriedade de entidades.An utterance JSON object that doesn't have an entities property. A propriedade pode ser uma matriz vazia.The property can be an empty array.
  • Palavra(s) rotulada(s) em várias entidadesWord(s) labeled in multiple entities
  • Rótulo de entidade inicial ou final em um espaço.Entity label starting or ending on a space.

Estado do teste em loteBatch test state

LUIS rastreia o estado do último teste de cada conjunto de dados.LUIS tracks the state of each data set's last test. Isso inclui o tamanho (número de declarações no lote), data da última execução e último resultado (número de declarações previstas com êxito).This includes the size (number of utterances in the batch), last run date, and last result (number of successfully predicted utterances).

Resultados do teste em loteBatch test results

O resultado do teste em lote é um gráfico de dispersão, conhecido como matriz de erro.The batch test result is a scatter graph, known as an error matrix. Esse gráfico é uma comparação de 4 vias das declarações no arquivo de lote, intenção prevista do modelo atual e entidades.This graph is a 4-way comparison of the utterances in the batch file and the current model's predicted intent and entities.

Os pontos de dados nas seções Falso Positivo e Falso Negativo indicam os erros que devem ser investigados.Data points on the False Positive and False Negative sections indicate errors, which should be investigated. Se todos os pontos de dados estiverem nas seções verdadeiro positivo e verdadeiro negativo , a precisão do aplicativo será perfeita nesse conjunto de dados.If all data points are on the True Positive and True Negative sections, then your app's accuracy is perfect on this data set.

Quatro seções do gráfico

Esse gráfico ajuda a encontrar as declarações que o LUIS prevê incorretamente com base em seu treinamento atual.This chart helps you find utterances that LUIS predicts incorrectly based on its current training. Os resultados são exibidos por região do gráfico.The results are displayed per region of the chart. Selecione os pontos individuais no gráfico para examinar as informações de declaração ou selecione o nome da região para examinar os resultados da declaração nessa região.Select individual points on the graph to review the utterance information or select region name to review utterance results in that region.

Teste em lote

Erros nos resultadosErrors in the results

Os erros no teste em lote indicam as intenções que não estão previstas, como indicado no arquivo em lote.Errors in the batch test indicate intents that are not predicted as noted in the batch file. Os erros são indicados nas duas seções vermelhas do gráfico.Errors are indicated in the two red sections of the chart.

A seção de falso positivo indica que uma declaração correspondeu a uma intenção ou entidade quando não deveria.The false positive section indicates that an utterance matched an intent or entity when it shouldn't have. O falso negativo indica que uma declaração não correspondeu a uma intenção ou entidade quando deveria.The false negative indicates an utterance did not match an intent or entity when it should have.

Corrigindo erros em loteFixing batch errors

Se houver erros no teste em lote, você poderá adicionar mais declarações a uma intenção e/ou rotular mais declarações com a entidade para ajudar o LUIS a diferenciar as intenções.If there are errors in the batch testing, you can either add more utterances to an intent, and/or label more utterances with the entity to help LUIS make the discrimination between intents. Se você adicionou declarações, rotulou e ainda recebe erros de previsão no teste em lote, considere adicionar um recurso de lista de frases com um vocabulário específico do domínio para ajudar o LUIS a aprender mais rápido.If you have added utterances, and labeled them, and still get prediction errors in batch testing, consider adding a phrase list feature with domain-specific vocabulary to help LUIS learn faster.

Próximas etapasNext steps