Pontuações de previsão indicam a precisão da previsão de intenções e entidades

Uma pontuação de previsão indica o grau de confiança do LUIS para resultados de previsão do enunciado de um usuário.

Uma pontuação de previsão é entre zero (0) e um (1). Um exemplo de uma pontuação com alta confiança do LUIS é 0,99. Um exemplo de uma pontuação com baixa confiança é 0,01.

Valor da pontuação Confiança
1 correspondência definida
0,99 alta confiança
0,01 baixa confiança
0 falha definida na correspondência

Intenção com maior pontuação

Toda previsão de declaração retorna uma intenção com maior pontuação. Essa previsão é uma comparação numérica de pontuações de previsão.

Proximidade das pontuações entre si

As duas maiores pontuações podem ter uma diferença muito pequena entre elas. O LUIS não indica essa proximidade, mas exibe a maior pontuação.

Retornar pontuação de previsão para todas as intenções

Um resultado do ponto de extremidade ou do teste pode incluir todas as intenções. Essa configuração é definida no ponto de extremidade, usando o par nome/valor correto da cadeia de caracteres de consulta.

API de previsão Nome da cadeia de caracteres de consulta
V3 show-all-intents=true
V2 verbose=true

Examinar intenções com pontuações semelhantes

Analisar a pontuação de todas as intenções é uma boa maneira de verificar que a intenção correta foi identificada, mas também que a pontuação da próxima intenção identificada é significativamente e consistentemente menor para os enunciados.

Se várias intenções tiverem pontuações de previsão próximas, com base no contexto de uma declaração, o LUIS poderá alternar entre as intenções. Para corrigir essa situação, continue adicionando enunciados a cada intenção com uma variedade maior de diferenças contextuais ou use o aplicativo cliente, como um chatbot, para fazer escolhas programáticas sobre como lidar com as duas principais intenções.

As 2 intenções, com pontuações muito parecidas, podem ser invertidas devido ao treinamento não determinístico. A pontuação superior poderia se tornar a parte superior da segunda e a segunda pontuação superior poderia se tornar a primeira pontuação superior. Para evitar essa situação, adicione exemplos de enunciado para cada uma das duas principais intenções desse enunciado, com uma escolha de palavras e um contexto que diferencie as duas intenções. As duas intenções devem ter aproximadamente o mesmo número de declarações de exemplo. Um princípio de separação para evitar a inversão devido ao treinamento, é uma diferença de 15% em pontuações.

Você pode desativar o treinamento não determinístico ao fazer o treinamento com todos os dados.

Diferenças nas previsões entre diferentes sessões de treinamento

Quando você treina o mesmo modelo em um aplicativo diferente e as pontuações não são as mesmas, essa diferença acontece porque há um treinamento não determinístico (um elemento de aleatoriedade). Em segundo lugar, qualquer sobreposição de uma expressão para mais de uma intenção significa que a principal intenção da mesma declaração pode mudar com base em treinamento.

Se o chatbot exigir uma pontuação do LUIS específica para indicar confiança em uma intenção, você deverá usar a diferença de pontuação entre as duas principais intenções. Essa situação proporciona flexibilidade para variações no treinamento.

Você pode desativar o treinamento não determinístico ao fazer o treinamento com todos os dados.

Notação E (exponencial)

As pontuações de previsão podem usar a notação exponencial, aparecendo acima do intervalo 0-1 range, como 9.910309E-07. Essa pontuação é uma indicação de um número muito pequeno.

Pontuação da notação E Pontuação real
9,910309E-07 .0000009910309

Configurações do aplicativo

Use as configurações do aplicativo para controlar como as marcas diacríticas e a pontuação afetam as pontuações de previsão.

Próximas etapas

Confira Adicionar entidades para saber como adicionar entidades ao seu aplicativo LUIS.