Оценки прогнозирования отражают точность прогнозирования намерения и сущностей

Важно!

Поддержка LUIS будет прекращена 1 октября 2025 г., а начиная с 1 апреля 2023 г. вы не сможете создавать новые ресурсы LUIS. Мы рекомендуем перенести приложения LUIS в распознавание устной речи , чтобы воспользоваться преимуществами постоянной поддержки продуктов и многоязычных возможностей.

Оценка предсказания указывает степень уверенности LUIS в отношении результатов предсказания высказывания пользователя.

Оценка прогнозирования находится в диапазоне от нуля (0) до единицы (1). Пример оценки прогнозирования LUIS с высокой степенью достоверности — 0,99. Пример оценки прогнозирования LUIS с низкой достоверностью — 0,01.

Значение оценки	Достоверность
1	Точное соответствие
0,99	Высокая степень достоверности
0,01	Низкая степень достоверности
0	Точное несоответствие

Намерение с максимальной оценкой

Для каждого прогнозирования высказывание возвращает намерение с максимальной оценкой. Этот прогноз представляет собой численное сравнение оценок прогнозов.

Близость оценок друг к другу

2 верхние оценки могут иметь очень небольшую разницу между ними. LUIS никак не обозначает этот факт, за исключением возвращаемых оценок.

Возврат оценки прогнозирования для всех намерений

Результат для теста или конечной точки может содержать все намерения. Эта конфигурация устанавливается на конечной точке с использованием правильной пары имя/значение строки запроса.

API прогнозирования	Имя строки запроса
V3	show-all-intents=true
V2	verbose=true

Просмотр намерений с похожими оценками

Проверка оценки всех намерений — хороший способ убедиться, что не только правильно определено намерение, но и что оценка следующего идентифицированного намерения значительно и постоянно ниже для высказываний.

Если у нескольких намерений есть близкие оценки прогнозирования, то на основе контекста высказывания LUIS может переключаться между намерениями. Чтобы исправить эту ситуацию, продолжайте добавлять высказывания к каждому намерению с более широким разнообразием контекстных различий, или вы можете попросить клиентское приложение, такое как чат-бот, программно выбирать, как обрабатывать 2 основных намерения.

Два намерения, которые оцениваются сходным образом, могут поменяться местами из-за недетерминированного обучения. Первая оценка может стать второй, а вторая может стать первой. Чтобы предотвратить эту ситуацию, добавьте примеры высказываний к каждому из двух верхних намерений для этого высказывания с выбором слова и контекстом, который различает эти 2 намерения. Для двух намерений нужно добавить приблизительно одинаковое число примеров фрагментов речи. Общее правило для разделения для предотвращения изменения порядка намерений из-за обучение заключается в том, что разница в оценках должна составлять 15 %.

Вы можете отключить недетерминированное обучение, обучаясь со всеми данными.

Различия в прогнозах между разными тренировками

Когда вы тренируете одну и ту же модель в другом приложении и оценки не совпадают, эта разница возникает из-за недетерминированного обучения (элемент случайности). Во-вторых, любое перекрытие высказывания более чем на одно намерение означает, что намерение с максимальной оценкой для того же высказывания может измениться в зависимости от обучения.

Если вашему чат-боту требуется определенная оценка LUIS, чтобы указать на уверенность в намерении, вы должны использовать разницу в оценках между двумя основными намерениями. Эта ситуация обеспечивает гибкость для различных тренировок.

Вы можете отключить недетерминированное обучение, обучаясь со всеми данными.

Запись E (экспоненциальная запись)

Оценки прогнозирования можно записывать в форме экспоненциальной записи, над диапазоном 0–1, например 9.910309E-07. Эта оценка свидетельствует об очень маленьком числе.

Экспоненциальная запись оценки	Фактическая оценка
9.910309E-07	0,0000009910309

Параметры приложений

Используйте настройки приложения, чтобы контролировать, как диакритические знаки и знаки препинания влияют на результаты прогнозов.

Дальнейшие действия

Дополнительные сведения о добавлении сущностей в приложение LUIS см. в статье Добавление сущностей.