Как использовать Dashboard для улучшения вашего приложения
Важно!
Поддержка LUIS будет прекращена 1 октября 2025 г., а начиная с 1 апреля 2023 г. вы не сможете создавать новые ресурсы LUIS. Мы рекомендуем перенести приложения LUIS в распознавание устной речи , чтобы воспользоваться преимуществами постоянной поддержки продуктов и многоязычных возможностей.
Находите и устраняйте проблемы с намерениями вашего обученного приложения, когда вы используете примеры высказываний. На панели управления отображается общая информация о приложении с указанием намерений, которые необходимо исправить.
Анализ панели инструментов обзора — это итеративный процесс, который повторяется по мере изменения и улучшения вашей модели.
На этой странице не будет релевантного анализа для приложений, которые не содержат примеров высказываний в намерениях, известных как приложения только для шаблонов.
Какие проблемы можно исправить с помощью панели управления?
На панели управления решаются следующие три проблемы:
| Проблема | Цвет диаграммы | Описание |
|---|---|---|
| Несбалансированность данных | - | Это происходит, когда количество примеров высказываний значительно различается. У всех намерений должно быть примерно одинаковое количество примеров высказываний, за исключением намерения Нет. В нем должно быть всего 10–15 % от общего количества высказываний в приложении. Если данные не сбалансированы, но точность намерений превышает определенный порог, об этом дисбалансе не сообщается как о проблеме. Начните с этой проблемы — она может быть основной причиной других проблем. |
| Неясные прогнозы | Оранжевый | Это происходит, когда оценки основного намерения и следующего намерения достаточно близки, чтобы они могли переключиться на следующее обучение из-за отрицательной выборки или большего количества примеров высказываний, добавленных к намерению. |
| Неверные прогнозы | Красный | Это происходит, когда примерное высказывание не предсказано для помеченного намерения (намерения, в котором оно находится). |
Правильные прогнозы отображаются синим цветом.
На панели инструментов отображаются эти проблемы, указывается, какие намерения затронуты, а также предлагается, что вам следует сделать, чтобы улучшить приложение.
Перед обучением приложения
Перед обучением приложения на панели инструментов нет предложений по исправлениям. Обучите свое приложение, чтобы увидеть эти предложения.
Проверьте свой статус публикации
Карточка Статуса публикации содержит информацию о последней публикации активной версии.
Убедитесь, что активная версия — это версия, которую вы хотите исправить.
Здесь также отображаются все внешние службы, опубликованные регионы и агрегированные обращения к конечным точкам.
Обзор оценки обучения
Карточка Оценки обучения содержит сводную сводку общей точности вашего приложения по областям. Оценка указывает на качество намерения.
Диаграмма показывает правильно предсказанные намерения и проблемные области разными цветами. По мере того как вы улучшаете приложение с помощью предложений, этот балл увеличивается.
Предлагаемые исправления разделены по типу проблемы и являются наиболее важными для вашего приложения. Если вы предпочитаете просматривать и исправлять проблемы по отдельности, используйте карточку Намерения с ошибками внизу страницы.
В каждой проблемной области есть намерения, которые необходимо исправить. Когда вы выбираете имя намерения, открывается страница Намерения с фильтром, примененным к высказываниям. Этот фильтр позволяет сосредоточить внимание на высказываниях, вызывающих проблему.
Сравните изменения в версиях
Прежде чем вносить изменения в приложение, создайте новую версию. Внесите предлагаемые изменения в примеры речевых фрагментов для намерения в новой версии, а затем выполните повторное обучение. Чтобы сравнить изменения, перейдите на карточку Оценка обучения на странице панели мониторинга и выберите команду Показать изменения из обученной версии.
Исправьте версию, добавив или отредактировав примеры высказываний и переобучив
Основным методом исправления вашего приложения будет добавление или редактирование примеров высказываний и повторное обучение. Новые или измененные высказывания должны соответствовать рекомендациям для различных высказываний.
Добавление примеров высказываний должно выполняться тем, кто:
- обладает высокой степенью понимания того, что есть высказывания в разных намерениях.
- знает, как высказывания одного намерения можно спутать с другим намерением.
- может решить, следует ли объединить два намерения, которые часто путают друг с другом, в одно намерение. В этом случае различные данные должны быть извлечены с помощью сущностей.
Шаблоны и списки фраз
На странице аналитики не указано, когда использовать шаблоны или списки фраз. Если вы все же добавите их, это может помочь с неверными или нечеткими прогнозами, но не поможет с дисбалансом данных.
Проверить несбалансированность данных
Начните с этой проблемы — она может быть основной причиной других проблем.
Список намерений несбалансированности данных показывает намерения, которым требуется больше высказываний, чтобы исправить дисбаланс данных.
Чтобы устранить проблему, выполните указанные ниже действия:
- Добавьте к намерению больше высказываний, затем снова тренируйтесь.
Не добавляйте высказывания к намерению "Нет", если это не предлагается на панели управления.
Совет
Используйте третий раздел на странице Высказывания по намерениям с настройкой Высказывания (число) как краткое наглядное представление о том, какие намерения требуют большего количества высказываний.
Проверить неверные прогнозы
Список намерений неверного предсказания показывает намерения, которые имеют высказывания, которые используются в качестве примеров для определенного намерения, но предсказываются для разных намерений.
Чтобы устранить проблему, выполните указанные ниже действия:
- Отредактируйте высказывания, чтобы они соответствовали намерениям, и тренируйтесь снова.
- Объедините намерения, если высказывания слишком близки, и тренируйтесь снова.
Проверка нечетких прогнозов
Список намерений нечетких прогнозов показывает намерения с высказываниями с оценками предсказания, которые находятся недостаточно далеко от их ближайшего соперника, поэтому верхнее намерение высказывания может измениться при следующем обучении из-за отрицательной выборки.
Чтобы исправить эту проблему;
- Отредактируйте высказывания, чтобы они соответствовали намерениям, и тренируйтесь снова.
- Объедините намерения, если высказывания слишком близки, и тренируйтесь снова.
Высказывания по намерениям
Эта карточка показывает общее состояние приложения по намерениям. По мере исправления намерений и переобучения продолжайте заглядывать в эту карточку на предмет проблем.
На следующей диаграмме показано хорошо сбалансированное приложение, почти не требующее исправлений.
На следующей диаграмме показано плохо сбалансированное приложение, требующее исправления множества проблем.
Наведите указатель мыши на панель каждого намерения, чтобы получить информацию о намерении.
Используйте функцию Сортировать по, чтобы упорядочить намерения по типу задачи, чтобы вы могли сосредоточиться на наиболее проблемных намерениях в этой задаче.
Намерения с ошибками
Эта карточка позволяет вам просматривать проблемы с определенным намерением. По умолчанию эта карточка представляет собой наиболее проблемные намерения, поэтому вы знаете, на чем сосредоточить свои усилия.
Верхняя кольцевая диаграмма показывает проблемы с намерением по трем типам проблем. Если есть проблемы с тремя типами проблем, для каждого типа ниже приведена собственная таблица, а также любые намерения соперников.
Фильтровать намерения по проблеме и проценту
Этот раздел карточки позволяет вам найти примеры высказываний, выходящих за пределы вашего порога ошибки. В идеале вы хотите, чтобы правильные прогнозы были значимыми. Этот процент зависит от бизнеса и клиентов.
Определите пороговые значения, которые вам подходят для вашего бизнеса.
Фильтр позволяет находить намерения по конкретной проблеме:
| Фильтр | Предлагаемый процент | Цель |
|---|---|---|
| Самые проблемные намерения | - | Начните здесь — исправление высказываний в этом намерении улучшит приложение больше, чем другие исправления. |
| Правильные прогнозы ниже | 60 % | Это процент высказываний в выбранном намерении, которые верны, но имеют показатель достоверности ниже порогового значения. |
| Неясные прогнозы выше | 15 % | Это процент высказываний в выбранном намерении, которые путаются с намерением ближайшего соперника. |
| Неправильные прогнозы выше | 15 % | Это процент неверно предсказанных высказываний в выбранном намерении. |
Правильный порог предсказания
Какой для вас показатель достоверности предсказаний? В начале разработки приложения вашей целью может быть 60 %. Используйте приведенные ниже верные прогнозы с процентным соотношением 60 %, чтобы найти любые высказывания в выбранном намерении, которые необходимо исправить.
Неясный или неверный порог прогноза
Эти два фильтра позволяют вам находить высказывания в выбранном намерении за пределами вашего порогового значения. Вы можете думать об этих двух процентах как о процентах ошибок. Если вас устраивает 10–15 % ошибок для прогнозов, установите порог фильтра на 15 %, чтобы найти все высказывания, превышающие это значение.