Обзор интеграции распознавания разговорной речи

  • Статья

Внимание

Возможности и функции Power Virtual Agents теперь являются частью Microsoft Copilot Studio после значительных инвестиций в генеративный искусственный интеллект и расширенную интеграцию с Microsoft Copilot.

Некоторые статьи и снимки экрана могут ссылаться на Power Virtual Agents, пока мы обновляем документацию и учебные материалы.

Вы можете интегрировать свою модель распознавания разговорного языка (CLU) с ботом Microsoft Copilot Studio. Распознавание разговорного языка — это одна из настраиваемых функций, предлагаемых Azure Cognitive Service для языковой службы. Это облачная служба, которая применяет аналитику машинного обучения, чтобы вы могли создать компонент распознавания естественного языка, который будет использоваться в комплексном разговорном приложении. Доступны API-интерфейсы языковой службы (но они не требуются для интеграции с Microsoft Copilot Studio), а Azure Language Studio предоставляет функции обработки естественного языка (NLP) для анализ разговорного текста.

В проектах, созданных с использованием этой возможности, создатели ботов теперь могут получать доступ к намерениям и сущностям существующих моделей CLU непосредственно в Microsoft Copilot Studio. Пользователи Microsoft Copilot Studio теперь могут сопоставлять намерения CLU для запуска диалогов ботов так же, как и собственные триггеры речевых фрагментов Microsoft Copilot Studio. Сущности, импортированные из модели CLU, отображаются на странице Microsoft Copilot Studio Сущности и могут использоваться вместе с готовыми сущностями Microsoft Copilot Studio. Создатели ботов могут добавлять новые узлы вопросов в теме и выбирать доступные сущности и намерения из импортированной модели CLU. Сущности CLU привязываются к эквивалентным объектам Microsoft Copilot Studio. Пользователи указывают имя, тип данных и структуру JSON пользовательского типа данных, если это необходимо, для каждой сущности.

Заметка

В случае существующих ботов, в которых вы хотите использовать преимущества интеграции CLU, вам понадобится сопоставить модель CLU с Microsoft Copilot Studio, после чего вы сможете обновить фразы-триггеры бота, чтобы связать каждую тему с соответствующим намерением CLU. Вы также можете вручную управлять связью между моделью CLU и Microsoft Copilot Studio.

Предварительные условия

Основные понятия

Рассматриваемые в этой статье понятия помогут вам понять, как интегрировать модели CLU с проектами Microsoft Copilot Studio. Дополнительные сведения см. в статье Начало работы с распознаванием речи.

Соединители CLU

Соединитель — это оболочка вокруг API, которая позволяет Azure Cognitive Service взаимодействовать с Microsoft Copilot Studio. Кроме того, он позволяет пользователям подключать свои учетные записи и создавать собственные приложения и рабочие процессы, используя набор готовых триггеров и действий. Подробнее см. в статье Azure Cognitive Service для языковой службы — соединители.

Соединители Power Platform позволяют службам Майкрософт взаимодействовать с API CLU. Дополнительные сведения см. в документации по соединителям Power Platform и Azure Logic Apps. Хотя вы можете импортировать любые типы соединителей, Microsoft Copilot Studio в настоящее время не проверяет соединители.

Подключения в Microsoft Copilot Studio

Подключение – это сохраненные учетные данные проверки подлинности для соединителя, например учетные данные OAuth для соединителя SharePoint. Ссылка на подключение — это компонент решения, содержащий ссылку на подключение для определенного соединителя.

Подключения Microsoft Copilot Studio относятся к конкретной среде. Когда вы импортируете бота, вы должны настроить для него подключение. В Power Platform существует стандартный способ реализовать это — с помощью ссылки на подключение. Дополнительные сведения см. в статье Ссылки на подключения в решениях — Power Apps.

Внешние распознаватели

Интеграция CLU поддерживает определенные внешние распознаватели. Триггер OnRecognize срабатывает в следующих сценариях:

  • При запуске темы: LanguageUnderstandingReason.TriggerTopic

  • Когда узел вопроса не поддерживает прерывания и требует ответа: LanguageUnderstandingReason.AnswerQuestion

  • Когда узел вопроса поддерживает прерывания и требует ответа: LanguageUnderstandingReason.AnswerQuestionWithInterruptions

Внешние намерения

Интеграция с CLU поддерживает распознанные внешние намерения, использующие системную переменную System.Recognizer.IntentOptions, в следующих сценариях:

  • Повторное использование TopicId в качестве идентификатора внешнего намерения
  • Повторное использование TriggerId в качестве идентификатора внешнего намерения
  • Создание нового свойства IntentId в качестве идентификатора внешнего намерения
  • Системные переменные, поддерживающие причину срабатывания распознавателя
Имя свойства Type Описание:
DisplayName String Отображаемое имя для распознанного намерения; локализованное на текущий язык, и предназначенное для отображения в уточнении «вы имели в виду» (если применимо)
Балл Число Оценка распознавателя
TopicId String Имя темы в схеме Dataverse
TriggerId String Уникальный идентификатор триггера в теме AdaptiveDialog

Полный список переменных Microsoft Copilot Studio, включая системные, см. в статье Использование переменных — Microsoft Copilot Studio.

Смешивание различных типов компонентов сущностей

Сущности CLU включают релевантную информацию, извлеченную из речевых фрагментов NLU. Сущности могут извлекаться с использованием различных методов. Их можно узнать из контекста, выбрать методом подбора из списка или обнаружить с помощью готовой распознанной сущности. Полный список типов компонентов сущностей см. в статье Типы компонентов.

Заметка

Вы также можете использовать готовые сущности Microsoft Copilot Studio наряду с сущностями CLU.

К другим возможностям создания ботов, поддерживаемые интеграцией CLU, относятся: