Измерение результатов чат-бота

Внимание

Возможности и функции Power Virtual Agents теперь являются частью Microsoft Copilot Studio после значительных инвестиций в генеративный искусственный интеллект и расширенную интеграцию с Microsoft Copilot.

Некоторые статьи и снимки экрана могут ссылаться на Power Virtual Agents, пока мы обновляем документацию и учебные материалы.

Отслеживание вовлеченности и результатов разговора имеет решающее значение для измерения показателей производительности чат-бота и определения областей для улучшений на панели мониторинга аналитики.

Внимание

Разговор Microsoft Copilot Studio между конечным пользователем и чат-ботом создает один или несколько сеансов аналитики. Все сеансы аналитики являются либо с взаимодействием, либо без взаимодействия.

Понимание результатов сеансов аналитики

Каждый сеанс аналитики имеет результат:

• Сеансы без взаимодействия всегда имеют результат Нет.
• Сеансы со взаимодействием имеют один из следующих результатов:

• Разрешено,
• Эскалировано,
• Прерван.

Взаимодействие и результаты

Сеансы анализа разговоров, их состояние взаимодействия и их результаты доступны как часть панели мониторинга аналитики или в таблице ConversationTranscript в Dataverse.

Взаимодействие	Результат	Определение
Без взаимодействия	Нет (None)	Все сеансы без взаимодействия всегда имеют результат Нет.
Заинтересованный	Эскалировано (HandOff)	Сеанс считается эскалированным, когда запускается тема Эскалация или достигается узел Передать разговор.
Заинтересованный	Разрешено (Resolved)	Сеанс считается разрешенным, когда срабатывает тема Конец разговора и пользователь подтверждает, что взаимодействие было успешным (impliedSuccess = FALSE) или не отвечает и позволяет сеансу истечь по времени (impliedSuccess = TRUE).
Заинтересованный	Прерван (Abandoned)	Сеанс считается прерванным по завершении сеанса взаимодействия, когда он не достиг состояния разрешения или эскалации.

Правильное завершение разговоров для оценки результатов

Важно завершить разговор с темой Конец разговора, чтобы конечный пользователь мог подтвердить, решена его проблема или нет (и, возможно, передать ее на эскалацию).

Когда бот подтвердит успех, конечному пользователю отобразится опрос CSAT, чтобы получить оценку 0–5.

Если вы уверены в результате разговора на основе логики темы, вы можете напрямую пометить ее как подтвержденный успех или перенаправить на тему эскалации.

Совет

На едином холсте разработки в редакторе кода вы можете установить conversationOutcome внутри действия. Например, conversationOutcome: ResolvedConfirmed для подтвержденного успеха или conversationOutcome: ResolvedImplied для неявно предполагаемого успеха.