다음을 통해 공유

Copilot의 고객 만족도 메트릭 분석

  • 아티클

중요

Power Virtual Agents 기능 및 특징은 생성 AI에 대한 막대한 투자와 Microsoft Copilot 전반의 향상된 통합에 따라 이제 Microsoft Copilot Studio의 일부가 되었습니다.

문서 및 교육 콘텐츠를 업데이트하는 동안 일부 문서와 스크린샷에서는 Power Virtual Agents을 참조할 수 있습니다.

분석 페이지의 고객 만족도 탭은 평균 CSAT 점수, 기본 사용자 쿼리 테마, Copilot의 응답에 대한 만족도 또는 불만족 요인에 대한 실행 가능한 인사이트를 포함하여 고객 만족도(CSAT) 설문 조사 데이터에 대한 자세한 보기를 제공합니다.

기본적으로 이 페이지에는 지난 7일 동안의 주요 성과 지표가 표시됩니다. 기간을 변경하려면 페이지 상단의 날짜 선택기를 사용하세요. 지난 45일 이내의 모든 기간에 대한 데이터를 검색할 수 있습니다.

고객 만족도 페이지입니다.

고객 만족도 점수

고객 만족도 점수 차트는 고객이 설문 조사에 참여하기 위해 대화 종료 요청에 응답한 세션의 평균 CSAT 점수를 그래픽으로 보여줍니다. CSAT 설문 조사에서는 고객에게 자신의 경험을 1~5점 척도로 평가하도록 요청합니다. 최종 사용자가 동일한 세션에서 둘 이상의 설문 조사에 응답하는 경우 가장 최근 설문 조사만 사용됩니다.

이 차트는 기간별 변화 지표도 제공합니다. 예를 들어, 3일 기간을 선택하면 표시기는 선택한 기간 전 3일을 기준으로 비율 변화를 표시합니다. 기간별 표시는 Copilot에게 이전 기간에 대한 CSAT 설문 조사 데이터가 있는 경우에만 표시됩니다. 필터에서 선택한 항목과 관련하여 동일한 후행 기간에 대해 사용 가능한 CSAT 설문 조사 데이터가 없는 경우 기간별 표시기가 표시되지 않습니다.

CSAT 설문 응답 비율

CSAT 설문 조사 응답율 차트는 제시된 대화 종료 CSAT 설문 조사 건수와 완료된 설문 조사 비율을 보여줍니다.

고객 만족도 분석

고객 만족도 분석 차트는 선택한 기간 동안 만족, 불만족 또는 중립이었던 세션의 비율을 보여줍니다. 고객 만족도 상태 창에서는 세션 만족도 상태를 결정하는 데 사용되는 다양한 신호에 대한 자세한 내용을 제공합니다.

고객 만족도 상태

고객 만족도 상태 차트는 사용자가 검색한 테마에 대한 주요 인사이트와 Copilot 응답에 대한 사용자 만족도를 제공합니다. 비슷한 테마의 세션은 그룹화됩니다. 차트에는 선택한 기간 동안 각 테마에 대한 세션 수와 이러한 세션 중 만족 또는 불만족한 비율이 표시됩니다. 만족하지도 불만족하지도 않은 세션은 중립 세션으로 간주되어 이 차트에 표시되지 않습니다.

특정 세션의 주제는 ML 모델을 사용하여 파생됩니다. 분석 대시보드로 전송되기 전에 테마는 개인 식별이 가능한 정보(PII) 또는 전화번호와 같은 중요한 정보를 제거하기 위해 처리됩니다. 또한 테마에 욕설이나 유해한 언어가 포함된 경우 해당 테마는 가려집니다.

차트의 각 세그먼트 위로 마우스를 가져가면 구체적인 만족도 또는 불만족 요인을 확인할 수 있습니다. 특정 세션에 대해 기준 중 하나라도 해당되면 세션은 만족 또는 불만족으로 분류됩니다.

  • 다음과 같은 경우 세션이 불만족된 것으로 간주됩니다.

    • 사용자는 대화 종료 설문 조사에서 별 2개 이하를 주었습니다.
    • 사용자는 (시스템 대체 토픽)에서 쿼리를 두 번 이상 바꿔 달라는 요청을 받았습니다.
    • 사용자가 세션을 중단했습니다.
    • 사용자가 세션을 라이브 에이전트에게 에스컬레이션했습니다.
    • Copilot과의 대화에 대한 사용자의 전반적인 감정은 부정적으로 분류됩니다. 감정은 감정 분석을 위해 미세 조정된 공개적으로 사용 가능한 ML 모델을 사용하여 결정됩니다.

  • 다음과 같은 경우 세션이 만족된 것으로 간주됩니다.

    • 사용자는 대화 종료 설문 조사에서 별 4개 이상을 주었습니다.
    • 사용자는 (시스템 대체 토픽)에서 쿼리를 두 번 이상 바꿔 달라는 요청을 받지 않았습니다.
    • 세션이 해결되었습니다.
    • Copilot과의 대화에 대한 사용자의 전반적인 감정은 긍정적으로 분류됩니다.

위 기준 중 어느 하나도 충족하지 않는 세션은 중립 세션으로 간주되어 이 차트에 표시되지 않습니다.

분석 페이지의 요약 탭에서 정보 아이콘을 사용하여 참여, 에스컬레이션, 포기 및 해결 비율에 대해 자세히 알아볼 수 있습니다.

테마 및 세션 감정 추출

Copilot Studio는 자연어 처리(NLP) 기술을 사용하여 테마를 추출하고 주어진 Copilot 세션에 감정을 할당합니다.

모든 세션에 대해 Copilot Studio는 첫 번째 사용자 발화에서 테마를 추출합니다. 유사한 주제의 개별 세션이 집계되어 고객 만족도 상태 차트에 단일 항목으로 표시됩니다.

세션 감정을 평가하기 위해 기본 NLP 모델은 공용 영어 데이터 세트에서 훈련됩니다. 여기에는 세션의 텍스트를 분석하여 전반적인 정서가 긍정적인지, 부정적인지 또는 중립인지 결정하고, 사용자 쿼리를 전처리하여 오탐지를 제거하는 작업이 포함됩니다. 예를 들어, 이 전처리는 "가장 좋은 옵션은 무엇입니까?"와 같은 쿼리를 보장합니다. 쿼리에 "가장 좋은"이라는 단어가 나타난다는 이유만으로 긍정적인 것으로 분류되지는 않습니다.