예측 코딩 참조(미리 보기)
이 문서에서는 Microsoft Purview eDiscovery(프리미엄)의 예측 코딩 도구의 주요 개념과 메트릭에 대해 설명합니다. 문서의 섹션은 사전순으로 나열됩니다.
신뢰 수준
신뢰도 수준은 예측 코딩 모델을 만들 때 고급 설정입니다. 모델의 성능 메트릭(예: 풍부도, 정밀도 및 재현율)이 모델이 검토 집합의 항목에 할당하는 예측 점수의 실제 값을 나타내는 지정된 범위(모델에 대해 정의된 오차 범위 결정)에 속하도록 정의합니다. 신뢰도 수준 및 오차 범위의 값은 컨트롤 집합에 포함되는 항목 수를 결정하는 데도 도움이 될 수 있습니다. 신뢰 수준 기본값은 0.95 또는 95%입니다.
컨트롤 집합
제어 집합은 예측 코딩 모델의 학습 프로세스 중에 사용됩니다. 컨트롤 집합은 학습 라운드 중에 수행하는 레이블이 지정된 항목에 모델이 할당하는 예측 점수를 평가하는 것입니다. 컨트롤 집합의 크기는 검토 집합의 항목 수와 모델을 만들 때 설정된 오류 값의 신뢰도 수준 및 여백을 기반으로 합니다. 컨트롤 집합의 항목은 변경되지 않으며 사용자가 식별할 수 없습니다. 컨트롤 집합의 총 항목 수는 학습 라운드에 대한 플라이아웃 페이지에 표시됩니다.
컨트롤 집합 혼동 행렬
학습 라운드를 완료한 후 모델은 학습 라운드 중에 레이블이 지정된 컨트롤 집합의 10개 항목에 예측 점수를 할당합니다. 모델은 이러한 10개 항목의 예측 점수를 학습 라운드 중에 항목에 할당한 실제 레이블과 비교합니다. 이 비교에 따라 모델은 모델의 예측 성능을 평가하기 위해 다음 분류를 식별합니다.
| Label | 모델은 항목이 관련성이 있다고 예측합니다. | 모델은 항목이 관련이 없음을 예측합니다. |
|---|---|---|
| 검토자 레이블 항목 관련 | 참 긍정 | 가양성 |
| 검토자 레이블 항목이 관련이 없음 | 가음성 | 참 음수 |
이러한 비교에 따라 모델은 F 점수, 정밀도 및 회수 메트릭에 대한 값과 각 메트릭의 오차 범위를 파생합니다. 행렬의 각 혼동 유형 수는 학습 라운드에 대한 플라이아웃 페이지에 표시됩니다.
F 점수
F 점수는 정밀도 및 회수 메트릭에 대한 점수의 가중 평균입니다. 이 메트릭의 점수 범위는 0 에서 1 까지입니다. 점수가 1 에 가까울수록 모델이 관련 항목을 보다 정확하게 검색할 수 있음을 나타냅니다. F 점수 메트릭은 모델 대시보드 및 각 학습 라운드에 대한 플라이아웃 페이지에 표시됩니다.
오차 범위
오차 범위는 예측 코딩 모드를 만들 때 고급 설정입니다. 컨트롤 집합의 임의 항목 샘플링에서 파생된 성능 메트릭(예: 풍부도, 정밀도 및 재현율)의 오류 정도를 지정합니다. 오차 범위가 낮을수록 모델의 성능 메트릭이 더 작은 범위 내에 속하도록 더 큰 컨트롤 집합이 필요합니다. 오차 범위 및 신뢰도 수준의 값은 컨트롤 집합에 포함되는 항목 수를 결정하는 데도 도움이 될 수 있습니다. 오차 범위의 기본값은 0.05 또는 5%입니다.
모델 안정성
모델 안정성은 검토 집합의 문서가 관련이 있는지 여부를 정확하게 예측하는 모델의 기능을 나타냅니다. 모델이 불안정한 경우 모델의 안정성을 포함하기 위해 더 많은 학습 라운드를 수행해야 할 수 있습니다. 모델이 안정적이면 더 이상 학습 라운드를 수행할 필요가 없습니다. 모델 대시보드는 모델 안정성의 현재 상태를 나타냅니다. 모델이 안정적이면 성능 메트릭이 신뢰도 수준 및 오차 범위의 설정과 일치하는 수준에 도달했습니다.
뒤집기 속도
전복 속도는 학습 라운드 간에 예측 점수가 변경된 검토 집합의 항목 백분율입니다. 전복 속도가 5% 미만인 경우 모델은 안정적인 것으로 간주됩니다. 뒤집기 속도 메트릭은 모델 대시보드 및 각 학습 라운드에 대한 플라이아웃 페이지에 표시됩니다. 뒤집을 이전 예측 점수가 없으므로 첫 번째 학습 라운드의 전복 속도는 0입니다.
정밀도
정밀도 메트릭은 모델이 예측한 항목과 실제로 관련된 항목의 비율을 측정합니다. 즉, 검토자가 관련성이 있고 모델과 관련된 것으로 예측되는 레이블이 있는 컨트롤 집합의 항목입니다. 이 메트릭의 점수 범위는 0 에서 1 까지입니다. 점수가 1 에 가까울수록 모델이 관련 없는 항목을 더 적게 식별할 수 있음을 나타냅니다. 전체 자릿수 메트릭은 모델 대시보드 및 각 학습 라운드에 대한 플라이아웃 페이지에 표시됩니다.
예측 점수
모델이 검토 집합의 각 문서에 할당하는 점수입니다. 점수는 학습 라운드에서 모델의 학습과 비교하여 문서의 관련성을 기반으로 합니다. 일반적으로 예측 점수가 0에서 0.5 사이인 항목은 관련이 없는 것으로 간주되며 예측 점수가 0.5 에서 1 사이인 항목은 관련된 것으로 간주됩니다. 예측 점수는 문서 메타데이터 필드에 포함됩니다. 예측 필터를 사용하여 지정된 예측 범위에 속하는 검토 집합의 항목을 표시할 수 있습니다.
기억
리콜 메트릭은 모델이 예측한 항목의 비율을 측정하여 실제로 관련된 항목 간에 관련이 있습니다. 즉, 모델이 관련성이 있다고 예측한 컨트롤 집합의 항목도 검토자가 관련 항목으로 레이블을 지정했습니다. 이 메트릭의 점수 범위는 0 에서 1 까지입니다. 점수가 1 에 가까울수록 모델이 관련 항목의 더 큰 부분을 식별합니다. 회수 메트릭은 모델 대시보드 및 각 학습 라운드에 대한 플라이아웃 페이지에 표시됩니다.
검토 집합
검토 집합은 예측 코딩 모델의 범위를 제공합니다. 검토 집합에 대한 새 모델을 만들면 검토 집합에서 컨트롤 집합 및 학습 집합에 대한 항목이 선택됩니다. 모델이 예측 점수를 할당하면 검토의 항목에 해당 점수를 할당합니다. 예측 코딩 모델을 만들기 전에 검토 집합에 모든 항목을 추가해야 합니다. 모델을 만든 후 항목을 추가하면 해당 항목에 예측 점수가 할당되지 않습니다.
풍요 로 움
풍부도 메트릭은 모델이 관련 항목으로 예측하는 검토 집합 항목의 백분율을 측정합니다. 이 메트릭의 점수 범위는 0 에서 1 까지입니다. 풍부도 메트릭이 모델 대시보드에 표시됩니다.
샘플링된 항목
샘플링된 항목 이라는 용어는 예측 코딩 모델을 만들 때 선택되고 컨트롤 집합과 연결된 검토 집합(텍스트 포함)의 임의 항목 샘플에 대한 참조입니다. 각 학습 라운드에 대해 임의 항목 샘플도 선택됩니다. 모델의 컨트롤 집합에 대해 선택한 항목은 동일한 모델에 대한 학습 집합에 포함되지 않습니다. 반대의 경우도 마찬가지입니다. 학습 집합 항목은 컨트롤 집합에 포함되지 않습니다.
학습 집합
모델은 검토 집합에서 항목을 임의로 선택하고 학습 집합에 추가합니다. 학습 라운드 중에 학습 집합의 항목(컨트롤 집합의 항목 외에)이 표시되므로 각 항목에 "관련" 또는 "관련이 없음"으로 레이블을 지정할 수 있습니다. 이 레이블 지정 또는 "학습" 프로세스는 모델이 검토에서 관련성이 있거나 관련이 없는 항목을 예측하는 방법을 학습하는 데 도움이 됩니다. 학습 라운드를 수행할 때마다 모델은 검토에서 더 많은 항목을 선택하고 해당 학습 라운드에 대한 학습 집합에 추가합니다. 컨트롤 집합의 항목은 학습 집합에 대해 선택되지 않습니다.