予測コーディング リファレンス (プレビュー)

この記事では、Microsoft Purview eDiscovery (Premium) の予測コーディング ツールの主要な概念とメトリックについて説明します。 この記事のセクションはアルファベット順に一覧表示されます。

ヒント

E5 のお客様でない場合は、90 日間の Microsoft Purview ソリューション試用版を使用して、Purview の追加機能が組織のデータ セキュリティとコンプライアンスのニーズの管理にどのように役立つかを確認してください。 Microsoft Purview コンプライアンス ポータルのトライアル ハブで今すぐ開始してください。 サインアップと試用期間の詳細については、こちらをご覧ください。

信頼度

信頼レベルは、予測コーディング モデルを作成するときの高度な設定です。 モデルのパフォーマンス メトリック (リッチネス、精度、再現率など) が、モデルがレビュー セット内の項目に割り当てる予測スコアの真の値を表す指定された範囲内 (モデルに対して定義された誤差のマージンが決定されます) 内に収まるように定義します。 信頼レベルとエラーのマージンの値は、コントロール セットに含まれる項目の数を判断するのにも役立ちます。 信頼度レベルの既定値は 0.95% または 95% です。

コントロール セット

制御セットは、予測コーディング モデルのトレーニング プロセス中に使用されます。 コントロール セットは、トレーニング ラウンド中に実行するラベル付けを使用して、モデルが項目に割り当てる予測スコアを評価します。 コントロール セットのサイズは、レビュー セット内の項目の数と、モデルの作成時に設定される信頼レベルとエラー値の余白に基づきます。 コントロール セット内の項目は変更されず、ユーザーを識別できません。 コントロール セット内の項目の合計数は、トレーニング ラウンドのポップアップ ページに表示されます。

コントロール セットの混同行列

トレーニング ラウンドを完了すると、モデルは、トレーニング ラウンド中にラベル付けしたコントロール セット内の 10 個の項目に予測スコアを割り当てます。 このモデルでは、これらの 10 項目の予測スコアと、トレーニング ラウンド中にアイテムに割り当てた実際のラベルが比較されます。 この比較に基づいて、モデルは次の分類を識別して、モデルの予測パフォーマンスを評価します。

---

Label	モデルは、項目が関連すると予測します	モデルは、項目が関連性を示さないと予測します
関連するレビュー担当者ラベル アイテム	真陽性	誤検知
レビュー担当者ラベルアイテムが関連性のないものとして	False の負数	True 負

これらの比較に基づいて、モデルは F スコア、精度、再現率のメトリックの値と、それぞれの誤差のマージンを導き出します。 マトリックスの混同の種類の数は、トレーニング ラウンドのポップアップ ページに表示されます。

F スコア

F スコアは、精度と再現率のメトリックのスコアの加重平均です。 このメトリックのスコアの範囲は 0 から 1 です。 1 に近いスコアは、モデルが関連する項目をより正確に検出することを示します。 F スコア メトリックは、モデル ダッシュボードと各トレーニング ラウンドのポップアップ ページに表示されます。

エラーの余白

エラーのマージンは、予測コーディング モードを作成するときの詳細設定です。 コントロール セット内の項目のランダム サンプリングから派生したパフォーマンス メトリック (リッチネス、精度、再現率など) のエラーの程度を指定します。 誤差のマージンを小さくするには、モデルのパフォーマンス メトリックがより小さい範囲に収まるように、より大きなコントロール セットが必要です。 誤差と信頼度レベルの余白の値は、コントロール セットに含まれる項目の数を決定するのにも役立ちます。 エラーの余白の既定値は 0.05% または 5% です。

モデルの安定性

モデルの安定性は、レビュー セット内のドキュメントが関連性があるかどうかを正確に予測するモデルの能力を示します。 モデルが不安定な場合は、モデルの安定性を含めるために、より多くのトレーニング ラウンドを実行する必要があります。 モデルが安定している場合は、これ以上トレーニング ラウンドを実行する必要がない場合があります。 モデル ダッシュボードは、モデルの安定性の現在の状態を示します。 モデルが安定している場合、パフォーマンス メトリックは、信頼レベルとエラーのマージンの設定と一致するレベルに達しました。

転覆率

転覆率は、トレーニング ラウンド間で予測スコアが変更されたレビュー セット内の項目の割合です。 モデルは、転覆率が 5% 未満の場合に安定していると見なされます。 超過率メトリックは、モデル ダッシュボードと各トレーニング ラウンドのポップアップ ページに表示されます。 最初のトレーニング ラウンドの転覆率は 0 です。これは、前の予測スコアを覆す必要がないためです。

精度

精度メトリックは、モデルが関連すると予測された項目の中で関連する項目の割合を測定します。 つまり、コントロール内の項目は、レビュー担当者がラベルを付け、モデルによって関連性が高いと予測される場所に設定されます。 このメトリックのスコアの範囲は 0 から 1 です。 1 に近いスコアは、モデルが関連しない項目を少なく識別することを示します。 精度メトリックは、モデル ダッシュボードと各トレーニング ラウンドのポップアップ ページに表示されます。

予測スコア

これは、モデルがレビュー セット内の各ドキュメントに割り当てるスコアです。 スコアは、トレーニング ラウンドからのモデルの学習と比較して、ドキュメントの関連性に基づいています。 一般に、予測スコアが 0 ~ 0.5 の項目は関連しないと見なされ、予測スコアが 0.5 から 1 の項目は関連と見なされます。 予測スコアは、ドキュメント メタデータ フィールドに含まれています。 予測フィルターを使用して、指定した予測範囲内にあるレビュー セット内の項目を表示できます。

リコール

呼び出しメトリックは、関連する項目の中でモデルが関連していると予測された項目の割合を測定します。 つまり、予測されたモデルがレビュー担当者によって関連項目としてラベル付けされたコントロール セット内の関連項目も含まれます。 このメトリックのスコアの範囲は 0 から 1 です。 1 に近いスコアは、モデルが関連する項目の大部分を識別することを示します。 呼び出しメトリックは、モデル ダッシュボードと各トレーニング ラウンドのポップアップ ページに表示されます。

レビュー セット

レビュー セットは、予測コーディング モデルのスコープを提供します。 レビュー セットの新しいモデルを作成すると、コントロール セットとトレーニング セットの項目がレビュー セットから選択されます。 モデルが予測スコアを割り当てると、レビュー内の項目にそれらのスコアが割り当てられます。 予測コーディング モデルを作成する前に、すべての項目をレビュー セットに追加する必要があります。 モデルの作成後に項目を追加した場合、それらの項目には予測スコアは割り当てられません。

豊か さ

リッチネス メトリックは、モデルが関連として予測するレビュー セット項目の割合を測定します。 このメトリックのスコアの範囲は 0 から 1 です。 リッチネス メトリックがモデル ダッシュボードに表示されます。

サンプリングされた項目

サンプリングされた項目という用語は、予測コーディング モデルを作成するときに選択され、コントロール セットに関連付けられているレビュー セット (テキストを含む) 内の項目のランダムなサンプルへの参照です。 トレーニング ラウンドごとに、項目のランダムなサンプルも選択されます。 モデルのコントロール セットに対して選択された項目は、その同じモデルのトレーニング セットには含まれません。 逆も当てはまります。トレーニング セット項目はコントロール セットに含まれません。

トレーニング セット

モデルは、レビュー セットから項目をランダムに選択し、トレーニング セットに追加します。 トレーニング ラウンド中に、トレーニング セットの項目 (コントロール セットの項目に加えて) が表示され、それぞれに "関連" または "関連性なし" としてラベルを付けることができます。 このラベル付けまたは "トレーニング" プロセスは、モデルがレビューのどの項目が関連しているか、関連しないかを予測する方法を学習するのに役立ちます。 トレーニング ラウンドを実行するたびに、モデルはレビューからさらに項目を選択し、そのトレーニング ラウンドのトレーニング セットに追加します。 コントロール セットの項目がトレーニング セットに対して選択されることはありません。