初期顧客支払予測モデルの評価

[アーティクル]
03/08/2023

この記事では、Finance Insights をオンにして、最初のモデルを生成およびトレーニングした後、予測モデルを評価する方法について説明します。この記事では、顧客支払を予測するためのモデルについて説明します。顧客支払予測モデルを理解し、その有効性を評価するために実行できる手順について説明します。

モデルに関する詳細の取得

Microsoft Dynamics 365 Finance の Finance Insights パラメーター ページで、モデル精度の改善 リンクが精度スコアの横に表示されます。

このリンクは AI Builder へのリンクであり、現在のモデルについての詳細を確認したり、改善するための手順を実行することもできます。次の図は、開いたページを示しています。

開いたページには、次の情報が表示されます:

パフォーマンス セクションでは、モデルパフォーマンスの等級は、モデルの品質に関する分析視点を提供します。この等級の詳細については、 AI Builder ドキュメントの予測モデルのパフォーマンスを参照してください。
最も影響力のあるデータ セクションでは、モデルに対して異なる入力タイプのデータの重要性を示します。このリストと対応する割合を評価して、情報がビジネスと市場に関する知識と一致しているかどうかを判断できます。
パフォーマンス セクションで 詳細を表示 を選択して、等級やその他の考慮事項の詳細を表示します。次の図では、モデルが推奨されている情報よりも少ない情報を使用していることを詳細に示しています。したがって、システムは警告メッセージを生成しました。

専門的な情報

正確性はモデルを評価するための良い出発点であり、パフォーマンス等級は分析視点を提供するものですが、AI Builder は評価に使用できるさらに詳細な指標を提供します。詳細をダウンロードするには、パフォーマンス セクションで モデルの使用 ボタンの横にある省略記号ボタン (...) ボタンを選択し、詳細なメトリックをダウンロード を選択します。

次の図は、データをダウンロードできる形式を示します。

結果をより詳細に分析するには、"混同行列" メトリックを確認することが出発点になります。たとえば、前述の図で、このメトリックに対して示されているデータは次のとおりです。

{"name": "Confusion Matrix", "value": {"schema_type": "confusion_matrix", "schema_version": "1.0.0", "data": {"class_labels": ["0", "1", "2"], "matrix": [[71, 9, 21], [5, 0, 27], [2, 0, 45]]}}, "type": "dictionaryNumericalList", "isGlobalScore": false}

このデータは、次の方法で拡張できます。

	予測期限内	予測かなりの遅延
実際の期限内の支払	71	21
実際の遅延支払	5	27
実際のかなりの遅延支払	2	45

混同行列には、トレーニングプロセスからランダムに選択されたテストデータセットの結果が示されます。これらの終了した請求書はモデルのトレーニングに使用されていなかったため、モデルの良いテストケースです。また、請求書の実際の状態がわかっているので、モデルのパフォーマンスを表示することもできます。

最初に検索するのは、最も一般的な実績値です。この値は、データセット全体と完全に一致しているわけではありませんが、妥当な近似値です。この場合、実際の期限内の支払 は請求書合計 171 件のうち 92 件で発生し、最も一般的な実際値になります。したがって、モデルのベースラインとして適しています。すべての請求書が期限内に処理されると予想した場合、171 回中 92 回 (つまり 54％の確率) が正しく処理されます。

データセットのバランスを理解することが重要です。この場合、171 件の請求書のうち 92 件は期限内に支払われ、32 件は支払いが遅れ、47 件は非常に遅れて支払われました。これらの値は、各分類において重要な結果があるため、適度にバランスをとったデータセットを示します。いずれかの状態において結果が非常に少ない状況は、機械学習モデルにとって困難な場合があります。

モデルの精度は、テストデータセットの正しい予測の数を示します。これらの正しい予測は、前の例で太字で示した値です。この場合、これらの値は、計算精度 67.8% (= [71 + 0 + 45] ÷ 171) となります。この値はベースラインの推測値 54% に対して 14% の改善を表し、モデルの品質の 1 つの指標です。

混同行列をさらに詳しく見ると、このモデルが、期限内およびかなりの遅い請求書の支払いを、予測するの適していることがわかります。ただし、実際に支払いが遅れた (しかし、それほど遅れていいない) 32 件の請求書すべてについて間違っています。この結果は、モデルの追加調査と改善が必要であることを示しています。

精度より良いモデルのパフォーマンスを表す数値は、F1 マクロスコアです。このスコアでは、各分類の状態 (期限内、遅延、かなりの遅延) の結果が考慮されます。たとえば、前述の図で、"F1 マクロ" メトリックに対して示されているデータは次のとおりです。

{"name": "F1 Macro", "value": 0.4927170868347339, "type": "percentage", "isGlobalScore": false}

この場合、約 49.3% の F1 マクロスコアは、それなりに高いと思われる全体的な精度スコアにもかかわらず、各状態において、モデルが効果的な予測をできていないことを示してます。

モデルの改善

最初のモデルの結果をよく理解した後、機能列を追加または削除したり、正確な予測をサポートしていないデータセットの一部をフィルタリングしたりすることにより、モデルを改善することができます。 AI Builder を閉じ、続いて Dynamics 365 Finance の モデルの改善 リンクを使用して AI Builder プロセスを再起動します。公開されたモデルに影響を与えずに、さまざまな特性を試すことができます。公開されたモデルは、公開を選択した場合にのみ影響を受けます。 Dynamics 365 Finance のインスタンスには、1 つのモデルが使用されることに注意してください。そのため、新しいモデルを公開する前に、そのモデルを慎重に確認する必要があります。

詳細情報

予測モデルの評価方法の詳細については、機械学習モデルの結果