反事実分析と What-If

  • [アーティクル]

What-if 反事実条件は、アクションの入力を変更した場合にモデルが何を予測するかという質問に対処します。 これらを使うと、入力 (特徴) の変更にどのように反応するかという観点から、機械学習モデルを理解し、デバッグすることができます。

標準的な解釈可能性の手法では、機械学習モデルに近づけるか、特徴を予測の重要性でランク付けします。 これに対し、反事実分析はモデルを"問い合わせて"、特定のデータ ポイントに対するどのような変更がモデルの決定を反転させるかを判断します。

このような分析は、相関特徴の影響を分離して解明するのに役立ちます。 また、分類モデルのモデル決定フリップと回帰モデルの決定変更を確認するためにどの程度の特徴変更が必要かについて、より詳細な理解を得ることにも役立ちます。

責任ある AI ダッシュボードの "反事実分析と What-If " コンポーネントには次の 2 つの機能があります。

  • 特定のポイントに対する最小限の変更でモデルの予測を変更する (逆のモデル予測を持つ最も近いデータ ポイントを示す) 一連の例を生成する。
  • ユーザーが独自の What-If の摂動を生成して、モデルが特徴の変更にどのように反応するかを理解できるようにする。

責任ある AI ダッシュボードの反事実分析コンポーネントの上位の差別化要因の 1 つは、有効で論理的な反事実の例について、変化する特徴とその許容範囲を特定できることです。

このコンポーネントの機能は DiCE パッケージから提供されます。

以下を行う必要がある場合は、What-If 反事実条件を使用します。

  • 性別、民族性などの機密性の高い属性を摂動し、モデルの予測が変化するかどうかを観察することによって、意思決定エバリュエーターとしての公平性と信頼性の基準を調べます。
  • 特定の入力インスタンスを詳細にデバッグします。
  • ソリューションをユーザーに提供し、モデルから望ましい結果を得るために何ができるかを判断します。

反事実の例はどのように生成されますか。

反事実条件を生成するために、DiCE ではモデルに依存しない手法がいくつか実装されています。 これらのメソッドは、不透明なボックス分類子またはリグレッサーに適用されます。 これらは、入力ポイントの近くのポイントをサンプリングすることに基づく一方で、近接性 (および必要に応じて、スパース性、多様性、実現可能性) に基づいて損失関数を最適化します。 現在サポートされているメソッドは次のとおりです。

  • ランダム化検索: このメソッドでは、あるクエリポイントの近くのポイントをランダムにサンプリングし、予測されたラベルが目的のクラスであるポイントとして反事実条件を返します。
  • 遺伝的検索: このメソッドでは、クエリポイントへの近接性を最適化するという目的、できるだけ特徴を変更しないという目的、生成された反事実条件間の多様性を得ようとする目的を組み合わせて、遺伝的アルゴリズムを使用してポイントをサンプリングします。
  • KD ツリー検索: このアルゴリズムは、トレーニング データセットから反事実条件を返します。 距離関数に基づいてトレーニング データ ポイントの上に KD ツリーを構築し、目的の予測ラベルを生成する特定のクエリ ポイントに最も近いポイントを返します。

次のステップ