機械学習モデルでの不公平性を軽減する (プレビュー)Mitigate unfairness in machine learning models (preview)

機械学習での公平性と、Fairlearn オープンソース Python パッケージを使用して、機械学習モデルでの不公平性の問題を軽減する方法について説明します。Learn about fairness in machine learning and how the Fairlearn open-source Python package can help you mitigate unfairness issues in machine learning models. 機械学習モデルを構築するとき、公平性の問題を理解し公平性を評価するよう努力しなかった場合、不公平な結果を生成するモデルが構築されることがあります。If you are not making an effort to understand fairness issues and to assess fairness when building machine learning models, you may build models that produce unfair results.

以下に示す Fairlearn オープンソース パッケージのユーザー ガイドの要約には、これを使用して、構築する AI システムの公平性を評価する方法が記載されています。The following summary of the user guide for the Fairlearn open-source package, describes how to use it to assess the fairness of the AI systems that you are building. また、Fairlearn オープンソース パッケージには、観察される公平性の問題を軽減したり、削減したりするのに役立つオプションも用意されています。The Fairlearn open-source package can also offer options to help mitigate, or help to reduce, any fairness issues you observe. Azure Machine Learning でのトレーニング中に AI システムの公平性の評価を有効にするには、操作方法サンプル ノートブックに関するページを参照してください。See the how-to and sample notebooks to enable fairness assessment of AI systems during training on Azure Machine Learning.

機械学習システムでの公平性とはWhat is fairness in machine learning models?

注意

公平性は、社会技術に関する課題です。Fairness is a socio-technical challenge. 正当性や適正手続きなど、公平性の多くの側面は、定量的な公平性のメトリックではキャプチャされません。Many aspects of fairness, such as justice and due process, are not captured in quantitative fairness metrics. また、多くの定量的な公平性のメトリックをすべて同時に満たすことはできません。Also, many quantitative fairness metrics can't all be satisfied simultaneously. Fairlearn オープンソース パッケージの目的は、人間がさまざまな影響と軽減の戦略を評価できるようにすることです。The goal with the Fairlearn open-source package is to enable humans to assess different impact and mitigation strategies. 最終的には、人工知能および機械学習モデルを構築する人間のユーザーが、シナリオに適した妥協点を見つけることになります。Ultimately, it is up to the human users building artificial intelligence and machine learning models to make trade-offs that are appropriate to their scenario.

人工知能および機械学習システムでは、不公平な動作が示されることがあります。Artificial intelligence and machine learning systems can display unfair behavior. 不公平な動作を定義する方法の 1 つとして、人への危害や影響があります。One way to define unfair behavior is by its harm, or impact on people. AI システムでは、さまざまな種類の危害が発生する可能性があります。There are many types of harm that AI systems can give rise to. 詳細については、Kate Crawford による NeurIPS 2017 基調講演を参照してください。See the NeurIPS 2017 keynote by Kate Crawford to learn more.

AI によって発生する 2 つの一般的な種類の危害を次に示します。Two common types of AI-caused harms are:

  • 割り当ての害: AI システムによって、特定のグループの機会、リソース、または情報が増減されます。Harm of allocation: An AI system extends or withholds opportunities, resources, or information for certain groups. たとえば、雇用、入学許可、融資などで、モデルにより、特定のグループの人が、他のグループより、適切な候補をうまく選択される場合があります。Examples include hiring, school admissions, and lending where a model might be much better at picking good candidates among a specific group of people than among other groups.

  • サービス品質の害: AI システムによる対応のよさが、ユーザーのグループによって異なります。Harm of quality-of-service: An AI system does not work as well for one group of people as it does for another. たとえば、音声認識システムでは、女性に対する対応が男性より悪くなる場合があります。As an example, a voice recognition system might fail to work as well for women as it does for men.

AI システムの不公平な動作を減らすには、これらの害を評価し、軽減する必要があります。To reduce unfair behavior in AI systems, you have to assess and mitigate these harms.

Fairlearn を使用した公平性の評価と軽減Fairness assessment and mitigation with Fairlearn

Fairlearn はオープンソースの Python パッケージです。機械学習システムの開発者は、これを使用して、システムの公平性を評価し、不公平性を軽減できます。Fairlearn is an open-source Python package that allows machine learning systems developers to assess their systems' fairness and mitigate unfairness.

Fairlearn オープンソース パッケージには、次の 2 つのコンポーネントがあります。The Fairlearn open-source package has two components:

  • 評価ダッシュボード: モデルの予測がさまざまなグループに与える影響を評価するための Jupyter Notebook ウィジェット。Assessment Dashboard: A Jupyter notebook widget for assessing how a model's predictions affect different groups. また、公平性とパフォーマンスのメトリックを使用して、複数のモデルを比較することもできます。It also enables comparing multiple models by using fairness and performance metrics.
  • 軽減アルゴリズム: 二項分類と回帰を使用して不公平性を軽減するためのアルゴリズムのセット。Mitigation Algorithms: A set of algorithms to mitigate unfairness in binary classification and regression.

これらのコンポーネントの組み合わせにより、データ サイエンティストやビジネス リーダーは、公平性とパフォーマンスの間のさまざまなトレードオフを確認し、ニーズに最も合った軽減策を選択できます。Together, these components enable data scientists and business leaders to navigate any trade-offs between fairness and performance, and to select the mitigation strategy that best fits their needs.

機械学習モデルでの公平性を評価するAssess fairness in machine learning models

Fairlearn オープンソース パッケージでは、公平性は、次のことを質問する グループ公平性 と呼ばれるアプローチによって概念化されます。損害が発生するリスクがあるのはどのグループか。In the Fairlearn open-source package, fairness is conceptualized though an approach known as group fairness, which asks: Which groups of individuals are at risk for experiencing harms? 関連グループ (部分母集団とも呼ばれます) は、微妙な特徴 または微妙な属性によって定義されます。The relevant groups, also known as subpopulations, are defined through sensitive features or sensitive attributes. 微妙な特徴は、ベクトルまたは sensitive_features と呼ばれるマトリックスとして Fairlearn オープンソース パッケージの推定器に渡されます。Sensitive features are passed to an estimator in the Fairlearn open-source package as a vector or a matrix called sensitive_features. この用語は、グループの公平性を評価するときに、システム デザイナーがこれらの特徴に敏感でなければならないことを示しています。The term suggests that the system designer should be sensitive to these features when assessing group fairness.

注意すべき点は、これらの特徴にプライベート データによるプライバシーへの影響があるかどうか、ということです。Something to be mindful of is whether these features contain privacy implications due to private data. ただし、"微妙な" という言葉は、予測を行うときにこれらの特徴を使用してはならないという意味ではありません。But the word "sensitive" doesn't imply that these features shouldn't be used to make predictions.

注意

公平性の評価は純粋に技術的な行為ではありません。A fairness assessment is not a purely technical exercise. Fairlearn オープンソース パッケージはモデルの公平性を評価するのに役立ちますが、ユーザーの代わりに評価を実行しません。The Fairlearn open-source package can help you assess the fairness of a model, but it will not perform the assessment for you. Fairlearn オープンソース パッケージは、公平性を評価するための定量的なメトリックを特定するのに役立ちますが、開発者は独自のモデルの公平性を評価するために、定性分析を実行する必要もあります。The Fairlearn open-source package helps identify quantitative metrics to assess fairness, but developers must also perform a qualitative analysis to evaluate the fairness of their own models. 上記の微妙な特徴は、このような定性分析の一例です。The sensitive features noted above is an example of this kind of qualitative analysis.

評価段階では、公平性は不均衡メトリックによって定量化されます。During assessment phase, fairness is quantified through disparity metrics. 不均衡メトリック では、比率または相違として、異なるグループの間でのモデルの動作を評価および比較できます。Disparity metrics can evaluate and compare model's behavior across different groups either as ratios or as differences. Fairlearn オープンソース パッケージでは、不均衡メトリックの 2 つのクラスがサポートされています。The Fairlearn open-source package supports two classes of disparity metrics:

  • モデルのパフォーマンスにおける不均衡: これらのメトリックのセットでは、異なるサブグループ間での、選択されたパフォーマンス メトリックの値の不均衡 (差異) が計算されます。Disparity in model performance: These sets of metrics calculate the disparity (difference) in the values of the selected performance metric across different subgroups. 次に例をいくつか示します。Some examples include:

    • 正解率の不均衡disparity in accuracy rate
    • エラー率の不均衡disparity in error rate
    • 精度の不均衡disparity in precision
    • リコールの不均衡disparity in recall
    • MAE の不均衡disparity in MAE
    • その他多数many others
  • 選択率における不均衡: このメトリックには、異なるサブグループ間での選択率の差が含まれます。Disparity in selection rate: This metric contains the difference in selection rate among different subgroups. この例としては、ローン承認率の不均衡があります。An example of this is disparity in loan approval rate. 選択率とは、各クラスで 1 として分類されるデータポイントの割合 (二項分類)、または予測値の分散 (回帰) を意味します。Selection rate means the fraction of datapoints in each class classified as 1 (in binary classification) or distribution of prediction values (in regression).

機械学習モデルでの不公平性を軽減するMitigate unfairness in machine learning models

不均衡の制約Parity constraints

Fairlearn オープンソース パッケージには、さまざまな不公平性軽減アルゴリズムが含まれています。The Fairlearn open-source package includes a variety of unfairness mitigation algorithms. これらのアルゴリズムでは、不均衡の制約 または条件と呼ばれる、予測の動作に対する一連の制約がサポートされています。These algorithms support a set of constraints on the predictor's behavior called parity constraints or criteria. 不均衡の制約では、予測動作の一部の側面が、微妙な特徴で定義されるグループ (異なる人種など) の間で同等であることが要求されます。Parity constraints require some aspects of the predictor behavior to be comparable across the groups that sensitive features define (e.g., different races). Fairlearn オープンソース パッケージの軽減アルゴリズムでは、このような不均衡の制約を使用して、監視対象の公平性の問題が軽減されます。The mitigation algorithms in the Fairlearn open-source package use such parity constraints to mitigate the observed fairness issues.

注意

モデルの公平性を軽減することは、不公平性を減らすことを意味しますが、この技術的な軽減策では、このような不公平性を完全に排除することはできません。Mitigating unfairness in a model means reducing the unfairness, but this technical mitigation cannot eliminate this unfairness completely. Fairlearn オープンソース パッケージの不公平性の軽減アルゴリズムでは、機械学習モデルの不公平性を削減するのに役立つ推奨される軽減戦略を提供できますが、これらは不公平性を完全に排除するソリューションではありません。The unfairness mitigation algorithms in the Fairlearn open-source package can provide suggested mitigation strategies to help reduce unfairness in a machine learning model, but they are not solutions to eliminate unfairness completely. 個々の特定の開発者機械学習モデルには、それぞれ考慮すべき不均衡の制約または条件が他にある場合もあります。There may be other parity constraints or criteria that should be considered for each particular developer's machine learning model. Azure Machine Learning を使用する開発者は、その軽減策によって、対象となる機械学習モデルの使用およびデプロイでの不公平性が十分に排除されるかどうかを自分で判断する必要があります。Developers using Azure Machine Learning must determine for themselves if the mitigation sufficiently eliminates any unfairness in their intended use and deployment of machine learning models.

Fairlearn オープンソース パッケージでは、次の種類の不均衡の制約がサポートされています。The Fairlearn open-source package supports the following types of parity constraints:

不均衡の制約Parity constraint 目的Purpose 機械学習タスクMachine learning task
人口統計の不均衡Demographic parity 割り当ての害を軽減するMitigate allocation harms 二項分類、回帰Binary classification, Regression
均等な確率Equalized odds 割り当てとサービス品質の害を診断するDiagnose allocation and quality-of-service harms 二項分類Binary classification
機会均等Equal opportunity 割り当てとサービス品質の害を診断するDiagnose allocation and quality-of-service harms 二項分類Binary classification
境界グループの損失Bounded group loss サービス品質の害を軽減するMitigate quality-of-service harms 回帰Regression

軽減アルゴリズムMitigation algorithms

Fairlearn オープンソース パッケージでは、後処理と削減の不公平性軽減アルゴリズムが提供されています。The Fairlearn open-source package provides postprocessing and reduction unfairness mitigation algorithms:

  • 削減: これらのアルゴリズムでは、標準のブラックボックス機械学習推定器 (LightGBM モデルなど) が利用され、一連の再重み付けされたトレーニング データセットを使用して、再トレーニングされたモデルのセットが生成されます。Reduction: These algorithms take a standard black-box machine learning estimator (e.g., a LightGBM model) and generate a set of retrained models using a sequence of re-weighted training datasets. たとえば、特定の性別の応募者について、重みを加減してモデルが再トレーニングされ、異なる性別グループ間での格差が削減されます。For example, applicants of a certain gender might be up-weighted or down-weighted to retrain models and reduce disparities across different gender groups. その後、ユーザーは、精度 (または他のパフォーマンス メトリック) と不均衡の間で最適なトレードオフを提供するモデルを選択できます。これは通常、ビジネス ルールとコストの計算に基づいている必要があります。Users can then pick a model that provides the best trade-off between accuracy (or other performance metric) and disparity, which generally would need to be based on business rules and cost calculations.
  • 後処理: これらのアルゴリズムは、既存の分類子と微妙な特徴を入力として受け取ります。Post-processing: These algorithms take an existing classifier and the sensitive feature as input. その後、分類子の予測の変換を導出して、指定された公平性の制約を適用します。Then, they derive a transformation of the classifier's prediction to enforce the specified fairness constraints. しきい値の最適化の最大の利点は、モデルを再トレーニングする必要がないことによる、シンプルさと柔軟性です。The biggest advantage of threshold optimization is its simplicity and flexibility as it does not need to retrain the model.
アルゴリズムAlgorithm 説明Description 機械学習タスクMachine learning task 微妙な特徴Sensitive features サポートされる不均衡の制約Supported parity constraints アルゴリズムの種類Algorithm Type
ExponentiatedGradient 公平な分類のための削減アプローチ」で説明されている公平な分類のためのブラックボックス アプローチBlack-box approach to fair classification described in A Reductions Approach to Fair Classification 二項分類Binary classification CategoricalCategorical 人口統計の不均衡均等な確率Demographic parity, equalized odds 削減Reduction
GridSearch 公平な分類のための削減アプローチ」で説明されているブラックボックス アプローチBlack-box approach described in A Reductions Approach to Fair Classification 二項分類Binary classification BinaryBinary 人口統計の不均衡均等な確率Demographic parity, equalized odds 削減Reduction
GridSearch 境界グループの損失に対するアルゴリズムを使用する公正回帰のグリッド検索バリエーションを実装するブラックボックス アプローチ (「公正回帰: 定量的な定義と削減に基づくアルゴリズム」)Black-box approach that implements a grid-search variant of Fair Regression with the algorithm for bounded group loss described in Fair Regression: Quantitative Definitions and Reduction-based Algorithms 回帰Regression BinaryBinary 境界グループの損失Bounded group loss 削減Reduction
ThresholdOptimizer ホワイトペーパー「教師あり学習での機会の均等性」に基づく後処理アルゴリズム。Postprocessing algorithm based on the paper Equality of Opportunity in Supervised Learning. この手法では、既存の分類子と微妙な特徴を入力として受け取り、指定された不均衡の制約を適用するために、分類子の予測の単調な変換が導出されます。This technique takes as input an existing classifier and the sensitive feature, and derives a monotone transformation of the classifier's prediction to enforce the specified parity constraints. 二項分類Binary classification CategoricalCategorical 人口統計の不均衡均等な確率Demographic parity, equalized odds 後処理Post-processing

次のステップNext steps