Generieren von Erkenntnissen zu verantwortungsvoller KI mit YAML und Python

  • Artikel

GILT FÜR:Azure CLI ML-Erweiterung v2 (aktuell)Python SDK azure-ai-ml v2 (aktuell)

Sie können ein Dashboard und eine Scorecard für verantwortungsvolle KI über einen Pipelineauftrag generieren, indem Sie verantwortungsvolle KI-Komponenten verwenden. Es gibt sechs Kernkomponenten zum Erstellen von Dashboards für verantwortungsvolle KI, zusammen mit ein paar Hilfskomponenten. Hier folgt ein Beispielexperimentdiagramm:

Screenshot einer Beispielexperimentgrafik.

Komponenten der verantwortungsvollen KI

Die Kernkomponenten für den Aufbau des Dashboards für verantwortungsvolle KI in Azure Machine Learning sind:

  • RAI Insights dashboard constructor
  • Die Toolkomponenten:
    • Add Explanation to RAI Insights dashboard
    • Add Causal to RAI Insights dashboard
    • Add Counterfactuals to RAI Insights dashboard
    • Add Error Analysis to RAI Insights dashboard
    • Gather RAI Insights dashboard
    • Gather RAI Insights score card

Die Komponenten RAI Insights dashboard constructor und Gather RAI Insights dashboard sind immer erforderlich, plus mindestens eine der Toolkomponenten. Es ist jedoch nicht notwendig, alle Tools in jedem Dashboard für verantwortungsvolle KI zu verwenden.

In den folgenden Abschnitten finden Sie Spezifikationen der Komponenten für verantwortungsvolle KI sowie Beispiele für Codeausschnitte in YAML und Python.

Wichtig

Die in diesem Artikel markierten Elemente (Vorschau) sind aktuell als öffentliche Vorschau verfügbar. Die Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und ist nicht für Produktionsworkloads vorgesehen. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Begrenzungen

Für die aktuelle Gruppe von Komponenten gelten eine Reihe von Nutzungseinschränkungen:

  • Alle Modelle müssen in Azure Machine Learning im MLflow-Format mit einer Sklearn-Variante (scikit-learn) registriert sein.
  • Die Modelle müssen in der Komponentenumgebung geladen werden können.
  • Die Modelle müssen auswählbar sein.
  • Die Modelle müssen für die Komponenten für verantwortungsvolle KI mithilfe der von uns bereitgestellten Komponente Fetch Registered Model bereitgestellt werden.
  • Die Dataseteingaben müssen im Format mltable erfolgen.
  • Ein Modell muss auch dann bereitgestellt werden, wenn nur eine Ursachenanalyse der Daten ausgeführt wird. Sie können dazu die Schätzer DummyClassifier und DummyRegressor von scikit-learn verwenden.

Konstruktor für Dashboard „RAI-Erkenntnisse“

Diese Komponente verfügt über drei Eingabeports:

  • Das Machine Learning-Modell.
  • Das Trainingsdataset.
  • Das Testdataset.

Um Erkenntnisse zum Modelldebugging mit Komponenten wie Fehleranalyse und Modellerklärungen zu generieren, verwenden Sie das Training- und Testdataset, das Sie beim Training Ihres Modells verwendet haben. Für Komponenten wie die Kausalanalyse, für die kein Modell erforderlich ist, verwenden Sie das Trainingsdataset, um das Kausalmodell zu trainieren, um die kausalen Erkenntnisse zu generieren. Sie verwenden das Testdataset zum Auffüllen der Visualisierungen Ihres Dashboards für verantwortungsvolle KI.

Die einfachste Möglichkeit, das Modell zur Verfügung zu stellen, besteht darin, das Eingabemodell zu registrieren und auf dasselbe Modell im Modelleingabeport der RAI Insight Constructor-Komponente zu verweisen, die weiter unten in diesem Artikel erläutert wird.

Hinweis

Derzeit werden nur Modelle im MLflow-Format und mit einer sklearn-Variante unterstützt.

Die beiden Datasets sollten das Format mltable aufweisen. Die bereitgestellten Trainings- und Testdatasets müssen nicht dieselben Datasets sein, die für das Training des Modells verwendet werden, aber sie können dieselben sein. Aus Leistungsgründen ist das Testdataset standardmäßig auf 5.000 Zeilen der Visualisierungsbenutzeroberfläche beschränkt.

Die Konstruktorkomponente akzeptiert auch die folgenden Parameter:

Parametername Beschreibung des Dataflows type
title Kurze Beschreibung des Dashboards. String
task_type Gibt an, ob das Modell der Klassifizierung, der Regression oder der Prognose dient Zeichenfolge (string), classification, regression oder forecasting
target_column_name Der Name der Spalte in den Eingabedatasets, die das Modell versucht, vorherzusagen. String
maximum_rows_for_test_dataset Die maximale Anzahl von Zeilen, die im Testdataset zulässig sind (aus Leistungsgründen). Ganze Zahl (integer), Standardeinstellung ist 5.000.
categorical_column_names Die Spalten in den Datasets, die kategorisierte Daten darstellen. Optionale Liste der Zeichenfolgen1
classes Die vollständige Liste der Klassenbezeichnungen im Trainingsdataset. Optionale Liste der Zeichenfolgen1
feature_metadata Gibt zusätzliche Informationen an, die das Dashboard je nach Aufgabentyp benötigt. Für die Vorhersage enthält dies die Angabe, welche Spalte die datetime-Spalte ist und welche Spalte die time_series_id-Spalte ist. Für die Bildgebung kann dies einen mittleren Pixelwert oder Positionsdaten eines Bilds umfassen. Optionale Liste der Zeichenfolgen1
use_model_dependency Gibt an, ob für das Modell aufgrund widersprüchlicher Abhängigkeiten mit dem RAI-Dashboard ein separater Docker-Container bereitgestellt werden muss. Für die Prognose muss dies aktiviert sein. In der Regel ist dies für andere Szenarios nicht aktiviert. Boolean

1 Die Listen sollten als einzelne JSON-codierte Zeichenfolge für categorical_column_names-, classes- und feature_metadata-Eingaben bereitgestellt werden.

Die Konstruktorkomponente verfügt über eine einzelne Ausgabe namens rai_insights_dashboard. Dies ist ein leeres Dashboard, mit dem die einzelnen Toolkomponenten arbeiten. Alle Ergebnisse werden am Ende durch die Gather RAI Insights dashboard-Komponente zusammengefügt.

 create_rai_job: 

    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_constructor/versions/<get current version>
    inputs: 
      title: From YAML snippet 
      task_type: regression
      type: mlflow_model
      path: azureml:<registered_model_name>:<registered model version> 
      train_dataset: ${{parent.inputs.my_training_data}} 
      test_dataset: ${{parent.inputs.my_test_data}} 
      target_column_name: ${{parent.inputs.target_column_name}} 
      categorical_column_names: '["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]'

Hinzufügen von Kausalität zum Dashboard „RAI-Erkenntnisse“

Diese Komponente führt eine Ursachenanalyse mit den angegebenen Datasets aus. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des RAI Insights dashboard constructor akzeptiert. Er akzeptiert ferner die folgenden Parameter:

Parametername Beschreibung Geben Sie ein
treatment_features Eine Liste der Merkmalsnamen in den Datasets, die potenziell „behandelbar“ sind, um verschiedene Ergebnisse zu erhalten. Liste der Zeichenfolgen2.
heterogeneity_features Eine Liste von Merkmalsnamen in den Datasets, die sich auf das Verhalten der „behandelbaren“ Merkmale auswirken können. Standardmäßig werden alle Merkmale berücksichtigt. Optionale Liste der Zeichenfolgen2.
nuisance_model Das Modell, das verwendet wird, um das Ergebnis der Änderung der Behandlungsmerkmale abzuschätzen. Optionale Zeichenfolge. Diese muss linear oder AutoML sein, wobei linear die Standardeinstellung ist.
heterogeneity_model Das Modell, das verwendet wird, um die Auswirkungen der Heterogenitätsmerkmale auf das Ergebnis abzuschätzen. Optionale Zeichenfolge. Diese muss linear oder forest sein, wobei linear die Standardeinstellung ist.
alpha Konfidenzniveau der Konfidenzintervalle. Optionale Gleitkommazahl, standardmäßig 0,05.
upper_bound_on_cat_expansion Die maximale Erweiterung von Kategoriemerkmalen. Optionale ganze Zahl (integer), standardmäßig 50.
treatment_cost Die Kosten der Behandlungen. Wenn 0, dann haben alle Behandlungen Null Kosten. Wenn eine Liste übergeben wird, wird jedes Element auf eines der treatment_features angewendet.

Jedes Element kann ein Skalarwert sein, um konstante Kosten für die Anwendung dieser Behandlung anzuzeigen, oder ein Array, das die Kosten für jede Stichprobe angibt. Wenn die Behandlung eine diskrete Behandlung ist, sollte das Array für dieses Merkmal zweidimensional sein, wobei die erste Dimension Stichproben darstellt und die zweite die Kostendifferenz zwischen den Nichtstandardwerten und dem Standardwert.		 Optionale ganze Zahl oder Liste2.
min_tree_leaf_samples Die minimale Anzahl von Stichproben pro Blattknoten in der Richtlinienstruktur. Optionale ganze Zahl (integer), standardmäßig 2.
max_tree_depth Die maximale Tiefe der Richtlinienstruktur. Optionale ganze Zahl (integer), standardmäßig 2.
skip_cat_limit_checks Standardmäßig müssen Kategoriemerkmale mehrere Instanzen jeder Kategorie aufweisen, damit ein Modell als robust angesehen wird. Wenn Sie dies auf True festlegen, werden diese Überprüfungen übersprungen. Optionaler boolescher Wert, standardmäßig False.
categories Die für die Kategoriespalten zu verwendenden Kategorien. Wenn auto, werden die Kategorien für alle Kategoriespalten abgeleitet. Andernfalls sollte dieses Argument so viele Einträge aufweisen, wie Kategoriespalten vorhanden sind.

Jeder Eintrag sollte entweder auto sein, damit die Werte für diese Spalte abgeleitet werden, oder die Liste der Werte für die Spalte. Wenn explizite Werte angegeben werden, wird der erste Wert als „Kontroll“wert für diese Spalte behandelt, mit dem andere Werte verglichen werden.		 Optional, auto oder Liste2.
n_jobs Grad an Parallelität, der verwendet werden soll. Optionale ganze Zahl (integer), standardmäßig 1.
verbose Gibt an, ob die detaillierte Ausgabe während der Berechnung bereitgestellt werden soll. Optionale ganze Zahl (integer), standardmäßig 1.
random_state Seed für den Pseudozufallszahlengenerator (PRNG). Optionale ganze Zahl (integer).

2 Für die list-Parameter: Mehrere der Parameter akzeptieren Listen anderer Typen (Zeichenfolgen, Zahlen, sogar andere Listen). Um diese an die Komponente zu übergeben, müssen sie zuerst in eine einzelne Zeichenfolge JSON-codiert werden.

Diese Komponente hat einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather RAI Insights Dashboard-Komponente verbunden werden kann.

  causal_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_causal/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      treatment_features: `["Number of GitHub repos contributed to", "YOE"]'

Hinzufügen von kontrafaktischen Datenpunkten zum Dashboard „RAI-Erkenntnisse“

Diese Komponente generiert kontrafaktische Datenpunkte für das bereitgestellte Testdataset. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des Konstruktors für das Dashboard „RAI-Erkenntnisse“ akzeptiert. Er akzeptiert ferner die folgenden Parameter:

Parametername Beschreibung des Dataflows type
total_CFs Die Anzahl kontrafaktischer Datenpunkte, die für jede Zeile im Testdataset generiert werden sollen. Optionale ganze Zahl (integer), standardmäßig 10.
method Der zu verwendende dice-ml-Explainer. Optionale Zeichenfolge. Entweder random, genetic oder kdtree. Wird standardmäßig auf random festgelegt.
desired_class Index, der die gewünschte kontrafaktische Klasse identifiziert. Bei binärer Klassifizierung sollte dies auf opposite festgelegt werden. Optionale Zeichenfolge (string) oder ganze Zahl (integer). Der Standardwert ist 0.
desired_range Identifiziert für Regressionsprobleme den gewünschten Bereich der Ergebnisse. Optionale Liste mit zwei Zahlen3.
permitted_range Wörterbuch mit Merkmalsnamen als Schlüsseln und dem zulässigen Bereich in einer Liste als Werte. Der Standardwert ist der Bereich, der aus den Trainingsdaten abgeleitet wird. Optionale Zeichenfolge (string) oder Liste3.
features_to_vary Entweder die Zeichenfolge all oder eine Liste mit Merkmalsnamen, die variiert werden sollen. Optionale Zeichenfolge (string) oder Liste3.
feature_importance Flag zum Aktivieren der Berechnung von Featurerelevanzen mithilfe von dice-ml. Optionaler boolescher Wert. Wird standardmäßig auf True festgelegt.

3 Für die nicht skalaren Parameter: Parameter, die Listen oder Wörterbücher sind, sollten als einzelne JSON-codierte Zeichenfolgen übergeben werden.

Diese Komponente hat einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather RAI Insights dashboard-Komponente verbunden werden kann.

 counterfactual_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_counterfactual/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      total_CFs: 10 
      desired_range: "[5, 10]"

Hinzufügen der Fehleranalyse zum Dashboard „RAI-Erkenntnisse“

Diese Komponente generiert eine Fehleranalyse für das Modell. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des RAI Insights Dashboard Constructor akzeptiert. Er akzeptiert ferner die folgenden Parameter:

Parametername Beschreibung des Dataflows type
max_depth Die maximale Tiefe der Fehleranalysestruktur. Optionale ganze Zahl (integer). Der Standardwert ist 3.
num_leaves Die maximale Anzahl von Blattknoten in der Fehlerstruktur. Optionale ganze Zahl (integer). Der Standardwert ist 31.
min_child_samples Die Mindestanzahl von Datenpunkten, die zum Erzeugen eines Blattknotens erforderlich sind. Optionale ganze Zahl (integer). Der Standardwert ist 20.
filter_features Eine Liste mit ein oder zwei Merkmalen, die für den Matrixfilter verwendet werden sollen. Optionale Liste, die als einzelne JSON-codierte Zeichenfolge übergeben werden soll.

Diese Komponente hat einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather RAI Insights Dashboard-Komponente verbunden werden kann.

  error_analysis_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_erroranalysis/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      filter_features: `["style", "Employer"]'

Hinzufügen von Erläuterungen zum Dashboard „RAI-Erkenntnisse“

Diese Komponente generiert eine Erläuterung für das Modell. Sie verfügt über einen einzelnen Eingabeport, der die Ausgabe des RAI Insights Dashboard Constructor akzeptiert. Sie akzeptiert eine einzelne, optionale Kommentarzeichenfolge als Parameter.

Diese Komponente verfügt über einen einzelnen Ausgabeport, der mit einem der insight_[n]-Eingabeports der Gather-Komponente des Dashboards „RAI-Erkenntnisse“ verbunden werden kann.

  explain_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_explanation/versions/<version>
    inputs: 
      comment: My comment 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}}

Gather-Komponente des Dashboards „RAI-Erkenntnisse“

Diese Komponente setzt die generierten Erkenntnisse zu einem einzelnen Dashboard für verantwortungsvolle KI zusammen. Sie verfügt über fünf Eingabeports:

  • Den constructor-Port, der mit der Konstruktorkomponente des Dashboards „RAI-Erkenntnisse“ verbunden sein muss.
  • Vier insight_[n]-Ports, die mit der Ausgabe der Toolkomponenten verbunden werden können. Mindestens einer dieser Ports muss verbunden sein.

Es gibt zwei Ausgabeports:

  • Der dashboard-Port enthält das abgeschlossene RAIInsights-Objekt.
  • Der ux_json-Port enthält die Daten, die zur Anzeige eines minimalen Dashboards erforderlich sind.
  gather_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_gather/versions/<version>
    inputs: 
      constructor: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      insight_1: ${{parent.jobs.causal_01.outputs.causal}} 
      insight_2: ${{parent.jobs.counterfactual_01.outputs.counterfactual}} 
      insight_3: ${{parent.jobs.error_analysis_01.outputs.error_analysis}} 
      insight_4: ${{parent.jobs.explain_01.outputs.explanation}}

Generieren einer Scorecard für verantwortungsvolle KI (Vorschau)

In der Konfigurationsphase müssen Sie Ihr Fachwissen hinsichtlich des Problems nutzen, um die gewünschten Zielwerte für die Modellleistung und die Fairnessmetriken festzulegen.

Wie andere Dashboard-Komponenten für verantwortungsvolle KI, die in der YAML-Pipeline konfiguriert sind, können Sie eine Komponente hinzufügen, um die Scorecard in der YAML-Pipeline zu generieren.

scorecard_01: 

   type: command 
   component: azureml:rai_score_card@latest 
   inputs: 
     dashboard: ${{parent.jobs.gather_01.outputs.dashboard}} 
     pdf_generation_config: 
       type: uri_file 
       path: ./pdf_gen.json 
       mode: download 

     predefined_cohorts_json: 
       type: uri_file 
       path: ./cohorts.json 
       mode: download

Dabei ist „pdf_gen.json“ die JSON-Konfigurationsdatei für die Scorecardgenerierung und predifined_cohorts_json die vorgefertigte JSON-Definitionsdatei für Kohorten.

Hier ist eine Beispiel-JSON-Datei für die Kohortendefinition und die Konfiguration der Scorecard-Generierung:

Definition der Kohorten:

[ 
  { 
    "name": "High Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "greater", 
        "arg": [ 
          5 
        ], 
        "column": "YOE" 
      } 
    ] 
  }, 
  { 
    "name": "Low Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "less", 
        "arg": [ 
          6.5 
        ], 
        "column": "YOE" 
      } 
    ] 
  } 
]

Hier ist eine Konfigurationsdatei zur Scorecard-Generierung als Regressionsbeispiel:

{ 
  "Model": { 
    "ModelName": "GPT-2 Access", 
    "ModelType": "Regression", 
    "ModelSummary": "This is a regression model to analyze how likely a programmer is given access to GPT-2" 
  }, 
  "Metrics": { 
    "mean_absolute_error": { 
      "threshold": "<=20" 
    }, 
    "mean_squared_error": {} 
  }, 
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YOE", 
      "age" 
    ] 
  }, 
  "Fairness": {
    "metric": ["mean_squared_error"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  },
  "Cohorts": [ 
    "High Yoe", 
    "Low Yoe" 
  ]  
}

Hier ist eine Konfigurationsdatei zur Scorecard-Generierung als Klassifizierungsbeispiel:

{
  "Model": {
    "ModelName": "Housing Price Range Prediction",
    "ModelType": "Classification",
    "ModelSummary": "This model is a classifier that predicts whether the house will sell for more than the median price."
  },
  "Metrics" :{
    "accuracy_score": {
        "threshold": ">=0.85"
    },
  }
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YearBuilt", 
      "OverallQual", 
      "GarageCars"
    ] 
  },
  "Fairness": {
    "metric": ["accuracy_score", "selection_rate"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  }
}

Definition von Eingaben für die Scorecard-Komponente Responsible AI

In diesem Abschnitt werden die Parameter aufgelistet und definiert, die zum Konfigurieren der Scorecard-Komponente Responsible AI erforderlich sind.

Modell

ModelName Name des Modells
ModelType Werte in ['classification', 'regression'].
ModelSummary Geben Sie einen Text ein, der zusammenfasst, wofür das Modell gedacht ist.

Hinweis

Für die Multi-Class-Klassifizierung sollten Sie zuerst die One-vs-Rest-Strategie verwenden, um Ihre Referenzklasse auszuwählen, und dann Ihr Multi-Class-Klassifizierungsmodell in ein binäres Klassifizierungsproblem für Ihre ausgewählte Referenzklasse im Vergleich zu den restlichen Klassen aufteilen.

Metriken

Leistungsmetrik Definition Modelltyp
accuracy_score Der Anteil der korrekt klassifizierten Datenpunkte. Klassifizierung
precision_score Der Anteil der korrekt klassifizierten Datenpunkte unter den als 1 klassifizierten. Klassifizierung
recall_score Der Anteil der korrekt klassifizierten Datenpunkte unter denen, deren wahres Label 1 ist. Alternative Namen: True Positive-Rate, Empfindlichkeit. Klassifizierung
f1_score Der F1-Score ist das harmonische Mittel aus Präzision und Erinnerung. Klassifizierung
error_rate Der Anteil der falsch klassifizierten Instanzen am gesamten Satz von Instanzen. Klassifizierung
mean_absolute_error Der Durchschnitt der absoluten Werte der Fehler. Robuster gegenüber Ausreißern als mean_squared_error. Regression
mean_squared_error Der Durchschnitt der quadratischen Abweichungen. Regression
median_absolute_error Der Median der quadratischen Abweichungen. Regression
r2_score Der Anteil der Varianz in den Bezeichnungen, die vom Modell erklärt werden. Regression

Schwellenwert: Der gewünschte Schwellenwert für die ausgewählte Metrik. Zulässige mathematische Token sind >, <, >= und <=m, gefolgt von einer reellen Zahl. Beispielsweise bedeutet >= 0,75, dass das Ziel für die ausgewählte Metrik größer als oder gleich 0,75 ist.

Featurepriorität

top_n: Die Anzahl der anzuzeigenden Features, maximal 10. Erlaubt sind positive ganze Zahlen bis 10.

Fairness

Metrik Definition
metric Die primäre Metrik für Bewertungsgerechtigkeit.
sensitive_features Eine Liste mit Feature-Namen aus dem Eingabe-Dataset, die als vertrauliche Features für den Fairness-Bericht gekennzeichnet werden sollen.
fairness_evaluation_kind Werte in [„difference“, „ratio“].
threshold Die gewünschten Zielwerte der Fairnessbewertung. Zulässige mathematische Token sind >, <, >= und <=, gefolgt von einer reellen Zahl.
Beispiel: metric=“accuracy“, fairness_evaluation_kind=“difference“.
<= 0,05 bedeutet, dass der Zielwert für die Genauigkeitsdifferenz kleiner oder gleich 0,05 ist.

Hinweis

Ihre Wahl von fairness_evaluation_kind (Auswahl von „Differenz“ versus „Verhältnis“) wirkt sich auf die Skala Ihres Zielwerts aus. Achten Sie bei Ihrer Auswahl darauf, einen sinnvollen Zielwert zu wählen.

Sie können aus den folgenden Metriken, gepaart mit fairness_evaluation_kind, auswählen, um Ihre Fairness-Bewertungskomponente der Scorecard zu konfigurieren:

Metrik fairness_evaluation_kind Definition Modelltyp
accuracy_score Unterschied Die maximale Differenz bei der Genauigkeitsbewertung zwischen zwei Gruppen. Klassifizierung
accuracy_score ratio Das minimale Verhältnis bei der Genauigkeitsbewertung zwischen zwei Gruppen. Klassifizierung
precision_score Unterschied Die maximale Differenz bei der Genauigkeitsbewertung zwischen zwei Gruppen. Klassifizierung
precision_score ratio Das maximale Verhältnis bei der Genauigkeitsbewertung zwischen zwei Gruppen. Klassifizierung
recall_score Unterschied Die maximale Differenz bei der Abrufbewertung zwischen zwei Gruppen. Klassifizierung
recall_score ratio Das maximale Verhältnis bei der Abrufbewertung zwischen zwei Gruppen. Klassifizierung
f1_score Unterschied Die maximale Differenz bei der F1-Bewertung zwischen zwei Gruppen. Klassifizierung
f1_score ratio Das maximale Verhältnis bei der F1-Bewertung zwischen zwei Gruppen. Klassifizierung
error_rate Unterschied Die maximale Differenz bei der Fehlerrate zwischen zwei Gruppen. Klassifizierung
error_rate ratio Das maximale Verhältnis bei der Fehlerrate zwischen zwei Gruppen. Klassifizierung
Selection_rate Unterschied Die maximale Differenz bei der Auswahlrate zwischen zwei Gruppen. Klassifizierung
Selection_rate ratio Das maximale Verhältnis bei der Auswahlrate zwischen zwei Gruppen. Klassifizierung
mean_absolute_error Unterschied Die maximale Differenz bei der mittleren absoluten Abweichung zwischen zwei Gruppen. Regression
mean_absolute_error ratio Die maximale Differenz bei der mittleren absoluten Abweichung zwischen zwei Gruppen. Regression
mean_squared_error Unterschied Die maximale Differenz bei der mittleren quadratischen Abweichung zwischen zwei Gruppen. Regression
mean_squared_error ratio Die maximale Differenz bei der mittleren quadratischen Abweichung zwischen zwei Gruppen. Regression
median_absolute_error Unterschied Die maximale Differenz beim Median der absoluten Abweichung zwischen zwei Gruppen. Regression
median_absolute_error ratio Die maximale Differenz beim Median der absoluten Abweichung zwischen zwei Gruppen. Regression
r2_score Unterschied Die maximale Differenz bei der R2-Bewertung zwischen zwei Gruppen. Regression
r2_Score ratio Das maximale Verhältnis bei der R2-Bewertung zwischen zwei Gruppen. Regression

Eingabeeinschränkungen

Welche Modellformate und -varianten werden unterstützt?

Das Modell muss sich im MLflow-Verzeichnis befinden, mit einer verfügbaren sklearn-Variante. Darüber hinaus muss das Modell ladefähig in die Umgebung sein, die von den Komponenten für verantwortungsvolle KI verwendet wird.

Welche Datenformate werden unterstützt?

Die bereitgestellten Datasets sollten mltable mit Tabellendaten sein.

Nächste Schritte