Felelős AI-elemzések létrehozása a YAML és a Python használatával

Cikk
04/07/2024

ÉRVÉNYES:Azure CLI ml-bővítmény v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)

Felelős AI-irányítópultot és scorecardot egy folyamatfeladaton keresztül hozhat létre felelős AI-összetevők használatával. A Felelősen alkalmazott mesterséges intelligencia irányítópultok létrehozásához hat alapvető összetevő, valamint néhány segédösszetevő használható. Íme egy minta kísérletdiagram:

Felelős AI-összetevők

A Felelős AI-irányítópult Azure Machine-Tanulás való létrehozásának alapvető összetevői a következők:

RAI Insights dashboard constructor
Az eszköz összetevői:
- Add Explanation to RAI Insights dashboard
- Add Causal to RAI Insights dashboard
- Add Counterfactuals to RAI Insights dashboard
- Add Error Analysis to RAI Insights dashboard
- Gather RAI Insights dashboard
- Gather RAI Insights score card

A RAI Insights dashboard constructor és a Gather RAI Insights dashboard összetevő mindig kötelező, valamint legalább egy eszközösszetevőt is használni kell. Azonban nem szükséges minden felelős AI-irányítópulton használni az összes eszközt.

A következő szakaszokban a Felelős AI-összetevők specifikációi és a YAML-ben és Pythonban található kódrészletek példái találhatók.

Fontos

A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem ajánlott. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Korlátozások

Az összetevők jelenlegi készlete számos korlátozást tartalmaz a használatukra:

Minden modellt MLflow formátumban kell regisztrálni az Azure Machine Tanulás sklearn (scikit-learn) formátumban.
A modelleknek betölthetőnek kell lenniük az összetevő-környezetben.
A modelleknek savanyúnak kell lenniük.
A modelleket az általunk biztosított összetevő használatával kell megadni a Fetch Registered Model Felelős AI-összetevőknek.
Az adathalmaz bemeneteinek formátumuknak mltable kell lennie.
A modellt akkor is meg kell adni, ha csak az adatok okozati elemzése történik. Erre a célra használhatja a scikit-learn és a DummyClassifierDummyRegressor becslőket.

R AI-elemzések irányítópult-konstruktor

Ez az összetevő három bemeneti portot tartalmaz:

A gépi tanulási modell
A betanítási adatkészlet
A tesztadatkészlet

Ha modellkeresési elemzéseket szeretne létrehozni olyan összetevőkkel, mint a hibaelemzés és a modell magyarázata, használja a modell betanítása során használt betanítási és tesztelési adatkészletet. Az olyan összetevők esetében, mint az ok-okozati elemzés, amelyhez nincs szükség modellre, a betanítási adatkészlet használatával betaníthatja az oksági modellt az oksági elemzések létrehozásához. A tesztadatkészlettel feltöltheti a Felelős AI-irányítópult vizualizációit.

A modell megadásának legegyszerűbb módja, ha regisztrálja a bemeneti modellt, és ugyanarra a modellre hivatkozik az összetevő bemeneti portjában RAI Insight Constructor , amelyet a cikk későbbi részében tárgyalunk.

Feljegyzés

Jelenleg csak az MLflow formátumú és az ízesített sklearn modellek támogatottak.

A két adathalmaznak formátumot kell tartalmaznia mltable . A betanítási és tesztelési adatkészleteknek nem kell megegyezniük a modell betanításához használt adatkészletekkel, de lehetnek azonosak. Alapértelmezés szerint teljesítménybeli okokból a tesztadatkészlet a vizualizáció felhasználói felületének 5000 sorára korlátozódik.

A konstruktor-összetevő a következő paramétereket is elfogadja:

Paraméter neve	Leírás	Típus
`title`	Az irányítópult rövid leírása.	Sztring
`task_type`	Megadja, hogy a modell besoroláshoz, regresszióhoz vagy előrejelzéshez készült-e.	Sztring, `classification`, `regression`vagy `forecasting`
`target_column_name`	A bemeneti adathalmazok oszlopának neve, amelyet a modell előrejelezni próbál.	Sztring
`maximum_rows_for_test_dataset`	A tesztadatkészletben megengedett sorok maximális száma teljesítménybeli okokból.	Egész szám, alapértelmezés szerint 5000
`categorical_column_names`	Az adathalmazok oszlopai, amelyek kategorikus adatokat jelölnek.	A sztringek^{választható listája 1}
`classes`	A betanítási adatkészlet osztálycímkéinek teljes listája.	A sztringek^{választható listája 1}
`feature_metadata`	A tevékenység típusától függően további információkat ad meg, amelyekre az irányítópultnak szüksége lehet. Az előrejelzéshez ez magában foglalja annak megadását, hogy melyik oszlop az `datetime` oszlop, és melyik oszlop az `time_series_id` oszlop. A látás szempontjából ez a kép átlagos képpontértékét vagy helyadatait is tartalmazhatja.	A sztringek^{választható listája 1}
`use_model_dependency`	Megadja, hogy a modellhez külön Docker-tárolót kell-e kiszolgálni az RAI-irányítópulttal ütköző függőségek miatt. Az előrejelzéshez ezt engedélyezni kell. Ez általában más forgatókönyvek esetében nincs engedélyezve.	Logikai

¹ A listákat egyetlen JSON-kódolt sztringként categorical_column_nameskell megadni a bemenetekhezclassesfeature_metadata.

A konstruktor-összetevő egyetlen kimenettel rendelkezik rai_insights_dashboard. Ez egy üres irányítópult, amelyen az egyes eszközösszetevők működnek. Az összes eredményt az Gather RAI Insights dashboard összetevő összeállítja a végén.

YAML
Python SDK

 create_rai_job: 

    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_constructor/versions/<get current version>
    inputs: 
      title: From YAML snippet 
      task_type: regression
      type: mlflow_model
      path: azureml:<registered_model_name>:<registered model version> 
      train_dataset: ${{parent.inputs.my_training_data}} 
      test_dataset: ${{parent.inputs.my_test_data}} 
      target_column_name: ${{parent.inputs.target_column_name}} 
      categorical_column_names: '["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]'

Először töltse be az összetevőt:

# First load the component:

        rai_constructor_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_constructor", label="latest")

#Then inside the pipeline:

            construct_job = rai_constructor_component( 
                title="From Python", 
                task_type="classification", 
                model_input= model_input= Input(type=AssetTypes.MLFLOW_MODEL, path="<azureml:model_name:model_id>"),
                train_dataset=train_data, 
                test_dataset=test_data, 
                target_column_name=target_column_name, 
                categorical_column_names='["location", "style", "job title", "OS", "Employer", "IDE", "Programming language"]', 
                maximum_rows_for_test_dataset=5000, 
                classes="[]", 
            )

Ok-okozati összefüggés hozzáadása az R AI-elemzések irányítópulthoz

Ez az összetevő ok-okozati elemzést végez a megadott adathalmazokon. Egyetlen bemeneti portja van, amely elfogadja a kimenetet RAI Insights dashboard constructor. A következő paramétereket is elfogadja:

Paraméter neve	Leírás	Írja be a következőt:
`treatment_features`	Az adathalmazok funkcióneveinek listája, amelyek a különböző eredmények elérése érdekében "kezelhetők".	Sztringek^{listája 2}.
`heterogeneity_features`	Az adathalmazok funkcióneveinek listája, amely befolyásolhatja a "kezelhető" funkciók működését. Alapértelmezés szerint a rendszer minden funkciót figyelembe vesz.	A sztringek^{választható listája 2}.
`nuisance_model`	A kezelési jellemzők módosításának eredményének becslésére használt modell.	Nem kötelező sztring. Az alapértelmezett `linear`értéknek vagy `AutoML`annak kell lennie`linear`.
`heterogeneity_model`	A heterogenitási jellemzők eredményre gyakorolt hatásának becslésére használt modell.	Nem kötelező sztring. Az alapértelmezett `linear`értéknek vagy `forest`annak kell lennie`linear`.
`alpha`	Megbízhatósági intervallumok megbízhatósági szintje.	Nem kötelező lebegőpontos szám, alapértelmezés szerint 0,05.
`upper_bound_on_cat_expansion`	A kategorikus funkciók maximális bővítése.	Nem kötelező egész szám, alapértelmezés szerint 50.
`treatment_cost`	A kezelések költsége. Ha 0, minden kezelés nulla költséggel jár. Ha a rendszer egy listát ad át, a rendszer minden elemet alkalmaz az `treatment_features`egyik gombra. Minden elem skaláris érték lehet, amely a kezelés állandó költségét jelzi, vagy egy tömb, amely az egyes minták költségét jelzi. Ha a kezelés különálló kezelés, a funkció tömbjének kétdimenziósnak kell lennie, az első dimenzió a mintákat, a második pedig a nem alapértelmezett értékek és az alapértelmezett érték közötti költségkülönbséget jelöli.	Nem kötelező egész szám vagy 2^{. lista}.
`min_tree_leaf_samples`	A házirendfán lévő levélenkénti minták minimális száma.	Nem kötelező egész szám, alapértelmezés szerint 2.
`max_tree_depth`	A házirendfa maximális mélysége.	Nem kötelező egész szám, alapértelmezés szerint 2.
`skip_cat_limit_checks`	Alapértelmezés szerint a kategorikus funkcióknak több példánysal kell rendelkezniük az egyes kategóriákból ahhoz, hogy a modell megfelelően illeszkedjen. Ha ezt úgy állítja be, hogy `True` kihagyja ezeket az ellenőrzéseket.	Nem kötelező logikai érték, alapértelmezés szerint a .`False`
`categories`	A kategorikus oszlopokhoz használandó kategóriák. Ha `auto`, akkor a kategóriák az összes kategorikus oszlopra következtetnek. Ellenkező esetben ennek az argumentumnak annyi bejegyzést kell megadnia, amennyit kategorikus oszlopok tartalmaznak. Minden bejegyzésnek `auto` az adott oszlop értékeit vagy az oszlop értékeinek listáját kell kikövetkezőnek lennie. Ha explicit értékeket ad meg, a rendszer az első értéket annak az oszlopnak a "vezérlő" értékének tekinti, amelyhez más értékeket hasonlít össze.	Nem kötelező, `auto` vagy a 2^{. lista}.
`n_jobs`	A használandó párhuzamossági fok.	Nem kötelező egész szám, alapértelmezés szerint 1.
`verbose`	Azt fejezi ki, hogy a számítás során részletes kimenetet adjon-e meg.	Nem kötelező egész szám, alapértelmezés szerint 1.
`random_state`	A pszeudorandom számgenerátor (PRNG) magja.	Nem kötelező egész szám.

² A paraméterek esetében list : Több paraméter más típusú listákat (sztringeket, számokat, sőt más listákat) is elfogad. Ahhoz, hogy ezeket át lehessen adni az összetevőnek, először JSON-kódolással kell rendelkezniük egyetlen sztringben.

Ez az összetevő egyetlen kimeneti porttal rendelkezik, amely az összetevő egyik insight_[n] bemeneti portjához Gather RAI Insights Dashboard csatlakoztatható.

YAML
Python SDK

  causal_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_causal/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      treatment_features: `["Number of GitHub repos contributed to", "YOE"]'

#First load the component: 

        rai_causal_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_causal", label="latest")

#Use it inside a pipeline definition: 
            causal_job = rai_causal_component( 
                rai_insights_dashboard=construct_job.outputs.rai_insights_dashboard, 
                treatment_features='`["Number of GitHub repos contributed to", "YOE"]', 
            )

Számlálók hozzáadása az R AI-elemzések irányítópulthoz

Ez az összetevő kontrafaktuális pontokat hoz létre a megadott tesztadatkészlethez. Egyetlen bemeneti porttal rendelkezik, amely elfogadja az R AI-elemzések irányítópult konstruktorának kimenetét. A következő paramétereket is elfogadja:

Paraméter neve	Leírás	Típus
`total_CFs`	A tesztadatkészlet minden sorához létrehozandó számlálópontok száma.	Nem kötelező egész szám, alapértelmezés szerint 10.
`method`	A `dice-ml` magyarázó, amit használni kell.	Nem kötelező sztring. Vagy `random`, `genetic`vagy `kdtree`. Alapértelmezett érték: `random`.
`desired_class`	A kívánt számlálóosztályt azonosító index. Bináris besorolás esetén ennek a beállításnak `opposite`a következőre kell lennie: .	Nem kötelező sztring vagy egész szám. Alapértelmezés szerint 0.
`desired_range`	Regressziós problémák esetén azonosítsa a kívánt eredménytartományt.	Két szám^{választható listája 3}.
`permitted_range`	Szótár kulcsként a funkciónevekkel és a lista megengedett tartományával értékként. A betanítási adatokból levont tartomány alapértelmezett értéke.	Nem kötelező sztring vagy 3^{. lista}.
`features_to_vary`	Egy sztring `all` vagy egy változó funkciónevek listája.	Nem kötelező sztring vagy 3^{. lista}.
`feature_importance`	Jelölő a funkció fontosságainak kiszámításához a következő használatával `dice-ml`: .	Nem kötelező logikai érték. Alapértelmezett érték: `True`.

³ A nem skaláris paraméterek esetében: A listákat vagy szótárakat tartalmazó paramétereket egyetlen JSON-kódolt sztringként kell átadni.

Ez az összetevő egyetlen kimeneti porttal rendelkezik, amely az összetevő egyik insight_[n] bemeneti portjához Gather RAI Insights dashboard csatlakoztatható.

YAML
Python SDK

 counterfactual_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_counterfactual/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      total_CFs: 10 
      desired_range: "[5, 10]"

#First load the component: 
        rai_counterfactual_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_counterfactual", label="latest")

#Use it in a pipeline function: 
            counterfactual_job = rai_counterfactual_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                total_cfs=10, 
                desired_range="[5, 10]", 
            )

Hibaelemzés hozzáadása az R AI-elemzések irányítópulthoz

Ez az összetevő hibaelemzést hoz létre a modellhez. Egyetlen bemeneti portja van, amely elfogadja a kimenetet RAI Insights Dashboard Constructor. A következő paramétereket is elfogadja:

Paraméter neve	Leírás	Típus
`max_depth`	A hibaelemzési fa maximális mélysége.	Nem kötelező egész szám. Alapértelmezett érték: 3.
`num_leaves`	A hibafa leveleinek maximális száma.	Nem kötelező egész szám. Alapértelmezett érték: 31.
`min_child_samples`	A levél előállításához szükséges adatpontok minimális száma.	Nem kötelező egész szám. Alapértelmezés szerint 20.
`filter_features`	A mátrixszűrőhöz használandó egy vagy két funkció listája.	Nem kötelező lista, amely egyetlen JSON-kódolt sztringként lesz átadva.

Ez az összetevő egyetlen kimeneti porttal rendelkezik, amely az összetevő egyik insight_[n] bemeneti portjához Gather RAI Insights Dashboard csatlakoztatható.

YAML
Python SDK

  error_analysis_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_erroranalysis/versions/<version>
    inputs: 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      filter_features: `["style", "Employer"]'

#First load the component: 
        rai_erroranalysis_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_erroranalysis", label="latest")

#Use inside a pipeline: 
            erroranalysis_job = rai_erroranalysis_component( 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
                filter_features='["style", "Employer"]', 
            )

Magyarázat hozzáadása az R AI-elemzések irányítópulthoz

Ez az összetevő a modell magyarázatát hozza létre. Egyetlen bemeneti portja van, amely elfogadja a kimenetet RAI Insights Dashboard Constructor. Egyetlen, opcionális megjegyzéssztringet fogad el paraméterként.

Ez az összetevő egyetlen kimeneti porttal rendelkezik, amely az R AI-elemzések összegyűjtése irányítópult-összetevő egyik insight_[n] bemeneti portjához csatlakoztatható.

YAML
Python SDK

  explain_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_explanation/versions/<version>
    inputs: 
      comment: My comment 
      rai_insights_dashboard: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}}

#First load the component: 
        rai_explanation_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_explanation", label="latest"

#Use inside a pipeline: 
            explain_job = rai_explanation_component( 
                comment="My comment", 
                rai_insights_dashboard=create_rai_job.outputs.rai_insights_dashboard, 
            )

R AI-elemzések-irányítópult összegyűjtése

Ez az összetevő egyetlen felelős AI-irányítópulton állítja össze a létrehozott megállapításokat. Öt bemeneti portja van:

Az constructor R AI-elemzések irányítópult konstruktor összetevőjéhez csatlakoztatandó port.
Négy insight_[n] port, amelyek csatlakoztathatók az eszközösszetevők kimenetéhez. Legalább egy portot csatlakoztatni kell.

Két kimeneti port van:

A dashboard port tartalmazza a kész RAIInsights objektumot.
A ux_json port tartalmazza a minimális irányítópult megjelenítéséhez szükséges adatokat.

YAML
Python SDK

  gather_01: 
    type: command 
    component: azureml://registries/azureml/components/microsoft_azureml_rai_tabular_insight_gather/versions/<version>
    inputs: 
      constructor: ${{parent.jobs.create_rai_job.outputs.rai_insights_dashboard}} 
      insight_1: ${{parent.jobs.causal_01.outputs.causal}} 
      insight_2: ${{parent.jobs.counterfactual_01.outputs.counterfactual}} 
      insight_3: ${{parent.jobs.error_analysis_01.outputs.error_analysis}} 
      insight_4: ${{parent.jobs.explain_01.outputs.explanation}}

#First load the component: 
        rai_gather_component = ml_client_registry.components.get(name="microsoft_azureml_rai_tabular_insight_gather", label="latest")
#Use in a pipeline: 
            rai_gather_job = rai_gather_component( 
                constructor=create_rai_job.outputs.rai_insights_dashboard, 
                insight_1=explain_job.outputs.explanation, 
                insight_2=causal_job.outputs.causal, 
                insight_3=counterfactual_job.outputs.counterfactual, 
                insight_4=erroranalysis_job.outputs.error_analysis, 
            )

Felelős AI scorecard létrehozása (előzetes verzió)

A konfigurációs szakasz megköveteli, hogy a probléma körül a tartomány szakértelmét használva állítsa be a kívánt célértékeket a modell teljesítmény- és méltányossági metrikáihoz.

A YAML-folyamatban konfigurált többi felelős AI-irányítópult-összetevőhöz hasonlóan hozzáadhat egy összetevőt a scorecard létrehozásához a YAML-folyamatban:

scorecard_01: 

   type: command 
   component: azureml:rai_score_card@latest 
   inputs: 
     dashboard: ${{parent.jobs.gather_01.outputs.dashboard}} 
     pdf_generation_config: 
       type: uri_file 
       path: ./pdf_gen.json 
       mode: download 

     predefined_cohorts_json: 
       type: uri_file 
       path: ./cohorts.json 
       mode: download

Ahol pdf_gen.json a score card generation configuration json fájl, és predifined_cohorts_json azonosító az előre összeállított kohorsz definíciós json-fájl.

Íme egy minta JSON-fájl a kohorszdefinícióhoz és a scorecard-generációs konfigurációhoz:

Kohorszdefiníció:

[ 
  { 
    "name": "High Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "greater", 
        "arg": [ 
          5 
        ], 
        "column": "YOE" 
      } 
    ] 
  }, 
  { 
    "name": "Low Yoe", 
    "cohort_filter_list": [ 
      { 
        "method": "less", 
        "arg": [ 
          6.5 
        ], 
        "column": "YOE" 
      } 
    ] 
  } 
]

Íme egy scorecard-generációs konfigurációs fájl regressziós példaként:

{ 
  "Model": { 
    "ModelName": "GPT-2 Access", 
    "ModelType": "Regression", 
    "ModelSummary": "This is a regression model to analyze how likely a programmer is given access to GPT-2" 
  }, 
  "Metrics": { 
    "mean_absolute_error": { 
      "threshold": "<=20" 
    }, 
    "mean_squared_error": {} 
  }, 
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YOE", 
      "age" 
    ] 
  }, 
  "Fairness": {
    "metric": ["mean_squared_error"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  },
  "Cohorts": [ 
    "High Yoe", 
    "Low Yoe" 
  ]  
}

Íme egy scorecard-generációs konfigurációs fájl besorolási példaként:

{
  "Model": {
    "ModelName": "Housing Price Range Prediction",
    "ModelType": "Classification",
    "ModelSummary": "This model is a classifier that predicts whether the house will sell for more than the median price."
  },
  "Metrics" :{
    "accuracy_score": {
        "threshold": ">=0.85"
    },
  }
  "FeatureImportance": { 
    "top_n": 6 
  }, 
  "DataExplorer": { 
    "features": [ 
      "YearBuilt", 
      "OverallQual", 
      "GarageCars"
    ] 
  },
  "Fairness": {
    "metric": ["accuracy_score", "selection_rate"],
    "sensitive_features": ["YOUR SENSITIVE ATTRIBUTE"],
    "fairness_evaluation_kind": "difference OR ratio"
  }
}

A Felelős AI scorecard összetevő bemeneteinek meghatározása

Ez a szakasz felsorolja és meghatározza a felelős AI scorecard összetevő konfigurálásához szükséges paramétereket.

Modell

ModelName	Modell neve
`ModelType`	Értékek a "besorolásban", a "regresszióban".
`ModelSummary`	Írja be a modellt összegző szöveget.

Feljegyzés

Többosztályos besorolás esetén először a One-vs-Rest stratégiával válassza ki a referenciaosztályt, majd ossza fel a többosztályos besorolási modellt a kiválasztott referenciaosztály bináris besorolási problémájára a többi osztálysal szemben.

Mérőszámok

Teljesítménymetrika	Definíció	Modell típusa
`accuracy_score`	A helyesen besorolt adatpontok törtrésze.	Osztályozás
`precision_score`	Az 1. besorolású adatpontok között helyesen besorolt adatpontok törtrésze.	Osztályozás
`recall_score`	A helyesen besorolt adatpontok aránya azok között, amelyek valódi címkéje 1. Alternatív nevek: valódi pozitív arány, érzékenység.	Osztályozás
`f1_score`	Az F1 pontszám a pontosság és a visszahívás harmonikus középértékét jelenti.	Osztályozás
`error_rate`	Azoknak a példányoknak az aránya, amelyek helytelenül vannak besorolva a teljes példánykészletre.	Osztályozás
`mean_absolute_error`	A hibák abszolút értékeinek átlaga. Robusztusabb a kiugró értékekhez képest `mean_squared_error`.	Regresszió
`mean_squared_error`	A négyzetes hibák átlaga.	Regresszió
`median_absolute_error`	A négyzetes hibák mediánja.	Regresszió
`r2_score`	A modell által magyarázott variancia törtrésze a címkékben.	Regresszió

Küszöbérték: A kijelölt metrika kívánt küszöbértéke. Az engedélyezett matematikai jogkivonatok a következők>: , <>= és <=m, amelyet valós szám követ. Az = 0,75 például azt jelenti, >hogy a kiválasztott metrika célértéke nagyobb vagy egyenlő 0,75-nél.

Funkció fontossága

top_n: A megjelenítendő funkciók száma, legfeljebb 10-zel. Legfeljebb 10 pozitív egész szám engedélyezett.

Méltányosság

Metrika	Definíció
`metric`	A kiértékelési méltányosság elsődleges mérőszáma.
`sensitive_features`	A bemeneti adatkészlet azon funkcióneveinek listája, amelyek a méltányossági jelentés bizalmas funkcióiként lesznek kijelölve.
`fairness_evaluation_kind`	Értékek a "különbségben", az "arányban".
`threshold`	A méltányosság-értékelés kívánt célértékei . Az engedélyezett matematikai jogkivonatok a következők>: , <>= és <=, amelyet valós szám követ. Például: metric="accuracy", fairness_evaluation_kind="difference". <= 0,05 azt jelenti, hogy a pontosság különbségének célja kisebb vagy egyenlő, mint 0,05.

Feljegyzés

A választott fairness_evaluation_kind érték (a "különbség" és az "arány" kiválasztása) hatással van a célérték skálájára. A kijelölésben ügyeljen arra, hogy értelmes célértéket válasszon.

A scorecard méltányossági felmérési összetevőjének konfigurálásához a következő metrikák közül választhat, párosítva fairness_evaluation_kindezzel:

Metrika	fairness_evaluation_kind	Definíció	Modell típusa
`accuracy_score`	Különbség	A pontossági pontszám két csoport közötti maximális különbsége.	Osztályozás
`accuracy_score`	Arány	A pontossági pontszám minimális aránya két csoport között.	Osztályozás
`precision_score`	Különbség	A pontossági pontszám két csoport közötti maximális különbsége.	Osztályozás
`precision_score`	Arány	A pontossági pontszám két csoport közötti maximális aránya.	Osztályozás
`recall_score`	Különbség	A visszahívási pontszám két csoport közötti maximális különbsége.	Osztályozás
`recall_score`	Arány	A visszahívási pontszám két csoport közötti maximális aránya.	Osztályozás
`f1_score`	Különbség	Az f1 pontszámának maximális különbsége két csoport között.	Osztályozás
`f1_score`	Arány	A két csoport közötti f1 pontszám maximális aránya.	Osztályozás
`error_rate`	Különbség	A hibaarány két csoport közötti maximális különbsége.	Osztályozás
`error_rate`	Arány	A hibaarány két csoport közötti maximális aránya.	Osztályozás
`Selection_rate`	Különbség	A két csoport közötti kiválasztási arány legnagyobb különbsége.	Osztályozás
`Selection_rate`	Arány	A két csoport közötti kiválasztási arány maximális aránya.	Osztályozás
`mean_absolute_error`	Különbség	A két csoport közötti átlagos abszolút hiba legnagyobb különbsége.	Regresszió
`mean_absolute_error`	Arány	A két csoport közötti átlagos abszolút hiba maximális aránya.	Regresszió
`mean_squared_error`	Különbség	A két csoport közötti átlagos négyzetes hiba legnagyobb különbsége.	Regresszió
`mean_squared_error`	Arány	A két csoport közötti átlagos négyzetes hiba maximális aránya.	Regresszió
`median_absolute_error`	Különbség	A medián abszolút hiba legnagyobb különbsége két csoport között.	Regresszió
`median_absolute_error`	Arány	A medián abszolút hiba maximális aránya két csoport között.	Regresszió
`r2_score`	Különbség	Az R² pontszámának maximális különbsége két csoport között.	Regresszió
`r2_Score`	Arány	Az R² pontszámának maximális aránya két csoport között.	Regresszió

Bemeneti korlátozások

Milyen modellformátumok és -ízek támogatottak?

A modellnek az MLflow könyvtárban kell lennie egy elérhető sklearn-ízzel. Emellett a modellnek betölthetőnek kell lennie a felelős AI-összetevők által használt környezetben.

Milyen adatformátumok támogatottak?

A megadott adathalmazoknak táblázatos adatokkal kell rendelkeznie mltable .

Következő lépések

Miután létrehozta a Felelős AI-irányítópultot, tekintse meg, hogyan érheti el és használhatja azt az Azure Machine Tanulás Studióban.
Összegezze és ossza meg a felelős AI-megállapításokat a Felelős AI scorecarddal PDF-exportálásként.
További információ a Felelős AI-irányítópult mögötti fogalmakról és technikákról.
További információ az adatok felelősségteljes gyűjtéséről.
Tekintse meg a YAML- és Python-mintajegyzetfüzeteket a Felelős AI-irányítópult yaML-lel vagy Pythonnal való létrehozásához.
További információ arról, hogyan használhatja a Felelős AI-irányítópultot és scorecardot az adatok és modellek hibakeresésére, és hogyan tájékoztathatja a jobb döntéshozatalt ebben a tech-közösségi blogbejegyzésben.
Megtudhatja, hogyan használta a felelős AI-irányítópultot és scorecardot az Egyesült Királyság nemzeti Állapotfigyelő szolgáltatás (NHS) egy valós ügyféltörténetben.
Ezen az interaktív AI-tesztkörnyezet webes bemutatóján keresztül megismerheti a Felelős AI-irányítópult funkcióit.

Share via

Felelős AI-elemzések létrehozása a YAML és a Python használatával

Felelős AI-összetevők

Korlátozások

R AI-elemzések irányítópult-konstruktor

Ok-okozati összefüggés hozzáadása az R AI-elemzések irányítópulthoz

Számlálók hozzáadása az R AI-elemzések irányítópulthoz

Hibaelemzés hozzáadása az R AI-elemzések irányítópulthoz

Magyarázat hozzáadása az R AI-elemzések irányítópulthoz

R AI-elemzések-irányítópult összegyűjtése

Felelős AI scorecard létrehozása (előzetes verzió)

A Felelős AI scorecard összetevő bemeneteinek meghatározása

Modell

Mérőszámok

Funkció fontossága

Méltányosság

Bemeneti korlátozások

Milyen modellformátumok és -ízek támogatottak?

Milyen adatformátumok támogatottak?

Következő lépések

További források