Modell értelmezhetősége

  • Cikk

Ez a cikk az Azure Machine Tanulás modellértelmezhetőségéhez használható módszereket ismerteti.

Fontos

A modellértelmezhetőséget is magában foglaló Felelős AI-irányítópult kiadásával javasoljuk, hogy migráljon az új felületre, mert a régebbi SDK v1 előzetes verziójú modell értelmezhetőségi irányítópultja már nem lesz aktívan karbantartva.

Miért fontos a modell értelmezhetősége a modell hibakereséséhez?

Ha olyan gépi tanulási modelleket használ, amelyek hatással vannak az emberek életére, kritikus fontosságú megérteni, hogy mi befolyásolja a modellek viselkedését. Az értelmezhetőség segít megválaszolni az olyan helyzetekben felmerülő kérdéseket, mint például:

  • Modell hibakeresése: Miért követte el a modellem ezt a hibát? Hogyan fejleszthetem a modellt?
  • Emberi-AI-együttműködés: Hogyan értelmezhetem és bízhatok a modell döntéseiben?
  • Jogszabályi megfelelőség: Megfelel a modellem a jogi követelményeknek?

A Felelős AI-irányítópult értelmezhetőségi összetevője hozzájárul a modell életciklus-munkafolyamatának "diagnosztizálásához" azáltal, hogy egy gépi tanulási modell előrejelzéseinek emberi-érthető leírását hozza létre. Több nézetet is biztosít a modell viselkedéséhez:

  • Globális magyarázatok: Milyen funkciók befolyásolják például a hitelkiosztási modell általános viselkedését?
  • Helyi magyarázatok: Miért hagytak jóvá vagy utasítottak el például egy ügyfél hitelkérelmét?

A kiválasztott kohorsz modellmagyarázatait adatpontok alcsoportjaként is megfigyelheti. Ez a megközelítés akkor hasznos, ha például egy adott demográfiai csoportban lévő egyének modell-előrejelzéseinek méltányosságát értékeli. Az összetevő Helyi magyarázat lapja teljes adatvizualizációt is tartalmaz, amely kiválóan alkalmas az adatok általános szemrevételezésére, valamint az egyes kohorszok helyes és helytelen előrejelzései közötti különbségekre.

Ennek az összetevőnek a képességeit az InterpretML-csomag határozza meg, amely modellmagyarázatokat hoz létre.

Használjon értelmezhetőséget, ha a következőkre van szüksége:

  • Az AI-rendszer előrejelzéseinek megbízhatóságának meghatározásához ismerje meg, hogy mely funkciók a legfontosabbak az előrejelzésekhez.
  • A modell hibakereséséhez először annak megértésével és annak azonosításával közelítheti meg, hogy a modell kifogástalan szolgáltatásokat vagy csupán hamis korrelációkat használ-e.
  • A tisztességtelenség lehetséges forrásainak feltárása azáltal, hogy tisztában van azzal, hogy a modell az előrejelzéseket bizalmas funkciókra vagy azokkal szorosan korrelált funkciókra alapozza.
  • A modell döntéseibe vetett felhasználói bizalom kialakításához hozzon létre helyi magyarázatokat az eredmények szemléltetéséhez.
  • Végezze el az AI-rendszerek szabályozási auditját a modellek ellenőrzéséhez és a modelldöntések emberekre gyakorolt hatásának monitorozásához.

A modell értelmezése

A gépi tanulásban a funkciók a céladatpont előrejelzéséhez használt adatmezők. A hitelkockázat előrejelzéséhez például adatmezőket használhat az életkor, a fiók mérete és a fiók életkora szerint. Itt az életkor, a fiók mérete és a fiók életkora jellemzők. A funkció fontossága megmutatja, hogy az egyes adatmezők hogyan befolyásolják a modell előrejelzéseit. Például, bár az előrejelzésben nagy mértékben használhatja az életkort, előfordulhat, hogy a fiók mérete és a fiók életkora nem befolyásolja jelentősen az előrejelzési értékeket. Ezzel a folyamattal az adattudósok olyan módon magyarázhatják el az eredményül kapott előrejelzéseket, hogy az érdekelt felek betekintést kapnak a modell legfontosabb funkcióiba.

A Felelős AI-irányítópult osztályainak és metódusainak használatával, valamint az SDK v2 és CLI v2 használatával a következő műveletekre van lehetőség:

  • A modell előrejelzésének magyarázata a teljes modell (globális magyarázat) vagy egyéni adatpontok (helyi magyarázat) funkció-fontossági értékeinek generálásával.
  • Valós adathalmazok modellértelmezhetőségének elérése nagy méretekben.
  • Interaktív vizualizációs irányítópult használatával betanításkor felfedezheti az adatok mintáit és magyarázatait.

Az SDK 1-ben található osztályok és metódusok használatával a következő műveletekre van lehetőség:

  • A modell előrejelzésének magyarázata funkció-fontossági értékek generálásával a teljes modellre vagy az egyes adatpontokra vonatkozóan.
  • Valós adathalmazok modellértelmezhetőségének elérése nagy méretekben a betanítás és következtetés során.
  • Interaktív vizualizációs irányítópult használatával betanításkor felfedezheti az adatok mintáit és magyarázatait.

Feljegyzés

A modellértelmezhetőségi osztályok az SDK v1 csomagon keresztül érhetők el. További információ: SDK-csomagok telepítése az Azure Machine Tanulás és az azureml.interpret szolgáltatáshoz.

Támogatott modellértelmezhetőségi technikák

A Felelős AI-irányítópult és azureml-interpret a Interpret-Communityben kifejlesztett értelmezhetőségi technikák használata, amely egy nyílt forráskódú Python-csomag, amely értelmezhető modellek betanítására és az átlátszatlan AI-rendszerek magyarázatára használható. Az átlátszatlan modellek olyan modellek, amelyek belső működéséről nincs információnk.

Az Interpret-Community a következő támogatott magyarázók gazdagépe, és jelenleg a következő szakaszokban bemutatott értelmezhetőségi technikákat támogatja.

Támogatott a Felelős AI-irányítópult a Python SDK v2-ben és a CLI v2-ben

Értelmezhetőségi technika Leírás Típus
Mimic Explainer (Global Surrogate) + SHAP fa A Mimic Explainer a globális helyettesítő modellek betanításán alapul, hogy átlátszatlan modelleket utánozza. A globális helyettesítő modell egy belsőleg értelmezhető modell, amely betanított, hogy a lehető legpontosabban közelítse meg az átlátszatlan modellek előrejelzéseit.

Az adattudósok értelmezhetik a helyettesítő modellt, hogy következtetéseket vonjanak le az átlátszatlan modellről. A Felelős AI-irányítópult a LightGBM -et (LGBMExplainableModel) használja, amelyet az SHAP (SHapley Additive exPlanations) Tree Explainerrel párosítunk, amely egy konkrét magyarázó a fákhoz és a fák együtteseihez. A LightGBM és az SHAP fa kombinációja modell-agnosztikus globális és helyi magyarázatokat biztosít a gépi tanulási modellekhez.		 Modell-agnosztikus

Támogatott modellértelmezhetőségi technikák szövegmodellekhez

Értelmezhetőségi technika Leírás Típus Szöveges tevékenység
SHAP-szöveg Az SHAP (SHapley Additive exPlanations) a mély neurális hálózatok népszerű magyarázati módszere, amely betekintést nyújt az egyes bemeneti funkciók adott előrejelzéshez való hozzájárulásába. Ez a Shapley értékek fogalmán alapul, amely egy olyan módszer, amellyel kreditet rendelhet az egyes játékosokhoz egy kooperatív játékban. Az SHAP ezt a fogalmat a neurális hálózat bemeneti funkcióira alkalmazza azáltal, hogy kiszámítja az egyes funkciók átlagos hozzájárulását a modell kimenetéhez a funkciók összes lehetséges kombinációjában. Kifejezetten a szövegek esetében az SHAP hierarchikus módon osztja fel a szavakat, és az egyes szavakat vagy jogkivonatokat funkcióként kezeli. Ez olyan hozzárendelési értékeket hoz létre, amelyek számszerűsítik az egyes szavak vagy jogkivonatok fontosságát az adott előrejelzésben. A végleges hozzárendelési térkép úgy jön létre, hogy ezeket az értékeket hőtérképként jeleníti meg az eredeti szöveges dokumentumon. Az SHAP egy modell-agnosztikus módszer, amely a mélytanulási modellek széles körének magyarázatára használható, beleértve a CNN-eket, az RNN-eket és a transzformátorokat. Emellett számos kívánatos tulajdonságot biztosít, például a konzisztenciát, a pontosságot és a méltányosságot, így megbízható és értelmezhető technikát biztosít a modell döntéshozatali folyamatának megértéséhez. Modell agnosztika Többosztályos szövegbesorolás, többcímkés szövegbesorolás

Támogatott modellértelmezhetőségi technikák képmodellekhez

Értelmezhetőségi technika Leírás Típus Vision Task
SHAP-látás Az SHAP (SHapley Additive exPlanations) a mély neurális hálózatok népszerű magyarázati módszere, amely betekintést nyújt az egyes bemeneti funkciók adott előrejelzéshez való hozzájárulásába. Ez a Shapley értékek fogalmán alapul, amely egy olyan módszer, amellyel kreditet rendelhet az egyes játékosokhoz egy kooperatív játékban. Az SHAP ezt a fogalmat a neurális hálózat bemeneti funkcióira alkalmazza azáltal, hogy kiszámítja az egyes funkciók átlagos hozzájárulását a modell kimenetéhez a funkciók összes lehetséges kombinációjában. A látás szempontjából az SHAP hierarchikus módon oszlik meg a képen, és minden funkcióként kezeli a kép szuperpixeles területeit. Ez olyan hozzárendelési értékeket eredményez, amelyek számszerűsítik az egyes szuperpixelek vagy képterületek fontosságát az adott előrejelzéshez. A végső hozzárendelési térkép úgy jön létre, hogy ezeket az értékeket hőtérképként jeleníti meg. Az SHAP egy modell-agnosztikus módszer, amely a mélytanulási modellek széles körének magyarázatára használható, beleértve a CNN-eket, az RNN-eket és a transzformátorokat. Emellett számos kívánatos tulajdonságot biztosít, például a konzisztenciát, a pontosságot és a méltányosságot, így megbízható és értelmezhető technikát biztosít a modell döntéshozatali folyamatának megértéséhez. Modell agnosztika Image Multi-class Classification, Image Multi-label Classification
Irányított Backprop Az irányított backprop a mély neurális hálózatok népszerű magyarázati módszere, amely betekintést nyújt a modell tanult ábrázolásába. Megjeleníti azokat a bemeneti funkciókat, amelyek aktiválnak egy adott neuront a modellben, a kimenet gradiensének a bemeneti képhez képest történő kiszámításával. Más színátmenetalapú módszerekkel ellentétben az irányított backprop csak pozitív színátmeneteken keresztül fejti ki a visszataszítást, és egy módosított ReLU aktiválási függvényt használ annak biztosítására, hogy a negatív színátmenetek ne befolyásolják a vizualizációt. Ez egy értelmezhetőbb és nagy felbontású hasznossági térképet eredményez, amely kiemeli a bemeneti kép legfontosabb funkcióit egy adott előrejelzéshez. Az irányított backprop számos mélytanulási modell magyarázatára használható, beleértve a konvolúciós neurális hálózatokat (CNN-eket), a visszatérő neurális hálózatokat (RNN-eket) és a transzformátorokat. AutoML Image Multi-class Classification, Image Multi-label Classification
Irányított gradCAM Az irányított GradCAM a mély neurális hálózatok népszerű magyarázati módszere, amely betekintést nyújt a modell tanult ábrázolásába. Megjeleníti azokat a bemeneti funkciókat, amelyek a leginkább hozzájárulnak egy adott kimeneti osztályhoz az irányított háttérpropagáció színátmenetalapú megközelítésének és a GradCAM honosítási megközelítésének kombinálásával. Pontosabban kiszámítja a kimeneti osztály színátmeneteit a hálózat utolsó konvolúciós rétegének funkciótérképei alapján, majd súlyozza az egyes funkciótérképeket az adott osztály aktiválásának fontossága szerint. Ez egy nagy felbontású hőtérképet hoz létre, amely kiemeli a bemeneti kép legkülönbözőbb régióit az adott kimeneti osztályhoz. Az irányított GradCAM számos mélytanulási modell magyarázatára használható, beleértve a CNN-eket, az RNN-eket és a transzformátorokat. Emellett az irányított háttéralkalmazás beépítésével biztosítja, hogy a vizualizáció értelmes és értelmezhető legyen, elkerülve a hamis aktiválásokat és negatív hozzájárulásokat. AutoML Image Multi-class Classification, Image Multi-label Classification
Integrált színátmenetek Az Integrált színátmenetek a mély neurális hálózatok népszerű magyarázati módszere, amely betekintést nyújt az egyes bemeneti funkciók adott előrejelzéshez való hozzájárulásába. Kiszámítja a kimeneti osztály gradiensének integrálját a bemeneti rendszerképhez viszonyítva, az alaprendszerkép és a tényleges bemeneti rendszerkép közötti egyenes út mentén. Ez az elérési út általában lineáris interpolációként van kiválasztva a két kép között, az alapkonfiguráció pedig egy semleges kép, amely nem rendelkezik salient jellemzőkkel. A színátmenet ezen útvonal mentén történő integrálásával az integrált színátmenetek azt mérik, hogy az egyes bemeneti funkciók hogyan járulnak hozzá az előrejelzéshez, lehetővé téve a hozzárendelési térkép létrehozásának engedélyezését. Ez a térkép a legbefolyásosabb bemeneti funkciókat emeli ki, és segítségével betekintést nyerhet a modell döntéshozatali folyamatába. Az integrált színátmenetek számos mélytanulási modell magyarázatára használhatók, beleértve a CNN-eket, az RNN-eket és a transzformátorokat. Emellett ez egy elméletileg megalapozott technika, amely kielégíti a kívánt tulajdonságokat, például a bizalmasságot, a megvalósítási invarianciát és a teljességet. AutoML Image Multi-class Classification, Image Multi-label Classification
XRAI Az XRAI egy új, régióalapú saliency metódus, amely integrált színátmeneteken (IG) alapul. Túlszegmenti a képet, és iteratív módon teszteli az egyes régiók fontosságát, és a kisebb régiókat nagyobb szegmensekre alakítja a hozzárendelési pontszámok alapján. Ez a stratégia kiváló minőségű, szorosan határolt megszólítási régiókat eredményez, amelyek felülmúlják a meglévő megszólítási technikákat. Az XRAI bármilyen DNN-alapú modellel használható, ha van mód arra, hogy a bemeneti funkciókat szegmensekbe csoportosítsa valamilyen hasonlósági metrikával. AutoML Image Multi-class Classification, Image Multi-label Classification
D-RI Standard kiadás A D-RI Standard kiadás egy modell agnosztikus módszere, amellyel vizuális magyarázatokat hozhat létre az objektumészlelési modellek előrejelzéseihez. Az objektumészlelés honosítási és kategorizálási szempontjainak figyelembe adásával a D-RI Standard kiadás olyan adatmegfelelőségi térképeket hozhat létre, amelyek kiemelik a kép azon részeit, amelyek a leginkább hozzájárulnak az érzékelő előrejelzéséhez. A színátmenetalapú módszerekkel ellentétben a D-RI Standard kiadás általánosabb, és nem igényel hozzáférést az objektumérzékelő belső működéséhez, csak a modell bemeneteihez és kimeneteihez való hozzáférést igényli. A módszer alkalmazható egyfázisú detektorokra (például YOLOv3), kétfázisú detektorokra (például Faster-RCNN) és Vision Transformerekre (például DETR, OWL-ViT).
A D-Rise a bemeneti kép véletlenszerű maszkjainak létrehozásával biztosítja a megszólítási térképet, és elküldi azt az objektumdetektornak a bemeneti kép véletlenszerű maszkjaival. Az objektumérzékelő pontszámának változásának felmérésével összesíti az összes észlelést az egyes maszkokkal, és létrehoz egy végső hasznossági térképet.		 Modell agnosztika Objektumészlelés

Támogatott a Python SDK 1-ben

Értelmezhetőségi technika Leírás Típus
SHAP-fa magyarázó Az SHAP Tree Explainer, amely egy polinomos, időgyors, SHAP értékbecslési algoritmusra összpontosít, amely a fákra és fák együtteseire vonatkozik. Modellspecifikus
SHAP mély magyarázó Az SHAP magyarázata alapján a Deep Explainer egy "nagy sebességű közelítő algoritmus az SHAP-értékekhez mélytanulási modellekben, amelyek az SHAP NIPS-tanulmányban leírt DeepLIFT-kapcsolatra épülnek. A TensorFlow-modellek és a TensorFlow háttérrendszert használó Keras-modellek támogatottak (a PyTorch előzetes támogatása is támogatott)." Modellspecifikus
SHAP lineáris magyarázó Az SHAP lineáris magyarázó lineáris modell SHAP-értékeit számítja ki, opcionálisan a funkciók közötti korrelációk számba vitelével. Modellspecifikus
SHAP Kernel -magyarázó Az SHAP Kernel Explainer egy speciálisan súlyozott helyi lineáris regressziót használ a modell SHAP-értékeinek becsléséhez. Modell-agnosztikus
Mimic Explainer (Globális helyettes) A Mimic Explainer a globális helyettesítő modellek betanításán alapul, hogy átlátszatlan modelleket utánozza. A globális helyettesítő modell egy belsőleg értelmezhető modell, amely betanított, hogy a lehető legpontosabban közelítse meg az átlátszatlan modellek előrejelzéseit. Az adattudósok értelmezhetik a helyettesítő modellt, hogy következtetéseket vonjanak le az átlátszatlan modellről. A következő értelmezhető modellek egyikét használhatja helyettesítő modellként: LightGBM (LGBMExplainableModel), lineáris regresszió (LinearExplainableModel), sztochasztikus színátmenetes descent magyarázható modell (SGDExplainableModel) vagy Döntésfa (DecisionTreeExplainableModel). Modell-agnosztikus
A permutációs funkció fontossági magyarázata A permutációs funkció fontossága (PFI) a Breiman Random Forests-tanulmánya által ihletett besorolási és regressziós modellek magyarázatára szolgáló technika (lásd a 10. szakaszt). Magas szinten úgy működik, hogy véletlenszerűen egyesével alakítja át az adatokat egy-egy funkcióval a teljes adatkészlethez, és kiszámítja, hogy az érdeklődési kör teljesítménymetrikája mennyiben változik. Minél nagyobb a változás, annál fontosabb a funkció. A PFI bármilyen mögöttes modell általános viselkedését képes magyarázni, de nem magyarázza meg az egyes előrejelzéseket. Modell-agnosztikus

Az előző szakaszban ismertetett értelmezhetőségi technikák mellett egy másik SHAP-alapú magyarázót, a Tabular Explainert is támogatjuk. A modelltől függően a Táblázatos magyarázó a támogatott SHAP-magyarázók egyikét használja:

  • Fa magyarázó az összes faalapú modellhez
  • Mély magyarázó mély neurális hálózati (DNN-) modellekhez
  • Lineáris magyarázó lineáris modellekhez
  • Kernel-magyarázó az összes többi modellhez

A táblázatos magyarázó a közvetlen SHAP-magyarázókkal szemben is jelentős funkciókat és teljesítménybeli fejlesztéseket hajtott végre:

  • Az inicializálási adatkészlet összegzése: Ha a magyarázat sebessége a legfontosabb, összegezzük az inicializálási adatkészletet, és létrehozunk egy kis reprezentatív mintát. Ez a megközelítés felgyorsítja az általános és egyéni jellemzők fontossági értékeinek létrehozását.
  • A kiértékelési adatkészlet mintavételezése: Ha nagy számú kiértékelési mintát ad át, de valójában nem szükséges mindegyik kiértékelése, a mintavételezési paramétert úgy állíthatja be, hogy true felgyorsítsa az általános modellmagyarázatok kiszámítását.

Az alábbi ábra a támogatott magyarázók jelenlegi struktúráját mutatja be:

Diagram of Machine Learning Interpretability architecture.

Támogatott gépi tanulási modellek

Az azureml.interpret SDK csomagja az alábbi adathalmaz-formátumokkal betanított modelleket támogatja:

  • numpy.array
  • pandas.DataFrame
  • iml.datatypes.DenseData
  • scipy.sparse.csr_matrix

A magyarázó függvények bemenetként fogadják el a modelleket és a folyamatokat is. Ha egy modell meg van adva, az előrejelzési függvényt predict kell implementálnia, vagy predict_proba meg kell felelnie a Scikit konvenciónak. Ha a modell nem támogatja ezt, egy olyan függvénybe csomagolhatja, amely ugyanazt az eredményt hozza létre, mint predict a Scikitben, predict_proba és használhatja ezt a burkolófüggvényt a kiválasztott magyarázóval.

Ha megad egy folyamatot, a magyarázó függvény feltételezi, hogy a futó folyamatszkript előrejelzést ad vissza. Ha ezt a burkolási technikát használja, támogathatja a PyTorch, azureml.interpret a TensorFlow, a Keras mélytanulási keretrendszerei és a klasszikus gépi tanulási modellek által betanított modelleket.

Helyi és távoli számítási cél

A azureml.interpret csomag úgy lett kialakítva, hogy helyi és távoli számítási célokkal is működjön. Ha helyileg futtatja a csomagot, az SDK-függvények nem fognak kapcsolatba lépni az Azure-szolgáltatásokkal.

A magyarázatot távolról is futtathatja az Azure Machine Tanulás Compute szolgáltatásban, és naplózhatja a magyarázó információkat az Azure Machine Tanulás Előzményszolgáltatásban. Az információk naplózása után a magyarázatból származó jelentések és vizualizációk könnyen elérhetők az Azure Machine Tanulás Studióban elemzés céljából.

Következő lépések