Mi-rendszerek értékelése a Felelős AI-irányítópult használatával

A felelős AI gyakorlati megvalósítása szigorú mérnöki beavatkozást igényel. A szigorú mérnöki munka azonban fárasztó, manuális és időigényes lehet a megfelelő eszközök és infrastruktúra nélkül.

A Felelős AI-irányítópult egyetlen felületet biztosít, amellyel hatékonyan és hatékonyan implementálhatja a Felelős AI-t a gyakorlatban. Számos kiforrott felelős AI-eszközt fog össze a következő területeken:

• Modell teljesítményének és méltányosságának felmérése
• Adatfeltárás
• Gépi tanulás értelmezhetősége
• Hibaelemzés
• Számlálóelemzés és perturbációk
• Oksági következtetés

Az irányítópult holisztikus értékelést és modellek hibakeresését kínálja, így megalapozott, adatvezérelt döntéseket hozhat. Ha egy felületen fér hozzá ezekhez az eszközökhöz, az a következő lehetőségeket teszi lehetővé:

• A gépi tanulási modellek kiértékelése és hibakeresése a modellhibák és a méltányossági problémák azonosításával, a hibák okának diagnosztizálásával és a kockázatcsökkentési lépések tájékoztatásával.

• Az adatvezérelt döntéshozatali képességek növelése olyan kérdések megválaszolásával, mint például:

  "Mi az a minimális változás, amelyet a felhasználók alkalmazhatnak a szolgáltatásaikra a modelltől eltérő eredmény elérése érdekében?"

  "Mi az oka annak, ha egy jellemzőt (például vörös húsfogyasztást) csökkentünk vagy növelünk egy valós eredményre (például cukorbetegség progressziójára)?"

Az irányítópult testre szabható úgy, hogy csak a használati eset szempontjából releváns eszközök részhalmazát tartalmazza.

A Felelős AI-irányítópulthoz pdf scorecard tartozik. A scorecard lehetővé teszi a felelős AI-metaadatok és elemzések exportálását az adatokba és modellekbe. Ezután offline módban megoszthatja őket a termékkel és a megfelelőségi érdekelt felekkel.

Felelős AI-irányítópult-összetevők

A Felelős AI-irányítópult átfogó nézetben egyesíti a különböző új és már meglévő eszközöket. Az irányítópult integrálja ezeket az eszközöket az Azure Machine Tanulás CLI 2-vel, az Azure Machine Tanulás Python SDK v2-vel és az Azure Machine Tanulás Studióval. Az eszközök a következőket foglalják magukban:

• Adatelemzés, az adathalmazok eloszlásának és statisztikáinak megismerése és megismerése.
• Modell áttekintése és méltányossági felmérése a modell teljesítményének kiértékeléséhez és a modell csoportmegfelelőségi problémáinak kiértékeléséhez (hogyan befolyásolják a modell előrejelzései az emberek különböző csoportjait).
• Hibaelemzés a hibák adathalmazban való terjesztésének megtekintéséhez és megértéséhez.
• Modellértelmezhetőség (az aggregátumok és az egyes funkciók fontossági értékei), a modell előrejelzéseinek, valamint az általános és egyéni előrejelzések létrehozásának megértéséhez.
• Ellenfaktuális lehetőség, ha azt szeretné megfigyelni, hogy a funkciók zavarásai hogyan befolyásolnák a modell előrejelzéseit, miközben a legközelebbi adatpontokat ellentétes vagy eltérő modell-előrejelzésekhez biztosítják.
• Okozati elemzés, a korábbi adatok használatával a kezelési funkciók valós eredményekre gyakorolt ok-okozati hatásainak megtekintéséhez.

Ezek az eszközök együttesen segítenek a gépi tanulási modellek hibakeresésében, miközben tájékoztatják az adatvezérelt és modellalapú üzleti döntéseket. Az alábbi ábra bemutatja, hogyan építheti be őket az AI-életciklusba a modellek javítása és a szilárd adatelemzések érdekében.

Modell hibakeresése

A gépi tanulási modellek értékelése és hibakeresése kritikus fontosságú a modellek megbízhatósága, értelmezhetősége, méltányossága és megfelelősége szempontjából. Segít annak meghatározásában, hogy az AI-rendszerek hogyan és miért viselkednek a viselkedésük szerint. Ezt a tudást ezután a modell teljesítményének javítására használhatja. A modell hibakeresése elméletileg három szakaszból áll:

1. A modellhibák és/vagy méltányossági problémák azonosítása, megértése és felismerése a következő kérdések megválaszolásával:

   "Milyen típusú hibák vannak a modellben?"

   "Mely területeken fordulnak elő leggyakrabban hibák?"

2. Diagnosztizálás, az azonosított hibák mögötti okok feltárása a következőkkel:

   "Mik ezeknek a hibáknak az okai?"

   "Hol összpontosítsam az erőforrásaimat a modell fejlesztése érdekében?"

3. A korábbi szakaszok azonosítási és diagnosztikai megállapításainak segítségével mérsékelheti a célzott kockázatcsökkentési lépéseket, és megoldhatja az olyan kérdéseket, mint például:

   "Hogyan fejleszthetem a modellt?"

   "Milyen társadalmi vagy technikai megoldások léteznek ezekre a problémákra?"

Az alábbi táblázat azt ismerteti, hogy mikor érdemes felelős AI-irányítópult-összetevőket használni a modell hibakeresésének támogatásához:

Szakasz	Összetevő	Leírás
Azonosítás	Hibaelemzés	A hibaelemzési összetevővel részletesebben megismerheti a modellhibák eloszlását, és gyorsan azonosíthatja az adatok hibás kohorszait (alcsoportjait). Az összetevő képességei az irányítópulton a hibaelemzési csomagból származnak.
Azonosítás	Méltányossági elemzés	A méltányosság összetevő bizalmas attribútumok, például a nem, a faj és az életkor szempontjából definiálja a csoportokat. Ezután felméri, hogy a modell előrejelzései hogyan befolyásolják ezeket a csoportokat, és hogyan mérsékelheti az eltéréseket. Kiértékeli a modell teljesítményét az előrejelzési értékek és a modell teljesítménymetrikáinak a csoportok közötti eloszlásával. Az irányítópulton található összetevő képességei a Fairlearn-csomagból származnak.
Azonosítás	Modell áttekintése	A modelláttekintő összetevő a modellértékelési metrikákat a modell előrejelzési eloszlásának magas szintű nézetben összesíti a teljesítmény jobb vizsgálata érdekében. Ez az összetevő a modell teljesítményének bizalmas csoportok közötti lebontásával is lehetővé teszi a csoportok méltányossági felmérését.
Diagnosztizálni	Adatelemzés	Az adatelemzés előrejelzett és tényleges eredmények, hibacsoportok és adott funkciók alapján vizualizálja az adathalmazokat. Ezután azonosíthatja a túlreprezentálással és az alulreprezentálással kapcsolatos problémákat, valamint azt, hogy az adatok hogyan vannak fürtözve az adathalmazban.
Diagnosztizálás	Modell értelmezhetősége	Az értelmezhetőségi összetevő egy gépi tanulási modell előrejelzéseinek ember által érthető magyarázatait hozza létre. Több nézetet is biztosít a modell viselkedéséhez: - Globális magyarázatok (például hogy mely funkciók befolyásolják a hitelkiosztási modell általános viselkedését) - Helyi magyarázatok (például, hogy miért hagyták jóvá vagy utasították el a kérelmező hitelkélemét) Az összetevő képességei az irányítópulton az InterpretML-csomagból származnak.
Diagnosztizálás	Számlálóelemzés és lehetőségelemzés	Ez az összetevő két funkcióból áll a jobb hibadiagnosztika érdekében: – Olyan példák létrehozása, amelyekben egy adott pont minimális változásai megváltoztatják a modell előrejelzését. Ez azt jelzi, hogy a példák a legközelebbi adatpontokat mutatják ellentétes modell-előrejelzésekkel. – Interaktív és egyéni lehetőségelemzések engedélyezése az egyes adatpontok esetében annak megértéséhez, hogy a modell hogyan reagál a funkcióváltozásokra. Az irányítópulton található összetevő képességei a DiCE-csomagból származnak.

A megoldási lépések önálló eszközökkel, például a Fairlearn használatával érhetők el. További információkért tekintse meg a tisztességtelenség-mérséklő algoritmusokat.

Felelős döntéshozatal

A döntéshozatal a gépi tanulás egyik legnagyobb ígérete. A Felelős AI-irányítópult az alábbiakon keresztül segíthet megalapozott üzleti döntések meghozatalában:

• Adatvezérelt elemzések az eredményekre gyakorolt ok-okozati kezelés hatásainak további megértéséhez csak előzményadatok használatával. Példa:

  "Hogyan befolyásolná egy gyógyszer a beteg vérnyomását?"

  "Hogyan befolyásolná a bevételt, ha promóciós értékeket adna bizonyos ügyfeleknek?"

  Ezeket az elemzéseket az irányítópult oksági következtetési összetevője biztosítja.

• Modellalapú elemzések, amelyek választ adnak a felhasználók kérdéseire (például "Mit tehetek, hogy legközelebb más eredményt kapjak az AI-tól?"), hogy meg tudják tenni a szükséges lépéseket. Ezeket az elemzéseket az adattudósok az ellenfaktuális lehetőségösszetevőn keresztül biztosítják.

A felderítő adatelemzés, az ok-okozati következtetés és az ellenfaktuális elemzési képességek segíthetnek a megalapozott modellalapú és adatvezérelt döntések felelős meghozatalában.

A Felelős AI-irányítópult ezen összetevői támogatják a felelős döntéshozatalt:

• Adatelemzés: Itt újra felhasználhatja az adatelemzési összetevőt az adateloszlások megértéséhez, valamint a túlreprezentáció és az alulreprezentáltság azonosításához. Az adatfeltárás a döntéshozatal kritikus része, mivel nem lehetséges megalapozott döntéseket hozni egy olyan kohorszról, amely alulreprezentált az adatokban.

• Oksági következtetés: Az oksági következtetés összetevő becslést ad arról, hogy egy valós eredmény hogyan változik egy beavatkozás jelenlétében. Emellett segíti az ígéretes beavatkozások kialakítását azáltal, hogy szimulálja a különböző beavatkozásokra adott jellemző válaszokat, és szabályokat hoz létre annak meghatározására, hogy mely populációk kohorszai részesülnének egy adott beavatkozásból. Ezek a funkciók együttesen lehetővé teszik, hogy új szabályzatokat alkalmazzon, és valós változásokat váltson ki.

  Ennek az összetevőnek a képességei az EconML-csomagból származnak, amely a megfigyelési adatok heterogén kezelési hatásait becsüli meg gépi tanuláson keresztül.

• Számlálóelemzés: Itt újra felhasználhatja az ellenfaktuális elemzési összetevőt, hogy létrehozhassa az adatpont funkcióira alkalmazott minimális módosításokat, amelyek ellentétes modell-előrejelzésekhez vezetnek. Például: Taylor megszerezte volna a hitel jóváhagyását az MI-től, ha 10 000 dollárral többet szereztek éves bevételben, és két kevesebb hitelkártyájuk volt nyitva.

  Ha ezeket az információkat a felhasználóknak adja meg, az tájékoztatja a felhasználókat a saját szemszögükről. Arra tanítja őket, hogyan tehetnek lépéseket annak érdekében, hogy a jövőben megkapják a kívánt eredményt az MI-től.

  Az összetevő képességei a DiCE-csomagból származnak.

A Felelős AI-irányítópult használatának okai

Bár a felelős AI egyes területeinek egyes eszközei terén előrelépés történt, az adattudósoknak gyakran különböző eszközöket kell használniuk modelljeik és adataik holisztikus kiértékeléséhez. Előfordulhat például, hogy együtt kell használniuk a modellértelmezhetőséget és a méltányossági értékelést.

Ha az adattudósok méltányossági problémát észlelnek egy eszközzel, akkor egy másik eszközre kell ugraniuk, hogy megértsék, milyen adatok vagy modelltényezők állnak a probléma gyökerénél, mielőtt lépéseket tesznek a megoldásra. A következő tényezők tovább bonyolítják ezt a kihívást jelentő folyamatot:

• Nincs központi hely, ahol felfedezheti és megismerheti az eszközöket, ami hosszabb időt vesz igénybe a kutatáshoz és az új technikák elsajátításához.
• A különböző eszközök nem kommunikálnak egymással. Az adattudósoknak át kell adniuk az adathalmazokat, modelleket és más metaadatokat az eszközök között.
• A metrikák és vizualizációk nem könnyen összehasonlíthatók, és az eredmények nehezen oszthatók meg.

A Felelős AI-irányítópult megkérdőjelezi ezt a status quo-t. Ez egy átfogó, mégis testreszabható eszköz, amely egy helyen egyesíti a töredezett élményt. Lehetővé teszi, hogy zökkenőmentesen egy testre szabható keretrendszert hozzon létre a modell hibakereséséhez és az adatvezérelt döntéshozatalhoz.

A Felelős AI-irányítópult használatával adathalmaz-kohorszokat hozhat létre, továbbíthatja ezeket a kohorszokat az összes támogatott összetevőnek, és megfigyelheti a modell állapotát az azonosított kohorszokhoz. További összehasonlítást végezhet az összes támogatott összetevőből származó megállapításokkal számos előre összeállított kohorszban, hogy bontott elemzést végezzen, és megkeresse a modell vakfoltjait.

Ha készen áll arra, hogy megossza ezeket az elemzéseket más érdekelt felekkel, egyszerűen kinyerheti őket a Felelős AI PDF scorecard használatával. Csatolja a PDF-jelentést a megfelelőségi jelentésekhez, vagy ossza meg a munkatársakkal a megbízhatóság kiépítéséhez és a jóváhagyásuk beszerzéséhez.

A Felelős AI-irányítópult testreszabásának módjai

A Felelős AI-irányítópult erőssége a testreszabhatóságban rejlik. Lehetővé teszi a felhasználók számára, hogy személyre szabott, végpontok közötti hibakeresést és döntéshozatali munkafolyamatokat tervezhessenek, amelyek megfelelnek az igényeiknek.

Ihletre van szüksége? Íme néhány példa az irányítópult összetevőinek összeállítására a forgatókönyvek különböző módokon történő elemzéséhez:

Felelős AI-irányítópult-folyamat	Használati eset
Modell áttekintése > hibaelemzési > adatok elemzése	Modellhibák azonosítása és diagnosztizálása a mögöttes adateloszlás megértésével
Modell áttekintése > méltányossági felmérés > adatelemzés	A modell méltányossági problémáinak azonosítása és diagnosztizálása az alapul szolgáló adateloszlás megértésével
Modell áttekintése > hibaelemzés > kontrafactuals elemzés és mi-ha	Az egyes példányok hibáinak diagnosztizálása számlálóelemzéssel (a minimális változás egy másik modell előrejelzéséhez vezet)
Modell áttekintése > adatelemzés	Az adategyensúlytalanság vagy egy adott adathordozás ábrázolásának hiánya által okozott hibák és méltányossági problémák alapvető okának megismerése
Modell áttekintésének > értelmezhetősége	Modellhibák diagnosztizálása a modell előrejelzéseinek megértésével
Adatelemzés > ok-okozati következtetése	A korrelációk és az okozati összefüggések megkülönböztetése az adatokban, vagy a legjobb kezelés kiválasztása a pozitív eredmény elérése érdekében
Az értelmezhetőség > ok-okozati következtetése	Annak megállapítása, hogy a modell által az előrejelzés készítéséhez használt tényezők okozati hatással vannak-e a valós eredményre
Az adatelemzés > kontrafaktuális elemzés és lehetőségelemzés	Az ügyfelek kérdéseinek megválaszolása azzal kapcsolatban, hogy mit tehetnek legközelebb egy AI-rendszertől eltérő eredmény elérése érdekében

Kapcsolatok, hogy ki használja a Felelős AI-irányítópultot

A következő személyek használhatják a Felelős AI-irányítópultot és annak megfelelő Felelős AI scorecardot az AI-rendszerekkel való bizalom kiépítéséhez:

• Gépi tanulási szakemberek és adattudósok, akiket a gépi tanulási modellek hibakeresése és fejlesztése érdekel az üzembe helyezés előtt
• Gépi tanulási szakemberek és adattudósok, akik meg szeretnék osztani modellállapot-rekordjaikat a termékmenedzserekkel és az üzleti érdekelt felekkel, hogy megbízhatóságot építsenek ki, és megkapják az üzembe helyezési engedélyeket
• Termékmenedzserek és üzleti érdekelt felek, akik az üzembe helyezés előtt áttekintik a gépi tanulási modelleket
• A gépi tanulási modelleket felülvizsgáló kockázati tisztviselők a méltányossági és megbízhatósági problémák megértéséhez
• Az AI-megoldások szolgáltatói, akik meg szeretnék magyarázni a modellekkel kapcsolatos döntéseket a felhasználóknak, vagy segítenek nekik az eredmény javításában
• Erősen szabályozott terek szakemberei, akiknek felül kell vizsgálniuk a gépi tanulási modelleket a szabályozókkal és az ellenőrökkel

Támogatott forgatókönyvek és korlátozások

• A Felelős AI-irányítópult jelenleg támogatja a táblázatos strukturált adatokra betanított regressziós és besorolási (bináris és többosztályos) modelleket.
• A Felelős AI-irányítópult jelenleg csak sklearn (scikit-learn) ízekkel támogatja az Azure Machine-Tanulás regisztrált MLflow-modelleket. A scikit-learn modelleknek metódusokat kell implementálniuk predict()/predict_proba() , vagy a modellt egy metódusokat megvalósító predict()/predict_proba() osztályba kell csomagolni. A modelleknek betölthetőnek kell lenniük az összetevő-környezetben, és pickleable-nek kell lenniük.
• A Felelős AI-irányítópult jelenleg legfeljebb 5K adatpontot jelenít meg az irányítópult felhasználói felületén. Az adathalmazt 5K-ra vagy annál kisebbre kell lekötnie, mielőtt átadta volna az irányítópultnak.
• A Felelős AI-irányítópult adathalmaz-bemeneteinek parquet formátumú Pandas DataFrame-eknek kell lenniük. A NumPy és az SciPy ritka adatok jelenleg nem támogatottak.
• A Felelős AI-irányítópult jelenleg a numerikus vagy kategorikus funkciókat támogatja. Kategorikus funkciók esetén a felhasználónak explicit módon meg kell adnia a szolgáltatásneveket.
• A Felelős AI-irányítópult jelenleg nem támogatja a 10 ezernél több oszlopot tartalmazó adathalmazokat.
• A Felelős AI-irányítópult jelenleg nem támogatja az AutoML MLFlow-modellt.
• A Felelős AI-irányítópult jelenleg nem támogatja a felhasználói felületről származó regisztrált AutoML-modelleket.

Következő lépések

• Megtudhatja, hogyan hozhatja létre a Felelős AI-irányítópultot a PARANCSSOR és az SDK vagy az Azure Machine Tanulás studio felhasználói felületén keresztül.
• Megtudhatja, hogyan hozhat létre felelős AI scorecardot a Felelős AI-irányítópulton megfigyelt megállapítások alapján.