Modell teljesítménye és méltányossága

  • Cikk

Ez a cikk olyan módszereket ismertet, amelyekkel megismerheti a modell teljesítményét és méltányosságát az Azure Machine Learningben.

Mi a gépi tanulási méltányosság?

A mesterséges intelligencia és a gépi tanulási rendszerek tisztességtelen viselkedést mutathatnak. A tisztességtelen viselkedés meghatározásának egyik módja a károkozás vagy az emberekre gyakorolt hatása. Az AI-rendszerek számos kárt okozhatnak. További információt Kate Crawford NeurIPS 2017-beli keynote-jában talál.

Az AI által okozott károk két gyakori típusa a következő:

  • A kiosztás sérülése: Az AI-rendszer bizonyos csoportok számára kiterjeszti vagy visszatartja a lehetőségeket, erőforrásokat vagy információkat. Ilyenek például a felvétel, az iskolai felvételi és a hitelnyújtás, ahol a modell jobban alkalmas lehet arra, hogy egy adott személycsoportból jó jelölteket válasszon, mint más csoportok közül.

  • A szolgáltatásminőség sérülése: Az AI-rendszer nem működik olyan jól az egyik csoport számára, mint a másik esetében. Előfordulhat például, hogy a hangfelismerő rendszer nem működik ugyanúgy a nőknél, mint a férfiaknál.

Az AI-rendszerek tisztességtelen viselkedésének csökkentése érdekében fel kell mérnie és csökkentenie kell ezeket a károkat. A Felelős AI-irányítópultmodelláttekintő összetevője hozzájárul a modell életciklusának azonosításához azáltal, hogy modellteljesítmény-metrikákat hoz létre a teljes adatkészlethez és az azonosított kohorszokhoz. Ezeket a metrikákat a bizalmas funkciók vagy bizalmas attribútumok szempontjából azonosított alcsoportokban hozza létre.

Megjegyzés

A méltányosság társadalmi-technikai kihívás. A mennyiségi méltányossági metrikák nem rögzítik a méltányosság számos aspektusát, például az igazságosságot és a megfelelő folyamatot. Emellett számos mennyiségi méltányossági metrikát nem lehet egyszerre kielégíteni.

A Fairlearn nyílt forráskódú csomag célja, hogy lehetővé tegye az emberek számára a hatás- és kockázatcsökkentési stratégiák értékelését. Végső soron az embereken múlik, akik mesterséges intelligenciát és gépi tanulási modelleket építenek, hogy a forgatókönyvüknek megfelelő kompromisszumokat hozhassanak létre.

A Felelős AI-irányítópult ezen összetevőjében a méltányosság a csoport méltányosságának nevezett megközelítésen keresztül fogalmilag van. Ez a megközelítés a következőt kérdezi: "Az egyének mely csoportjait veszélyeztetik a károkozás?" A bizalmas funkciók kifejezés azt sugallja, hogy a rendszertervezőnek érzékenynek kell lennie ezekre a funkciókra a csoport méltányosságának értékelésekor.

Az értékelési fázisban a méltányosság számszerűsíthető az egyenlőtlenségi metrikákkal. Ezek a metrikák kiértékelhetik és összehasonlíthatják a modell viselkedését a csoportok között, akár arányként, akár különbségként. A Felelős AI-irányítópult két egyenlőtlenségi metrikaosztályt támogat:

  • A modell teljesítményének eltérése: Ezek a metrikák kiszámítják a kiválasztott teljesítménymetrika értékeinek eltérését (különbségét) az adatok alcsoportjai között. Íme, néhány példa:

    • Eltérés a pontossági arányban
    • Eltérés a hibaarányban
    • Pontosságbeli eltérés
    • A visszahívás eltérése
    • Átlag abszolút hiba (MAE) eltérése

  • A kiválasztási arány eltérése: Ez a metrika az alcsoportok közötti kiválasztási arány (kedvező előrejelzés) különbségét tartalmazza. Erre példa a hitel-jóváhagyási ráta eltérése. A kiválasztási arány az adatpontok 1-ként (bináris besorolásban) vagy előrejelzési értékek eloszlásában (regresszióban) osztályba sorolt adatpontok töredékét jelenti.

Ennek az összetevőnek a méltányossági felmérési képességei a Fairlearn-csomagból származnak. A Fairlearn modell méltányossági felmérési metrikák és tisztességtelenség-mérséklő algoritmusok gyűjteménye.

Megjegyzés

A méltányossági értékelés nem pusztán technikai gyakorlat. A Fairlearn nyílt forráskódú csomag képes mennyiségi metrikákat azonosítani a modell méltányosságának felméréséhez, de nem fogja elvégezni az értékelést. Minőségi elemzést kell végeznie a saját modelljei méltányosságának értékeléséhez. A korábban feljegyzett bizalmas jellemzők erre a fajta minőségi elemzésre mutatnak be példát.

Paritásos korlátozások a tisztességtelenség mérséklése érdekében

Miután megismerte a modell méltányossági problémáit, a Fairlearn nyílt forráskódú csomagjában található kockázatcsökkentési algoritmusokkal elháríthatja ezeket a problémákat. Ezek az algoritmusok támogatják a prediktor viselkedésére vonatkozó korlátozásokat, úgynevezett paritási kényszereket vagy feltételeket.

A paritási korlátozások megkövetelik, hogy a prediktor viselkedésének bizonyos aspektusai összehasonlíthatók legyenek a bizalmas jellemzők által definiált csoportok között (például különböző fajok). A Fairlearn nyílt forráskódú csomagban található kockázatcsökkentési algoritmusok ilyen paritásos korlátozásokkal mérsékelik a megfigyelt méltányossági problémákat.

Megjegyzés

A Fairlearn nyílt forráskódú csomagjában található tisztességtelenségi kockázatcsökkentési algoritmusok javasolt kockázatcsökkentési stratégiákat nyújthatnak a gépi tanulási modellek tisztességtelenségének csökkentésére, de ezek a stratégiák nem szüntetik meg a tisztességtelenséget. Előfordulhat, hogy a fejlesztőknek más paritásos korlátozásokat vagy feltételeket kell figyelembe venniük a gépi tanulási modelljeikhez. Az Azure Machine Learninget használó fejlesztőknek maguknak kell meghatározniuk, hogy a kockázatcsökkentés megfelelően csökkenti-e a gépi tanulási modellek rendeltetésének és üzembe helyezésének tisztességtelenségét.

A Fairlearn csomag a paritásos korlátozások alábbi típusait támogatja:

Paritási kényszer Cél Gépi tanulási feladat
Demográfiai paritás Foglalási ártalmak enyhítése Bináris besorolás, regresszió
Kiegyenlített szorzók A kiosztással és a szolgáltatásminőséggel kapcsolatos ártalmak diagnosztizálása Bináris besorolás
Egyenlő lehetőség A kiosztással és a szolgáltatásminőséggel kapcsolatos ártalmak diagnosztizálása Bináris besorolás
Korlátozott csoportvesztés A szolgáltatásminőségi ártalmak mérséklése Regresszió

Kockázatcsökkentési algoritmusok

A Fairlearn nyílt forráskódú csomag kétféle tisztességtelenség-mérséklő algoritmust biztosít:

  • Csökkentés: Ezek az algoritmusok egy szabványos feketedobozos gépi tanulási becslőt használnak (például Egy LightGBM-modellt), és újratanított modelleket hoznak létre újrasúlyozott betanítási adathalmazok sorozatával.

    Előfordulhat például, hogy egy bizonyos nemhez tartozó kérelmezők túlsúlyosak vagy lesúlyosodnak a modellek újratanítása és a nemi csoportok közötti különbségek csökkentése érdekében. A felhasználók ezután kiválaszthatják azt a modellt, amely az üzleti szabályok és a költségszámítások alapján a legjobb kompromisszumot biztosítja a pontosság (vagy egy másik teljesítménymetrika) és az egyenlőtlenség között.

  • Feldolgozás utáni: Ezek az algoritmusok egy meglévő osztályozót és egy bizalmas funkciót vesznek bemenetként. Ezt követően átalakítják az osztályozó előrejelzését a megadott méltányossági korlátozások érvényre juttatásához. Az egyik utófeldolgozási algoritmus, a küszöbérték-optimalizálás legnagyobb előnye az egyszerűsége és rugalmassága, mivel nem kell újratanítást végrehajtania a modellen.

Algoritmus Description Gépi tanulási feladat Bizalmas funkciók Támogatott paritáskorlátok Algoritmus típusa
ExponentiatedGradient A méltányos besorolás fekete dobozos megközelítése az A Reductions Approach to Fair Classification (A Méltányos besorolás csökkentési megközelítése) című cikkben leírtak szerint. Bináris besorolás Kategorikus Demográfiai paritás, kiegyenlített esélyek Csökkentése
GridSearch A black-box megközelítés a méltányos besorolás csökkentési megközelítésében található. Bináris besorolás Bináris Demográfiai paritás, kiegyenlített esélyek Csökkentése
GridSearch Black-box megközelítés, amely a fair regresszió rácskeresési változatait implementálja a fair regresszió: Mennyiségi definíciók és csökkentés-alapú algoritmusok című szakaszban leírt, korlátozott csoportvesztés algoritmusával. Regresszió Bináris Korlátozott csoportvesztés Csökkentése
ThresholdOptimizer Utófeldolgozási algoritmus a felügyelt tanulásban című tanulmány alapján. Ez a technika bemenetként használ egy meglévő osztályozót és egy bizalmas funkciót. Ezután az osztályozó előrejelzésének monoton transzformációját adja meg a megadott paritási kényszerek kikényszerítéséhez. Bináris besorolás Kategorikus Demográfiai paritás, kiegyenlített esélyek Feldolgozás utáni

Következő lépések