Wydajność i sprawiedliwość modelu

  • Artykuł

W tym artykule opisano metody, których można użyć do zrozumienia wydajności i sprawiedliwości modelu w usłudze Azure Machine Learning.

Co to jest sprawiedliwość uczenia maszynowego?

Sztuczna inteligencja i systemy uczenia maszynowego mogą wykazywać niesprawiedliwe zachowanie. Jednym ze sposobów zdefiniowania niesprawiedliwego zachowania jest jego krzywda lub jej wpływ na ludzi. Systemy sztucznej inteligencji mogą powodować wiele rodzajów szkód. Aby dowiedzieć się więcej, zobacz przemówienie Kate Crawford z NeurIPS 2017.

Istnieją dwa typowe typy szkód spowodowanych przez sztuczną inteligencję:

  • Szkoda alokacji: system sztucznej inteligencji rozszerza lub wstrzymuje możliwości, zasoby lub informacje dla niektórych grup. Przykłady obejmują zatrudnianie, przyjęcia do szkoły i udzielanie pożyczek, gdzie model może być lepszy w wybieraniu dobrych kandydatów wśród określonej grupy osób niż wśród innych grup.

  • Szkoda jakości usług: system sztucznej inteligencji nie działa tak dobrze dla jednej grupy osób, jak w przypadku innej. Na przykład system rozpoznawania głosu może nie działać, jak również dla kobiet, jak w przypadku mężczyzn.

Aby zmniejszyć niesprawiedliwe zachowanie w systemach sztucznej inteligencji, należy ocenić i wyeliminować te szkody. Składnik przeglądu modelupulpitu nawigacyjnego Odpowiedzialne używanie sztucznej inteligencji przyczynia się do etapu identyfikacji cyklu życia modelu przez wygenerowanie metryk wydajności modelu dla całego zestawu danych i zidentyfikowanych kohort danych. Generuje te metryki w podgrupach zidentyfikowanych pod kątem funkcji poufnych lub atrybutów poufnych.

Uwaga

Sprawiedliwość jest wyzwaniem społeczno-technicznym. Metryki sprawiedliwości ilościowej nie przechwytują wielu aspektów sprawiedliwości, takich jak sprawiedliwość i proces ukończenia. Ponadto wiele metryk sprawiedliwości ilościowej nie może być spełnionych jednocześnie.

Celem pakietu open source Fairlearn jest umożliwienie ludziom oceny wpływu i strategii ograniczania ryzyka. Ostatecznie zależy to od ludzi, którzy tworzą modele sztucznej inteligencji i uczenia maszynowego, aby dokonać kompromisów, które są odpowiednie dla ich scenariuszy.

W tym składniku pulpitu nawigacyjnego odpowiedzialnego używania sztucznej inteligencji sprawiedliwość jest koncepcyjna za pomocą podejścia znanego jako sprawiedliwość grupy. To podejście pyta: "Które grupy osób są narażone na ryzyko wystąpienia szkody?" Termin funkcje wrażliwe sugerują, że projektant systemu powinien być wrażliwy na te funkcje podczas oceny sprawiedliwości grupy.

W fazie oceny sprawiedliwość jest określana ilościowo za pomocą metryk dysproporcjności. Te metryki mogą oceniać i porównywać zachowanie modelu między grupami jako współczynniki lub różnice. Pulpit nawigacyjny odpowiedzialnej sztucznej inteligencji obsługuje dwie klasy metryk dysproporcyjnych:

  • Różnica w wydajności modelu: te zestawy metryk obliczają różnicę (różnicę) w wartościach wybranej metryki wydajności w podgrupach danych. Oto kilka przykładów:

    • Rozbieżność w współczynniku dokładności
    • Rozbieżność współczynnika błędów
    • Rozbieżność w precyzji
    • Rozbieżność w odwołaniu
    • Rozbieżność w błędzie bezwzględnym średniej (MAE)

  • Różnica w współczynniku wyboru: Ta metryka zawiera różnicę w współczynniku wyboru (korzystne przewidywanie) wśród podgrup. Przykładem jest rozbieżność stopy zatwierdzania pożyczek. Współczynnik wyboru oznacza ułamek punktów danych w każdej klasie sklasyfikowany jako 1 (w klasyfikacji binarnej) lub rozkład wartości przewidywania (w regresji).

Możliwości oceny sprawiedliwości tego składnika pochodzą z pakietu Fairlearn . Fairlearn udostępnia kolekcję metryk oceny sprawiedliwości modelu i algorytmów ograniczania niesprawiedliwości.

Uwaga

Ocena sprawiedliwości nie jest czysto technicznym ćwiczeniem. Pakiet open source Fairlearn może identyfikować metryki ilościowe, aby ułatwić ocenę uczciwości modelu, ale nie wykona oceny za Ciebie. Należy przeprowadzić analizę jakościową, aby ocenić sprawiedliwość własnych modeli. Zanotowane wcześniej funkcje poufne są przykładem takiej analizy jakościowej.

Ograniczenia parzystości w celu ograniczenia niesprawiedliwości

Po zrozumieniu problemów z uczciwością modelu możesz użyć algorytmów ograniczania ryzyka w pakiecie open source Fairlearn , aby rozwiązać te problemy. Te algorytmy obsługują zestaw ograniczeń dotyczących zachowania predyktora nazywanego ograniczeniami lub kryteriami parzystości .

Ograniczenia parzystości wymagają porównania niektórych aspektów zachowania predyktora w grupach, które definiują poufne funkcje (na przykład różne rasy). Algorytmy ograniczania ryzyka w pakiecie open source Fairlearn używają takich ograniczeń parzystości, aby wyeliminować zaobserwowane problemy z uczciwością.

Uwaga

Algorytmy ograniczania niesprawiedliwości w pakiecie open source Fairlearn mogą zapewnić sugerowane strategie ograniczania ryzyka w celu zmniejszenia niesprawiedliwości w modelu uczenia maszynowego, ale te strategie nie eliminują niesprawiedliwości. Deweloperzy mogą wymagać rozważenia innych ograniczeń parzystości lub kryteriów dotyczących modeli uczenia maszynowego. Deweloperzy korzystający z usługi Azure Machine Learning muszą ustalić, czy ograniczenie ryzyka w wystarczającym stopniu zmniejsza nieuczciwość w ich zamierzonym użyciu i wdrażaniu modeli uczenia maszynowego.

Pakiet Fairlearn obsługuje następujące typy ograniczeń parzystości:

Ograniczenie parzystości Przeznaczenie Zadanie uczenia maszynowego
Parzystość demograficzna Eliminowanie szkód alokacji Klasyfikacja binarna, regresja
Wyrównane kursy Diagnozowanie szkód związanych z alokacją i jakością usług Klasyfikacja binarna
Równe szanse sprzedaży Diagnozowanie szkód związanych z alokacją i jakością usług Klasyfikacja binarna
Ograniczona utrata grupy Eliminowanie szkód związanych z jakością usług Regresja

Algorytmy ograniczania ryzyka

Pakiet open source Fairlearn udostępnia dwa typy algorytmów ograniczania niesprawiedliwości:

  • Redukcja: Te algorytmy korzystają ze standardowego narzędzia do szacowania uczenia maszynowego czarnego (na przykład modelu LightGBM) i generują zestaw ponownie wytrenowanych modeli przy użyciu sekwencji zestawów danych trenowania o ponownej wadze.

    Na przykład wnioskodawcy określonej płci mogą być wyważone lub niedoważane w celu ponownego trenowania modeli i zmniejszenia różnic między grupami płci. Użytkownicy mogą następnie wybrać model, który zapewnia najlepszy kompromis między dokładnością (lub inną metryką wydajności) i dysproporcją, na podstawie reguł biznesowych i obliczeń kosztów.

  • Przetwarzanie końcowe: Te algorytmy przyjmują istniejący klasyfikator i funkcję wrażliwą jako dane wejściowe. Następnie tworzą transformację przewidywania klasyfikatora, aby wymusić określone ograniczenia sprawiedliwości. Największą zaletą jednego algorytmu przetwarzania końcowego, optymalizacji progowej jest jego prostota i elastyczność, ponieważ nie wymaga ponownego trenowania modelu.

Algorytm Opis Zadanie uczenia maszynowego Funkcje poufne Obsługiwane ograniczenia parzystości Typ algorytmu
ExponentiatedGradient Podejście czarnej skrzynki do sprawiedliwej klasyfikacji opisane w artykule A Reductions Approach to Fair Classification (Podejście redukcji do sprawiedliwej klasyfikacji). Klasyfikacja binarna Podzielone na kategorie Parzystość demograficzna, wyrównane kursy Redukcji
GridSearch Podejście czarnej skrzynki opisane w artykule A Reductions Approach to Fair Classification (Podejście redukcji do sprawiedliwej klasyfikacji). Klasyfikacja binarna Binarne Parzystość demograficzna, wyrównane kursy Redukcji
GridSearch Podejście czarnej skrzynki, które implementuje wariant wyszukiwania w siatce regresji sprawiedliwej za pomocą algorytmu powiązanej utraty grupy opisanej w temacie Fair Regression: Quantitative Definitions and Reduction-based Algorithms (Algorytmy oparte na regresji sprawiedliwej: definicje ilościowe i algorytmy oparte na redukcji). Regresja Binarne Ograniczona utrata grupy Redukcji
ThresholdOptimizer Algorytm przetwarzania postprocesowego oparty na artykule Równość szans w uczeniu nadzorowanym. Ta technika przyjmuje jako dane wejściowe istniejące klasyfikator i funkcję wrażliwą. Następnie tworzy przekształcenie monotonowe przewidywania klasyfikatora w celu wymuszenia określonych ograniczeń parzystości. Klasyfikacja binarna Podzielone na kategorie Parzystość demograficzna, wyrównane kursy Przetwarzanie końcowe

Następne kroki