Model performansı ve eşitliği

  • Makale

Bu makalede, Azure Machine Learning'de model performansınızı ve eşitliğinizi anlamak için kullanabileceğiniz yöntemler açıklanmaktadır.

Makine öğrenmesi eşitliği nedir?

Yapay zeka ve makine öğrenmesi sistemleri haksız davranışlar sergileyebilir. Haksız davranışları tanımlamanın bir yolu, zarar görmesi veya insanlar üzerindeki etkisidir. Yapay zeka sistemleri birçok zarara neden olabilir. Daha fazla bilgi edinmek için Kate Crawford'un NeurIPS 2017 açılış konuşmasına bakın.

Yapay zeka kaynaklı iki yaygın zarar türü şunlardır:

  • Ayırmanın zararı: Yapay zeka sistemi belirli gruplar için fırsatları, kaynakları veya bilgileri genişletir veya saklar. Örnek olarak, modelin belirli bir kişi grubu arasında diğer gruplara göre iyi adaylar seçme konusunda daha iyi olabileceği işe alma, okul kabulleri ve ödünç verme verilebilir.

  • Hizmet kalitesinin zarar görmesi: Yapay zeka sistemi, bir grup insan için olduğu gibi başka bir grup için de çalışmaz. Örneğin, ses tanıma sistemi kadınlar için olduğu gibi erkekler için de çalışmayabilir.

Yapay zeka sistemlerindeki haksız davranışları azaltmak için bu zararları değerlendirmeniz ve azaltmanız gerekir. Sorumlu yapay zeka panosununmodele genel bakış bileşeni, veri kümenizin tamamı ve tanımlanan veri kohortlarınız için model performansı ölçümleri oluşturarak model yaşam döngüsünün tanımlama aşamasına katkıda bulunur. Bu ölçümleri, hassas özellikler veya hassas öznitelikler açısından tanımlanan alt gruplar arasında oluşturur.

Not

Eşitlik sosyo-teknik bir zorluk. Nicel eşitlik ölçümleri, adalet ve son süreç gibi eşitliğin birçok yönünü yakalamaz. Ayrıca nicel eşitlik ölçümlerinin tümü aynı anda karşılanamaz.

Fairlearn açık kaynak paketinin amacı, insanların etki ve risk azaltma stratejilerini değerlendirmesine olanak tanımaktır. Sonuç olarak yapay zeka ve makine öğrenmesi modellerini oluşturan ve senaryolarına uygun olan dengeleri sağlayan kişilere bırakılıyor.

Sorumlu yapay zeka panosunun bu bileşeninde eşitlik, grup eşitliği olarak bilinen bir yaklaşımla kavramsallaştırılır. Bu yaklaşım şu soruyu sorar: "Hangi kişi grupları zarara neden olabilir?" Hassas özellikler terimi, grup eşitliğini değerlendirirken sistem tasarımcısının bu özelliklere duyarlı olması gerektiğini belirtir.

Değerlendirme aşamasında eşitlik, eşitlik ölçümleriyle ölçülmektedir. Bu ölçümler, gruplar arasında model davranışını oran veya farklılık olarak değerlendirebilir ve karşılaştırabilir. Sorumlu yapay zeka panosu iki farklı ölçüm sınıfını destekler:

  • Model performansındaki eşitsizlik: Bu ölçüm kümeleri, veri alt grupları arasında seçilen performans ölçümünün değerlerindeki eşitsizliği (farkı) hesaplar. İşte birkaç örnek:

    • Doğruluk oranında eşitsizlik
    • Hata oranında eşitsizlik
    • Duyarlık açısından eşitsizlik
    • Geri çağırmada eşitsizlik
    • Ortalama mutlak hatada eşitsizlik (MAE)

  • Seçim oranında eşitsizlik: Bu ölçüm, alt gruplar arasındaki seçim oranı (olumlu tahmin) farkını içerir. Bunun bir örneği, kredi onay oranındaki eşitsizliktir. Seçim oranı, 1 (ikili sınıflandırmada) olarak sınıflandırılan her sınıftaki veri noktalarının kesirini veya tahmin değerlerinin dağılımını (regresyonda) ifade eder.

Bu bileşenin eşitlik değerlendirmesi özellikleri Fairlearn paketinden gelir. Fairlearn, model eşitliği değerlendirme ölçümlerini ve haksızlığı azaltma algoritmalarını bir araya getirir.

Not

Eşitlik değerlendirmesi tamamen teknik bir alıştırma değildir. Fairlearn açık kaynak paketi, modelin eşitliğini değerlendirmenize yardımcı olmak için nicel ölçümleri tanımlayabilir, ancak sizin için değerlendirmeyi gerçekleştirmez. Kendi modellerinizin eşitliğini değerlendirmek için nitel bir analiz yapmanız gerekir. Daha önce belirtilen hassas özellikler bu tür bir nitel analiz örneğidir.

Eşitsizliği azaltmaya yönelik eşlik kısıtlamaları

Modelinizin eşitlik sorunlarını anladıktan sonra, bu sorunları azaltmak için Fairlearn açık kaynak paketindeki azaltma algoritmalarını kullanabilirsiniz. Bu algoritmalar, eşlik kısıtlamaları veya ölçütleri olarak adlandırılan tahmin edicinin davranışı üzerindeki bir dizi kısıtlamayı destekler.

Eşlik kısıtlamaları, tahmin edicinin davranışının bazı yönlerini hassas özelliklerin tanımlamış olduğu gruplar (örneğin, farklı ırklar) arasında karşılaştırılabilir olmasını gerektirir. Fairlearn açık kaynak paketindeki azaltma algoritmaları, gözlemlenen eşitlik sorunlarını azaltmak için bu eşlik kısıtlamalarını kullanır.

Not

Fairlearn açık kaynak paketindeki haksızlığı azaltma algoritmaları, makine öğrenmesi modelindeki haksızlığı azaltmak için önerilen risk azaltma stratejileri sağlayabilir, ancak bu stratejiler haksızlığı ortadan kaldırmaz. Geliştiricilerin makine öğrenmesi modelleri için diğer eşlik kısıtlamalarını veya ölçütlerini dikkate almaları gerekebilir. Azure Machine Learning kullanan geliştiricilerin, azaltmanın makine öğrenmesi modellerinin amaçlanan kullanımında ve dağıtımında haksızlığı yeterince azaltıp azaltmadığını kendileri belirlemeleri gerekir.

Fairlearn paketi aşağıdaki eşlik kısıtlaması türlerini destekler:

Eşlik kısıtlaması Amaç Makine öğrenmesi görevi
Demografik eşlik Ayırma zararlarını azaltma İkili sınıflandırma, regresyon
Eşitlenmiş oran Ayırma ve hizmet kalitesi zararlarını tanılama İkili sınıflandırma
Fırsat eşitliği Ayırma ve hizmet kalitesi zararlarını tanılama İkili sınıflandırma
Sınırlanmış grup kaybı Hizmet kalitesi zararlarını azaltma Regresyon

Azaltma algoritmaları

Fairlearn açık kaynak paketi iki tür adaletsizlik azaltma algoritması sağlar:

  • Azaltma: Bu algoritmalar standart bir kara kutu makine öğrenmesi tahmin aracı (örneğin, bir LightGBM modeli) alır ve bir dizi yeniden ağırlıklı eğitim veri kümesi kullanarak bir dizi yeniden eğitilmiş model oluşturur.

    Örneğin, belirli bir cinsiyete sahip başvuru sahipleri modelleri yeniden eğitmek ve cinsiyet grupları arasındaki eşitsizlikleri azaltmak için kilolu veya düşük kilolu olabilir. Kullanıcılar daha sonra iş kurallarına ve maliyet hesaplamalarına göre doğruluk (veya başka bir performans ölçümü) ile eşitsizlik arasında en iyi dengeyi sağlayan bir model seçebilir.

  • İşlem sonrası: Bu algoritmalar mevcut bir sınıflandırıcıyı ve hassas bir özelliği giriş olarak alır. Ardından, belirtilen eşitlik kısıtlamalarını zorlamak için sınıflandırıcının tahmininde bir dönüştürme türetirler. İşlem sonrası algoritma olan eşik iyileştirmesinin en büyük avantajı, modeli yeniden eğitmesi gerekmediğinden basitliği ve esnekliğidir.

Algoritma Açıklama Makine öğrenmesi görevi Hassas özellikler Desteklenen eşlik kısıtlamaları Algoritma türü
ExponentiatedGradient Adil Sınıflandırmaya Azaltma Yaklaşımı bölümünde açıklanan adil sınıflandırmaya kara kutu yaklaşımı. İkili sınıflandırma Kategorik Demografik eşlik, eşitlenmiş oran Azaltma
GridSearch Adil Sınıflandırmaya Azaltma Yaklaşımı'nda açıklanan kara kutu yaklaşımı. İkili sınıflandırma İkili Demografik eşlik, eşitlenmiş oran Azaltma
GridSearch Fair Regression: Quantitative Definitions and Reduction-based Algorithms bölümünde açıklanan sınırlanmış grup kaybı algoritmasıyla adil regresyonun kılavuz arama değişkenini uygulayan kara kutu yaklaşımı. Regresyon İkili Sınırlanmış grup kaybı Azaltma
ThresholdOptimizer Denetimli Öğrenmede Fırsat Eşitliği kağıdını temel alan işlem sonrası algoritma. Bu teknik, giriş olarak mevcut bir sınıflandırıcıyı ve hassas bir özelliği alır. Ardından, belirtilen eşlik kısıtlamalarını zorlamak için sınıflandırıcının tahmininde bir monoton dönüştürmesi türetir. İkili sınıflandırma Kategorik Demografik eşlik, eşitlenmiş oranlar İşlem sonrası

Sonraki adımlar