Karşıtlık analizi ve durum

  • Makale

Durum karşıtları, eylem girişini değiştirdiğinizde modelin tahmin edeceği soruyu ele alır. Bir makine öğrenmesi modelinin giriş (özellik) değişikliklerine nasıl tepki gösterileceği konusunda anlaşılmasını ve hata ayıklamasını sağlar.

Standart yorumlanabilirlik teknikleri, bir makine öğrenmesi modeline veya özellikleri tahmine dayalı önem derecesine göre sıralar. Buna karşılık, karşıt analiz, belirli bir veri noktasında hangi değişikliklerin model kararını çevireceğini belirlemek için modeli "sorgular".

Böyle bir analiz, bağıntılı özelliklerin yalıtılmış etkisinin değişmesine yardımcı olur. Ayrıca sınıflandırma modellerinde model kararlarının çevrilmesi ve regresyon modellerinin karar değişikliğini görmek için bir özellik değişikliğinin ne kadarının gerekli olduğunu daha ayrıntılı anlamanıza yardımcı olur.

Sorumlu yapay zeka panosununkarşıt analiz ve durum bileşeni iki işleve sahiptir:

  • Belirli bir noktada en az değişiklikle modelin tahminini değiştirecek şekilde (karşı model tahminleriyle en yakın veri noktalarını gösteren) bir dizi örnek oluşturun.
  • Modelin özellik değişikliklerine nasıl tepki gösterdiğini anlamak için kullanıcıların kendi durum pertürbasyonlarını oluşturmasına olanak tanıyın.

Sorumlu yapay zeka panosunun karşıt analiz bileşeninin en önemli farklarından biri, geçerli ve mantıksal karşıt örnekler için hangi özelliklerin değiştirildiğini ve izin verilen aralıklarını belirleyebilmenizdir.

Bu bileşenin özellikleri DiCE paketinden gelir.

Aşağıdaki durumlarda durum karşıtlıklarını kullanın:

  • Cinsiyet ve etnik köken gibi hassas öznitelikleri pertürbing ve ardından model tahminlerinin değişip değişmediğini gözlemleyerek karar değerlendirici olarak eşitlik ve güvenilirlik ölçütlerini inceleyin.
  • Belirli giriş örneklerinde ayrıntılı hata ayıklama.
  • Kullanıcılara çözümler sağlayın ve modelden istenen sonucu elde etmek için neler yapabileceklerini belirleyin.

Karşıt örnekler nasıl oluşturulur?

DiCE, karşıtlık oluşturmak için birkaç modelden bağımsız teknik uygular. Bu yöntemler herhangi bir opak kutu sınıflandırıcısı veya regresörü için geçerlidir. Yakınlık (ve isteğe bağlı olarak, sparsity, çeşitlilik ve fizibilite) temelinde kayıp işlevini iyileştirirken, yakındaki noktaları giriş noktasına örneklemeyi temel alır. Şu anda desteklenen yöntemler şunlardır:

  • Rastgele arama: Bu yöntem bir sorgu noktasının yakınındaki noktaları rastgele örnekler ve tahmin edilen etiketi istenen sınıf olan noktalar olarak counterfactuals döndürür.
  • Genetik arama: Bu yöntem, sorgu noktasına yakınlığı iyileştirme, mümkün olduğunca az özellik değiştirme ve oluşturulan karşıtlıklar arasında çeşitlilik aramanın birleşik amacı göz önünde bulundurularak bir genetik algoritma kullanarak noktaları örnekler.
  • KD ağaç araması: Bu algoritma, eğitim veri kümesindeki karşıtlıkları döndürür. Bir uzaklık işlevini temel alarak eğitim veri noktaları üzerinde bir KD ağacı oluşturur ve ardından istenen tahmin edilen etiketi veren belirli bir sorgu noktasına en yakın noktaları döndürür.

Sonraki adımlar