Model yorumlanabilirliği

  • Makale

Bu makalede, Azure Machine Learning'de model yorumlanabilirliği için kullanabileceğiniz yöntemler açıklanmaktadır.

Önemli

Model yorumlanabilirliğini içeren Sorumlu yapay zeka panosunun kullanıma alınmasıyla birlikte, eski SDK v1 önizleme modeli yorumlanabilirlik panosu artık etkin bir şekilde korunmayacağından yeni deneyime geçmenizi öneririz.

Model yorumlanabilirliği model hata ayıklama için neden önemlidir?

Makine öğrenmesi modellerini insanların hayatını etkileyecek şekillerde kullanırken modellerin davranışını neyin etkilediğini anlamak kritik önem taşır. Yorumlanabilirlik, şu senaryolardaki soruların yanıtlarına yardımcı olur:

  • Model hata ayıklama: Modelim neden bu hatayı yaptı? Modelimi nasıl geliştirebilirim?
  • İnsan-yapay zeka işbirliği: Modelin kararlarını nasıl anlayıp güvenebilirim?
  • Mevzuat uyumluluğu: Modelim yasal gereksinimleri karşılıyor mu?

Sorumlu yapay zeka panosunun yorumlanabilirlik bileşeni, makine öğrenmesi modelinin tahminlerinin insan tarafından anlaşılabilen açıklamalarını oluşturarak model yaşam döngüsü iş akışının "tanılama" aşamasına katkıda bulunur. Modelin davranışına birden çok görünüm sağlar:

  • Genel açıklamalar: Örneğin, hangi özellikler kredi ayırma modelinin genel davranışını etkiler?
  • Yerel açıklamalar: Örneğin, bir müşterinin kredi başvurusu neden onaylandı veya reddedildi?

Ayrıca, veri noktalarının alt grubu olarak seçili bir kohort için model açıklamalarını da gözlemleyebilirsiniz. Örneğin, belirli bir demografik gruptaki bireyler için model tahminlerinde eşitliği değerlendirirken bu yaklaşım değerlidir. Bu bileşenin Yerel açıklama sekmesi, verilerin genel olarak göz alıcı olması ve her kohortun doğru ve yanlış tahminleri arasındaki farklara bakmak için harika olan tam veri görselleştirmesini de temsil eder.

Bu bileşenin özellikleri, model açıklamaları oluşturan InterpretML paketi tarafından oluşturulur.

Aşağıdaki durumlarda yorumlanabilirliği kullanın:

  • Tahminler için en önemli özellikleri anlayarak yapay zeka sisteminizin tahminlerinin ne kadar güvenilir olduğunu belirleyin.
  • Modelinizi ilk olarak anlayarak ve modelin iyi durumdaki özellikleri mi yoksa yalnızca yanlış bağıntıları mı kullandığını belirleyerek modelinizin hata ayıklama işlemine yaklaşın.
  • Modelin hassas özelliklere mi yoksa bunlarla yüksek oranda bağıntılı özelliklere mi dayalı tahminler sağladığını anlayarak olası adaletsizlik kaynaklarını ortaya çıkarın.
  • Sonuçlarını göstermek için yerel açıklamalar oluşturarak modelinizin kararlarında kullanıcı güveni oluşturun.
  • Modelleri doğrulamak ve model kararlarının insanlar üzerindeki etkisini izlemek için yapay zeka sisteminin mevzuat denetimini tamamlayın.

Modelinizi yorumlama

Makine öğrenmesinde özellikler, hedef veri noktasını tahmin etmek için kullandığınız veri alanlarıdır. Örneğin, kredi riskini tahmin etmek için yaş, hesap boyutu ve hesap yaşı için veri alanlarını kullanabilirsiniz. Burada yaş, hesap boyutu ve hesap yaşı özellikleridir. Özellik önemi, her veri alanının modelin tahminlerini nasıl etkilediğini gösterir. Örneğin, tahminde yaşı büyük ölçüde kullansanız da hesap boyutu ve hesap yaşı tahmin değerlerini önemli ölçüde etkilemeyebilir. Bu süreç sayesinde veri bilimciler elde edilen tahminleri, paydaşlara modelin en önemli özelliklerine görünürlük kazandıran yollarla açıklayabilir.

Sorumlu yapay zeka panosundaki sınıfları ve yöntemleri kullanarak ve SDK v2 ve CLI v2 kullanarak şunları yapabilirsiniz:

  • Modelin tamamı (genel açıklama) veya tek tek veri noktaları (yerel açıklama) için özellik-önem değerleri oluşturarak model tahminini açıklayın.
  • Büyük ölçekte gerçek dünya veri kümelerinde model yorumlanabilirliği elde edin.
  • Verilerinizdeki desenleri ve eğitim zamanındaki açıklamalarını keşfetmek için etkileşimli bir görselleştirme panosu kullanın.

SDK v1'deki sınıfları ve yöntemleri kullanarak şunları yapabilirsiniz:

  • Modelin tamamı veya tek tek veri noktaları için özellik önem değerleri oluşturarak model tahminini açıklayın.
  • Eğitim ve çıkarım sırasında gerçek dünya veri kümelerinde büyük ölçekte model yorumlanabilirliği elde edin.
  • Verilerinizdeki desenleri ve eğitim zamanındaki açıklamalarını keşfetmek için etkileşimli bir görselleştirme panosu kullanın.

Not

Model yorumlanabilirlik sınıfları SDK v1 paketi aracılığıyla kullanılabilir hale getirilmiştir. Daha fazla bilgi için bkz . Azure Machine Learning ve azureml.interpret için SDK paketlerini yükleme.

Desteklenen model yorumlanabilirliği teknikleri

Sorumlu yapay zeka panosu ve yorumlanabilir modelleri eğitmek ve azureml-interpret opak kutu yapay zeka sistemlerini açıklamaya yardımcı olmak için açık kaynak bir Python paketi olan Interpret-Community'de geliştirilen yorumlanabilirlik tekniklerini kullanır. Opak kutu modelleri, iç çalışmaları hakkında bilgi sahibi olmayan modellerdir.

Interpret-Community, aşağıdaki desteklenen açıklayıcılar için konak görevi görür ve şu anda sonraki bölümlerde sunulan yorumlanabilirlik tekniklerini destekler.

Python SDK v2 ve CLI v2'de Sorumlu Yapay Zeka panosunda desteklenir

Yorumlanabilirlik tekniği Açıklama Tür
Mimic Explainer (Global Surrogate) + SHAP ağacı Mimic Explainer, opak kutu modellerini taklit etmek için küresel vekil modelleri eğitmek fikrini temel alır. Genel vekil model, herhangi bir opak kutu modelinin tahminlerini mümkün olduğunca doğru şekilde tahmin etmek için eğitilen, içsel olarak yorumlanabilir bir modeldir.

Veri bilimcileri, opak kutu modeli hakkında sonuçlar elde etmek için vekil modeli yorumlayabilir. Sorumlu AI panosu, ağaçlara ve ağaç topluluklarına özgü bir açıklama olan SHAP (SHapley Additive exPlanations) Tree Explainer ile eşleştirilmiş LightGBM (LGBMExplainableModel) kullanır. LightGBM ve SHAP ağacının birleşimi, makine öğrenmesi modellerinizin modelden bağımsız genel ve yerel açıklamalarını sağlar.		 Modelden bağımsız

Metin modelleri için desteklenen model yorumlanabilirliği teknikleri

Yorumlanabilirlik tekniği Açıklama Tür Metin Görevi
SHAP metni SHAP (SHapley Additive exPlanations), her giriş özelliğinin belirli bir tahmine katkısına ilişkin içgörüler sağlayan derin sinir ağları için popüler bir açıklama yöntemidir. Ortak bir oyunda bireysel oyunculara kredi atama yöntemi olan Shapley değerleri kavramına dayanır. SHAP, bu kavramı bir sinir ağının giriş özelliklerine uygulamak için her özelliğin modelin çıkışına olası tüm özellik bileşimleri arasındaki ortalama katkısını hesaplar. Özellikle metin için SHAP, sözcükleri hiyerarşik bir şekilde böler ve her sözcüğü veya belirteci bir özellik olarak ele alır. Bu, her sözcüğün veya belirtecin verilen tahmin için önemini ölçen bir dizi ilişkilendirme değeri oluşturur. Son ilişkilendirme haritası, bu değerler özgün metin belgesi üzerinde ısı haritası olarak görselleştirilerek oluşturulur. SHAP modelden bağımsız bir yöntemdir ve CNN'ler, RNN'ler ve transformatörler gibi çok çeşitli derin öğrenme modellerini açıklamak için kullanılabilir. Buna ek olarak, tutarlılık, doğruluk ve eşitlik gibi çeşitli istenen özellikler sağlar ve modelin karar alma sürecini anlamak için güvenilir ve yorumlanabilir bir teknik haline getirir. Model Belirsiz Metin Çok Sınıflı Sınıflandırma, Metin Çok Etiketli Sınıflandırma

Görüntü modelleri için desteklenen model yorumlanabilirliği teknikleri

Yorumlanabilirlik tekniği Açıklama Tür Görüntü İşleme Görevi
SHAP vizyonu SHAP (SHapley Additive exPlanations), her giriş özelliğinin belirli bir tahmine katkısına ilişkin içgörüler sağlayan derin sinir ağları için popüler bir açıklama yöntemidir. Ortak bir oyunda bireysel oyunculara kredi atama yöntemi olan Shapley değerleri kavramına dayanır. SHAP, bu kavramı bir sinir ağının giriş özelliklerine uygulamak için her özelliğin modelin çıkışına olası tüm özellik bileşimleri arasındaki ortalama katkısını hesaplar. Özellikle görme için, SHAP görüntüyü hiyerarşik bir şekilde böler ve görüntünün süperpiksel alanlarını her özellik olarak ele alır. Bu, verilen tahmin için her bir süper pikselin veya görüntü alanının önemini ölçen bir dizi ilişkilendirme değeri üretir. Son ilişkilendirme haritası, bu değerler bir ısı haritası olarak görselleştirilerek oluşturulur. SHAP modelden bağımsız bir yöntemdir ve CNN'ler, RNN'ler ve transformatörler gibi çok çeşitli derin öğrenme modellerini açıklamak için kullanılabilir. Buna ek olarak, tutarlılık, doğruluk ve eşitlik gibi çeşitli istenen özellikler sağlar ve modelin karar alma sürecini anlamak için güvenilir ve yorumlanabilir bir teknik haline getirir. Model Belirsiz Görüntü Çok Sınıflı Sınıflandırma, Görüntü Çok Etiketli Sınıflandırma
Destekli GeriÖzellik Guided-backprop, derin sinir ağları için modelin öğrenilen gösterimleri hakkında içgörü sağlayan popüler bir açıklama yöntemidir. Çıkış gradyanını giriş görüntüsüne göre hesaplayarak modeldeki belirli bir nöron'u etkinleştiren giriş özelliklerinin görselleştirmesini oluşturur. Diğer gradyan tabanlı yöntemlerden farklı olarak, kılavuzlu backprop yalnızca pozitif gradyanlar aracılığıyla geri özellik sağlar ve negatif gradyanların görselleştirmeyi etkilemediğinden emin olmak için değiştirilmiş bir ReLU etkinleştirme işlevi kullanır. Bu, belirli bir tahmin için giriş görüntüsündeki en önemli özellikleri vurgulayan daha yorumlanabilir ve yüksek çözünürlüklü bir tuzluluk haritasına neden olur. Destekli geri dönüş özelliği, kıvrımlı sinir ağları (CNN'ler), yinelenen sinir ağları (RNN'ler) ve transformatörler de dahil olmak üzere çok çeşitli derin öğrenme modellerini açıklamak için kullanılabilir. AutoML Görüntü Çok Sınıflı Sınıflandırma, Görüntü Çok Etiketli Sınıflandırma
Destekli gradCAM Destekli GradCAM, derin sinir ağları için modelin öğrenilen gösterimleri hakkında içgörüler sağlayan popüler bir açıklama yöntemidir. Kılavuzlu backpropagation'ın gradyan tabanlı yaklaşımını GradCAM'in yerelleştirme yaklaşımıyla birleştirerek belirli bir çıkış sınıfına en çok katkıda bulunan giriş özelliklerinin görselleştirmesini oluşturur. Özellikle, ağdaki son kıvrımlı katmanın özellik eşlemelerine göre çıkış sınıfının gradyanlarını hesaplar ve ardından her özellik eşlemesini etkinleştirmenin bu sınıf için önemine göre ağırlıklandırır. Bu, verilen çıkış sınıfı için giriş görüntüsünün en ayrımcı bölgelerini vurgulayan yüksek çözünürlüklü bir ısı haritası oluşturur. Destekli GradCAM, CNN'ler, RNN'ler ve transformatörler dahil olmak üzere çok çeşitli derin öğrenme modellerini açıklamak için kullanılabilir. Buna ek olarak, kılavuzlu geri özellik ekleme yoluyla görselleştirmenin anlamlı ve yorumlanabilir olmasını sağlar, sahte etkinleştirmelerden ve olumsuz katkılardan kaçınılır. AutoML Görüntü Çok Sınıflı Sınıflandırma, Görüntü Çok Etiketli Sınıflandırma
Tümleşik Gradyanlar Tümleşik Gradyanlar, her giriş özelliğinin belirli bir tahmine katkısına ilişkin içgörüler sağlayan derin sinir ağları için popüler bir açıklama yöntemidir. Çıkış sınıfının gradyanının integralini giriş görüntüsüyle temel görüntü ile gerçek giriş görüntüsü arasındaki düz bir yol boyunca hesaplar. Bu yol genellikle iki görüntü arasında doğrusal bir ilişkilendirme olarak seçilir ve taban çizgisi, belirgin özelliklere sahip olmayan nötr bir görüntüdür. Tümleşik Gradyanlar, gradyanı bu yol boyunca tümleştirerek her giriş özelliğinin tahmine nasıl katkıda bulunacağıyla ilgili bir ölçü sağlayarak bir ilişkilendirme haritası oluşturulmasını sağlar. Bu harita en etkili giriş özelliklerini vurgular ve modelin karar alma süreci hakkında içgörüler elde etmek için kullanılabilir. Tümleşik Gradyanlar, CNN'ler, RNN'ler ve transformatörler dahil olmak üzere çok çeşitli derin öğrenme modellerini açıklamak için kullanılabilir. Buna ek olarak, duyarlılık, uygulama değişmezliği ve bütünlük gibi istenen özellikler kümesini karşılayan teorik olarak temel alınan bir tekniktir. AutoML Görüntü Çok Sınıflı Sınıflandırma, Görüntü Çok Etiketli Sınıflandırma
XRAI XRAI , Tümleşik Gradyanları (IG) temel alan yeni bir bölge tabanlı tuzluluk yöntemidir. Görüntüyü fazla segmentlere ayırır ve her bölgenin önemini yinelemeli olarak test eder ve daha küçük bölgeleri ilişkilendirme puanlarına göre daha büyük segmentlere ayırır. Bu strateji, mevcut tükürük tekniklerinden daha iyi performans gösteren yüksek kaliteli, sıkı sınırlanmış tuzluluk bölgeleri sağlar. XRAI, giriş özelliklerini bazı benzerlik ölçümleri aracılığıyla segmentler halinde kümelemenin bir yolu olduğu sürece herhangi bir DNN tabanlı modelle kullanılabilir. AutoML Görüntü Çok Sınıflı Sınıflandırma, Görüntü Çok Etiketli Sınıflandırma
D-RISE D-RISE, nesne algılama modellerinin tahminleri için görsel açıklamalar oluşturmaya yönelik bir model bağımsız yöntemidir. D-RISE, nesne algılamanın hem yerelleştirme hem de kategorilere ayırma özelliklerini hesaplayarak, algılayıcının tahminine en çok katkıda bulunan bir görüntünün bölümlerini vurgulayan tuzluluk haritaları oluşturabilir. Gradyan tabanlı yöntemlerden farklı olarak D-RISE daha geneldir ve nesne algılayıcısının iç çalışmalarına erişmesi gerekmez; yalnızca modelin girişlerine ve çıkışlarına erişim gerektirir. Yöntem tek aşamalı algılayıcılara (örneğin YOLOv3), iki aşamalı algılayıcılara (örneğin, Faster-RCNN) ve Görüntü Transformatörlerine (örneğin, DETR, OWL-ViT) uygulanabilir.
D-Rise, giriş görüntüsünün rastgele maskelerini oluşturarak tuzluluk haritasını sağlar ve giriş görüntüsünün rastgele maskeleriyle nesne algılayıcısına gönderir. Nesne algılayıcısının puanının değişimini değerlendirerek, her maskeyle tüm algılamaları toplar ve son bir tükürük haritası oluşturur.		 Model Belirsiz Nesne Algılama

Python SDK v1'de desteklenir

Yorumlanabilirlik tekniği Açıklama Tür
SHAP Ağaç Açıklaması Ağaçlara ve ağaç topluluklarına özgü polinomsal, zamana hızlı, SHAP değer tahmini algoritmasına odaklanan SHAP Ağaç Açıklaması. Modele özgü
SHAP Derin Açıklama SHAP'tan gelen açıklamaya dayanarak, Derin Açıklama "SHAP NIPS makalesinde açıklanan DeepLIFT ile bir bağlantı üzerine kurulu derin öğrenme modellerindeki SHAP değerleri için yüksek hızlı bir yaklaşıklık algoritmasıdır. TensorFlow arka ucunu kullanan TensorFlow modelleri ve Keras modelleri desteklenir (PyTorch için ön destek de vardır)." Modele özgü
SHAP Doğrusal Açıklama SHAP Doğrusal Açıklayıcı, isteğe bağlı olarak özellikler arası bağıntıları hesaplayarak doğrusal bir model için SHAP değerlerini hesaplar. Modele özgü
SHAP Çekirdek Açıklayıcısı SHAP Çekirdek Açıklayıcısı, herhangi bir model için SHAP değerlerini tahmin etmek için özel ağırlıklı yerel doğrusal regresyon kullanır. Modelden bağımsız
Mimic Explainer (Global Surrogate) Mimic Explainer, opak kutu modellerini taklit etmek için küresel vekil modelleri eğitmek fikrini temel alır. Genel vekil model, herhangi bir opak kutu modelinin tahminlerini mümkün olduğunca doğru şekilde tahmin etmek için eğitilen, içsel olarak yorumlanabilir bir modeldir . Veri bilimcileri, opak kutu modeli hakkında sonuçlar elde etmek için vekil modeli yorumlayabilir. Yedek modeliniz olarak aşağıdaki yorumlanabilir modellerden birini kullanabilirsiniz: LightGBM (LGBMExplainableModel), Doğrusal Regresyon (LinearExplainableModel), Stochastic Gradyan Azalma açıklanabilir modeli (SGDExplainableModel) veya Karar Ağacı (DecisionTreeExplainableModel). Modelden bağımsız
Permütasyon Özelliği Önem Açıklaması Permütasyon Özelliği Önemi (PFI), Breiman'ın Rastgele Ormanlar makalesinde yer alan sınıflandırma ve regresyon modellerini açıklamak için kullanılan bir tekniktir (bkz. bölüm 10). Yüksek düzeyde, veri kümesinin tamamı için verileri bir kerede bir özelliği rastgele karıştırmak ve ilgi alanına ilişkin performans ölçümünün ne kadar değiştiğini hesaplamaktır. Değişiklik ne kadar büyük olursa bu özellik o kadar önemlidir. PFI, temel alınan herhangi bir modelin genel davranışını açıklayabilir ancak tek tek tahminleri açıklamaz. Modelden bağımsız

Önceki bölümde açıklanan yorumlanabilirlik tekniklerinin yanı sıra, Tablosal Açıklayıcı adlı başka bir SHAP tabanlı açıklamayı destekliyoruz. Modele bağlı olarak, Tablosal Açıklayıcı desteklenen SHAP açıklamalarından birini kullanır:

  • Tüm ağaç tabanlı modeller için Ağaç Açıklayıcısı
  • Derin sinir ağı (DNN) modelleri için Derin Açıklama
  • Doğrusal modeller için Doğrusal Açıklama
  • Diğer tüm modeller için Çekirdek Açıklayıcı

Tablosal Açıklayıcı, doğrudan SHAP açıklayıcıları üzerinde önemli özellik ve performans geliştirmeleri de yapmıştır:

  • Başlatma veri kümesinin özetlenmesi: Açıklama hızı en önemli olduğunda, başlatma veri kümesini özetler ve küçük bir temsili örnek kümesi oluştururuz. Bu yaklaşım, genel ve bireysel özellik önem değerlerinin oluşturulmasını hızlandırır.
  • Değerlendirme veri kümesini örnekleme: Büyük bir değerlendirme örneği kümesi geçirirseniz ancak bunların tümünün değerlendirilmesi gerekmiyorsa, genel model açıklamalarının hesaplamasını hızlandırmak için true örnekleme parametresini ayarlayabilirsiniz.

Aşağıdaki diyagramda desteklenen açıklayıcıların geçerli yapısı gösterilmektedir:

Diagram of Machine Learning Interpretability architecture.

Desteklenen makine öğrenmesi modelleri

azureml.interpret SDK paketi, aşağıdaki veri kümesi biçimleriyle eğitilen modelleri destekler:

  • numpy.array
  • pandas.DataFrame
  • iml.datatypes.DenseData
  • scipy.sparse.csr_matrix

Açıklama işlevleri hem modelleri hem de işlem hatlarını giriş olarak kabul eder. Bir model sağlanmışsa, tahmin işlevini veya Scikit kuralına uyan bir modeli predictpredict_proba uygulaması gerekir. Modeliniz bunu desteklemiyorsa, Scikit'te veya predict_proba ile aynı sonucu predict oluşturan bir işleve sarmalayabilir ve bu sarmalayıcı işlevini seçili açıklayıcıyla kullanabilirsiniz.

bir işlem hattı sağlarsanız, açıklama işlevi çalışan işlem hattı betiğinin bir tahmin döndürdüğünü varsayar. Bu sarmalama tekniğini kullandığınızda PyTorch, azureml.interpret TensorFlow, Keras derin öğrenme çerçeveleri ve klasik makine öğrenmesi modelleri aracılığıyla eğitilen modelleri destekleyebilir.

Yerel ve uzak işlem hedefi

azureml.interpret Paket, hem yerel hem de uzak işlem hedefleriyle çalışacak şekilde tasarlanmıştır. Paketi yerel olarak çalıştırırsanız SDK işlevleri hiçbir Azure hizmetiyle iletişim kurmaz.

Açıklamayı Azure Machine Learning İşlem'de uzaktan çalıştırabilir ve açıklama bilgilerini Azure Machine Learning Çalıştırma Geçmişi Hizmeti'ne kaydedebilirsiniz. Bu bilgiler günlüğe kaydedildikten sonra, açıklamadaki raporlar ve görselleştirmeler analiz için Azure Machine Learning stüdyosu'de kullanıma hazır hale gelir.

Sonraki adımlar