Sorumlu yapay zeka panosunu kullanarak yapay zeka sistemlerini değerlendirme

Sorumlu yapay zekanın uygulamada uygulanması için sıkı mühendislik gerekir. Ancak zorlu mühendislik, doğru alet ve altyapı olmadan zahmetli, el ile ve zaman alıcı olabilir.

Sorumlu yapay zeka panosu, Sorumlu yapay zekayı uygulamada etkili ve verimli bir şekilde uygulamanıza yardımcı olacak tek bir arabirim sağlar. Aşağıdaki alanlarda çeşitli olgun Sorumlu Yapay Zeka araçlarını bir araya getirir:

• Model performansı ve eşitlik değerlendirmesi
• Veri keşfi
• Makine öğrenmesi yorumlanabilirliği
• Hata analizi
• Karşıtlık analizi ve pertürbations
• Nedensel çıkarım

Pano, bilinçli veri odaklı kararlar verebilmeniz için modellerin bütünsel bir değerlendirmesi ve hata ayıklamasını sunar. Bu araçların tümüne tek bir arabirimde erişim sahibi olmak şunları yapmanıza yardımcı olur:

• Model hatalarını ve eşitlik sorunlarını belirleyerek, bu hataların neden olduğunu tanılayarak ve risk azaltma adımlarınızı bilgilendirerek makine öğrenmesi modellerinizi değerlendirin ve hatalarını ayıklar.

• Veri odaklı karar alma becerilerinizi artırmak için şu soruları ele alın:

  "Kullanıcıların modelden farklı bir sonuç elde etmek için özelliklerine uygulayabilecekleri en düşük değişiklik nedir?"

  "Bir özelliği azaltmanın veya artırmanın (örneğin, kırmızı et tüketimi) gerçek bir sonuç üzerindeki nedensel etkisi nedir (örneğin, diyabet ilerlemesi)?"

Panoyu yalnızca kullanım örneğiniz ile ilgili araçların alt kümesini içerecek şekilde özelleştirebilirsiniz.

Sorumlu yapay zeka panosuna bir PDF karnesi eşlik etti. Karne, Sorumlu yapay zeka meta verilerini ve içgörülerini verilerinize ve modellerinize dışarı aktarmanızı sağlar. Ardından bunları ürün ve uyumluluk paydaşlarıyla çevrimdışı olarak paylaşabilirsiniz.

Sorumlu yapay zeka panosu bileşenleri

Sorumlu yapay zeka panosu, çeşitli yeni ve önceden var olan araçları kapsamlı bir görünümde bir araya getirir. Pano bu araçları Azure Machine Learning CLI v2, Azure Machine Learning Python SDK v2 ve Azure Machine Learning stüdyosu ile tümleştirir. Araçlar şunları içerir:

• Veri kümesi dağıtımlarınızı ve istatistiklerinizi anlamak ve araştırmak için veri analizi.
• Modelinizin performansını değerlendirmek ve modelinizin grup eşitliği sorunlarını (modelinizin tahminlerinin farklı kişi gruplarını nasıl etkilediğini) değerlendirmek için modele genel bakış ve eşitlik değerlendirmesi.
• Hataların veri kümenizde nasıl dağıtıldığını görüntülemek ve anlamak için hata analizi.
• Modelinizin tahminlerini ve bu genel ve bireysel tahminlerin nasıl yapıldığını anlamak için model yorumlanabilirliği (toplama ve tek tek özellikler için önem değerleri).
• Karşıt veya farklı model tahminleriyle en yakın veri noktalarını sağlarken özellik pertürbasyonlarının model tahminlerinizi nasıl etkileyeceğini gözlemlemek için geçerli olmayan durum.
• Nedensel analiz, tedavi özelliklerinin gerçek dünya sonuçları üzerindeki nedensel etkilerini görüntülemek için geçmiş verileri kullanmak.

Bu araçlar birlikte makine öğrenmesi modellerinde hata ayıklamanıza yardımcı olurken veri temelli ve model temelli iş kararlarınızı da bilgilendirecektir. Aşağıdaki diyagramda modellerinizi geliştirmek ve sağlam veri içgörüleri elde etmek için bunları yapay zeka yaşam döngünüze nasıl dahil edebilirsiniz gösterilmektedir.

Model hata ayıklama

Makine öğrenmesi modellerinin değerlendirilmesi ve hata ayıklaması model güvenilirliği, yorumlanabilirlik, eşitlik ve uyumluluk açısından kritik öneme sahiptir. Yapay zeka sistemlerinin bu şekilde nasıl ve neden davrandığını belirlemeye yardımcı olur. Daha sonra model performansını geliştirmek için bu bilgileri kullanabilirsiniz. Kavramsal olarak, model hata ayıklama üç aşamadan oluşur:

1. Aşağıdaki soruları ele alarak model hatalarını ve/veya eşitlik sorunlarını belirlemek, anlamak ve tanımak için:

   "Modelimde ne tür hatalar var?"

   "En yaygın hatalar hangi alanlardadır?"

2. Tanılamak için, belirtilen hataların ardındaki nedenleri incelemek için şunları ele alın:

   "Bu hataların nedenleri nelerdir?"

   "Modelimi geliştirmek için kaynaklarımı nereye odaklamalıyım?"

3. Azaltma, hedeflenen azaltma adımlarını uygulamak ve aşağıdaki gibi soruları yanıtlamak için önceki aşamalardan gelen tanımlama ve tanılama içgörülerini kullanmak için:

   "Modelimi nasıl geliştirebilirim?"

   "Bu sorunlar için hangi sosyal veya teknik çözümler mevcut?"

Aşağıdaki tabloda model hata ayıklamayı desteklemek için Sorumlu Yapay Zeka panosu bileşenlerinin ne zaman kullanılacağı açıklanmaktadır:

Aşama	Bileşen	Veri Akışı Açıklaması
Tanımla	Hata analizi	Hata analizi bileşeni, model hatası dağılımını daha iyi anlamanıza ve hatalı veri kohortlarını (alt gruplar) hızla tanımlamanıza yardımcı olur. Bu bileşenin panodaki özellikleri Hata Analizi paketinden gelir.
Tanımla	Eşitlik analizi	Eşitlik bileşeni grupları cinsiyet, ırk ve yaş gibi hassas öznitelikler açısından tanımlar. Ardından model tahminlerinizin bu grupları nasıl etkilediğini ve eşitsizlikleri nasıl azaltabileceğinizi değerlendirir. Tahmin değerlerinizin dağılımını ve model performans ölçümlerinizin gruplar arasındaki değerlerini inceleyerek modelinizin performansını değerlendirir. Bu bileşenin panodaki özellikleri Fairlearn paketinden gelir.
Tanımla	Modele genel bakış	Modele genel bakış bileşeni, performansının daha iyi araştırılması için model değerlendirmesi ölçümlerini model tahmin dağılımının üst düzey bir görünümünde toplar. Bu bileşen, hassas gruplar arasında model performansının dökümünü vurgulayarak grup eşitliği değerlendirmesine de olanak tanır.
Tanılamak	Veri analizi	Veri analizi, veri kümelerini tahmin edilen ve gerçek sonuçlara, hata gruplarına ve belirli özelliklere göre görselleştirir. Daha sonra, verilerin veri kümesinde nasıl kümelendiğini görmenin yanı sıra fazla temsil ve yetersiz temsil sorunlarını belirleyebilirsiniz.
Tanılama	Model yorumlanabilirliği	Yorumlanabilirlik bileşeni, makine öğrenmesi modelinin tahminlerinin insan tarafından anlaşılabilen açıklamalarını oluşturur. Modelin davranışına birden çok görünüm sağlar: - Genel açıklamalar (örneğin, bir kredi ayırma modelinin genel davranışını etkileyen özellikler) - Yerel açıklamalar (örneğin, başvuru sahibinin kredi başvurusu neden onaylandı veya reddedildi) Bu bileşenin panodaki özellikleri InterpretML paketinden gelir.
Tanılama	Karşıtlık analizi ve durum	Bu bileşen, daha iyi hata tanılama için iki işlevden oluşur: - Belirli bir noktada yapılan minimum değişikliklerin modelin tahminini değiştirdiği bir dizi örnek oluşturma. Diğer bir ifadeyle örneklerde, karşı model tahminlerine sahip en yakın veri noktaları gösterilir. - Modelin özellik değişikliklerine nasıl tepki olduğunu anlamak için tek tek veri noktaları için etkileşimli ve özel durum pertürbasyonlarını etkinleştirme. Bu bileşenin panodaki özellikleri DiCE paketinden gelir.

Azaltma adımları Fairlearn gibi tek başına araçlar aracılığıyla kullanılabilir. Daha fazla bilgi için bkz . adaletsizlik azaltma algoritmaları.

Sorumlu karar alma

Karar alma, makine öğrenmesinin en büyük vaatlerinden biridir. Sorumlu yapay zeka panosu, aşağıdakiler aracılığıyla bilinçli iş kararları oluşturmanıza yardımcı olabilir:

• Veri temelli içgörüler, yalnızca geçmiş verileri kullanarak bir sonuç üzerindeki nedensel işlem etkilerini daha iyi anlamak için. Örneğin:

  "Bir ilaç hastanın kan basıncını nasıl etkiler?"

  "Belirli müşterilere promosyon değerleri sağlamak geliri nasıl etkiler?"

  Bu içgörüler, panonun nedensel çıkarım bileşeni aracılığıyla sağlanır.

• Model temelli içgörüler, kullanıcıların eyleme geçebilmeleri için kullanıcıların sorularını (örneğin, "Bir dahaki sefere yapay zekanızdan farklı bir sonuç elde etmek için ne yapabilirim?") yanıtlamak için. Bu içgörüler, veri bilimciler için karşıt durum bileşeni aracılığıyla sağlanır.

Keşif veri analizi, nedensel çıkarım ve karşıtlık analizi özellikleri, bilinçli model temelli ve veri odaklı kararları sorumlu bir şekilde oluşturmanıza yardımcı olabilir.

Sorumlu yapay zeka panosunun bu bileşenleri sorumlu karar alma sürecini destekler:

• Veri analizi: Veri dağıtımlarını anlamak ve fazla temsili ve yetersiz gösterimi belirlemek için veri analizi bileşenini burada yeniden kullanabilirsiniz. Verilerde az temsil edilen bir kohort hakkında bilinçli kararlar almak mümkün olmadığından, veri keşfi karar vermenin kritik bir parçasıdır.

• Nedensel çıkarım: Nedensel çıkarım bileşeni, bir müdahalenin varlığında gerçek dünya sonucunun nasıl değiştiğini tahmin eder. Ayrıca, çeşitli müdahalelere yönelik özellik yanıtlarını simüle ederek ve belirli bir müdahaleden hangi popülasyon kohortlarının yararlanacağını belirlemek için kurallar oluşturarak umut verici müdahaleler oluşturmaya yardımcı olur. Bu işlevler toplu olarak yeni ilkeler uygulamanıza ve gerçek dünya değişikliğini etkilemenize olanak sağlar.

  Bu bileşenin özellikleri, makine öğrenmesi aracılığıyla gözlemsel verilerden heterojen tedavi etkilerini tahmin eden EconML paketinden gelir.

• Karşıt analiz: Karşı model tahminlerine yol açan bir veri noktasının özelliklerine uygulanan en düşük değişiklikleri oluşturmak için burada karşıt analiz bileşenini yeniden kullanabilirsiniz. Örneğin: Taylor, yıllık gelirden 10.000 ABD doları daha fazla kazansa ve iki daha az kredi kartı açıksa yapay zekadan kredi onayını alabilirdi.

  Bu bilgilerin kullanıcılara sağlanması, kendi bakış açılarını bilgilendirmektedir. Gelecekte yapay zekadan istenen sonucu elde etmek için nasıl harekete geçebilecekleri konusunda onları eğitmektedir.

  Bu bileşenin özellikleri DiCE paketinden gelir.

Sorumlu yapay zeka panosunu kullanma nedenleri

Sorumlu yapay zekanın belirli alanları için ayrı ayrı araçlarda ilerleme kaydedilmiş olsa da veri bilimcilerinin genellikle modellerini ve verilerini bütünsel olarak değerlendirmek için çeşitli araçları kullanması gerekir. Örneğin: Model yorumlanabilirliği ve eşitlik değerlendirmesini birlikte kullanmaları gerekebilir.

Veri bilimcileri tek bir araçla eşitlik sorunu bulursa, azaltma konusunda herhangi bir adım atmadan önce sorunun kökünde hangi veri veya model faktörlerinin yer aldığını anlamak için farklı bir aralığa atlamaları gerekir. Aşağıdaki faktörler bu zorlu süreci daha da karmaşıklaştırır:

• Araçları keşfetmek ve öğrenmek için merkezi bir konum yoktur ve bu da araştırma yapmak ve yeni teknikler öğrenmek için gereken süreyi uzatır.
• Farklı araçlar birbiriyle iletişim kurmaz. Veri bilimciler veri kümelerini, modelleri ve diğer meta verileri araçlar arasında geçirirken düzenlemelidir.
• Ölçümler ve görselleştirmeler kolayca karşılaştırılamaz ve sonuçları paylaşmak zordur.

Sorumlu yapay zeka panosu bu durum quo'yu zorlar. Parçalanmış deneyimleri tek bir yerde bir araya getiren kapsamlı ancak özelleştirilebilir bir araçtır. Model hata ayıklama ve veri temelli karar alma için tek bir özelleştirilebilir çerçeveye sorunsuz bir şekilde eklemenizi sağlar.

Sorumlu yapay zeka panosunu kullanarak veri kümesi kohortları oluşturabilir, bu kohortları desteklenen tüm bileşenlere geçirebilir ve tanımlanan iş ortaklarınızın model durumunu gözlemleyebilirsiniz. Ayrılmış analiz gerçekleştirmek ve modelinizin kör noktalarını bulmak için önceden oluşturulmuş çeşitli kohortlar genelinde desteklenen tüm bileşenlerden gelen içgörüleri daha fazla karşılaştırabilirsiniz.

Bu içgörüleri diğer paydaşlarla paylaşmaya hazır olduğunuzda, Sorumlu AI PDF karnesini kullanarak bunları kolayca ayıklayabilirsiniz. PDF raporunu uyumluluk raporlarınıza ekleyin veya güven oluşturup onaylarını almak için iş arkadaşlarınızla paylaşın.

Sorumlu yapay zeka panosunu özelleştirmenin yolları

Sorumlu yapay zeka panosunun gücü, özelleştirilebilirliğidir. Kullanıcılara, özel ihtiyaçlarına uygun uyarlanmış, uçtan uca model hata ayıklama ve karar alma iş akışları tasarlama gücü sağlar.

İlham mı gerekiyor? Aşağıda, pano bileşenlerinin senaryoları çeşitli yollarla analiz etmek için nasıl bir araya getirilebileceğine ilişkin bazı örnekler verilmiştir:

Sorumlu yapay zeka pano akışı	Kullanım örneği
Modele genel bakış > hata analizi > veri analizi	Model hatalarını tanımlamak ve temel alınan veri dağıtımını anlayarak bunları tanılamak için
Modele genel bakış > eşitlik değerlendirmesi > veri analizi	Model eşitliği sorunlarını belirlemek ve temel alınan veri dağılımını anlayarak bunları tanılamak için
Modele genel bakış > hata analizi > karşıtlık analizi ve durum	Karşıt analiz ile tek tek örneklerdeki hataları tanılamak için (farklı bir model tahminine yol açmak için minimum değişiklik)
Modele genel bakış > veri analizi	Veri dengesizlikleri veya belirli bir veri kohortunun gösteriminin olmaması yoluyla ortaya konan hataların ve eşitlik sorunlarının kök nedenini anlamak için
Modele genel bakış > yorumlanabilirliği	Modelin tahminlerini nasıl yaptığını anlayarak model hatalarını tanılamak için
Veri analizi > nedensel çıkarım	Verilerdeki bağıntılar ve nedensellik arasında ayrım yapmak veya olumlu bir sonuç elde etmek için uygulanacak en iyi tedavilere karar vermek için
Yorumlanabilirlik > nedensel çıkarım	Modelin tahmin yapmak için kullandığı faktörlerin gerçek dünya sonucu üzerinde herhangi bir nedensel etkisi olup olmadığını öğrenmek için
Veri analizi > karşıtlık analizi ve durum	Müşterilerin bir sonraki sefere yapay zeka sisteminden farklı bir sonuç elde etmek için yapabilecekleri şeyler hakkındaki sorularını yanıtlamak için

Sorumlu yapay zeka panosunu kimin kullanması gerektiğini Kişiler

Aşağıdaki kişiler, yapay zeka sistemlerine güven oluşturmak için Sorumlu AI panosunu ve buna karşılık gelen Sorumlu Yapay Zeka karnesini kullanabilir:

• Dağıtımdan önce makine öğrenmesi modellerinde hata ayıklama ve iyileştirmeyle ilgilenen makine öğrenmesi uzmanları ve veri bilimcileri
• Güven oluşturmak ve dağıtım izinleri almak için model sistem durumu kayıtlarını ürün yöneticileri ve iş paydaşlarıyla paylaşmak isteyen makine öğrenmesi uzmanları ve veri bilimcileri
• Dağıtımdan önce makine öğrenmesi modellerini gözden geçiren ürün yöneticileri ve iş paydaşları
• Eşitlik ve güvenilirlik sorunlarını anlamak için makine öğrenmesi modellerini gözden geçiren risk yetkilileri
• Model kararlarını kullanıcılara açıklamak veya sonuçları geliştirmelerine yardımcı olmak isteyen yapay zeka çözümleri sağlayıcıları
• Düzenleyiciler ve denetçilerle makine öğrenmesi modellerini gözden geçirmesi gereken yoğun şekilde düzenlenmiş alanlardaki profesyoneller

Desteklenen senaryolar ve sınırlamalar

• Sorumlu yapay zeka panosu şu anda tablosal yapılandırılmış veriler üzerinde eğitilen regresyon ve sınıflandırma (ikili ve çok sınıflı) modelleri desteklemektedir.
• Sorumlu yapay zeka panosu şu anda Yalnızca sklearn (scikit-learn) tadıyla Azure Machine Learning'e kayıtlı MLflow modellerini destekler. scikit-learn modelleri yöntemleri uygulamalı predict()/predict_proba() veya model yöntemleri uygulayan predict()/predict_proba() bir sınıf içinde sarmalanmalıdır. Modellerin bileşen ortamında yüklenebilir olması ve seçilebilir olması gerekir.
• Sorumlu yapay zeka panosu şu anda pano kullanıcı arabiriminde en fazla 5K veri noktanızı görselleştirir. Veri kümenizi panoya geçirmeden önce 5K veya daha az bir değere indirmelisiniz.
• Sorumlu yapay zeka panosuna veri kümesi girişleri Parquet biçiminde pandas DataFrames olmalıdır. NumPy ve SciPy seyrek verileri şu anda desteklenmiyor.
• Sorumlu yapay zeka panosu şu anda sayısal veya kategorik özellikleri desteklemektedir. Kategorik özellikler için kullanıcının özellik adlarını açıkça belirtmesi gerekir.
• Sorumlu yapay zeka panosu şu anda 10.000'den fazla sütunu olan veri kümelerini desteklememektedir.
• Sorumlu yapay zeka panosu şu anda AutoML MLFlow modelini desteklemez.
• Sorumlu yapay zeka panosu şu anda kullanıcı arabiriminden kayıtlı AutoML modellerini desteklemez.

Sonraki adımlar

• CLI ve SDK veya Azure Machine Learning stüdyosu kullanıcı arabirimi aracılığıyla Sorumlu yapay zeka panosu oluşturmayı öğrenin.
• Sorumlu yapay zeka panosunda gözlemlenen içgörülere göre Sorumlu yapay zeka karnesi oluşturmayı öğrenin.