Menilai sistem AI dan membuat keputusan berbasis data dengan dasbor Responsible AI Azure Machine Learning (pratinjau)

AI yang Bertanggung Jawab membutuhkan rekayasa yang ketat. Namun, rekayasa yang ketat dapat membosankan, manual, dan memakan waktu tanpa alat dan infrastruktur yang tepat. Ilmuwan data membutuhkan alat untuk mengimplementasikan AI yang bertanggung jawab dalam praktiknya secara efektif dan efisien.

Dasbor AI yang Bertanggung Jawab menyediakan satu antarmuka yang membuat rekayasa pembelajaran mesin yang bertanggung jawab efisien dan dapat dioperasikan di seluruh siklus hidup pengembangan dan penilaian model yang lebih besar. Alat ini menyatukan beberapa alat AI Bertanggung Jawab yang matang di bidang penilaian statistik model, eksplorasi data, interpretabilitas pembelajaran mesin, penilaian tidak wajar, analisis kesalahan, inferensi kausal, dan analisis counterfactual untuk penilaian holistik dan penelusuran kesalahan model dan membuat keputusan bisnis berdasarkan informasi. Dengan satu perintah atau wizard UI sederhana, dasbor membahas masalah fragmentasi beberapa alat dan memungkinkan Anda untuk:

  1. Evaluasi dan debug model pembelajaran mesin Anda dengan mengidentifikasi kesalahan model, mendiagnosis mengapa kesalahan tersebut terjadi, dan menginformasikan langkah-langkah mitigasi Anda.
  2. Tingkatkan kemampuan pengambilan keputusan berbasis data Anda dengan menjawab pertanyaan seperti “berapa perubahan minimum yang dapat diterapkan pengguna akhir pada fitur mereka untuk mendapatkan hasil yang berbeda dari model?” dan/atau “apa efek penyebab pengurangan konsumsi daging merah pada perkembangan diabetes?”
  3. Ekspor metadata AI yang Bertanggung Jawab dari data dan model Anda untuk berbagi secara offline dengan pemangku kepentingan produk dan kepatuhan.

Komponen dasbor AI yang Bertanggung Jawab

Dasbor AI yang Bertanggung Jawab menyatukan, dalam tampilan yang komprehensif, berbagai alat baru dan yang sudah ada sebelumnya, mengintegrasikannya dengan Azure Machine Learning CLIv2, Python SDKv2, dan studio. Alat ini meliputi:

  1. Penjelajah data untuk memahami dan menjelajahi distribusi dan statistik himpunan data Anda.
  2. Gambaran umum model dan penilaian kewajaran untuk mengevaluasi performa model Anda dan mengevaluasi masalah kewajaran grup model Anda (seberapa beragam kelompok orang yang terpengaruh oleh prediksi model Anda).
  3. Analisis Kesalahan untuk melihat dan memahami distribusi kesalahan model Anda dalam himpunan data melalui peta pohon keputusan atau visualisasi peta panas.
  4. Interpretabilitas model (nilai kepentingan fitur agregat/individu) untuk memahami prediksi model Anda dan bagaimana prediksi keseluruhan dan individual tersebut dibuat.
  5. Bagaimana-Jika Kontrafaktual untuk mengamati bagaimana perturbasi fitur akan memengaruhi prediksi model Anda dan memberi Anda titik data terdekat dengan prediksi model yang berlawanan atau berbeda.
  6. Analisis kausal untuk menggunakan data historis untuk melihat efek kausal fitur perawatan pada hasil dunia nyata.

Bersama-sama, komponen-komponen ini akan memungkinkan Anda untuk men-debug model pembelajaran mesin, sambil menginformasikan keputusan berbasis data dan berbasis model Anda.

 Diagram of Responsible A I dashboard components for model debugging and responsible decision making.

Penelusuran kesalahan model

Menilai dan men-debug model pembelajaran mesin sangat penting untuk keandalan model, interpretasi, kewajaran, dan kepatuhan. Ini membantu menentukan bagaimana dan mengapa sistem AI berulah seperti yang mereka lakukan. Anda kemudian dapat menggunakan pengetahuan ini untuk meningkatkan performa model. Secara konseptual, penelusuran kesalahan model terdiri dari tiga tahap:

  • Identifikasi, untuk memahami dan mengenali kesalahan model dengan mengatasi pertanyaan berikut:
    • Jenis kesalahan apa yang dimiliki model saya?
    • Di area apa kesalahan paling umum?
  • Diagnosis, untuk menjelajahi alasan di balik kesalahan yang diidentifikasi dengan mengatasi:
    • Apa penyebab kesalahan ini?
    • Di mana saya harus memfokuskan sumber daya saya untuk meningkatkan model saya?
  • Mitigasi, untuk menggunakan wawasan identifikasi dan diagnosis dari tahap sebelumnya untuk mengambil langkah-langkah mitigasi yang ditargetkan dan mengatasi pertanyaan seperti:
    • Bagaimana cara meningkatkan model saya?
    • Solusi sosial atau teknis apa yang ada untuk masalah ini?

Diagram of model debugging via responsible A I dashboard with the information in the table below.

Di bawah ini adalah komponen dasbor AI yang Bertanggung Jawab yang mendukung penelusuran kesalahan model:

Tahap Komponen Deskripsi
Identifikasi Analisis Kesalahan Komponen Analisis Kesalahan memberi praktisi pembelajaran mesin pemahaman yang lebih mendalam tentang distribusi kegagalan model dan membantu Anda mengidentifikasi kohor data yang salah dengan cepat.

Kemampuan komponen ini di dasbor didirikan oleh kemampuan Analisis Kesalahan pada pembuatan profil kesalahan model.
Identifikasi Analisis Kewajaran Komponen Kewajaran menilai bagaimana kelompok yang berbeda, yang didefinisikan dalam hal atribut sensitif seperti seks, ras, usia, dll., dipengaruhi oleh prediksi model Anda dan bagaimana perbedaan yang diamati dapat dimitigasi. Ini mengevaluasi kinerja model Anda dengan menjelajahi distribusi nilai prediksi dan nilai metrik kinerja model Anda di seluruh subgrup sensitif yang berbeda. Kemampuan komponen ini di dasbor didirikan oleh kemampuan Fairlearn pada pembuatan profil kesalahan model.
Identifikasi Gambaran Umum model Komponen Statistik Model menggabungkan berbagai metrik penilaian model, menunjukkan tampilan tingkat tinggi distribusi prediksi model untuk penyelidikan performanya yang lebih baik. Ini juga memungkinkan penilaian kewajaran grup, menyoroti perincian performa model di berbagai grup sensitif.
Diagnosis Data Explorer Komponen Data Explorer membantu memvisualisasikan himpunan data berdasarkan hasil yang diprediksi dan aktual, grup kesalahan, dan fitur tertentu. Ini membantu mengidentifikasi masalah over- dan underrepresentation dan untuk melihat bagaimana data diklusterkan dalam himpunan data.
Diagnosis Interpretabilitas Model Komponen Interpretabilitas menghasilkan penjelasan yang dapat dipahami manusia tentang prediksi model pembelajaran mesin. Komponen interpretabilitas ini memberikan beberapa pandangan ke dalam perilaku model: penjelasan global (misalnya, fitur apa yang mempengaruhi perilaku model alokasi pinjaman secara keseluruhan) dan penjelasan lokal (misalnya, mengapa aplikasi pinjaman pelanggan disetujui atau ditolak).

Kemampuan komponen ini didasarkan pada kemampuan InterpretML dalam menghasilkan penjelasan model.
Diagnosis Analisis Kontrafaktual dan Bagaimana-Jika Analisis Kontrafaktual dan komponen bagaimana-jika terdiri dari dua fungsi untuk diagnosis kesalahan yang lebih baik:
- Menghasilkan serangkaian contoh dengan perubahan minimal pada titik tertentu sehingga mengubah prediksi model (menunjukkan titik data terdekat dengan presisi model yang berlawanan).
- Mengaktifkan perturbasi bagaimana-jika interaktif dan kustom untuk poin data individual untuk memahami bagaimana model bereaksi terhadap perubahan fitur.

Kemampuan komponen ini di dasbor didirikan oleh paket DiCE, yang menyediakan informasi ini dengan menunjukkan versi yang diganggu fitur dari titik data yang sama, yang akan menerima prediksi model yang berbeda (misalnya, Taylor akan menerima prediksi persetujuan pinjaman jika pendapatan tahunan mereka lebih tinggi sebesar $10.000).

Langkah-langkah mitigasi tersedia melalui alat yang berdiri sendiri seperti Fairlearn (untuk mitigasi ketidakadilan).

Pengambilan keputusan yang bertanggung jawab

Pengambilan keputusan adalah salah satu janji terbesar pembelajaran mesin. Dasbor AI yang Bertanggung Jawab membantu Anda menginformasikan keputusan bisnis berbasis model dan berbasis data Anda.

  • Wawasan berbasis data untuk lebih memahami efek perawatan heterogen pada hasil, hanya menggunakan data historis. Misalnya, "bagaimana pengaruh obat terhadap tekanan darah pasien?". Insight tersebut diberikan melalui komponen "Inferensi Kausal" dari dasbor.
  • Insight berbasis model, untuk menjawab pertanyaan pengguna akhir seperti “apa yang dapat saya lakukan untuk mendapatkan hasil yang berbeda dari AI Anda di lain waktu?” untuk menginformasikan tindakan mereka. Wawasan tersebut diberikan kepada ilmuwan data melalui komponen "Analisis Kontrafaktual dan Bagaimana-Jika" yang dijelaskan di atas.

Responsible A I dashboard capabilities for responsible business decision making.

Analisis data eksploratif, analisis kontrafaktual, dan kemampuan inferensi kausal dapat membantu Anda membuat keputusan berbasis model dan berbasis data secara bertanggung jawab.

Di bawah ini adalah komponen dasbor AI yang Bertanggung Jawab yang mendukung pengambilan keputusan yang bertanggung jawab:

  • Data Explorer
    • Komponen dapat digunakan kembali di sini untuk memahami distribusi data dan mengidentifikasi over- dan underrepresentation. Eksplorasi data adalah bagian penting dari pengambilan keputusan karena seseorang dapat menyimpulkan bahwa tidak layak untuk membuat keputusan berdasarkan informasi tentang kohor yang kurang terwakili dalam data.
  • Inferensi Kausal
    • Komponen Inferensi Kausal memperkirakan bagaimana hasil dunia nyata berubah di hadapan intervensi. Ini juga membantu membangun intervensi yang menjanjikan dengan mensimulasikan respons fitur yang berbeda terhadap berbagai intervensi dan membuat aturan untuk menentukan kohor populasi mana yang akan mendapat manfaat dari intervensi tertentu. Secara kolektif, fungsionalitas ini memungkinkan Anda menerapkan kebijakan baru dan memengaruhi perubahan dunia nyata.
    • Kemampuan komponen ini didirikan oleh paket EconML, yang memperkirakan efek perawatan heterogen dari data pengamatan melalui pembelajaran mesin.
  • Analisis Kontrafaktual
    • Komponen Analisis Kontrafaktual yang dijelaskan di atas dapat digunakan kembali di sini untuk membantu ilmuwan data menghasilkan sekumpulan titik data serupa dengan hasil prediksi yang berlawanan (menunjukkan perubahan minimum yang diterapkan pada fitur titik data yang mengarah ke prediksi model yang berlawanan). Memberikan contoh kontrafaktual kepada pengguna akhir menginformasikan perspektif mereka, mendidik mereka tentang bagaimana mereka dapat mengambil tindakan untuk mendapatkan hasil yang diinginkan dari model di masa depan.
    • Kemampuan komponen ini didirikan oleh paket DiCE.

Mengapa Anda harus menggunakan dasbor Responsible AI?

Meskipun Responsible AI adalah tentang rekayasa yang ketat, operasionalisasinya membosankan, manual, dan memakan waktu tanpa alat dan infrastruktur yang tepat. Ada instruksi minimal, dan beberapa kerangka kerja dan alat terputus-putus yang tersedia untuk memberdayakan ilmuwan data untuk mengeksplorasi dan mengevaluasi model mereka secara holistik.

Meskipun kemajuan telah dibuat pada alat individual untuk area tertentu dari AI Yang Bertanggung Jawab, ilmuwan data sering kali perlu menggunakan berbagai alat tersebut bersama-sama, untuk mengevaluasi model dan data mereka secara holistik. Misalnya, jika ilmuwan data menemukan masalah kewajaran dengan satu alat, mereka kemudian perlu melompat ke alat yang berbeda untuk memahami faktor data atau model apa yang terletak pada akar masalah sebelum mengambil langkah-langkah tentang mitigasi. Proses yang sangat menantang ini semakin rumit oleh alasan berikut. Pertama, tidak ada lokasi pusat untuk menemukan dan mempelajari tentang alat-alat, memperpanjang waktu yang diperlukan untuk meneliti dan mempelajari teknik baru. Kedua, alat yang berbeda tidak benar-benar berkomunikasi satu sama lain. Ilmuwan data harus memanipulasi himpunan data, model, dan metadata lainnya saat mereka meneruskannya di antara berbagai alat. Ketiga, metrik dan visualisasi tidak mudah dibandingkan, dan hasilnya sulit dibagikan.

Dasbor Responsible AI adalah alat komprehensif pertama, menyatukan pengalaman terfragmentasi di bawah satu atap, memungkinkan Anda untuk melakukan onboarding dengan lancar ke satu kerangka kerja yang dapat disesuaikan untuk penelusuran kesalahan model dan pengambilan keputusan berbasis data.

Cara menyesuaikan dasbor Responsible AI

Kekuatan dasbor Responsible AI terletak pada penyesuaiannya. Ini memberdayakan pengguna untuk merancang debugging model end-to-end yang disesuaikan dan alur kerja pengambilan keputusan yang memenuhi kebutuhan khusus mereka. Butuh inspirasi? Berikut adalah beberapa contoh bagaimana komponen Toolbox dapat disatukan untuk menganalisis skenario dengan berbagai cara:

Alur Dasbor Responsible AI Kasus penggunaan 6
Gambaran Umum Model -> Analisis Kesalahan -> Data Explorer Untuk mengidentifikasi kesalahan model dan mendiagnosisnya dengan memahami distribusi data yang mendasar
Gambaran Umum Model -> Penilaian Kewajaran -> Data Explorer Untuk mengidentifikasi masalah kewajaran model dan mendiagnosisnya dengan memahami distribusi data yang mendasar
Gambaran Umum Model -> Analisis Kesalahan -> Analisis Kontrafaktual dan Bagaimana-Jika Untuk mendiagnosis kesalahan dalam instans individual dengan analisis kontrafaktual (perubahan minimum untuk mengarah ke prediksi model yang berbeda)
Gambaran Umum Model -> Data Explorer Untuk memahami akar penyebab kesalahan dan masalah kewajaran yang diperkenalkan melalui ketidakseimbangan data atau kurangnya representasi kohor data tertentu
Gambaran Umum Model -> Kemampuan Interpretasi Untuk mendiagnosis kesalahan model melalui pemahaman bagaimana model telah membuat prediksinya
Data Explorer -> Inferensi Kausal Untuk membedakan antara korelasi dan penyebab dalam data atau memutuskan perawatan terbaik untuk diterapkan untuk melihat hasil positif
Kemampuan Interpretasi -> Inferensi Kausal Untuk mempelajari apakah faktor-faktor yang telah digunakan model untuk pengambilan keputusan memiliki efek kausal pada hasil dunia nyata.
Data Explorer -> Analisis Kontrafaktual dan Bagaimana-Jika Untuk menjawab pertanyaan pelanggan tentang apa yang dapat mereka lakukan di lain waktu untuk mendapatkan hasil yang berbeda dari AI.

Siapa harus menggunakan dasbor Responsible AI?

Dasbor Responsible AI yang Bertanggung Jawab, dan kartu skor AI yang Bertanggung Jawab yang sesuai, dapat dimasukkan oleh persona berikut untuk membangun kepercayaan dengan sistem AI.

  • Teknisi model pembelajaran mesin dan ilmuwan data yang tertarik untuk men-debug dan meningkatkan model pembelajaran mesin mereka pra-penyebaran. -Teknisi model pembelajaran mesin dan ilmuwan data yang tertarik untuk berbagi catatan kesehatan model mereka dengan manajer produk dan pemangku kepentingan bisnis untuk membangun kepercayaan dan menerima izin penyebaran.
  • Manajer produk dan pemangku kepentingan bisnis yang meninjau model pembelajaran mesin pra-penyebaran.
  • Petugas risiko yang meninjau model pembelajaran mesin untuk memahami masalah kewajaran dan keandalan.
  • Penyedia solusi untuk pengguna akhir yang ingin menjelaskan keputusan model kepada pengguna akhir.
  • Pemangku kepentingan bisnis yang perlu meninjau model pembelajaran mesin dengan regulator dan auditor.

Model dan skenario pembelajaran mesin yang didukung

Kami mendukung model scikit-learn untuk pembuatan dan penjelasan kontrafaktual. Model scikit-learn harus menerapkan predict()/predict_proba() metode atau model harus dibungkus dalam kelas, yang menerapkan predict()/predict_proba() metode.

Saat ini, kami mendukung pembuatan dan penjelasan kontrafaktual untuk himpunan data tabular yang memiliki jenis data numerik dan kategoris. Pembuatan dan penjelasan kontrafaktual didukung untuk data teks bentuk gratis, gambar, dan data historis.

Langkah berikutnya