Valutare i sistemi di intelligenza artificiale e prendere decisioni basate sui dati con Azure Machine Learning dashboard di intelligenza artificiale responsabile (anteprima)

L'IA responsabile richiede un'ingegneria rigorosa. La progettazione rigorosa, tuttavia, può essere noiosa, manuale e dispendiosa in termini di tempo senza gli strumenti e l'infrastruttura corretti. I data scientist necessitano di strumenti per implementare l'IA responsabile in pratica in modo efficace ed efficiente.

Il dashboard Di intelligenza artificiale responsabile offre un'unica interfaccia che rende efficiente e interoperabile la progettazione di Machine Learning responsabile nel ciclo di vita di sviluppo e valutazione del modello più ampio. Lo strumento riunisce diversi strumenti di intelligenza artificiale responsabile maturi nelle aree della valutazione delle statistiche del modello, dell'esplorazione dei dati, dell'interpretazione di Machine Learning, della valutazione dell'iniquità, dell'analisi degli errori, dell'inferenza causale e dell'analisi controfattuale per una valutazione olistica e il debug di modelli e prendere decisioni aziendali informate. Con un singolo comando o una semplice procedura guidata dell'interfaccia utente, il dashboard risolve i problemi di frammentazione di più strumenti e consente di:

  1. Valutare ed eseguire il debug dei modelli di Machine Learning identificando gli errori del modello, diagnosticando il motivo per cui si verificano tali errori e informando i passaggi di mitigazione.
  2. Aumentare le capacità decisionali basate sui dati rispondendo a domande come "qual è la modifica minima che l'utente finale potrebbe applicare alle proprie funzionalità per ottenere un risultato diverso dal modello?" e/o "qual è l'effetto causale della riduzione del consumo di carne rossa sulla progressione del diabete?"
  3. Esportare i metadati di intelligenza artificiale responsabili dei dati e dei modelli per la condivisione offline con gli stakeholder del prodotto e della conformità.

Componenti del dashboard di intelligenza artificiale responsabile

Il dashboard Di intelligenza artificiale responsabile riunisce, in una visualizzazione completa, vari strumenti nuovi e preesistenti, integrandoli con cliv2, python SDKv2 e studio Azure Machine Learning. Questi strumenti comprendono:

  1. Esplora dati per comprendere ed esplorare le distribuzioni e le statistiche dei set di dati.
  2. Panoramica del modello e valutazione dell'equità per valutare le prestazioni del modello e valutare i problemi di equità del gruppo del modello (in che modo diversi gruppi di persone sono interessati dalle stime del modello).
  3. Analisi degli errori per visualizzare e comprendere le distribuzioni degli errori del modello in un set di dati tramite una mappa ad albero delle decisioni o una visualizzazione mappa termica.
  4. Interpretabilità dei modelli (valori di importanza delle singole caratteristiche/aggregazione) per comprendere le stime del modello e come vengono eseguite le stime complessive e singole.
  5. Simulazione controfactuale per osservare in che modo le perturbazioni delle funzionalità influisce sulle stime del modello e forniscono i punti dati più vicini con stime del modello opposte o diverse.
  6. Analisi causale per usare dati cronologici per visualizzare gli effetti causali delle caratteristiche di trattamento sul risultato reale.

Insieme, questi componenti consentono di eseguire il debug di modelli di Machine Learning, informando al tempo fa le decisioni basate sui dati e basate su modelli.

 Diagram of Responsible A I dashboard components for model debugging and responsible decision making.

Debug del modello

La valutazione e il debug dei modelli di Machine Learning è fondamentale per l'affidabilità del modello, l'interpretabilità, l'equità e la conformità. Consente di determinare come e perché i sistemi di intelligenza artificiale si comportano nel modo in cui si comportano. È quindi possibile usare questa conoscenza per migliorare le prestazioni del modello. Concettualmente, il debug dei modelli è costituito da tre fasi:

  • Identificare, per comprendere e riconoscere gli errori del modello risolvendo le domande seguenti:
    • Quali tipi di errori ha il modello?
    • In quali aree si verificano gli errori più diffusi?
  • Diagnosticare, per esplorare i motivi alla base degli errori identificati risolvendo:
    • Quali sono le cause di questi errori?
    • Dove è necessario concentrare le risorse per migliorare il modello?
  • Attenuare, per usare le informazioni dettagliate sull'identificazione e la diagnosi delle fasi precedenti per adottare misure di mitigazione mirate e risolvere domande come:
    • Come è possibile migliorare il modello?
    • Quali soluzioni sociali o tecniche esistono per questi problemi?

Diagram of model debugging via responsible A I dashboard with the information in the table below.

Di seguito sono riportati i componenti del dashboard di intelligenza artificiale responsabile che supporta il debug del modello:

Fase Componente Descrizione
Identify Analisi degli errori Il componente Analisi degli errori offre ai professionisti del Machine Learning una conoscenza più approfondita della distribuzione degli errori del modello e consente di identificare rapidamente le coorti errate dei dati.

Le funzionalità di questo componente nel dashboard vengono fondate dalle funzionalità di analisi degli errori per la generazione di profili di errore del modello.
Identify Analisi dell'equità Il componente Equità valuta il modo in cui gruppi diversi, definiti in termini di attributi sensibili come sesso, razza, età e così via, sono influenzati dalle stime del modello e dal modo in cui le disparità osservate possono essere attenuate. Valuta le prestazioni del modello esplorando la distribuzione dei valori di stima e i valori delle metriche delle prestazioni del modello in sottogruppi sensibili diversi. Le funzionalità di questo componente nel dashboard sono costituite dalle funzionalità Fairlearn per generare valutazioni dell'equità del modello.
Identify Panoramica del modello Il componente Statistiche modello aggrega varie metriche di valutazione del modello, mostrando una visualizzazione generale della distribuzione delle stime del modello per un'analisi migliore delle prestazioni. Consente inoltre la valutazione dell'equità dei gruppi, evidenziando la suddivisione delle prestazioni del modello in gruppi sensibili diversi.
Diagnosi Esplora dati Il componente Esplora dati consente di visualizzare i set di dati in base a risultati stimati e effettivi, gruppi di errori e funzionalità specifiche. Ciò consente di identificare i problemi di sovraspresentazione e di sottopresentazione e di vedere in che modo i dati vengono raggruppati nel set di dati.
Diagnosi Interpretabilità del modello Il componente Interpretabilità genera spiegazioni comprensibili per l'uomo delle stime di un modello di Machine Learning. Fornisce più visualizzazioni sul comportamento di un modello: spiegazioni globali (ad esempio, quali caratteristiche influiscono sul comportamento complessivo di un modello di allocazione dei prestiti) e spiegazioni locali (ad esempio, perché la richiesta di prestito di un richiedente è stata approvata o rifiutata).

Le funzionalità di questo componente nel dashboard sono fondate dalle funzionalità InterpretML per la generazione di spiegazioni del modello.
Diagnosi Analisi contatore e What-If Il componente Counterfactual Analysis e what-if è costituito da due funzionalità per una migliore diagnosi degli errori:
- Generazione di un set di esempi con modifiche minime a un determinato punto in modo da modificare la stima del modello (che mostra i punti dati più vicini con precisioni del modello opposte).
- Abilitazione delle perturbazioni di simulazione interattive e personalizzate per i singoli punti dati per comprendere in che modo il modello reagisce alle modifiche delle funzionalità.

Le funzionalità di questo componente nel dashboard sono basate sul pacchetto DiCE , che fornisce queste informazioni mostrando le versioni perturbate della stessa datapoint, che avrebbero ricevuto una stima del modello diversa(ad esempio, Taylor avrebbe ricevuto la stima di approvazione del prestito se il loro reddito annuale fosse superiore di $ 10.000).

I passaggi di mitigazione sono disponibili tramite strumenti autonomi, ad esempio Fairlearn (per la mitigazione dell'iniquità).

Processo decisionale responsabile

Il processo decisionale è una delle maggiori promesse di Machine Learning. Il dashboard Di intelligenza artificiale responsabile consente di informare le decisioni aziendali basate su modello e basate sui dati.

  • Informazioni dettagliate basate sui dati per comprendere ulteriormente gli effetti eterogenei del trattamento su un risultato, usando solo dati cronologici. Ad esempio, "come un medicinale influisce sulla pressione sanguigna di un paziente?". Queste informazioni dettagliate vengono fornite tramite il componente "Inferenza causale" del dashboard.
  • Informazioni dettagliate basate su modello, per rispondere alle domande degli utenti finali, ad esempio "cosa posso fare per ottenere un risultato diverso dalla prossima volta?" per informare le proprie azioni. Tali informazioni vengono fornite ai data scientist tramite il componente "Analisi controfattuale e Simulazione" descritto in precedenza.

Responsible A I dashboard capabilities for responsible business decision making.

L'analisi esplorativa dei dati, l'analisi controfactuale e le funzionalità di inferenza causale consentono di prendere decisioni informate basate su modelli e basate sui dati in modo responsabile.

Di seguito sono riportati i componenti del dashboard di IA responsabile che supportano il processo decisionale responsabile:

  • Esplora dati
    • Il componente può essere riutilizzato qui per comprendere le distribuzioni dei dati e identificare la sovraspresentazione e la sottopresentazione. L'esplorazione dei dati è una parte fondamentale del processo decisionale perché si può concludere che non è possibile prendere decisioni informate su una coorte sottorappresentato all'interno dei dati.
  • Inferenza causale
    • Il componente Inferenza causale stima il modo in cui un risultato reale cambia in presenza di un intervento. Aiuta inoltre a costruire interventi promettenti simulando diverse risposte di caratteristiche a vari interventi e creando regole per determinare quali coorti della popolazione trarrebbero vantaggio da un particolare intervento. Collettivamente, queste funzionalità consentono di applicare nuovi criteri ed applicare cambiamenti reali.
    • Le funzionalità di questo componente sono fondate dal pacchetto EconML , che stima gli effetti eterogenei del trattamento dai dati osservazionali tramite Machine Learning.
  • Analisi controfactuale
    • Il componente Analisi controfactuale descritto in precedenza potrebbe essere riutilizzato qui per aiutare i data scientist a generare un set di punti dati simili con risultati di stima opposti (mostrando le modifiche minime applicate alle funzionalità di un punto dati che portano a stime del modello opposte). Fornire esempi controfattuali agli utenti finali per informare la propria prospettiva, in modo da indicare loro come intervenire per ottenere il risultato desiderato dal modello in futuro.
    • Le funzionalità di questo componente sono fondate dal pacchetto DiCE .

Perché usare il dashboard di IA responsabile?

Anche se l'IA responsabile riguarda una progettazione rigorosa, la sua operazionalizzazione è noiosa, manuale e dispendiosa in termini di tempo senza gli strumenti e l'infrastruttura corretti. Esistono istruzioni minime e pochi framework e strumenti non contigui disponibili per consentire ai data scientist di esplorare e valutare i modelli in modo olistico.

Mentre sono stati compiuti progressi su singoli strumenti per aree specifiche dell'IA responsabile, i data scientist spesso devono usare vari strumenti di questo tipo insieme, per valutare olisticamente i modelli e i dati. Ad esempio, se un data scientist individua un problema di equità con uno strumento, è necessario passare a uno strumento diverso per comprendere quali dati o fattori del modello si trovano alla radice del problema prima di eseguire qualsiasi procedura di mitigazione. Questo processo estremamente complesso è ulteriormente complicato dai motivi seguenti. In primo luogo, non c'è una posizione centrale per scoprire e conoscere gli strumenti, estendendo il tempo necessario per la ricerca e apprendere nuove tecniche. In secondo luogo, i diversi strumenti non comunicano esattamente tra loro. I data scientist devono creare set di dati, modelli e altri metadati man mano che li passano tra i diversi strumenti. In terzo luogo, le metriche e le visualizzazioni non sono facilmente paragonabili e i risultati sono difficili da condividere.

Il dashboard di intelligenza artificiale responsabile è il primo strumento completo, che riunisce esperienze frammentate sotto un unico tetto, consentendo di eseguire facilmente l'onboarding in un unico framework personalizzabile per il debug dei modelli e il processo decisionale basato sui dati.

Come personalizzare il dashboard di intelligenza artificiale responsabile

La forza del dashboard di intelligenza artificiale responsabile è la personalizzazione. Consente agli utenti di progettare flussi di lavoro e debug dei modelli end-to-end personalizzati che rispondono alle esigenze specifiche. Hai bisogno di ispirazione? Ecco alcuni esempi di come i componenti della casella degli strumenti possono essere messi insieme per analizzare gli scenari in modi diversi:

Dashboard di intelligenza artificiale responsabile Flow Caso d'uso
Panoramica del modello - Analisi degli errori ->> Esplora dati Per identificare gli errori del modello e diagnosticarli comprendendo la distribuzione dei dati sottostanti
Panoramica del modello -> Valutazione dell'equità -> Esplora dati Per identificare i problemi di equità del modello e diagnosticarli comprendendo la distribuzione dei dati sottostanti
Panoramica del modello - Analisi degli errori ->> Analisi controfatuale e What-If Per diagnosticare gli errori nelle singole istanze con analisi controfactuale (modifica minima per portare a una stima del modello diversa)
Panoramica del modello -> Esplora dati Per comprendere la causa radice di errori e problemi di equità introdotti tramite squilibri di dati o mancanza di rappresentazione di una particolare coorte di dati
Panoramica del modello -> Interpretazione Per diagnosticare gli errori del modello tramite la comprensione del modo in cui il modello ha effettuato le stime
Esplora dati -> Inferenza causale Per distinguere le correlazioni e le causazioni nei dati o decidere i trattamenti migliori da applicare per visualizzare un risultato positivo
Interpretazione -> Inferenza causale Per scoprire se i fattori usati dal modello per il processo decisionale hanno alcun effetto causale sul risultato reale.
Esplora dati -> Analisi controfactuale e What-If Per risolvere le domande dei clienti su cosa possono fare la prossima volta per ottenere un risultato diverso da un'intelligenza artificiale.

Who usare il dashboard di intelligenza artificiale responsabile?

Il dashboard di intelligenza artificiale responsabile e la relativa scorecard di intelligenza artificiale responsabile possono essere incorporati dalle persone seguenti per creare attendibilità con i sistemi di intelligenza artificiale.

  • Ingegneri dei modelli di Machine Learning e data scientist interessati al debug e al miglioramento dei modelli di Machine Learning pre-distribuzione. -Ingegneri dei modelli di Machine Learning e data scientist interessati alla condivisione dei record di integrità dei modelli con product manager e stakeholder aziendali per creare attendibilità e ricevere le autorizzazioni di distribuzione.
  • Responsabili dei prodotti e stakeholder aziendali che esaminano i modelli di Machine Learning pre-distribuzione.
  • Responsabili dei rischi che esaminano i modelli di Machine Learning per comprendere l'equità e i problemi di affidabilità.
  • Provider di soluzioni per gli utenti finali che vogliono spiegare le decisioni del modello agli utenti finali.
  • Gli stakeholder aziendali che devono esaminare i modelli di Machine Learning con autorità di regolamentazione e revisori.

Modelli e scenari di Machine Learning supportati

Sono supportati i modelli scikit-learn per la generazione e le spiegazioni controfactuali. I modelli scikit-learn devono implementare predict()/predict_proba() metodi o il modello deve essere sottoposto a wrapping all'interno di una classe, che implementa predict()/predict_proba() i metodi.

Attualmente supportiamo la generazione e le spiegazioni controfattuali per i set di dati tabulari con tipi di dati numerici e categorici. La generazione e le spiegazioni controfactuali sono supportate per dati di testo, immagini e dati cronologici formati gratuiti.

Passaggi successivi