Generera en ansvarsfull AI-insikt i studiogränssnittet

Artikel
12/06/2023

I den här artikeln skapar du en instrumentpanel för ansvarsfull AI och styrkort (förhandsversion) utan kod i användargränssnittet för Azure Machine Learning-studio.

Viktigt!

Den här funktionen är för närvarande i allmänt tillgänglig förhandsversion. Den här förhandsversionen tillhandahålls utan ett serviceavtal och vi rekommenderar det inte för produktionsarbetsbelastningar. Vissa funktioner kanske inte stöds eller kan vara begränsade.

Mer information finns i Kompletterande villkor för användning av Microsoft Azure-förhandsversioner.

Gör följande för att komma åt guiden för instrumentpanelens generering och generera en ansvarsfull AI-instrumentpanel:

Registrera din modell i Azure Machine Learning så att du kan komma åt funktionen utan kod.
Välj fliken Modeller i den vänstra rutan i Azure Machine Learning-studio.
Välj den registrerade modell som du vill skapa ansvarsfulla AI-insikter för och välj sedan fliken Information .
Välj Skapa ansvarsfull AI-instrumentpanel (förhandsversion).

Mer information om modelltyper och begränsningar som stöds på instrumentpanelen ansvarsfull AI finns i scenarier och begränsningar som stöds.

Guiden innehåller ett gränssnitt för att ange alla nödvändiga parametrar för att skapa din instrumentpanel för ansvarsfull AI utan att behöva trycka på kod. Upplevelsen sker helt i användargränssnittet för Azure Machine Learning-studio. Studion presenterar ett guidat flöde och instruktionstext som hjälper till att kontextualisera de olika val som du vill fylla instrumentpanelen med med ansvarsfulla AI-komponenter.

Guiden är uppdelad i fem avsnitt:

Träna datauppsättningar
Testa datauppsättning
Modelleringsaktivitet
Instrumentpanelskomponenter
Komponentparametrar
Experimentkonfiguration

Välj dina datauppsättningar

I de två första avsnitten väljer du de tränings- och testdatauppsättningar som du använde när du tränade din modell för att generera insikter om modellfelsökning. För komponenter som kausal analys, som inte kräver en modell, använder du träningsdatauppsättningen för att träna kausalmodellen för att generera kausala insikter.

Kommentar

Endast tabelldatauppsättningsformat i ML-tabellen stöds.

Välj en datauppsättning för träning: I listan över registrerade datamängder på Azure Machine Learning-arbetsytan väljer du den datauppsättning som du vill använda för att generera ansvarsfull AI-insikter för komponenter, till exempel modellförklaringar och felanalys.
Välj en datauppsättning för testning: I listan över registrerade datamängder väljer du den datauppsättning som du vill använda för att fylla i visualiseringarna för ansvarsfull AI-instrumentpanel.
Om den tränings- eller testdatauppsättning som du vill använda inte visas väljer du Skapa för att ladda upp den.

Välj din modelluppgift

När du har valt dina datauppsättningar väljer du din modellaktivitetstyp enligt följande bild:

Välj dina instrumentpanelskomponenter

Instrumentpanelen ansvarsfull AI erbjuder två profiler för rekommenderade uppsättningar med verktyg som du kan generera:

Modellfelsökning: Förstå och felsöka felaktiga datakohorter i maskininlärningsmodellen med hjälp av felanalys, kontrafaktiska konsekvensexempel och modellförklarbarhet.
Verkliga åtgärder: Förstå och felsöka felaktiga datakohorter i maskininlärningsmodellen med hjälp av kausal analys.

Kommentar

Klassificering av flera klasser stöder inte analysprofilen för verkliga interventioner.

Välj den profil som du vill använda.
Välj Nästa.

Konfigurera parametrar för instrumentpanelskomponenter

När du har valt en profil visas konfigurationsfönstret Komponentparametrar för modellfelsökning för motsvarande komponenter.

Komponentparametrar för modellfelsökning:

Målfunktion (krävs): Ange den funktion som din modell har tränats att förutsäga.
Kategoriska funktioner: Ange vilka funktioner som är kategoriska för att återge dem korrekt som kategoriska värden i instrumentpanelens användargränssnitt. Det här fältet är förinläst för dig baserat på dina datauppsättningsmetadata.
Generera felträd och värmekarta: Växla till och från för att generera en felanalyskomponent för din instrumentpanel för ansvarsfull AI.
Funktioner för felvärmekarta: Välj upp till två funktioner som du vill generera en felvärmekarta för i förväg.
Avancerad konfiguration: Ange ytterligare parametrar, till exempel Maximalt djup för felträd, Antal löv i felträd och Minsta antal exempel i varje lövnod.
Generera kontrafaktiska konsekvensexempel: Växla till och från för att generera en kontrafaktisk konsekvenskomponent för din instrumentpanel för ansvarsfull AI.
Antal counterfactuals (krävs): Ange antalet kontrafaktiska exempel som du vill ska genereras per datapunkt. Minst 10 ska genereras för att aktivera en stapeldiagramvy över de funktioner som var mest störda i genomsnitt för att uppnå önskad förutsägelse.
Intervall med värdeförutsägelser (krävs): Ange för regressionsscenarier det intervall som du vill att kontrafaktiska exempel ska ha förutsägelsevärden i. För scenarier med binär klassificering anges intervallet automatiskt för att generera kontrafaktiska objekt för den motsatta klassen för varje datapunkt. För scenarier med flera klassificeringar använder du listrutan för att ange vilken klass du vill att varje datapunkt ska förutsägas som.
Ange vilka funktioner som ska påverkas: Som standard påverkas alla funktioner. Men om du bara vill att vissa funktioner ska störas väljer du Ange vilka funktioner som ska störas för att generera kontrafaktiska förklaringar för att visa ett fönster med en lista över funktioner som ska väljas.

När du väljer Ange vilka funktioner som ska perturb kan du ange det intervall som du vill tillåta störningar i. För funktionen YOE (Years of experience) anger du till exempel att kontrafaktiska värden ska ha funktionsvärden från endast 10 till 21 i stället för standardvärdena 5 till 21.
Generera förklaringar: Växla till och från för att generera en modellförklaringskomponent för din instrumentpanel för ansvarsfull AI. Ingen konfiguration krävs, eftersom en standardexemlare för visning av ogenomskinlig ruta används för att generera funktionsvikter.

Om du väljer profilen Verkliga åtgärder ser du att följande skärm genererar en orsaksanalys. Detta hjälper dig att förstå kausala effekter av funktioner som du vill "behandla" på ett visst resultat som du vill optimera.

Komponentparametrar för verkliga åtgärder använder kausal analys. Gör följande:

Målfunktion (krävs): Välj det resultat som du vill att kausala effekter ska beräknas för.
Behandlingsfunktioner (krävs): Välj en eller flera funktioner som du är intresserad av att ändra ("behandla") för att optimera målresultatet.
Kategoriska funktioner: Ange vilka funktioner som är kategoriska för att återge dem korrekt som kategoriska värden i instrumentpanelens användargränssnitt. Det här fältet är förinläst för dig baserat på dina datauppsättningsmetadata.
Avancerade inställningar: Ange ytterligare parametrar för orsakssambandsanalysen, till exempel heterogena funktioner (dvs. ytterligare funktioner för att förstå orsakssamband i analysen, utöver dina behandlingsfunktioner) och vilken kausal modell du vill använda.

Konfigurera experimentet

Slutligen konfigurerar du experimentet så att det startar ett jobb för att generera din instrumentpanel för ansvarsfull AI.

Gör följande i fönstret Träningsjobb eller Experimentkonfiguration :

Namn: Ge instrumentpanelen ett unikt namn så att du kan särskilja den när du visar listan över instrumentpaneler för en viss modell.
Experimentnamn: Välj ett befintligt experiment som jobbet ska köras i eller skapa ett nytt experiment.
Befintligt experiment: Välj ett befintligt experiment i listrutan.
Välj beräkningstyp: Ange vilken beräkningstyp du vill använda för att köra jobbet.
Välj beräkning: I listrutan väljer du den beräkning som du vill använda. Om det inte finns några befintliga beräkningsresurser väljer du plustecknet (+), skapar en ny beräkningsresurs och uppdaterar sedan listan.
Beskrivning: Lägg till en längre beskrivning av instrumentpanelen för ansvarsfull AI.
Taggar: Lägg till taggar på den här instrumentpanelen för ansvarsfull AI.

När du har konfigurerat experimentet väljer du Skapa för att börja generera din instrumentpanel för ansvarsfull AI. Du omdirigeras till experimentsidan för att spåra förloppet för ditt jobb med en länk till den resulterande instrumentpanelen ansvarsfull AI från jobbsidan när det är klart.

Information om hur du visar och använder din instrumentpanel för ansvarsfull AI finns i Använda instrumentpanelen ansvarsfull AI i Azure Machine Learning-studio.

Så här genererar du ett ansvarsfullt AI-styrkort (förhandsversion)

När du har skapat en instrumentpanel kan du använda ett användargränssnitt utan kod i Azure Machine Learning-studio för att anpassa och generera ett ansvarsfullt AI-styrkort. På så sätt kan du dela viktiga insikter om ansvarsfull distribution av din modell, till exempel rättvisa och funktionsvikt, med icke-tekniska och tekniska intressenter. Precis som när du skapar en instrumentpanel kan du använda följande steg för att komma åt guiden för styrkortsgenerering:

Gå till fliken Modeller i det vänstra navigeringsfältet i Azure Machine Learning-studio.
Välj den registrerade modell som du vill skapa ett styrkort för och välj fliken Ansvarig AI .
I den översta panelen väljer du Skapa ansvarsfulla AI-insikter (förhandsversion) och sedan Generera nytt PDF-styrkort.

Med guiden kan du anpassa pdf-styrkortet utan att behöva trycka på koden. Upplevelsen sker helt i Azure Machine Learning-studio för att hjälpa till att kontextualisera olika val av användargränssnitt med ett guidat flöde och instruktionstext som hjälper dig att välja de komponenter som du vill fylla ditt styrkort med. Guiden är uppdelad i sju steg, med ett åttonde steg (rättvisebedömning) som endast visas för modeller med kategoriska funktioner:

Sammanfattning av PDF-styrkort
Modellprestanda
Val av verktyg
Dataanalys (kallades tidigare datautforskaren)
Orsaksanalys
Tolkning
Experimentkonfiguration
Rättvisebedömning (endast om kategoriska funktioner finns)

Konfigurera ditt styrkort

Ange först en beskrivande rubrik för ditt styrkort. Du kan också ange en valfri beskrivning av modellens funktioner, data som den har tränats och utvärderats på, arkitekturtyp med mera.
I avsnittet Modellprestanda kan du införliva utvärderingsmått för styrkortsmodellens branschstandard, samtidigt som du kan ange önskade målvärden för dina valda mått. Välj önskade prestandamått (upp till tre) och målvärden med hjälp av listrutorna.
Med markeringssteget Verktyg kan du välja vilka efterföljande komponenter som du vill inkludera i styrkortet. Incheckning clude i styrkortet för att inkludera alla komponenter, eller kontrollera/avmarkera varje komponent individuellt. Välj informationsikonen ("i" i en cirkel) bredvid komponenterna för att lära dig mer om dem.
Avsnittet Dataanalys (tidigare kallat datautforskaren) möjliggör kohortanalys. Här kan du identifiera problem med över- och underrepresentation och utforska hur data grupperas i datamängden och hur modellförutsägelser påverkar specifika datakohorter. Använd kryssrutor i listrutan för att välja de funktioner som intresserar dig nedan för att identifiera modellens prestanda i deras underliggande kohorter.
Avsnittet Rättvisebedömning kan hjälpa dig att bedöma vilka grupper av personer som kan påverkas negativt av förutsägelser för en maskininlärningsmodell. Det finns två fält i det här avsnittet.
- Känsliga funktioner: Identifiera dina känsliga attribut (till exempel ålder, kön) genom att prioritera upp till 20 undergrupper som du vill utforska och jämföra.
- Rättvisemått: Välj ett rättvisemått som är lämpligt för din inställning (till exempel skillnad i noggrannhet, felfrekvensförhållande) och identifiera önskade målvärden på dina valda rättvisemått. Det valda rättvisemåttet (tillsammans med ditt val av skillnad eller förhållande via växlingsknappen) samlar in skillnaden eller förhållandet mellan de extrema värdena mellan undergrupperna. (max - min eller max/min).
Kommentar

Rättvisebedömningen är för närvarande endast tillgänglig för kategoriska känsliga attribut, till exempel kön.
Avsnittet Kausal analys besvarar verkliga "tänk om"-frågor om hur förändringar av behandlingar skulle påverka ett verkligt resultat. Om kausala komponenten aktiveras på instrumentpanelen ansvarsfull AI som du genererar ett styrkort för behövs ingen mer konfiguration.
Avsnittet Tolkning genererar beskrivningar som är begripliga för människor för förutsägelser som görs av din maskininlärningsmodell. Med hjälp av modellförklaringar kan du förstå resonemanget bakom beslut som fattas av din modell. Välj ett tal (K) nedan för att se de viktigaste K-funktionerna som påverkar dina övergripande modellförutsägelser. Standardvärdet för K är 10.
Slutligen konfigurerar du experimentet så att det startar ett jobb för att generera ditt styrkort. De här konfigurationerna är desamma som för instrumentpanelen för ansvarsfull AI.
Granska slutligen dina konfigurationer och välj Skapa för att starta jobbet!

Du omdirigeras till experimentsidan för att spåra förloppet för ditt jobb när du har startat det. Mer information om hur du visar och använder ditt ansvariga AI-styrkort finns i Använda ansvarsfullt AI-styrkort (förhandsversion).

Nästa steg

När du har genererat din instrumentpanel för ansvarsfull AI kan du visa hur du kommer åt och använder den i Azure Machine Learning-studio.
Läs mer om begreppen och teknikerna bakom instrumentpanelen ansvarsfull AI.
Läs mer om hur du samlar in data på ett ansvarsfullt sätt.
Läs mer om hur du använder instrumentpanelen och styrkortet för ansvarsfull AI för att felsöka data och modeller och informera om bättre beslutsfattande i det här blogginlägget från tech communityn.
Lär dig mer om hur instrumentpanelen för ansvarsfull AI och styrkort användes av UK National Hälsotjänst (NHS) i en verklig kundhistoria.
Utforska funktionerna i instrumentpanelen ansvarsfull AI via den här interaktiva webbdemon för AI Lab.