Utvärdera modellprestanda i Machine Learning Studio (klassisk)

Artikel
03/20/2017

GÄLLER FÖR: Gäller för. Machine Learning Studio (klassisk) Gäller inte för. Azure Machine Learning

Viktigt

Stödet för Machine Learning Studio (klassisk) upphör den 31 augusti 2024. Vi rekommenderar att du byter till Azure Machine Learning innan dess.

Från och med den 1 december 2021 kan du inte längre skapa nya Machine Learning Studio-resurser (klassisk). Du kan fortsätta att använda befintliga Machine Learning Studio-resurser (klassisk) till och med den 31 augusti 2024.

Dokumentationen om ML Studio (klassisk) håller på att dras tillbaka och kanske inte uppdateras i framtiden.

I den här artikeln kan du lära dig mer om de mått som du kan använda för att övervaka modellprestanda i Machine Learning Studio (klassisk). Utvärdering av prestanda för en modell är ett av de viktigaste stegen i datavetenskapsprocessen. Den anger hur lyckad bedömning (förutsägelser) för en datamängd har varit av en tränad modell. Machine Learning Studio (klassisk) stöder modellutvärdering via två av de viktigaste maskininlärningsmodulerna:

Med de här modulerna kan du se hur din modell presterar när det gäller ett antal mått som ofta används i maskininlärning och statistik.

Utvärdering av modeller bör övervägas tillsammans med:

Tre vanliga övervakade inlärningsscenarier presenteras:

Regression
binär klassificering
multiklassklassificering

Utvärdering jämfört med korsvalidering

Utvärdering och korsvalidering är standardsätt för att mäta modellens prestanda. Båda genererar utvärderingsmått som du kan granska eller jämföra med andra modellers.

Utvärdera modell förväntar sig en poängsatt datauppsättning som indata (eller två om du vill jämföra prestanda för två olika modeller). Därför måste du träna din modell med hjälp av modulen Träna modell och göra förutsägelser för vissa datamängder med hjälp av modulen Poängsätta modell innan du kan utvärdera resultaten. Utvärderingen baseras på de poängsatta etiketterna/sannolikheterna tillsammans med de sanna etiketterna, som alla matas ut av modulen Poängsätta modell .

Du kan också använda korsvalidering för att utföra ett antal träningspoängsbedömeåtgärder (10 gånger) automatiskt på olika delmängder av indata. Indata delas upp i 10 delar, där en är reserverad för testning och de andra 9 för träning. Den här processen upprepas 10 gånger och utvärderingsmåtten är i genomsnitt. Detta hjälper dig att avgöra hur väl en modell skulle generaliseras till nya datamängder. Modulen Korsvalidera modell tar in en otränad modell och vissa märkta datauppsättningar och matar ut utvärderingsresultaten för var och en av de 10 gångerna, utöver de genomsnittliga resultaten.

I följande avsnitt skapar vi enkla regressions- och klassificeringsmodeller och utvärderar deras prestanda med hjälp av modulerna Utvärdera modell och Korsvalidera modell .

Utvärdera en regressionsmodell

Anta att vi vill förutsäga en bils pris med funktioner som dimensioner, hästkrafter, motorspecifikationer och så vidare. Det här är ett typiskt regressionsproblem, där målvariabeln (priset) är ett kontinuerligt numeriskt värde. Vi kan anpassa en linjär regressionsmodell som, med tanke på funktionsvärdena för en viss bil, kan förutsäga priset på den bilen. Den här regressionsmodellen kan användas för att poängsätta samma datauppsättning som vi tränade på. När vi har de förutsagda bilpriserna kan vi utvärdera modellens prestanda genom att titta på hur mycket förutsägelserna avviker från de faktiska priserna i genomsnitt. För att illustrera detta använder vi datamängden Automobile price data (Raw) som är tillgänglig i avsnittet Sparade datamängder i Machine Learning Studio (klassisk).

Skapa experimentet

Lägg till följande moduler på din arbetsyta i Machine Learning Studio (klassisk):

Anslut portarna som visas nedan i bild 1 och ange kolumnen Etikett i modulen Träna modell till pris.

Utvärdera en regressionsmodell

Bild 1. Utvärdera en regressionsmodell.

Granska utvärderingsresultaten

När du har kört experimentet kan du klicka på utdataporten för modulen Utvärdera modell och välja Visualisera för att se utvärderingsresultaten. Utvärderingsmåtten som är tillgängliga för regressionsmodeller är: Mean Absolute Error, Root Mean Absolute Error, Relative Absolute Error, Relative Squared Error och Coefficient of Determination.

Termen "fel" här representerar skillnaden mellan det förutsagda värdet och det sanna värdet. Det absoluta värdet eller kvadraten för den här skillnaden beräknas vanligtvis för att samla in den totala felstorleken för alla instanser, eftersom skillnaden mellan det förutsagda och sanna värdet i vissa fall kan vara negativ. Felmåtten mäter förutsägelseprestandan för en regressionsmodell när det gäller den genomsnittliga avvikelsen för förutsägelserna från de sanna värdena. Lägre felvärden innebär att modellen är mer exakt när det gäller att göra förutsägelser. Ett övergripande felmått på noll innebär att modellen passar data perfekt.

Bestämningskoefficienten, som även kallas R-kvadrat, är också ett standardsätt för att mäta hur väl modellen passar data. Det kan tolkas som den andel av variationen som förklaras av modellen. En högre andel är bättre i det här fallet, där 1 indikerar en perfekt passform.

Mått för linjär regressionutvärdering

Figur 2. Mått för linjär regressionutvärdering.

Använda korsvalidering

Som tidigare nämnts kan du utföra upprepade tränings-, bedömnings- och utvärderingar automatiskt med hjälp av modulen Korsvalidera modell . Allt du behöver i det här fallet är en datauppsättning, en otränad modell och en modul för korsvalideringsmodell (se bilden nedan). Du måste ange etikettkolumnen till pris i egenskaperna för modulen Korsvalidera modell .

Korsverifiering av en regressionsmodell

Bild 3. Korsverifiering av en regressionsmodell.

När du har kört experimentet kan du granska utvärderingsresultaten genom att klicka på den högra utdataporten för modulen Korsvalidera modell . Detta ger en detaljerad vy över måtten för varje iteration (vikning) och de genomsnittliga resultaten för vart och ett av måtten (bild 4).

Korsvalideringsresultat för en regressionsmodell

Bild 4. Korsvalideringsresultat för en regressionsmodell.

Utvärdera en binär klassificeringsmodell

I ett scenario med binär klassificering har målvariabeln bara två möjliga resultat, till exempel{ 0, 1} eller {false, true}, {negative, positive}. Anta att du får en datamängd med vuxna anställda med vissa demografiska variabler och anställningsvariabler och att du uppmanas att förutsäga inkomstnivån, en binär variabel med värdena {"<=50 K", ">50 K"}. Med andra ord representerar den negativa klassen de anställda som tjänar mindre än eller lika med 50 K per år, och den positiva klassen representerar alla andra anställda. Precis som i regressionsscenariot skulle vi träna en modell, poängsätta vissa data och utvärdera resultaten. Den största skillnaden här är valet av mått Machine Learning Studio (klassiska) beräkningar och utdata. För att illustrera scenariot med förutsägelse på inkomstnivå använder vi datauppsättningen Vuxen för att skapa ett Studio-experiment (klassiskt) och utvärdera prestandan för en logistisk regressionsmodell med två klasser, en vanlig binär klassificerare.