Machine Learning – Utvärdera

Viktigt

Stödet för Machine Learning Studio (klassisk) upphör den 31 augusti 2024. Vi rekommenderar att du byter till Azure Machine Learning innan dess.

Från och med den 1 december 2021 kan du inte längre skapa nya Machine Learning Studio-resurser (klassisk). Du kan fortsätta att använda befintliga Machine Learning Studio-resurser (klassisk) till och med den 31 augusti 2024.

Dokumentationen om ML Studio (klassisk) håller på att dras tillbaka och kanske inte uppdateras i framtiden.

I den här artikeln beskrivs modulerna i Machine Learning Studio (klassisk) som du kan använda för att utvärdera en maskininlärningsmodell. Modellutvärderingen utförs när träningen är klar för att mäta precisionen i förutsägelserna och utvärdera modellens anpassning.

Anteckning

Gäller endast för: Machine Learning Studio (klassisk)

Liknande dra och släpp-moduler finns i Azure Machine Learning designer.

Den här artikeln beskriver också den övergripande processen i Machine Learning Studio (klassisk) för modellskapande, träning, utvärdering och bedömning.

Skapa och använda maskininlärningsmodeller i Machine Learning Studio (klassisk)

Det typiska arbetsflödet för maskininlärning omfattar följande faser:

  1. Välj en lämplig algoritm och ange inledande alternativ.
  2. Träna modellen med hjälp av kompatibla data.
  3. Skapa förutsägelser med hjälp av nya data som baseras på mönstren i modellen.
  4. Utvärdera modellen för att avgöra om förutsägelserna är korrekta, mängden fel och om överanpassning sker.

Machine Learning Studio (klassisk) stöder ett flexibelt, anpassningsbart ramverk för maskininlärning. Varje uppgift i den här processen utförs av en viss typ av modul. Modulen kan ändras, läggas till eller tas bort utan att resten av experimentet bryts.

Använd modulerna i den här kategorin för att utvärdera en befintlig modell. Modellutvärdering kräver vanligtvis någon form av resultatdatauppsättning. Om du inte har en utvärderingsdatauppsättning kan du generera resultat genom att göra en bedömning. Du kan också använda en testdatauppsättning eller någon annan uppsättning data som innehåller "grund sanning" eller kända förväntade resultat.

Mer om modellutvärdering

När du utvärderar en modell beror alternativen i allmänhet på vilken typ av modell du utvärderar och vilket mått du vill använda. I de här avsnitten visas några av de mått som används oftast:

Machine Learning Studio (klassisk) innehåller också en mängd olika visualiseringar, beroende på vilken typ av modell du använder och hur många klasser din modell förutsäger. Hjälp med att hitta dessa visualiseringar finns i Visa utvärderingsmått.

Att tolka den här statistiken kräver ofta en större förståelse för den specifika algoritm som modellen har tränats på. En bra förklaring av hur du utvärderar en modell och hur du tolkar de värden som returneras för varje mått finns i Utvärdera modellprestanda i Machine Learning.

Lista över moduler

Kategorin Machine Learning – Utvärdera innehåller följande moduler:

  • Korsvalidera modell: Korsvaliderar parameteruppskattningar för klassificerings- eller regressionsmodeller genom att partitionera data.

    Använd modulen Korsvalidera modell om du vill testa giltigheten för din träningsuppsättning och modellen. Korsvalidering partitioneras data i vikningar och testar sedan flera modeller på kombinationer av vikningar.

  • Utvärdera modell: Utvärderar en poängsatt klassificerings- eller regressionsmodell med hjälp av standardmått.

    I de flesta fall använder du den generiska modulen Utvärdera modell . Detta gäller särskilt om din modell baseras på en av de klassificerings- eller regressionsalgoritmer som stöds.

  • Utvärdera rekommenderare: Utvärderar noggrannheten för förutsägelser för rekommendationsmodellen.

    För rekommendationsmodeller använder du modulen Utvärdera rekommenderare .

  • För klustringsmodeller använder du modulen Tilldela data till kluster . Använd sedan visualiseringarna i modulen för att se utvärderingsresultat.
  • Du kan skapa anpassade utvärderingsmått. Om du vill skapa anpassade utvärderingsmått anger du R-kod i modulen Execute R Script (Kör R-skript) eller Python kod i modulen Execute Python Script (Kör Python-skript). Det här alternativet är praktiskt om du vill använda mått som har publicerats som en del av bibliotek med öppen källkod, eller om du vill utforma ett eget mått för att mäta modellens noggrannhet.

Exempel

Att tolka resultatet av utvärdering av maskininlärningsmodeller är en konst. Det kräver förståelse för de matematiska resultaten, förutom data och affärsproblem. Vi rekommenderar att du läser de här artiklarna för en förklaring av hur du tolkar resultat i olika scenarier:

Tekniska anteckningar

Det här avsnittet innehåller implementeringsinformation, tips och svar på vanliga frågor.

Visa utvärderingsmått

Lär dig var du ska leta i Machine Learning Studio (klassisk) för att hitta måttdiagrammen för varje modelltyp.

Klassificeringsmodeller med två klasser

Standardvyn för modeller för binär klassificering innehåller ett interaktivt ROC-diagram och en tabell med värden för huvudmåtten.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

Du har två alternativ för att visa modeller för binär klassificering:

  • Högerklicka på modulens utdata och välj sedan Visualisera.
  • Högerklicka på modulen, välj Utvärderingsresultat och välj sedan Visualisera.

Du kan också använda skjutreglaget för att ändra sannolikhetströskelvärdet. Tröskelvärdet avgör om ett resultat ska accepteras som sant eller inte. Sedan kan du se hur dessa värden ändras.

Klassificeringsmodeller med flera klasser

Standardmåttvyn för klassificeringsmodeller med flera klasser innehåller en felmatris för alla klasser och en uppsättning mått för modellen som helhet.

Du har två alternativ för att visa klassificeringsmodeller med flera klasser:

  • Högerklicka på modulens utdata och välj sedan Visualisera.
  • Högerklicka på modulen, välj Utvärderingsresultat och välj sedan Visualisera.

Här är de två resultaten som visas sida vid sida för enkelhetens skull:

Metrics table and Confusion Matrix for multiclass classification models

Regressionsmodeller

Måttvyn för regressionsmodeller varierar beroende på vilken typ av modell du har skapat. Måttvyn baseras på de underliggande algoritmgränssnitten och på den bästa passformen för modellmåtten.

Du har två alternativ för att visa regressionsmodeller:

  • Om du vill visa noggrannhetsmåtten i en tabell högerklickar du på modulen Evaluate Model (Utvärdera modell ) och väljer sedan Visualisera.
  • Om du vill visa ett felhistogram med värdena högerklickar du på modulen, väljer Utvärderingsresultat och väljer sedan Visualisera.

Error Histogram and Metrics table for linear regression models

Histogramvyn Fel kan hjälpa dig att förstå hur fel distribueras. Den tillhandahålls för följande modelltyper och innehåller en tabell med standardmått, till exempel RMSE (root mean squared error).

Följande regressionsmodeller genererar en tabell med standardmått, tillsammans med några anpassade mått:

Tips för att arbeta med data

Om du vill extrahera numren utan att kopiera och klistra in från användargränssnittet i Machine Learning Studio (klassisk) kan du använda det nya PowerShell-biblioteket för Machine Learning. Du kan hämta metadata och annan information för ett helt experiment eller från enskilda moduler.

Om du vill extrahera värden från en Evaluate Model-modul måste du lägga till en unik kommentar i modulen för enklare identifiering. Använd sedan cmdleten Download-AmlExperimentNodeOutput för att hämta måtten och deras värden från visualiseringen i JSON-format.

Mer information finns i Skapa maskininlärningsmodeller med hjälp av PowerShell.

Se även