Machine Learning – vyhodnocení

  • Článek

Důležité

Podpora studia Machine Learning (Classic) skončí 31. srpna 2024. Doporučujeme do tohoto data přejít na službu Azure Machine Learning.

Od 1. prosince 2021 nebude možné vytvářet nové prostředky studia Machine Learning (Classic). Do 31. srpna 2024 můžete pokračovat v používání stávajících prostředků studia Machine Learning (Classic).

Dokumentace ke studiu ML (Classic) se vyřazuje z provozu a v budoucnu se nemusí aktualizovat.

Tento článek popisuje moduly v Machine Learning Studiu (classic), které můžete použít k vyhodnocení modelu strojového učení. Vyhodnocení modelu se provádí po dokončení trénování, aby se změřila přesnost předpovědí a posouzení přizpůsobení modelu.

Poznámka

Platí pro: pouze Machine Learning Studio (classic)

Podobné moduly pro přetažení jsou dostupné v návrháři Azure Machine Learning.

Tento článek také popisuje celkový proces v Machine Learning Studiu (classic) pro vytváření modelů, trénování, vyhodnocení a vyhodnocování.

Vytváření a používání modelů strojového učení v Machine Learning Studiu (classic)

Typický pracovní postup pro strojové učení zahrnuje tyto fáze:

  1. Zvolte vhodný algoritmus a nastavte počáteční možnosti.
  2. Trénování modelu pomocí kompatibilních dat
  3. Vytvářejte předpovědi pomocí nových dat založených na vzorech v modelu.
  4. Vyhodnoťte model, abyste zjistili, jestli jsou předpovědi přesné, množství chyby a jestli dojde k přeurčení.

Machine Learning Studio (classic) podporuje flexibilní přizpůsobitelnou architekturu pro strojové učení. Každý úkol v tomto procesu se provádí určitým typem modulu. Modul je možné upravit, přidat nebo odebrat, aniž byste přerušili zbytek experimentu.

K vyhodnocení existujícího modelu použijte moduly v této kategorii. Vyhodnocení modelu obvykle vyžaduje určitou datovou sadu výsledků. Pokud datovou sadu vyhodnocení nemáte, můžete výsledky vygenerovat vyhodnocením. Můžete také použít testovací datovou sadu nebo jinou sadu dat, která obsahují "základní pravdu" nebo známé očekávané výsledky.

Další informace o vyhodnocení modelu

Obecně platí, že při vyhodnocování modelu závisí vaše možnosti na typu modelu, který vyhodnocujete, a na metrikě, kterou chcete použít. Tato témata uvádějí některé z nejčastěji používaných metrik:

Machine Learning Studio (classic) také nabízí celou řadu vizualizací v závislosti na typu používaného modelu a počtu tříd, které model předpovídá. Nápovědu k vyhledání těchto vizualizací najdete v tématu Zobrazení metrik vyhodnocení.

Interpretace těchto statistik často vyžaduje větší pochopení konkrétního algoritmu, na kterém byl model natrénován. Dobré vysvětlení, jak vyhodnotit model a jak interpretovat hodnoty vrácené pro každou míru, najdete v tématu Jak vyhodnotit výkon modelu v Machine Learning.

Seznam modulů

Kategorie Machine Learning – Vyhodnocení obsahuje následující moduly:

  • Křížové ověření modelu: Křížové ověření odhady parametrů pro klasifikační nebo regresní modely rozdělením dat.

    Pokud chcete otestovat platnost trénovací sady a modelu, použijte modul Křížové ověření modelu . Křížové ověření rozdělí data na přeložení a pak otestuje více modelů na kombinacích překládání.

  • Vyhodnocení modelu: Vyhodnotí klasifikační nebo regresní model pomocí standardních metrik.

    Ve většině případů použijete obecný modul Vyhodnotit model . To platí hlavně v případě, že váš model vychází z některého z podporovaných klasifikačních nebo regresních algoritmů.

  • Doporučovací nástroj pro vyhodnocení: Vyhodnotí přesnost predikcí doporučovacího modelu.

    V případě modelů doporučení použijte modul Vyhodnotit doporučovací modul.

  • Pro modely clusteringu použijte modul Přiřadit data ke clusterům . Potom pomocí vizualizací v tomto modulu zobrazte výsledky vyhodnocení.
  • Můžete vytvořit vlastní metriky vyhodnocení. Pokud chcete vytvořit vlastní metriky vyhodnocení, zadejte kód jazyka R v modulu Spustit skript jazyka R nebo kód Pythonu v modulu Spustit skript Pythonu . Tato možnost je praktická, pokud chcete použít metriky publikované jako součást opensourcových knihoven nebo pokud chcete navrhnout vlastní metriku pro měření přesnosti modelu.

Příklady

Interpretace výsledků vyhodnocení modelu strojového učení je umění. Kromě dat a obchodních problémů vyžaduje pochopení matematických výsledků. Projděte si tyto články s vysvětlením, jak interpretovat výsledky v různých scénářích:

Technické poznámky

Tato část obsahuje podrobnosti o implementaci, tipy a odpovědi na nejčastější dotazy.

Zobrazení metrik vyhodnocení

Zjistěte, kde hledat v Machine Learning Studiu (klasické) a najít grafy metrik pro každý typ modelu.

Dvoutřídní klasifikační modely

Výchozí zobrazení pro modely binární klasifikace zahrnuje interaktivní graf ROC a tabulku hodnot pro hlavní metriky.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

Máte dvě možnosti zobrazení modelů binární klasifikace:

  • Klikněte pravým tlačítkem na výstup modulu a pak vyberte Vizualizovat.
  • Klikněte pravým tlačítkem na modul, vyberte Výsledky vyhodnocení a pak vyberte Vizualizovat.

Pomocí posuvníku můžete také změnit hodnotu prahové hodnoty pravděpodobnosti. Prahová hodnota určuje, jestli má být výsledek přijat jako true nebo ne. Pak můžete vidět, jak se tyto hodnoty mění.

Modely klasifikace s více třídami

Výchozí zobrazení metrik pro modely s více třídami klasifikace zahrnuje konfuzní matici pro všechny třídy a sadu metrik pro model jako celek.

Máte dvě možnosti zobrazení modelů klasifikace s více třídami:

  • Klikněte pravým tlačítkem na výstup modulu a pak vyberte Vizualizovat.
  • Klikněte pravým tlačítkem na modul, vyberte Výsledky vyhodnocení a pak vyberte Vizualizovat.

Pro zjednodušení jsou zde dva výsledky, které jsou zobrazeny vedle sebe:

Metrics table and Confusion Matrix for multiclass classification models

Regresní modely

Zobrazení metrik pro regresní modely se liší v závislosti na typu modelu, který jste vytvořili. Zobrazení metrik vychází z rozhraní podkladových algoritmů a nejvhodnější pro metriky modelu.

Máte dvě možnosti zobrazení regresních modelů:

  • Pokud chcete zobrazit metriky přesnosti v tabulce, klikněte pravým tlačítkem myši na výstup modulu Vyhodnotit model a pak vyberte Vizualizovat.
  • Pokud chcete zobrazit histogram chyby s hodnotami, klikněte pravým tlačítkem myši na modul, vyberte Výsledky vyhodnocení a pak vyberte Vizualizovat.

Error Histogram and Metrics table for linear regression models

Zobrazení Histogramu chyb vám pomůže pochopit, jak se chyba distribuuje. Poskytuje se pro následující typy modelů a obsahuje tabulku výchozích metrik, jako je například základní střední kvadratická chyba (RMSE).

Následující regresní modely generují tabulku výchozích metrik spolu s některými vlastními metrikami:

Tipy pro práci s daty

Pokud chcete extrahovat čísla bez kopírování a vkládání z uživatelského rozhraní Machine Learning Studio (classic), můžete pro Machine Learning použít novou knihovnu PowerShellu. Můžete získat metadata a další informace pro celý experiment nebo z jednotlivých modulů.

Pokud chcete extrahovat hodnoty z modulu Vyhodnocovat model , musíte do modulu přidat jedinečný komentář, abyste mohli snadněji identifikovat. Pak pomocí rutiny Download-AmlExperimentNodeOutput získejte metriky a jejich hodnoty z vizualizace ve formátu JSON.

Další informace najdete v tématu Vytváření modelů strojového učení pomocí PowerShellu.

Viz také