Machine Learning – Értékelés
Fontos
A (klasszikus) Machine Learning Studio támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy addig térjen át az Azure Machine Learning használatára.
2021. december 1-től kezdve nem fog tudni létrehozni új (klasszikus) Machine Learning Studio-erőforrásokat. 2024. augusztus 31-ig továbbra is használhatja a meglévő (klasszikus) Machine Learning Studio-erőforrásokat.
- A gépi tanulási projektek ML Studióból (klasszikus) Azure Machine Learning való áthelyezéséről olvashat.
- További információ a Azure Machine Learning.
A (klasszikus) ML Studio dokumentációjának kivezetése folyamatban van, és a jövőben nem várható a frissítése.
Ez a cikk a Machine Learning Studio (klasszikus) azon moduljait ismerteti, amelyekkel kiértékelheti a gépi tanulási modelleket. A modell kiértékelése a betanítás befejezése után történik az előrejelzések pontosságának méréséhez és a modell illeszkedésének felméréséhez.
Megjegyzés
Csak a következőre vonatkozik: Machine Learning Studio (klasszikus)
Hasonló húzási modulok érhetők el Azure Machine Learning tervezőben.
Ez a cikk a Machine Learning Studio (klasszikus) modelllétrehozás, betanítás, értékelés és pontozás általános folyamatát is ismerteti.
Gépi tanulási modellek létrehozása és használata a Machine Learning Studióban (klasszikus)
A gépi tanulás tipikus munkafolyamata az alábbi fázisokat tartalmazza:
- Válasszon egy megfelelő algoritmust, és adja meg a kezdeti beállításokat.
- A modell betanítása kompatibilis adatokkal.
- Előrejelzéseket hozhat létre a modell mintáin alapuló új adatok használatával.
- Értékelje ki a modellt annak megállapításához, hogy az előrejelzések pontosak-e, mekkora a hiba mennyisége, és hogy előfordul-e túlillesztés.
Machine Learning Studio (klasszikus) támogatja a gépi tanulás rugalmas, testre szabható keretrendszerét. A folyamat minden feladatát egy adott modultípus hajtja végre. A modul a kísérlet többi részének megszakítása nélkül módosítható, hozzáadható vagy eltávolítható.
A kategória moduljaival kiértékelhet egy meglévő modellt. A modell kiértékeléséhez általában valamilyen eredményadatkészletre van szükség. Ha nincs kiértékelési adatkészlete, pontozással hozhat létre eredményeket. Használhat tesztadatkészletet vagy más olyan adatkészletet is, amely "alapigazságot" vagy ismert várt eredményeket tartalmaz.
További információ a modellértékelésről
Általánosságban elmondható, hogy egy modell kiértékelésekor a lehetőségek az értékelni kívánt modell típusától és a használni kívánt metrikától függnek. Ezek a témakörök felsorolnak néhányat a leggyakrabban használt metrikák közül:
Machine Learning Studio (klasszikus) emellett számos különböző vizualizációt biztosít a használt modell típusától és a modell által előrejelzett osztályok számától függően. A vizualizációk megkereséséhez a kiértékelési metrikák megtekintése című témakörben talál segítséget.
Ezeknek a statisztikáknak a értelmezése gyakran megköveteli annak az algoritmusnak a jobb megértését, amelyre a modellt betanította. A modellek kiértékelésének és az egyes mértékek visszaadott értékeinek értelmezéséhez tekintse meg a modell teljesítményének kiértékelése Machine Learning című témakört.
Modulok listája
A Machine Learning – Értékelés kategória a következő modulokat tartalmazza:
Keresztérvényesítési modell: A besorolási vagy regressziós modellek paraméterbecsléseinek keresztellenőrzése az adatok particionálásával.
Ha tesztelni szeretné a betanítási készlet és a modell érvényességét, használja a Modell keresztellenőrzése modult. A keresztérvényesítés az adatokat hajtogatásokra particionálja, majd több modellt tesztel a hajtások kombinációján.
Modell kiértékelése: Pontozott besorolási vagy regressziós modellt értékel ki standard metrikák használatával.
A legtöbb esetben az általános Modell kiértékelése modult fogja használni. Ez különösen igaz, ha a modell a támogatott besorolási vagy regressziós algoritmusok egyikén alapul.
Ajánló kiértékelése: Kiértékeli az ajánlómodell-előrejelzések pontosságát.
Javaslati modellekhez használja az Ajánló értékelése modult.
Kapcsolódó tevékenységek
- Fürtözési modellekhez használja az Adatok hozzárendelése fürtökhöz modult. Ezután a modul vizualizációival megtekintheti a kiértékelési eredményeket.
- Egyéni kiértékelési metrikákat is létrehozhat. Egyéni kiértékelési metrikák létrehozásához adja meg az R-kódot az R-szkript végrehajtása modulban, vagy Python kódot az Execute Python Script modulban. Ez a lehetőség akkor hasznos, ha nyílt forráskódú kódtárak részeként közzétett metrikákat szeretne használni, vagy ha saját metrikát szeretne megtervezni a modell pontosságának mérésére.
Példák
A gépi tanulási modell kiértékelésének eredményeinek értelmezése művészet. Ehhez az adatokon és az üzleti problémákon kívül ismernie kell a matematikai eredményeket is. Javasoljuk, hogy tekintse át ezeket a cikkeket a különböző forgatókönyvek eredményeinek értelmezéséhez:
- Paraméterek kiválasztása az algoritmusok optimalizálásához a Machine Learning
- Modelleredmények értelmezése Machine Learning
- Modell teljesítményének kiértékelése Machine Learning
Technikai megjegyzések
Ez a szakasz a megvalósítás részleteit, a tippeket és a gyakori kérdésekre adott válaszokat tartalmazza.
Kiértékelési metrikák megtekintése
Megtudhatja, hol keresheti meg a Machine Learning Studióban (klasszikus) az egyes modelltípusok metrikadiagramjait.
Kétosztályos besorolási modellek
A bináris besorolási modellek alapértelmezett nézete egy interaktív ROC-diagramot és egy értéktáblázatot tartalmaz a fő metrikákhoz.
Két lehetősége van a bináris besorolási modellek megtekintésére:
- Kattintson a jobb gombbal a modul kimenetére, majd válassza a Vizualizáció lehetőséget.
- Kattintson a jobb gombbal a modulra, válassza a Kiértékelési eredmények lehetőséget, majd válassza a Vizualizáció lehetőséget.
A csúszkával a valószínűségi küszöbértéket is módosíthatja. A küszöbérték azt határozza meg, hogy az eredményt igazként kell-e elfogadni. Ezután láthatja, hogyan változnak ezek az értékek.
Többosztályos besorolási modellek
A többosztályos besorolási modellek alapértelmezett metrikák nézete tartalmaz egy keveredési mátrixot az összes osztályhoz és a modell egészéhez tartozó metrikák készletét.
Két lehetőség közül választhat a többosztályos besorolási modellek megtekintésére:
- Kattintson a jobb gombbal a modul kimenetére, majd válassza a Vizualizáció lehetőséget.
- Kattintson a jobb gombbal a modulra, válassza a Kiértékelési eredmények lehetőséget, majd válassza a Vizualizáció lehetőséget.
Az egyszerűség kedvéért az alábbi két eredmény látható egymás mellett:
Regressziós modellek
A regressziós modellek metrikák nézete a létrehozott modell típusától függően változik. A metrikanézet az alapul szolgáló algoritmusfelületeken és a modellmetrikákhoz leginkább illően alapul.
A regressziós modellek megtekintésére két lehetősége van:
- A tábla pontossági metrikáinak megtekintéséhez kattintson a jobb gombbal a Modell kiértékelése modul kimenetére, majd válassza a Vizualizáció lehetőséget.
- Ha az értékeket tartalmazó hiba hisztogramot szeretné megtekinteni, kattintson a jobb gombbal a modulra, válassza a Kiértékelési eredmények lehetőséget, majd válassza a Vizualizáció lehetőséget.
A Hiba hisztogram nézet segít megérteni a hiba terjesztésének módját. A következő modelltípusokhoz van megadva, és tartalmaz egy alapértelmezett metrikákat tartalmazó táblázatot, például a gyökér középértéke négyzetes hibát (RMSE).
A következő regressziós modellek létrehoznak egy alapértelmezett metrikákat tartalmazó táblát, valamint néhány egyéni metrikát:
- Bayes-féle lineáris regresszió
- Döntési erdő típusú regresszió
- Gyors erdő típusú kvantilis regresszió
- Sorszám-regresszió
Tippek az adatok kezeléséhez
Ha a számokat a Machine Learning Studio (klasszikus) felhasználói felületéről történő másolás és beillesztés nélkül szeretné kinyerni, használhatja az új PowerShell-kódtárat Machine Learning. Egy teljes kísérlet metaadatait és egyéb adatait, illetve az egyes modulokból is lekérheti.
Ha értékeket szeretne kinyerni egy Modell kiértékelése modulból, a könnyebb azonosítás érdekében hozzá kell adnia egy egyedi megjegyzést a modulhoz. Ezután a Download-AmlExperimentNodeOutput parancsmaggal kérje le a metrikákat és azok értékeit a vizualizációból JSON formátumban.
További információ: Gépi tanulási modellek létrehozása a PowerShell használatával.