Modell értékelése

Fontos

A (klasszikus) Machine Learning Studio támogatása 2024. augusztus 31-én megszűnik. Javasoljuk, hogy addig térjen át az Azure Machine Learning használatára.

2021. december 1-től kezdve nem fog tudni létrehozni új (klasszikus) Machine Learning Studio-erőforrásokat. 2024. augusztus 31-ig továbbra is használhatja a meglévő (klasszikus) Machine Learning Studio-erőforrásokat.

• A gépi tanulási projektek ML Studióból (klasszikus) Azure Machine Learning való áthelyezéséről olvashat.
• További információ a Azure Machine Learning.

A (klasszikus) ML Studio dokumentációjának kivezetése folyamatban van, és a jövőben nem várható a frissítése.

Egy besorolási vagy regressziós modell eredményeit értékeli standard metrikákkal

Kategória: Machine Learning / Értékelés

Megjegyzés

Csak a következőre vonatkozik: Machine Learning Studio (klasszikus)

Hasonló húzási modulok érhetők el Azure Machine Learning tervezőben.

A modul áttekintése

Ez a cikk bemutatja, hogyan használható a Modell kiértékelése modul a Machine Learning Studióban (klasszikus) egy betanított modell pontosságának mérésére. Megadhat egy adatkészletet, amely egy modellből generált pontszámokat tartalmaz, és a Modell kiértékelése modul iparági szabvány szerinti kiértékelési metrikák készletét számítja ki.

A Modell kiértékelése által visszaadott metrikák az kiértékelni kívánt modell típusától függenek:

• Besorolási modellek
• Regressziós modellek
• Fürtözési modellek

Javaslati modellekhez használja az Ajánló értékelése modult.

Tipp

Ha még csak most ismerkedik a modellértékeléssel, javasoljuk ezeket a mintákat az Azure AI-galériában, amely létrehoz egy modellt, majd ismerteti a kapcsolódó metrikák használatát:

• Regressziós modellek összehasonlítása
• Bináris osztályozók összehasonlítása
• Többosztályos osztályozók összehasonlítása

Az EdX gépi tanulási kurzusának részeként dr. Stephen Elston videósorozatát is ajánljuk.

A Modell kiértékelése funkció használata

A Modell kiértékelése modul háromféleképpen használható:

• Pontszámok létrehozása a betanítási adatok alapján, és a modell kiértékelése ezek alapján
• Pontszámok létrehozása a modellen, de összehasonlítja ezeket a pontszámokat egy fenntartott tesztelési csoportban lévő pontszámokkal
• Két különböző, de kapcsolódó modell pontszámainak összehasonlítása ugyanazon adatkészlet használatával

A betanítási adatok használata

A modell kiértékeléséhez össze kell kapcsolnia egy adatkészletet, amely bemeneti oszlopok és pontszámok készletét tartalmazza. Ha nem áll rendelkezésre más adat, használhatja az eredeti adatkészletet.

1. Csatlakozás a Score Modelscored datset kimenetét az Evaluate Model bemenetére.
2. Kattintson a Modell kiértékelése modulra, és válassza a Kiválasztott futtatás lehetőséget a kiértékelési pontszámok létrehozásához.

Tesztelési adatok használata

A gépi tanulás egyik gyakori forgatókönyve, hogy az eredeti adatkészletet betanítási és tesztelési adatkészletekre bontja a Split modul vagy a Partíció és minta modul használatával.

1. Csatlakozás a Score Modelpontozott adathalmaz kimenetét az Evaluate Model bemenetére.
2. Csatlakozás a tesztelési adatokat tartalmazó Split Data modul kimenetét a Modell kiértékelése jobb oldali bemenetére.
3. Kattintson a Modell kiértékelése modulra, és válassza a Kiválasztott futtatás lehetőséget a kiértékelési pontszámok létrehozásához.

Két modell pontszámainak összehasonlítása

Egy második pontszámkészletet is csatlakoztathat a modell kiértékeléséhez. A pontszámok lehetnek olyan megosztott kiértékelési csoportok, amelyek ismert eredményekkel, vagy ugyanazon adatok egy másik modelljének eredményei.

Ez a funkció azért hasznos, mert ugyanazon adatok két különböző modelljének eredményeit egyszerűen összehasonlíthatja. Vagy összehasonlíthatja két különböző futtatás pontszámait ugyanazon adatokon, különböző paraméterekkel.

1. Csatlakozás a Score Modelscored datset kimenetét az Evaluate Model bemenetére.
2. Csatlakozás a második modell Modell pontozása moduljának kimenetét a Modell kiértékelése modul jobb oldali bemenetére.
3. Kattintson a jobb gombbal a Modell kiértékelése elemre, és válassza a Kiválasztott futtatás lehetőséget a kiértékelési pontszámok létrehozásához.

Results (Eredmények)

A Modell kiértékelése parancs futtatása után kattintson a jobb gombbal a modulra, és válassza a Kiértékelési eredmények lehetőséget az eredmények megtekintéséhez. A következőket teheti:

• Az eredmények mentése adathalmazként, más eszközökkel végzett könnyebb elemzés érdekében
• Vizualizáció létrehozása a Studio (klasszikus) felületén

Ha az adathalmazokat a Kiértékelési modell mindkét bemenetéhez csatlakoztatja, az eredmények mindkét adatkészlethez vagy mindkét modellhez tartalmaznak metrikákat. A bal oldali porthoz csatolt modell vagy adatok először a jelentésben jelennek meg, majd a jobb porton csatolt adatkészlet vagy modell metrikái.

Az alábbi képen például két, ugyanazon adatokra épülő, de különböző paraméterekkel rendelkező fürtözési modell eredményeinek összehasonlítása látható.

Mivel ez egy fürtözési modell, a kiértékelési eredmények eltérnek attól, mint ha két regressziós modell pontszámait hasonlította össze, vagy két besorolási modellt hasonlított össze. Az általános bemutató azonban megegyezik.

Mérőszámok

Ez a szakasz a Modell kiértékelése funkcióval támogatott modellek adott típusaihoz visszaadott metrikákat ismerteti:

• besorolási modellek
• regressziós modellek
• fürtözési modellek

Osztályozási modellek metrikái

A besorolási modellek kiértékelésekor a következő metrikák jelennek meg. Ha összehasonlítja a modelleket, azok a kiértékeléshez kiválasztott metrika szerint vannak rangsorolva.

• A pontosság a besorolási modell jóságát méri a valós eredmények arányaként az összes esethez.

• A pontosság az összes pozitív eredményhez viszonyított valós eredmények aránya.

• A visszahívás a modell által visszaadott összes helyes eredmény törtrésze.

• Az F-pontszám kiszámítása a pontosság súlyozott átlagaként történik, és a visszahívás 0 és 1 között történik, ahol az ideális F-pontszám értéke 1.

• Az AUC az y tengelyen valós pozitív értékekkel ábrázolt görbe alatti területet, az x tengelyen pedig hamis pozitív értékeket mér. Ez a metrika azért hasznos, mert egyetlen számot biztosít, amely lehetővé teszi a különböző típusú modellek összehasonlítását.

• Az átlagos naplóvesztés egyetlen pontszám, amely a helytelen eredmények büntetésének kifejezésére szolgál. Ez a két valószínűségi eloszlás különbségeként számítható ki : a valódi és a modellben lévő eloszlás különbségeként.

• A betanítási naplók elvesztése egyetlen pontszám, amely az osztályozó előnyét jelenti egy véletlenszerű előrejelzéssel szemben. A naplóvesztés a modell bizonytalanságát méri a címkékben szereplő ismert értékekkel (alapértékekkel) összehasonlítva. Minimálisra szeretné csökkenteni a teljes modell naplóvesztését.

Regressziós modellek metrikái

A regressziós modellekhez visszaadott metrikák általában a hiba mennyiségének becslésére szolgálnak. A modell jól illeszkedik az adatokhoz, ha a megfigyelt és az előrejelzett értékek közötti különbség kicsi. A reziduálisok mintázatának (bármely előrejelzett pont és a hozzá tartozó tényleges érték közötti különbség) megvizsgálása azonban sokat elárulhat a modell lehetséges torzításairól.

A regressziós modellek kiértékeléséhez a következő metrikákat jelenti a rendszer. A modellek összehasonlításakor a kiértékeléshez kiválasztott metrika alapján rangsorolja őket.

• A negatív naplók valószínűsége a veszteségfüggvényt méri, az alacsonyabb pontszám jobb. Vegye figyelembe, hogy ez a metrika csak a Bayes-féle lineáris regresszióhoz és a döntési erdő regressziójához van kiszámítva; más algoritmusok esetében az érték semmit Infinity sem jelent.

• Az átlagos abszolút hiba (MAE) azt méri, hogy az előrejelzések mennyire közel állnak a tényleges eredményekhez; így az alacsonyabb pontszám jobb.

• A gyökér középértéke négyzetes hiba (RMSE) egyetlen értéket hoz létre, amely összegzi a modellben szereplő hibát. A különbség guggolásával a metrika figyelmen kívül hagyja a túl- és az alul-előrejelzés közötti különbséget.

• A relatív abszolút hiba (RAE) a várt és a tényleges értékek közötti relatív abszolút különbség; relatív, mert a középkülönbség el van osztva az aritmetikai középértékel.

• A relatív négyzetes hiba (RSE) hasonlóképpen normalizálja az előrejelzett értékek teljes négyzetes hibáját úgy, hogy elosztja a tényleges értékek teljes négyzetes hibájával.

• Az Egy átlagos nulla hiba (MZOE) azt jelzi, hogy az előrejelzés helyes volt-e vagy sem. Más szóval: ZeroOneLoss(x,y) = 1 ha x!=y; egyébként 0.

• Az R^2-nek is nevezett meghatározási együttható a modell prediktív erejét jelöli 0 és 1 közötti értékként. A nulla azt jelenti, hogy a modell véletlenszerű (nem magyaráz semmit); 1 azt jelenti, van egy tökéletes illeszkedés. Az R² értékek értelmezésekor azonban körültekintően kell eljárni, mivel az alacsony értékek teljesen normálisak lehetnek, és a magas értékek gyanúsak lehetnek.

Metrikák fürtözési modellekhez

Mivel a fürtözési modellek sok szempontból jelentősen eltérnek a besorolási és regressziós modellektől, a Modell kiértékelése a fürtözési modellek más statisztikáit is visszaadja.

A fürtözési modellhez visszaadott statisztikák azt írják le, hogy hány adatpont lett hozzárendelve az egyes fürtökhöz, a fürtök közötti elkülönítés mértékét, valamint azt, hogy az adatpontok milyen szorosan vannak csoportosítva az egyes fürtökön belül.

A fürtözési modell statisztikáinak átlagolása a teljes adathalmazra vetítve, a fürtönkénti statisztikákat tartalmazó további sorokkal együtt.

Az alábbi eredmények például egy mintakísérlet eredményeinek egy részét mutatják, amely az adatokat a (klasszikus) Machine Learning Studióban elérhető PIMA Indian Diabetes Binary Classification adatkészletben csoportosítja.

Eredmény leírása	Fürtközpont átlagos távolsága	Az egyéb középponttól való átlagos távolság	Pontok száma	Maximális távolság a fürtközponttól
Kombinált kiértékelés	55.915068	169.897505	538	303.545166
A.0-s fürt kiértékelése	0	1	570	0
Az 1. fürt kiértékelése	0	1	178	0
A 2. fürt kiértékelése	0	1	178	0

Ezekből az eredményekből a következő információkat kapja:

• A Takarítási fürtszolgáltatás modul több fürtözési modellt hoz létre, a pontosság sorrendjében felsorolva. Az egyszerűség kedvéért itt csak a legjobban rangsorolt modellt mutattuk be. A modellek mérése az összes lehetséges metrikával történik, de a modellek rangsorolása a megadott metrika használatával történik. Ha módosította a metrikát, előfordulhat, hogy egy másik modell magasabb rangsorban van.

• Az eredmények egyes szakaszainak tetején található kombinált kiértékelési pontszám az adott modellben létrehozott fürtök átlagolt pontszámait sorolja fel.

  Ez a rangsorolt modell három fürtöt hoz létre; más modellek két vagy négy fürtöt hozhatnak létre. Ezért ez a kombinált értékelési pontszám segít a különböző számú fürthöz tartozó modellek összehasonlításában.

• A Fürtközponttól való átlagos távolság oszlopban lévő pontszámok a fürt összes pontjának a fürt centroidja felé való közelségét jelölik.

• Az " Átlagos távolság az egyéb központtól" oszlop pontszámai azt jelzik, hogy a fürt egyes pontjai átlagosan milyen közel vannak az összes többi fürt centroidjaihoz.

  A távolság méréséhez négy metrika bármelyikét kiválaszthatja, de minden mérésnek ugyanazt a metrikát kell használnia.

• A Pontok száma oszlop azt mutatja, hogy hány adatpont lett hozzárendelve az egyes fürtökhöz, valamint az összes fürtben lévő adatpontok teljes száma.

  Ha a fürtökhöz rendelt adatpontok száma kisebb, mint a rendelkezésre álló adatpontok teljes száma, az azt jelenti, hogy az adatpontok nem rendelhetők hozzá egy fürthöz.

• A Fürtközponttól való maximális távolság oszlopban lévő pontszámok az egyes pontok és az adott pont fürtjének centroidja közötti távolságok összegét jelölik.

  Ha ez a szám magas, az azt jelentheti, hogy a fürt széles körben el van szórva. A fürt eloszlásának meghatározásához tekintse át ezt a statisztikát a Fürtközponttól való átlagos távolságtal együtt.

Példák

A kiértékelési metrikák létrehozására, megjelenítésére és értelmezésére vonatkozó példákért tekintse meg ezeket a mintakísérleteket az Azure AI-galériában. Ezek a kísérletek bemutatják, hogyan hozhat létre több modellt, és hogyan határozhatja meg, hogy melyik modell a legjobb.

• Bináris osztályozók összehasonlítása: Ismerteti, hogyan hasonlítható össze az azonos adatokkal létrehozott különböző osztályozók teljesítménye.

• Többosztályos osztályozók összehasonlítása: Bemutatja, hogyan hasonlítható össze a betűfelismerő adatkészletre épülő különböző besorolási modellek pontossága.

• Regresszorok összehasonlítása: Végigvezeti a különböző regressziós modellek kiértékelésének folyamatán.

• Igénybecslés: Megtudhatja, hogyan kombinálhatja több modell kiértékelési metrikáit.

• Ügyfélkapcsolat-előrejelzés: Több kapcsolódó modell kiértékelését mutatja be.

Várt bemenetek

Név	Típus	Description
Pontozott adatkészlet	Adattábla	Pontozott adatkészlet
Összehasonlítandó pontozott adatkészlet	Adattábla	Összehasonlítandó pontozott adatkészlet (nem kötelező)

Kimenetek

Név	Típus	Description
A kiértékelés eredménye	Adattábla	Adatértékelés eredménye

Kivételek

Kivétel	Description
0003-os hiba	Kivétel akkor fordul elő, ha egy vagy több bemenet null értékű vagy üres.
0013-ás hiba	Kivétel akkor fordul elő, ha a modultanulónak átadott típus érvénytelen.
0020-ás hiba	Kivétel akkor fordul elő, ha a modulnak átadott adathalmazok némelyikében túl kicsi az oszlopok száma.
0021-s hiba	Kivétel akkor fordul elő, ha a modulnak átadott adathalmazok egy részének sorainak száma túl kicsi.
0024-s hiba	Kivétel akkor fordul elő, ha az adathalmaz nem tartalmaz címkeoszlopot.
0025-ös hiba	Kivétel akkor fordul elő, ha az adathalmaz nem tartalmaz pontszámoszlopot.

Lásd még

Modell keresztellenőrzése
Ajánló értékelése
Értékelés
Relevanciamodell