Pradinio kliento mokėjimo prognozės modelio įvertinimas

Šiame straipsnyje paaiškinama, kaip įvertinti numatymo modelį, kai įjungiate finansų supratimą ir sugeneravote bei įjungėte pirmąjį modelį. Šiame straipsnyje adresai yra skirti kliento mokėjimų numatymo modeliams. Joje temoje aprašomi veiksmai, kuriuos galite atlikti, kad suprastumėte kliento mokėjimo prognozavimo modelį ir įvertintumėte jo efektyvumą.

Informacijos apie modelį gavimas

Finansų žinių parametrų puslapyje, skyriuje Microsoft Dynamics 365 finansai, prie tikslumo rezultato rodomas modelio tikslumo pageravimo saitas.

Šis saitas jums nusiųs AI Builder, kur galite daugiau sužinoti apie esamą modelį ir kaip jį patobulinti. Toliau pateiktame paveikslėlyje parodytas atidarytas puslapis.

Atidarytame puslapyje rodoma tolesnė informacija.

• Našumo skyriuje modelio našumo kategorija teikia modelio kokybės perspektyvą. Daugiau informacijos apie šią įvertinimą ieškokite dokumentacijoje žr. Numatymo modelio AI Builder našumą.

• Svarbiausiame duomenų skyriuje rodoma , kaip svarbūs jūsų modelio įvesties tipai. Galite įvertinti šį sąrašą ir atitinkamus procentus, norėdami nustatyti, ar informacija atitinka tai, ką žinote apie savo verslą ir rinką.

  

• Našumo skyriuje pasirinkite Peržiūrėti informaciją , kad sužinotumėte daugiau apie įvertinimą ir kitas aplinkybes. Toliau pateiktoje iliustracijoje pateikiama išsami informacija, kuri rodo, kad modelis naudoja mažiau informacijos, nei rekomenduotina. Todėl sistema sugeneravo įspėjamąjį pranešimą.

  

Išsamesnė informacija

Nors tikslumas yra tinkamas pradinis modelio vertinimo taškas, o našumo vertinimas teikia perspektyvą, AI Builder pateikiama išsamesnė metrika, kurią galite naudoti savo įvertinimui. Norėdami atsisiųsti išsamią informaciją, našumo skyriuje pasirinkite elipsės mygtuką ( ...),esantį šalia mygtuko Naudoti modelį, tada pasirinkite Atsisiųsti išsamią metriką .

Toliau pateiktame paveikslėlyje parodytas formatas, kuriuo galite atsisiųsti duomenis.

Norint giliau išanalizuoti rezultatus, geriausia pradėti peržiūrint metriką „Painiavos matrica“. Pavyzdžiui, čia pateikti duomenys, kurie rodomi šioje metrikoje ankstesnėje iliustracijoje.

{"name": "Confusion Matrix", "value": {"schema_type": "confusion_matrix", "schema_version": "1.0.0", "data": {"class_labels": ["0", "1", "2"], "matrix": [[71, 9, 21], [5, 0, 27], [2, 0, 45]]}}, "type": "dictionaryNumericalList", "isGlobalScore": false}

Šiuos duomenis galite išplėsti, kaip nurodyta toliau.

	Prognozuojama laiku	Prognozuojamas vėlavimas	Prognozuojamas žymus vėlavimas
Faktinis mokėjimas laiku	71	0	21
Faktinis vėluojantis mokėjimas	5	0	27
Faktinis žymiai vėluojantis mokėjimas	2	0	45

Painiavos matrica parodo atsitiktinai pasirinkto tikrinimo duomenų rinkinio rezultatus iš mokymo proceso. Kadangi šios uždarytos SF nebuvo naudojamos modeliui apmokyti, jos yra geri modelio tikrinimo atvejai. Be to, kadangi faktinė SF būsena yra žinoma, modelio našumas taip pat gali būti matomas.

Pirmiausia raskite dažniausią faktinę vertę. Nors ši vertė gali būti visiškai suderinta su bendruoju duomenų rinkiniu, tai pagrįstas apytikslis skaičius. Šiuo atveju faktinis mokėjimas laiku išrašytas 92 iš 171 bendrųjų SF ir yra dažniausia faktinė vertė. Todėl šis modelis yra geras. Jei ką tik atspėjote, kad visos SF bus laiku, būtumėte teisūs 92 iš 171 karto (t. y. 54 procentai).

Svarbu, kad suprastumėte, kaip jūsų duomenų rinkinys yra subalansuotas. Šiuo atveju 92 iš 171 SF buvo apmokėtos laiku, 32 apmokėtos pavėluotai, o 47 – labai pavėluotai. Šios vertės rodo pagrįstai subalansuotą duomenų rinkinį, nes kiekvienoje klasifikacijoje yra svarbių rezultatų. Jei vienoje iš padėčių yra vos keli rezultatai, tai mašininio mokymo modeliui gali būti sudėtinga.

Modelio tikslumas nurodo tikslių tikrinimo duomenų rinkinio prognozių skaičių. Šios tikslios prognozės yra vertės, kurios ankstesniame pavyzdyje rodomos paryškintuoju šriftu. Šiuo atveju apskaičiuotų verčių tikslumas yra 67,8 procento (= [71 + 0 + 45] ÷ 171). Ši vertė yra 14 procentų pagerėjimas virš bazinio 54 procentų spėjimo ir tai yra modelio kokybės rodiklis.

Jei atidžiau pažvelgsite į painiavos matricą, pastebėsite, kad modelis gerai nuspėja laiku atliekamus ir vėluojančius SF mokėjimus. Tačiau jis suklydo dėl visų 32 SF, kurios buvo faktiškai apmokėtos vėliau (bet ne žymiai vėliau). Šis rezultatas rodo, kad reikia papildomai modelį tikrinti ir tobulinti.

Skaičius, nurodantis modelio našumą geriau nei tikslumas, yra F1 makro rezultatas. Šis rezultatas įvertina kiekvienos klasifikacijos būsenos rezultatus (laiku, pavėluotai ir žymiai pavėluotai). Pavyzdžiui, čia pateikti duomenys, kurie rodomi F1 makro metrikoje ankstesnėje iliustracijoje.

{"name": "F1 Macro", "value": 0.4927170868347339, "type": "percentage", "isGlobalScore": false}

Šiuo atveju F1 makro rezultatas (maždaug 49,3 procento) nurodo, kad modelis nepateikia veiksmingų prognozių kiekvienoje būsenoje, nepaisant bendro tikslumo rezultato, kuris atrodo pakankamai aukštas.

Modelio tobulinimas

Geriau supratę savo pirmo modelio rezultatus, galbūt norėsite patobulinti modelį įtraukdami arba pašalindami funkcijų stulpelius arba filtruodami bet kurias duomenų rinkinio dalis, kurios nepalaiko tikslių prognozių. Norėdami AI Builder iš naujo paleisti procesą, uždarykite ir naudokite "Dynamics 365 Finance" saitą Pagerinti AI Builder modelį. Galite eksperimentuoti su skirtingomis charakteristikomis, nedarydami įtakos publikuotame modelyje. Publikuotas modelis paveiktas tik pasirinkus Publikuoti. Atsiminkite, kad jūsų "Dynamics 365 Finance" egzemplioriui naudojamas vienas modelis. Todėl prieš publikuodami turite kruopščiai patikrinti bet kokį naują modelį.

Daugiau informacijos

Daugiau informacijos apie tai, kaip įvertinti numatymo modelius, įrenginių mokymosi modelių rezultatus