Offline értékelés

  • Cikk

Fontos

2023. szeptember 20-tól nem hozhat létre új Personalizer-erőforrásokat. A Personalizer szolgáltatás 2026. október 1-jén megszűnik.

Az offline kiértékelés egy olyan módszer, amellyel anélkül tesztelheti és értékelheti a Personalizer szolgáltatás hatékonyságát, hogy módosítaná a kódot, vagy befolyásolná a felhasználói élményt. Az offline értékelés az alkalmazásból a Rank és Reward API-knak küldött múltbeli adatokat használja a különböző rangsorok teljesítményének összehasonlításához.

Az offline kiértékelés egy dátumtartományon történik. A tartomány az aktuális időponttól kezdve befejeződhet. A tartomány kezdete nem lehet több, mint az adatmegőrzéshez megadott napok száma.

Az offline kiértékelés segíthet megválaszolni a következő kérdéseket:

  • Mennyire hatékony a Personalizer a sikeres személyre szabás érdekében?
    • Milyen átlagos jutalmakat ér el a Personalizer online gépi tanulási szabályzata?
    • Hogyan hasonlítja össze a Personalizer az alkalmazás által alapértelmezés szerint végrehajtott művelet hatékonyságát?
    • Mi lett volna a személyre szabás véletlenszerű választásának összehasonlító hatékonysága?
    • Mi lett volna a különböző tanulási szabályzatok manuálisan meghatározott összehasonlító hatékonysága?
  • A környezet mely funkciói járulnak hozzá többé-kevésbé a sikeres személyre szabáshoz?
  • A műveletek mely funkciói járulnak hozzá többé-kevésbé a sikeres személyre szabáshoz?

Emellett az offline kiértékeléssel optimalizáltabb tanulási szabályzatokat fedezhet fel, amelyekkel a Personalizer a jövőben javíthatja az eredményeket.

Az offline értékelések nem nyújtanak útmutatást a feltáráshoz használandó események százalékos arányáról.

Az offline kiértékelés előfeltételei

A reprezentatív offline értékeléshez fontos szempontok a következők:

  • Elegendő adat áll rendelkezésére. A javasolt minimum legalább 50 000 esemény.
  • Gyűjtsön adatokat reprezentatív felhasználói viselkedéssel és forgalommal rendelkező időszakokból.

Az optimalizált tanulási szabályzat felfedezése

A Personalizer az offline kiértékelési folyamattal automatikusan felfedezhet egy optimálisabb tanulási szabályzatot.

Az offline értékelés elvégzése után láthatja a Personalizer összehasonlító hatékonyságát az új szabályzattal szemben az aktuális online szabályzattal. Ezután alkalmazhatja ezt a tanulási szabályzatot, hogy azonnal hatékonyan használható legyen a Personalizerben. Ehhez töltse le és töltse fel a Modellek és szabályzat panelre. A jövőbeli elemzéshez vagy használathoz is letöltheti.

Az értékelésben szereplő aktuális szabályzatok:

Tanulás beállítások Purpose
Online szabályzat A Personalizerben használt jelenlegi Tanulás szabályzat
Alapvonal Az alkalmazás alapértelmezett értéke (a rangsorolásos hívásokban küldött első művelet határozza meg)
Véletlenszerű szabályzat Képzeletbeli rangsorolás, amely mindig véletlenszerűen választja ki a megadott műveletek közül.
Egyéni házirendek A kiértékelés indításakor feltöltött további Tanulás szabályzatok.
Optimalizált szabályzat Ha a kiértékelés egy optimalizált szabályzat felderítésének lehetőségével kezdődött, akkor azt is összehasonlítjuk, és letöltheti vagy online tanulási szabályzatként használhatja, lecserélve az aktuálisat.

Az offline kiértékelési eredmények relevanciájának megértése

Offline értékelés futtatásakor nagyon fontos elemezni az eredmények megbízhatósági határait . Ha szélesek, az azt jelenti, hogy az alkalmazás nem kapott elegendő adatot ahhoz, hogy a jutalombecslések pontosak vagy jelentősek legyenek. Mivel a rendszer több adatot halmoz fel, és hosszabb időszakokon keresztül offline értékeléseket futtat, a megbízhatósági intervallumok egyre szűkebbek lesznek.

Offline értékelések elvégzése

Az offline kiértékelések az Ellenfaktuális értékelés nevű módszerrel végezhetők el.

A Personalizer arra a feltételezésre épül, hogy a felhasználók viselkedését (és így a jutalmakat) nem lehet visszamenőlegesen előrejelezni (a Personalizer nem tudja, mi történt volna, ha a felhasználó másként jelenik meg, mint amit látott), és csak a mért jutalmakból tanul.

Ez a kiértékeléshez használt fogalmi folyamat:

[For a given _learning policy), such as the online learning policy, uploaded learning policies, or optimized candidate policies]:
{
    Initialize a virtual instance of Personalizer with that policy and a blank model;

    [For every chronological event in the logs]
    {
        - Perform a Rank call

        - Compare the reward of the results against the logged user behavior.
            - If they match, train the model on the observed reward in the logs.
            - If they don't match, then what the user would have done is unknown, so the event is discarded and not used for training or measurement.

    }

    Add up the rewards and statistics that were predicted, do some aggregation to aid visualizations, and save the results.
}

Az offline kiértékelés csak megfigyelt felhasználói viselkedést használ. Ez a folyamat nagy mennyiségű adatot elvet, különösen akkor, ha az alkalmazás nagy számú művelettel végez ranghívásokat.

Funkciók kiértékelése

Az offline értékelések információt nyújthatnak arról, hogy a műveletek vagy környezetek adott funkcióinak mekkora része mérlegeli a magasabb jutalmakat. Az információk kiszámítása az adott időszak és adatok kiértékelése alapján történik, és az idő függvényében változhat.

Javasoljuk, hogy vizsgálja meg a funkcióértékeléseket, és kérje a következőket:

  • Milyen egyéb, további funkciókat biztosíthat az alkalmazás vagy a rendszer a hatékonyabb funkciók mentén?
  • Milyen funkciók távolíthatók el az alacsony hatékonyság miatt? Az alacsony hatékonyságú funkciók zajt adnak a gépi tanuláshoz.
  • Vannak olyan funkciók, amelyek véletlenül szerepelnek benne? Ilyenek például a felhasználó által azonosítható adatok, duplikált azonosítók stb.
  • Vannak olyan nemkívánatos funkciók, amelyeket nem érdemes a szabályozási vagy felelősségteljes használat szempontjai miatt személyre szabni? Vannak olyan funkciók, amelyek a proxy (azaz szorosan tükrözik vagy korrelálnak) nemkívánatos funkciók?

Következő lépések

A Personalizeroffline futtatási kiértékeléseinek konfigurálása A Personalizer működésének ismertetése