Lakukan analisis siklus pembelajaran Anda dengan evaluasi offline
Penting
Mulai tanggal 20 September 2023 Anda tidak akan dapat membuat sumber daya Personalizer baru. Layanan Personalizer dihentikan pada tanggal 1 Oktober 2026.
Pelajari cara membuat evaluasi offline dan menginterpretasikan hasilnya.
Evaluasi Offline memungkinkan Anda mengukur seberapa efektif Personalizer dibandingkan dengan perilaku default aplikasi Anda selama periode data yang dicatat (historis), dan menilai seberapa baik performa pengaturan konfigurasi model lain untuk model Anda.
Saat Anda membuat evaluasi offline, opsi Penemuan pengoptimalan akan menjalankan evaluasi offline atas berbagai nilai kebijakan pembelajaran untuk menemukan yang dapat meningkatkan performa model Anda. Anda juga dapat memberikan kebijakan tambahan untuk menilai dalam evaluasi offline.
Baca tentang Evaluasi Offline untuk mempelajari selengkapnya.
Prasyarat
- Sumber daya Personalizer yang dikonfigurasi
- Sumber daya Personalizer harus memiliki jumlah data yang dicatat secara representatif - sebagai angka ballpark, kami merekomendasikan setidaknya 50.000 peristiwa dalam lognya untuk hasil evaluasi yang bermakna. Secara opsional, Anda mungkin juga telah mengekspor file kebijakan pembelajaran sebelumnya yang ingin Anda uji dan bandingkan dalam evaluasi ini.
Menjalankan evaluasi offline
Di portal Microsoft Azure, cari sumber daya Personalizer Anda.
Di portal Microsoft Azure, buka bagian Evaluasi dan pilih Buat Evaluasi.
Isi opsi di jendela Buat evaluasi :
- Nama evaluasi.
- Tanggal mulai dan berakhir - ini adalah tanggal yang menentukan rentang data yang akan digunakan dalam evaluasi. Data ini harus ada dalam log, seperti yang ditentukan dalam nilai Retensi Data.
- Atur Penemuan pengoptimalan ke ya, jika Anda ingin Personalizer mencoba menemukan kebijakan pembelajaran yang lebih optimal.
- Menambahkan pengaturan pembelajaran - unggah file kebijakan pembelajaran jika Anda ingin mengevaluasi kebijakan kustom atau yang diekspor sebelumnya.l
Mulai Evaluasi dengan memilih Mulai evaluasi.
Tinjau hasil evaluasi
Eksekusi evaluasi dapat memakan waktu yang lama, tergantung pada jumlah data yang diproses, jumlah kebijakan pembelajaran yang dibandingkan, dan apakah optimasi diminta.
Setelah selesai, Anda dapat memilih evaluasi dari daftar evaluasi, lalu pilih Bandingkan skor aplikasi Anda dengan pengaturan pembelajaran potensial lainnya. Pilih fitur ini saat Anda ingin melihat bagaimana performa kebijakan pembelajaran Anda saat ini dibandingkan dengan kebijakan baru.
Selanjutnya, Tinjau performa kebijakan pembelajaran.
Anda akan melihat berbagai kebijakan pembelajaran pada bagan, bersama dengan perkiraan hadiah rata-rata, interval keyakinan, dan opsi untuk mengunduh atau menerapkan kebijakan tertentu.
- "Online" - Kebijakan Personalizer saat ini
- "Baseline1" - Kebijakan garis besar aplikasi Anda
- "BaselineRand" - Kebijakan mengambil tindakan secara acak
- "Inter-len#" atau "Hyper#" - Kebijakan yang dibuat oleh Penemuan pengoptimalan.
Pilih Terapkan untuk menerapkan kebijakan yang meningkatkan model terbaik untuk data Anda.
Langkah berikutnya
- Pelajari selengkapnya tentang cara kerja evaluasi offline.