Evaluasi Pemberi Rekomendasi
Artikel ini menjelaskan cara menggunakan komponen Evaluasi Pemberi Rekomendasi di perancang Azure Machine Learning. Tujuannya adalah untuk mengukur keakuratan prediksi yang telah dibuat model rekomendasi. Dengan menggunakan komponen ini, Anda dapat mengevaluasi berbagai jenis rekomendasi:
- Prediksi peringkat untuk pengguna dan item
- Item yang direkomendasikan untuk pengguna
Saat Anda membuat prediksi dengan menggunakan model rekomendasi, hasil yang sedikit berbeda dikembalikan untuk masing-masing jenis prediksi yang didukung ini. Komponen Evaluasi Pemberi Rekomendasi menyimpulkan jenis prediksi dari format kolom himpunan data dengan skor. Misalnya, himpunan data dengan skor mungkin berisi:
- Tiga serangkai pengguna-item-peringkat
- Pengguna dan item yang direkomendasikan
Komponen ini juga menerapkan metrik performa yang sesuai, berdasarkan jenis prediksi yang dibuat.
Cara mengonfigurasi Evaluasi Pemberi Rekomendasi
Komponen Evaluasi Pemberi Rekomendasi membandingkan output prediksi menggunakan model rekomendasi dengan data "kebenaran dasar" yang sesuai. Misalnya, komponen Beri Skor Pemberi Rekomendasi SVD menghasilkan himpunan data dengan skor yang dapat Anda analisis menggunakan Evaluasi Pemberi Rekomendasi.
Persyaratan
Evaluasi Pemberi Rekomendasi memerlukan himpunan data berikut sebagai input.
Himpunan data pengujian
Himpunan data pengujian berisi data "kebenaran dasar" dalam bentuk tiga serangkai pengguna-item-peringkat.
Himpunan data dengan skor
Himpunan data dengan skor berisi prediksi yang dihasilkan model rekomendasi.
Kolom dalam himpunan data kedua ini bergantung pada jenis prediksi yang Anda lakukan selama proses pemberian skor. Misalnya, himpunan data dengan skor mungkin berisi salah satu dari berikut:
- Pengguna, item, dan peringkat yang kemungkinan akan diberikan oleh pengguna untuk mendapatkan item
- Daftar pengguna dan item yang direkomendasikan untuk pengguna
Metrik
Metrik performa untuk model dihasilkan berdasarkan jenis input. Bagian berikut memberikan berbagai detail.
Mengevaluasi prediksi peringkat
Saat Anda mengevaluasi prediksi peringkat, himpunan data dengan skor (input kedua untuk Evaluasi Pemberi Rekomendasi) harus berisi tiga serangkai peringkat-item-pengguna yang memenuhi persyaratan ini:
- Kolom pertama himpunan data berisi ID pengguna.
- Kolom kedua berisi ID item.
- Kolom ketiga berisi peringkat pengguna-item terkait.
Penting
Agar evaluasi berhasil dilakukan, masing-masing nama kolom harus berupa User, Item, dan Rating.
Evaluasi Pemberi Rekomendasi membandingkan peringkat himpunan data "kebenaran dasar" dengan prediksi peringkat himpunan data dengan skor. Kemudian, modul ini menghitung kesalahan absolut rata-rata (MAE) dan kesalahan kuadrat rata-rata akar (RMSE).
Mengevaluasi rekomendasi item
Saat Anda mengevaluasi rekomendasi item, gunakan himpunan data dengan skor yang menyertakan item rekomendasi untuk setiap pengguna:
- Kolom pertama himpunan data harus berisi ID pengguna.
- Semua kolom berikutnya harus berisi ID item yang direkomendasikan yang sesuai, diurutkan berdasarkan seberapa relevan item tersebut bagi pengguna.
Sebelum Anda menyambungkan himpunan data ini, sebaiknya Anda mengurutkan set data sehingga item yang paling relevan berada di urutan pertama.
Penting
Agar Evaluasi Pemberi Rekomendasi berfungsi, nama kolom harus berupa User, Item 1, Item 2, Item 3, dan seterusnya.
Evaluasi Pemberi Rekomendasi menghitung rata-rata keuntungan kumulatif diskon yang dinormalisasi (NDCG) dan mengembalikannya di himpunan data output.
Karena tidak mungkin rasanya untuk mengetahui "kebenaran dasar" aktual untuk item yang direkomendasikan, Evaluasi Pemberi Rekomendasi menggunakan pengguna-item-peringkat dalam himpunan data pengujian sebagai keuntungan dalam komputasi NDCG. Untuk mengevaluasi, komponen penilaian rekomendasi hanya boleh menghasilkan rekomendasi untuk item dengan peringkat "kebenaran dasar" (dalam himpunan data pengujian).
Langkah berikutnya
Lihat set komponen yang tersedia untuk Azure Machine Learning.