Çevrimdışı değerlendirme

Çevrimdışı değerlendirme, kodunuzu değiştirmeden veya Kullanıcı deneyimini etkilemeden, kişiselleştirici hizmetin verimliliğini test etmenize ve değerlendirmenize olanak tanıyan bir yöntemdir. Çevrimdışı değerlendirme, farklı derecelendirmelerinin nasıl gerçekleştirildiğini karşılaştırmak için uygulamanızdan derecelendirme ve yeniden kullanma API 'Lerine gönderilen geçmiş verileri kullanır.

Çevrimdışı değerlendirme bir tarih aralığında gerçekleştirilir. Aralık, geçerli saat kadar geç bitebilirler. Aralığın başı, veri saklamaiçin belirtilen gün sayısından daha fazla olamaz.

Çevrimdışı değerlendirme aşağıdaki soruları yanıtlamanıza yardımcı olabilir:

• Başarıyla kişiselleştirmeye yönelik kişiselleştirici dereceleri ne kadar etkili?
  • Kişiselleştirici çevrimiçi makine öğrenme ilkesi tarafından gerçekleştirilen ortalama yeniden ödüller nelerdir?
  • Kişiselleştirici, uygulamanın varsayılan olarak ne kadar yapıldığına ilişkin verimliliğinden nasıl karşılaştırılır?
  • Kişiselleştirme için rastgele bir seçeneğin karşılaştırılma verimliliği ne olur?
  • Farklı öğrenme ilkelerinin karşılaştırılma verimliliği el ile belirtilmiş olabilir mi?
• İçeriğin hangi özellikleri başarılı kişiselleştirmeye daha fazla veya daha az katkıda bulunur?
• Eylemlerin hangi özellikleri başarılı kişiselleştirmeye daha fazla veya daha az katkıda bulunur?

Ayrıca, çevrimdışı değerlendirme, kişiselleştirmenin gelecekte sonuçları geliştirmek için kullanabileceği daha iyileştirilmiş öğrenme ilkelerini keşfetmede kullanılabilir.

Çevrimdışı değerlendirmeler, araştırma için kullanılacak olayların yüzdesine ilişkin rehberlik sağlamaz.

Çevrimdışı değerlendirme önkoşulları

Aşağıda, temsili çevrimdışı değerlendirme için önemli noktalar verilmiştir:

• Yeterli veri yok. Önerilen minimum değer en az 50.000 olaydır.
• Temsilci Kullanıcı davranışı ve trafiği ile dönemlerden veri toplayın.

İyileştirilmiş öğrenme ilkesini keşfetme

Kişiselleştirici, otomatik olarak daha iyi bir öğrenme ilkesi bulmaya yönelik çevrimdışı değerlendirme işlemini kullanabilir.

Çevrimdışı değerlendirmeyi gerçekleştirdikten sonra, geçerli çevrimiçi ilkeyle karşılaştırıldığında, bu yeni ilkeyle kişiselleştirici 'nin karşılaştırılma verimliliğini görebilirsiniz. Daha sonra bu öğrenme ilkesini, indirerek ve ardından modeller ve Ilke paneline yükleyerek, kişiselleştirmede hemen etkili hale getirmek için uygulayabilirsiniz. Ayrıca, gelecekteki analizler veya kullanımı için de indirebilirsiniz.

Değerlendirmede yer alan geçerli ilkeler:

Çevrimdışı değerlendirme sonuçlarının uygunluğunu anlama

Çevrimdışı bir değerlendirme çalıştırdığınızda sonuçların güvenilirlik sınırlarını çözümlemek çok önemlidir. Bunlar genişlerse, uygulamanızın kesin veya önemli olması için yeterli miktarda veri almamış olması anlamına gelir. Sistem daha fazla veri biriktirdiği ve çevrimdışı değerlendirmeleri daha uzun süreler üzerinde çalıştırtıkça, güven aralıkları daha dar olur.

Çevrimdışı değerlendirmeler nasıl yapılır?

Çevrimdışı değerlendirmeler, onay verilen değerlendirme adlı bir yöntem kullanılarak yapılır.

Kişiselleştirici, kullanıcıların davranışının (ve dolayısıyla rediklerin) geriye dönük olarak tahmin edilmesi imkansız olduğu varsayımına dayanır (Kullanıcı gördüklerden farklı bir şeyler gösterilseydi ve yalnızca ölçülen depolardan bilgi edinmek için).

Bu, değerlendirmeler için kullanılan kavramsal işlemdir:

[For a given _learning policy), such as the online learning policy, uploaded learning policies, or optimized candidate policies]:
{
    Initialize a virtual instance of Personalizer with that policy and a blank model;

    [For every chronological event in the logs]
    {
        - Perform a Rank call

        - Compare the reward of the results against the logged user behavior.
            - If they match, train the model on the observed reward in the logs.
            - If they don't match, then what the user would have done is unknown, so the event is discarded and not used for training or measurement.

    }

    Add up the rewards and statistics that were predicted, do some aggregation to aid visualizations, and save the results.
}

Çevrimdışı değerlendirme yalnızca gözlemlenen Kullanıcı davranışını kullanır. Bu işlem, özellikle uygulamanız çok sayıda eylemden çağrı yapar durumunda büyük hacimlerdeki verileri atar.

Özelliklerin değerlendirmesi

Çevrimdışı değerlendirmeler, eylemler veya bağlam için belirli özelliklerin ne kadarının daha yüksek bir kapsamda dengelendiği hakkında bilgi sağlayabilir. Bilgiler, belirtilen süre ve verilere karşı değerlendirme kullanılarak hesaplanır ve zaman içinde değişebilir.

Özellik değerlendirmelerini ve şunları yapmanızı öneririz:

• Uygulamanız veya sisteminiz, daha etkili olanlar hakkında daha fazla bilgi sağlar.
• Düşük verimlilik nedeniyle hangi özellikler kaldırılabileceği? Düşük verimlilik özellikleri makine öğrenimine gürültü ekler.
• Yanlışlıkla dahil edilen herhangi bir özellik var mı? Bunlara örnek olarak şunlar verilebilir: Kullanıcı tarafından tanımlanabilen bilgiler, yinelenen kimlikler, vb.
• Yasal veya sorumlu kullanım konuları nedeniyle kişiselleştirmek için kullanılmaması gereken istenmeyen özellikler var mı? İstenmeyen özelliklerle ara sunucu (diğer bir deyişle, yakından yansıtabilir veya bunlarla ilişkilendirilebilir) olan özellikler var mı?

Sonraki adımlar

Kişiselleştirici yapılandırma Çevrimdışı değerlendirmeleri Çalıştır Kişiselleştirici 'ın nasıl çalıştığını anlama