Skalabilitas dan Performa
Penting
Mulai tanggal 20 September 2023 Anda tidak akan dapat membuat sumber daya Personalizer baru. Layanan Personalizer dihentikan pada tanggal 1 Oktober 2026.
Situs web dan aplikasi berperforma tinggi dan lalu lintas tinggi memiliki dua faktor utama yang perlu dipertimbangkan dengan Personalisasi untuk skalabilitas dan performa:
- Menjaga latensi rendah saat melakukan panggilan Pangkat API
- Memastikan throughput pelatihan mengikuti input peristiwa
Personalisasi dapat mengembalikan pangkat dengan cepat, dengan sebagian besar durasi panggilan didedikasikan untuk komunikasi melalui REST API. Azure akan otomatis menskalakan kemampuan untuk menanggapi permintaan dengan cepat.
Skenario latensi rendah
Beberapa aplikasi memerlukan latensi rendah saat mengembalikan pangkat. Latensi rendah diperlukan:
- Agar pengguna tidak menunggu terlalu lama sebelum menampilkan konten berpangkat.
- Untuk membantu server yang mengalami lalu lintas ekstrem, hindari mengikat waktu komputasi dan koneksi jaringan yang langka.
Skalabilitas dan throughput pelatihan
Personalisasi bekerja dengan memperbarui model yang dilatih ulang berdasarkan pesan yang dikirim secara asinkron oleh Personalisasi setelah Pangkat dan Penghargaan API. Pesan ini dikirim menggunakan Azure EventHub untuk aplikasi.
Tidak mungkin sebagian besar aplikasi akan mencapai throughput bergabung dan melakukan pelatihan Personalizer maksimum. Meskipun hal ini mencapai maksimum tidak akan memperlambat aplikasi, dan akan menyiratkan antrean Event Hub yang terisi secara internal lebih cepat daripada yang bisa dibersihkan.
Bagaimana memperkirakan kebutuhan throughput Anda
- Perkirakan jumlah rata-rata byte per peristiwa pangkat dengan menambahkan panjang konteks dan dokumen tindakan JSON.
- Bagi 20MB/dtk dengan perkiraan byte rata-rata ini.
Misalnya, jika payload rata-rata Anda memiliki 500 fitur dan masing-masing fitur diperkirakan 20 karakter, maka setiap peristiwa berukuran sekitar 10kb. Dengan perkiraan ini, 20.000.000 / 10.000 = 2.000 peristiwa/detik, yaitu sekitar 173 juta peristiwa/hari.
Jika Anda mencapai batas ini, hubungi tim dukungan kami untuk mendapatkan saran arsitektur.