Jalankan eksperimen aplikasi dengan pengujian A/B

Anda dapat menggunakan Pusat Mitra untuk menentukan variabel jarak jauh yang dapat Anda ambil pada waktu berjalan dari aplikasi Universal Windows Platform (UWP), dan Anda dapat menguji variasi nilai-nilai ini dengan pengguna Anda untuk mengidentifikasi nilai paling efektif untuk mendorong perilaku pengguna yang diinginkan. Aplikasi Anda dapat menggunakan variabel jarak jauh untuk mengonfigurasi pengalaman aplikasi seperti pembelian dalam aplikasi, alur pendaftaran, teks, dan penempatan iklan.

Tujuan dari tes A /B Anda harus mengidentifikasi variasi nilai variabel jarak jauh Anda yang kemungkinan akan memberi Anda tingkat konversi yang lebih baik (misalnya, lebih banyak pembelian dalam aplikasi) dengan memberikan pengalaman aplikasi yang lebih menarik. Setelah mengidentifikasi variasi yang berhasil, Anda dapat segera mengakhiri eksperimen dan mengaktifkan variasi tersebut untuk seluruh audiens pengguna dari Pusat Mitra, tanpa harus menerbitkan ulang aplikasi Anda.

Membuat dan menjalankan tes A/B

Untuk membuat dan menjalankan tes A/B, ikuti langkah-langkah berikut:

  1. Buat proyek dan tentukan variabel jarak jauh di Pusat Mitra. Proyek ini berisi variabel dan nilai variabel default untuk eksperimen Anda.
  2. Kode aplikasi Anda untuk eksperimen. Gunakan API di SDK Layanan Microsoft Store untuk mendapatkan nilai variabel jarak jauh dari proyek yang Anda buat di Pusat Mitra, gunakan data ini untuk mengubah perilaku fitur yang Anda uji, dan mengirim peristiwa peristiwa tampilan dan konversi ke Pusat Mitra.
  3. Tentukan eksperimen Anda di Pusat Mitra . Buat eksperimen dalam proyek Anda yang menentukan tujuan dan variasi unik untuk tes A / B Anda.
  4. Jalankan dan kelola eksperimen Anda di ashboard Pusat Mitra. Aktifkan eksperimen Anda, dan gunakan Pusat Mitra untuk meninjau hasil eksperimen dan menyelesaikan eksperimen.

Untuk panduan yang menunjukkan proses end-to-end, lihat Membuat dan menjalankan eksperimen pertama Anda dengan pengujian A/B.

Persyaratan

Pengujian A/B di Pusat Mitra hanya didukung untuk aplikasi UWP.

Sebelum Anda dapat menjalankan eksperimen dengan pengujian A / B, Anda harus mengatur komputer pengembangan Anda:

  • Ikuti petunjuk di sini untuk mengatur komputer pengembangan Anda untuk pengembangan UWP.
  • Instal SDK Layanan Microsoft Store. Selain API untuk eksperimen, SDK ini juga menyediakan API untuk fitur lain seperti menampilkan iklan dan mengarahkan pelanggan Anda ke Feedback Hub untuk mengumpulkan umpan balik di aplikasi Anda.

Praktik terbaik

Untuk hasil yang paling berguna, kami sarankan Anda mengikuti rekomendasi ini saat menjalankan eksperimen dengan pengujian A /B:

  • Pertimbangkan untuk menjalankan eksperimen hanya dengan dua variasi dengan distribusi split 50/50 acak untuk tugas variasi.
  • Jalankan eksperimen setidaknya selama 2 - 4 minggu untuk mengumpulkan data yang cukup yang signifikan secara statistik dan dapat ditindaklanjuti.
Istilah Definisi
Project Kumpulan variabel jarak jauh dengan nilai default yang dapat diakses aplikasi Anda dengan menggunakan SDK Layanan Microsoft Store. Sebuah proyek juga dapat secara opsional berisi satu atau beberapa eksperimen yang berbagi variabel jarak jauh yang sama.
Eksperimen Satu set parameter yang menentukan tes A / B yang akan diterima pengguna Anda. Eksperimen didefinisikan dalam lingkup proyek, dan setiap eksperimen terdiri dari:

  • Peristiwa tampilan yang menunjukkan kapan pengguna mulai melihat variasi yang merupakan bagian dari eksperimen Anda.
  • Satu atau lebih sasaran dengan peristiwa konversi yang menunjukkan kapan suatu tujuan telah tercapai.
  • Satu atau beberapa variasi yang menentukan data variabel yang digunakan oleh eksperimen Anda. Variasi kontrol menggunakan nilai variabel default yang didefinisikan dalam proyek untuk eksperimen. Selain variasi kontrol, eksperimen biasanya memiliki setidaknya satu variasi tambahan dengan nilai variabel yang unik untuk percobaan.
ID Proyek ID unik yang mengaitkan aplikasi Anda dengan proyek di akun Pusat Mitra Anda. Anda harus menggunakan ID ini untuk terhubung dengan layanan pengujian A/B dalam kode aplikasi Anda untuk menerima data variasi dan melihat laporan serta peristiwa konversi ke Pusat Mitra. Untuk informasi selengkapnya, lihat Kode aplikasi Anda untuk eksperimen.

Setiap proyek, dan semua eksperimen dalam proyek, dikaitkan dengan tepat satu ID proyek. Anda dapat menggunakan ID proyek untuk membantu membedakan antara serangkaian eksperimen yang berbeda. Misalnya, Anda mungkin memiliki satu set eksperimen yang Anda rilis ke penguji di organisasi Anda dan serangkaian eksperimen lain yang hanya Anda rilis ke pengguna eksternal aplikasi Anda. Aplikasi dapat mereferensikan beberapa ID proyek jika menerapkan beberapa eksperimen.

Variasi Kumpulan satu atau lebih variabel yang Anda uji dalam eksperimen Anda. Setiap percobaan harus memiliki setidaknya satu variabel dan dua variasi (termasuk kontrol). Percobaan dapat memiliki hingga lima variasi.
Variabel Nilai yang digunakan aplikasi Anda untuk menginisialisasi properti atau nilai lainnya di aplikasi Anda. Selama percobaan, nilai variabel berubah dari variasi ke variasi. Setelah Anda mengakhiri eksperimen, variabel diberi nilai dari variasi yang Anda pilih untuk dirilis ke semua pengguna aplikasi Anda. Variabel dapat memiliki jenis berikut: string, Boolean, double, dan integer.
Melihat acara String arbitrer yang mewakili aktivitas saat pengguna mulai melihat variasi yang merupakan bagian dari eksperimen Anda. Biasanya, ini adalah nama peristiwa dalam kode Anda. Kode aplikasi Anda akan mengirim string peristiwa tampilan ini ke Pusat Mitra saat pengguna mulai melihat variasi. Untuk informasi selengkapnya, lihat Kode aplikasi Anda untuk eksperimen.
Peristiwa konversi String sewenang-wenang yang mewakili tujuan untuk tujuan percobaan. Biasanya, ini adalah nama peristiwa dalam kode Anda. Kode aplikasi Anda akan mengirimkan string peristiwa konversi ini ke Pusat Mitra saat pengguna mencapai tujuan. Untuk informasi selengkapnya, lihat Kode aplikasi Anda untuk eksperimen.