A/B testai Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys naudoja galingus A / B testus, kad išnagrinėtų suaktyvinimu pagrįstus klientų veiklos ciklus, kad galėtumėte gauti įžvalgų, kaip geriausiai pasiekti klientus.

Naudodami A / B versijos testus galite įvertinti, kuris kanalas arba kokia turinio pranešimų strategija lemia didesnę sėkmę. Kiekvienas testas palygina kontrolinę vartotojų grupę (A versija) su variantu (B versija). Kontrolinei grupei taikoma numatytoji patirtis. Varianto grupei taikoma kitokia patirtis arba kitoks pranešimas. Palyginę grupių rezultatus galėsite nustatyti efektyviausią strategiją.

1 pavyzdys: paleidimo kelionėmis A / B versijų testavimo kūrimas

Įsivaizduokime, kad norite išbandyti du skirtingus el. laiškus aktyvikliu pagrįstoje kelionėje, kuri suaktyvinama, kai kas nors užbaigia pirkimą.

1. Sukurkite pradinį turinį el. pašto rengyklėje, kaip įprasta. Ištobulinkite turinį ir būtinai įsitikinkite, kad jame nėra klaidų ir kad turinį galima publikuoti.

2. Kai jūsų turinys bus paruoštas Customer Insights - Journeys>, eikite į>Įtraukimo kelionės ir pasirinkite esamą kelionę arba sukurkite naują.

3. Pasirinkę kelionę, pasirinkite pliuso ženklą (+), kad įtrauktumėte elementą, tada atlikite šiuos veiksmus:

   • Pasirinkite Tikrinti, kuris variantas veikia geriau.
   • Pasirinkite kanalus, kuriuos norite išbandyti. Šiame pavyzdyje norite išbandyti du el. laiškus: pasirinkite vieną A versijai ir vieną B versijai, tada pasirinkite Kurti testą.

4. Pasirinkus A / B bandymo plytelę, atidaroma šoninė sritis.

   

   Srityje yra šie parametrai:

   • Rodomas pavadinimas: jei norite identifikuoti bandymą, įveskite jo pavadinimą. Šis pavadinimas rodomas A / B versijų testavimo skydelyje ir klientų veiklos ciklas analizėje, kai peržiūrite, kurie testai vykdomi.
   • Versijos: pasirinkite kanalo, kurį paruošėte atlikdami pirmąjį veiksmą, turinį (šiuo atveju du el. laiškus, kuriuos norite išbandyti). Tai galite padaryti išplečiamajame sąraše pasirinkdami veiklos ciklo kūrimo priemonėje esančias antrines plyteles arba pasirinkdami elementus šoniniame skyde.
   • Pradinė auditorija: Tai yra auditorijos grupė, kurią norėtumėte sulaikyti nuo A / B testo prieš gaudami rezultatus. Ši parinktis galima tik kelionėms pagal segmentus, nes jau turite bendrą klientų skaičių, kuris padės nuspręsti, kiek jų norite sulaikyti. Išaktyvikliu pagrįstose veiklos cikluose šios parinkties nėra, nes klientai įveda, kai atlieka veiksmą. Taigi bendras į kelionę atvykstančių klientų skaičius nežinomas.
   • Eksperimento platinimas: pasirinkite norimą auditorijos paskirstymą. Slankiklis automatiškai nustatytas kaip 50-50, bet galite nustatyti slankiklį į norimą padėtį. Mažiausia versijai nustatoma vertė yra 10 procentų, o didžiausia vertė – 90 procentų. Atminkite, kad paprastai A versija yra jūsų kontrolinė grupė, o B versija yra jūsų variantas.
   • Laimėjimo metrika: galite nustatyti bandymo laimėjimo sąlygą pasirinkę laimėjusią metriką: versiją, kurioje užfiksuota daugiausia kelionės tikslo įvykių, daugiausia paspaudimų arba atidaryta. Tokiu atveju norite padidinti atidarytų laiškų skaičių, kad pasirinktumėte atvirų laiškų rodiklio parinktį.
   • Šis testas baigiasi: Taip pat galite pasirinkti, ar bandymas bus baigtas automatiškai, ar tam tikrą dieną ir laiku. Leidimas testui automatiškai nustatyti nugalėtoją, kai rezultatai pasiekia statistinį reikšmingumą. Tai reiškia, kad kai aiškus nugalėtojas nustatomas 80–95 procentų pasitikėjimu, sistema siunčia laimėjusią versiją likusiai auditorijai. Prarasta versija atmetama. Jei pasirinksite statistinį reikšmingumą kaip parinktį užbaigti A / B testą, bet po 30 dienų nebus aiškaus nugalėtojo, sistema automatiškai išsiųs numatytąją versiją.
   • Numatytoji versija: Galiausiai pasirinkite numatytąją versiją, jei bandymas nesibaigs sėkmingai. Tais atvejais, kai laimėtojas nebuvo nustatytas iki datos, nurodytos pagal datą ir laiką, numatytoji versija išsiunčiama automatiškai.

5. A/B testas turėtų atrodyti taip, kai viską sukonfigūruosite ir būsite pasirengę paskelbti kelionę:

   

2 pavyzdys: segmentais pagrįstų kelionių A / B versijų testavimo kūrimas

Įsivaizduokime, kad norite sukurti kelionę, kad pasveikintumėte naujus narius, kurie šį mėnesį prisijungė prie jūsų lojalumo programos. Norite padidinti atidarytų laiškų skaičių išbandydami dvi skirtingas temos eilutes.

Atliksite nuo vieno iki trijų veiksmų, aprašytų pirmame pavyzdyje, bet pastebėsite, kad šoninė sritis atrodo kitaip. Taip yra todėl, kad su segmentais pagrįstomis kelionėmis pirmiausia turite bendrą klientų skaičių; tai leidžia sukurti dviejų tipų A / B testus.

1. A / B testas be kontrolinės grupės: šis A / B testas veikia panašiai kaip trigeriu pagrįstos kelionės, kai klientai perduoda bandymą, kai ateina, kol nustatomas nugalėtojas.

   

2. A / B testas su kontroline grupe: tai leidžia tiksliai nurodyti sistemai, su kiek klientų norite išbandyti. Pavyzdžiui, jūsų segmente yra 100 lojalumo narių, tada pirmiausia norite išbandyti 20 arba 20 narių, kai kiekviena versija gaus atitinkamai 10 narių. Po A/B testo likę 80 narių gaus laimėjusią versiją. Visada galite pritaikyti pradinę auditoriją ir platinimą pagal savo skonį.

   

Šiame pavyzdyje mes atliekame A / B testą su kontroline grupe. Visi kiti nustatymai yra tokie patys kaip ir pirmame pavyzdyje.

Stebėkite savo A/B testų gyvavimo ciklą

Paskelbę savo veiklos ciklą, galite jį atidaryti, kad galėtumėte stebėti bandymų ciklą.

• Juodraštis: šie bandymai dar neatlikti, todėl vis tiek galite redaguoti nustatymus.
• Vykdoma: šie bandymai šiuo metu vykdomi. Parametrai yra užrakinti ir negalite atlikti svarbių pakeitimų.
• Sustabdyta: disertacijų testai sustabdomi ir rinkodaros specialistas gali pasirinkti, kurią versiją siųsti.
• Baigta: Šie bandymai buvo atlikti suradus statistiškai reikšmingą nugalėtoją arba suplanavus laiką, kada numatyta pabaiga nustatytą dieną ir laiku. Baigtų bandymų negalima naudoti pakartotinai.

Rezultatų reikšmės išaiškinimas

Yra trys galimi A / B versijos testavimo rezultatai:

• Testas baigtas aiškiu nugalėtoju: Testas padarė išvadą, kad viena versija veikia geriau nei kita. Laimėjusi versija pažymima laimėtojo ženkleliu ir yra platinama visiems naujiems klientams, įtrauktiems į veiklos ciklą.
• Testas nebuvo galutinis: testo metu padaryta išvada, kad gavėjai yra taip pat linkę bendrauti su A versija kaip ir su B versija. Tokiu atveju numatytoji versija siunčiama visiems naujiems klientams, kurie tęsia konversijos procesą per procesą.
• Testas buvo sustabdytas: tai reiškia, kad jūs arba vienas iš jūsų bendradarbių sustabdė testą prieš jam pasibaigiant. Tokiu atveju jūsų arba jūsų bendradarbio nurodyta versija siunčiama visiems naujiems klientams, kurie įtraukiami į veiklos ciklą.

DUK

1. Kodėl mano A / B testo skaitymas yra negalutinis, kai aiškiai atrodo, kad viena versija veikia geriau nei kita?
   • Didelėje auditorijoje, turinčioje bent 1 000 klientų, laimėjusio varianto patikimumo lygis turi būti bent 95 procentai. Mažesnėje auditorijoje pasitikėjimo lygis gali siekti iki 80 procentų. Jei jums tinka mažesnis patikimumo lygis arba testuojate su mažesne nei 1 000 auditorija, visada turite galimybę anksčiau baigti bandymą ir išsiųsti versiją, su kuria esate laimingiausi.
2. Ar galiu atlikti A / B testą su daugiau nei dviem versijomis?
   • Ne šiuo metu.
3. Kodėl nematau segmentais pagrįstų kelionių kontrolinės grupės parinkties?
   • Jei įdėsite atributų šaką arba bet kokią plytelę, kuri pakeis bendrą segmento skaičių, kontrolinės grupės parinktis išnyks, nes sistema nežinos, kiek klientų sulaikyti, kol bandymas bus baigtas.
4. Kodėl mano testas baigiasi netikėtai?
   • Jei nusprendėte baigti testą statistiškai reikšmingu, sistema bandys gauti nugalėtoją per pirmąsias 30 dienų nuo tada, kai paskelbsite kelionę. Jei nugalėtoju nepaskelbiama nė viena versija, testas baigiamas ir numatytoji versija siunčiama likusiai auditorijai.