Testy A/B v aplikaci Dynamics 365 Customer Insights - Journeys

Customer Insights - Journeys využívá výkonné A/B testy ke zkoumání vašich cest zákazníků založených na aktivační události, což vám umožní získat přehled o tom, jak nejlépe oslovit své zákazníky.

A/B testy umožňují měřit, který kanál nebo strategie zasílání zpráv o obsahu vede k vyššímu úspěchu. Každý test porovnává kontrolní skupinu uživatelů (verze A) s variantou (verze B). Kontrolní skupina prvků obdrží výchozí prostředí. Variantní skupina obdrží jiné prostředí nebo zprávu. Porovnáním výsledků skupin můžete určit, které jsou nejúčinnější.

Příklad 1: Vytvoření testu A/B pro cesty založené na spouštěči

Představme si, že chcete otestovat dva různé e-maily na cestě založené na spouštěči, která se aktivuje, když někdo dokončí nákup.

1. Vytvořte svůj počáteční obsah v editoru e-mailů jako obvykle. Obsah propracujte a nezapomeňte zkontrolovat, zda neobsahuje chyby, abyste měli jistotu, že bude fungovat.

2. Když je obsah připravený, přejděte na Customer Insights - Journeys>Zapojení>Cesty a vyberte existující cestu nebo vytvořte novou.

3. Po výběru cesty vyberte znaménko plus (+) pro přidání prvku a provádějte následující kroky:

   • Vyberte možnost Otestujte, která varianta funguje lépe.
   • Vyberte kanály, které chcete otestovat. V tomto příkladu chcete otestovat dva e-maily: vyberte jeden pro verzi A a jeden pro verzi B a poté vyberte Vytvořit test.

4. Když vyberete dlaždici testu A/B, otevře se boční panel.

   

   Panel obsahuje následující parametry:

   • Zobrazovaný název: Chcete-li test identifikovat, zadejte jeho název. Tento název se zobrazí na panelu testu A/B a v analýze cesty zákazníka, když se díváte na to, které testy jsou spuštěny.
   • Verze: Vyberte obsah kanálu, který jste připravili v prvním kroku (v tomto případě dva e-maily, které chcete otestovat). To můžete udělat prostřednictvím rozevírací nabídky buď výběrem podřízených dlaždic v nástroji pro tvorbu cest, nebo výběrem na bočním panelu.
   • Počáteční cílová skupina: Tuto cílovou skupinu chcete z A/B testu vyřadit, než získáte výsledky. Tato možnost je dostupná pouze u cest založených na segmentech, protože již máte celkový počet zákazníků, kteří vám pomohou rozhodnout, kolik si jich chcete vynechat. Cesty založené na spouštěči tuto možnost nemají, protože zákazníci vstupují po dokončení akce. Celkový počet zákazníků, kteří vstupují na cestu, není znám.
   • Distribuce experimentu: Vyberte distribuci cílové skupiny, kterou chcete. Posuvník je automaticky na 50-50, ale můžete nastavit posuvník na požadovanou distribuci. Minimální příjem verze je 10 procent a maximum 90 procent. Nezapomeňte, že verze A je tradičně vaší kontrolní skupinou a verze B je vaše varianta.
   • Vítězná metrika: Vítěznou podmínku testu můžete nastavit výběrem vítězné metriky: Verze s nejvíce zasaženými událostmi cíle cesty, nejvíce kliknutí nebo nejvíce otevření. V tomto případě chcete zvýšit své otevřené sazby, takže zvolíte možnost otevřené sazby.
   • Tento test končí: Můžete si také vybrat mezi automatickým ukončením testu nebo konkrétním datem a časem. Nechá test automaticky určit vítěze, když výsledky dosáhnou statistické významnosti. To znamená, že jakmile je s 80-95% jistotou určen jasný vítěz, systém odešle vítěznou verzi zbytku cílové skupiny. Ztrátová verze se zahodí. Pokud jako možnost ukončení A/B testu zvolíte statistickou významnost, ale po 30 dnech není jasný vítěz, systém automaticky odešle výchozí verzi.
   • Výchozí verze: Nakonec zvolte výchozí verzi, pokud test neskončí úspěšně. V případech, kdy vítěz nebyl určen do termínu stanoveného prostřednictvím data a času, je automaticky odeslána výchozí verze.

5. Než vše nakonfigurujete a budete připraveni cestu publikovat, měl by A/B test vypadat takto:

   

Příklad 2: Vytvoření testu A/B pro cesty založené na segmentech

Představme si, že chcete vytvořit cestu k přivítání nových členů, kteří se tento měsíc připojili k vašemu věrnostnímu programu. Chcete zvýšit míru otevření testováním dvou různých předmětů.

Dokončíte kroky jedna až tři popsané v prvním příkladu, ale všimnete si, že boční panel vypadá jinak. Je to proto, že u cest na základě segmentů máte na začátku celkový počet zákazníků; to vám umožní vytvořit dva typy A/B testů.

1. A/B test bez kontrolní skupiny: Tento A/B test se chová podobně jako cesty založené na spouštěči, kdy zákazníci procházejí testem tak, jak přicházejí, dokud není určen vítěz.

   

2. A/B test s kontrolní skupinou: Umožní vám přesně sdělit systému, na kolika zákaznících chcete testovat. Například váš segment má 100 věrnostních členů, poté chcete nejprve otestovat 20 procent nebo 20 členů, kde každá verze obdrží 10 členů. Po A/B testu získá zbývajících 80 členů vítěznou verzi. Počáteční cílovou skupinu a distribuci můžete vždy upravit podle svých představ.

   

V tomto příkladu použijeme A/B test s kontrolní skupinou. Všechna ostatní nastavení jsou stejná jako v příkladu 1.

Sledování životnosti testů A/B

Po zveřejnění své cesty ji můžete otevřít a sledovat životní cyklus svých testů.

• Koncept: Tyto testy ještě nebyly provedeny, takže nastavení můžete stále upravovat.
• Probíhá: jedná se o testy, které jsou právě spuštěny. Nastavení jsou uzamčena a nemůžete provádět významné změny.
• Zastaveno: Tyto testy jsou zastaveny a obchodník si může vybrat, kterou verzi chce odeslat.
• Ukončeno: Tyto testy byly dokončeny nalezením statisticky významného vítěze nebo časovým rozvrhem, kdy má skončit ve stanoveném datu a čase. Ukončené testy nelze znovu použít.

Pochopení výsledků

Existují tři možné výsledky A/B testu:

• Test skončil jasným vítězem: Test dospěl k závěru, že jedna verze si vede lépe než druhá. Vítězná verze má odznak „vítěz“ a je distribuována novým zákazníkům, kteří cestu procházejí.
• Test nebyl přesvědčivý: Test dospěl k závěru, že příjemci jsou stejně pravděpodobně zapojení ve verzi A jako ve verzi B. V takovém případě je výchozí verze odeslána novým zákazníkům, kteří cestou procházejí.
• Test byl zastaven : To znamená, že vy nebo jeden z vašich spolupracovníků jste test zastavili dříve, než mohl být uzavřen. V takovém případě je verze určená vám nebo vaším spolupracovníkem odeslána novým zákazníkům, kteří cestu projdou.

Často kladené dotazy

1. Proč jsou výsledky mého testu A/B neprůkazné, když se zdá, že jedna verze funguje lépe než jiná?
   • U sady velké cílové skupiny s alespoň 1 000 zákazníky musí být úroveň spolehlivosti vítězné varianty alespoň 95 procent. V menší sadě cílové skupiny může být úroveň spolehlivosti nejméně 80 procent. Pokud vám nevadí nižší úroveň důvěryhodnosti nebo testujete na publiku menším než 1 000 uživatelů, vždy máte možnost test předčasně ukončit a odeslat verzi, se kterou jste nejspokojenější.
2. Mohu mít A/B test s více než dvěma verzemi?
   • Nyní ne.
3. Proč se mi nezobrazuje možnost kontrolní skupiny u cest založených na segmentech?
   • Pokud vložíte větev atributu nebo jakoukoli dlaždici, která změní celkový počet segmentu, možnost kontrolní skupiny zmizí, protože systém nebude vědět, kolik zákazníků má zadržet, dokud nebude test dokončen.
4. Proč se můj test nečekaně ukončí?
   • Pokud se rozhodnete ukončit test se statistickou významností, systém se pokusí získat vítěze během prvních 30 dnů od zveřejnění cesty. Pokud není žádná verze prohlášena za vítěznou, test skončí a výchozí verze je odeslána zbývající cílové skupině.