Návrh a spuštění testu A/B test v e-mailových návrzích

Důležité

Tento článek se týká pouze odchozího marketingu.

Pomocí testu e-mailu A/B můžete zjistit, který ze dvou podobných návrhů je pravděpodobně nejúspěšnější, a potom automaticky odeslat vítězný návrh zbývající cílové skupině. Začnete vytvořením kontrolního návrhu (verze „A“) a poté jej použijete jako základ pro vytvoření verze „B“ návrhu, ve které jste upravili jeho malou část (například předmět nebo obrázek). Nakonec spusťte test jako součást cesta zákazníka.

Cesta provede automaticky celý test. Začíná odesíláním verze A malé části segmentu (například 10 % kontaktů, vybraných náhodně) a také odesíláním verze B do jiné části segmentu (obvykle také 10 %). Čeká na vámi zvolené časové období (například 24 hodin) a potom analyzuje výsledky interakce a vybere vítěze na základě vašich zvolených kritérií (například nejčastěji otevřených). Cesta pak pošle vítězný návrh zbytku segmentu (zbývajících 80 %) automaticky.

Vytvoření marketingového e-mailu pro testování A / B

Chcete-li nastavit test A/B, začněte vytvořením kontrolního návrhu (bude to verze A) a poté verze B, kde se změnila jen malá část návrhu. Každý A/B test umožňuje pouze jeden typ změny (například záhlaví, tělo nebo celý obsah).

Poznámka:

Pro stejný návrh můžete definovat pouze jeden nový A/B test. Před vytvořením nového testu musíte počkat, až bude proveden A/B test.

Postup nastavení návrhů A a B pro zprávu:

1. Vytvořte počáteční (kontrolní) návrh obvyklým způsobem, jak je popsáno v části Vytvoření nového e-mailu a navržení jeho obsahu. Co nejvíce návrh propracujte a nezapomeňte zkontrolovat, zda neobsahuje chyby, abyste měli jistotu, že bude fungovat.

2. Pokud jste dokončili návrh A, proveďte jednu z následujících akcí:

   • Vyberte tlačítko A/B test v pravém horním rohu editoru e-mailů a otevřete testovací panel A/B.
   • Pokud jste ještě nedefinovali žádný test pro tento e-mail, vyberte tlačítko Přidat test v testovacím panelu A/B.
   • Pokud jste již definovali test, můžete upravit verze A a B přepnutím mezi verzemi.

   

3. Zobrazí se parametry nového testu. Postupujte takto:

   • Nastavte Typ testu na jednu z následujících možností:- Záhlaví (předmět, odesílatel e-mailu): Umožňuje zvolit jiný předmět nebo jiné jméno „Od“ pro verzi B návrhu. Příjemci ho uvidí jméno „Od“ jako jméno odesílatele zprávy. Tím se nezmění skutečná adresa „Od“, která zůstane stejná pro obě verze. - Text: Nechá vás vybrat jeden nebo více prvků návrhů v textu e-mailu a potom změnit nastavení těchto prvků, obsah nebo vzhled prvku ve verzi B návrhu. - Úplný obsah: Nechá vás vybrat jiný předmět, jméno „Od“ a jeden nebo více prvků návrhů v textu e-mailu a potom změnit nastavení těchto prvků, obsah nebo vzhled prvku ve verzi B návrhu.
   • Zadejte Název testu, abyste test rozpoznali. Tento název se zobrazí na panelu Test A/B a na dlaždici e-mailu cesty zákazníka, když vyberete, který test se má pro danou cestu spustit.

   

   Důležité

   Pro jednu zprávu můžete v jednu chvíli definovat pouze jeden nový A/B test. Nový test je možné přidat až po provedení předchozího testu.

   Poznámka:

   Každý test můžete spustit pouze jednou, na jedné e-mailové dlaždici v jedné cestě. Jakmile nakonfigurujete cestu pro spuštění testu, nebudete si moci vybrat tento test pro žádnou jinou dlaždici e-mailu nebo cestu. Pokud chcete spustit několik testů na jednom návrhu, přidejte nový test do testovacího panelu A/B, jakmile je proveden předchozí. Chcete-li ze zprávy odebrat A/B test, vyberte tlačítko koše.

4. Nový test vybraného typu je nyní přidán do sekce Nový na panelu Test A/B. Je potřeba upozornit na následující:

   • V daném okamžiku můžete mít v provozu a aktivně spuštěný pouze jeden nový test.
   • Aktivní část testovacího panelu A/B zobrazuje jak aktuálně spuštěný A/B test, tak všechny minulé A/B testy pro zprávu.
   • Vyberte test na panelu Test A/B pro práci s tímto testem. Je-li vybrán test, rozbalí se, přičemž se zobrazí tlačítka Verze A a Verze B pro práci s daným testem.
   • Můžete změnit typ nebo název testu. Název testu se zobrazí v e-mailové dlaždici cesty zákazníka, když vyberete, který test se má pro danou cestu spustit.
   • U testů záhlaví se u parametrů řízených vybraným testem (předmět a název „Od“) zobrazí buď ikona A, or ikona B, která označuje, co testujete a která verze se zobrazuje (a lze ji upravovat). Ikona se změní, aby odpovídala vybranému tlačítku verze ( Verze A nebo Verze B ).
   • U testů hlavního textu je u každého testovaného prvku barevný rámeček (je-li vybrán), který odpovídá barvě tlačítka verze, které jste vybrali (modrá pro verzi A nebo růžová pro verzi B). Další informace o nastavení tohoto postupu naleznete v dalším kroku.

   

5. Vyberte test na panelu Test A/B a poté vyberte tlačítko Verze B. Proveďte jednu z následujících akcí v závislosti na prováděném testu:

   • Pro testy záhlaví by v poli Předmět a Jméno odesílatele měla být zobrazena ikona B. Zde zadejte nový předmět nebo jméno „Od“.
   • U testů hlavního textu přidejte do testu prvek jeho výběrem na plátně, kde ho tím zvýrazníte, a pak vyberte tlačítko A/B na kartě v horní části zvýrazněného rámečku. Toto je přepínací tlačítko, takže jej můžete znovu použít a odstranit prvek z testu pro testované prvky a tmavě modrým pozadím u prvků, které jsou stejné pro každou verzi. U testovaných prvků označuje barva snímku jejich verzi: světle modrá označuje verzi A a tmavě růžová označuje verzi B. Do testu můžete přidat libovolný počet prvků, ale obvykle je nejlepší vyzkoušet vždy pouze několik prvků (nebo jen jeden prvek).

   

6. Nyní změňte návrh položek, které jste povolili pro testování. Pro testy záhlaví upravte text příslušných polí. U testů hlavního textu můžete upravit textový obsah pro textové prvky nebo nastavení karty Vlastnosti v případě jiných prvků návrhu. Mezi verzemi můžete přepínat pomocí tlačítek Verze A a Verze B a pokračovat v úpravách každé verze, zatímco je zobrazena.

   Poznámka:

   I po povolení testování A/B můžete i nadále upravovat části zprávy, které nejsou součástí žádného testu. Tyto úpravy ovlivní úpravy všechny verze (verzi A a všechny verze B) bez ohledu na to, které tlačítko testu a verze je aktuálně vybráno. Pokud však upravíte nastavení, které je povoleno pro testování, upravíte pouze verzi vybranou pomocí tlačítek Verze A a Verze B. Pamatujte, že verze A je stejná pro všechny testy, ale verze B je pro každý test jedinečná.

   Při přidávání nových prvků návrhu do zprávy, u které je již nastaven test hlavního textu, buďte opatrní. Následně vždy zkontrolujte, zda jsou nové prvky plně definovány se správným obsahem a nastavením pro každou verzi každého testu.

7. Po dokončení nastavení návrhů a nového testu A/B vyberte Přejít na ostrý provoz, aby vaše zpráva byla k dispozici pro použití s cestou zákazníka.

Příprava na provedení testu z cesty zákazníka

Když je e-mail připraven k vyzkoušení, použijte k jeho odeslání cestu zákazníka. E-maily s testem A / B můžete zahrnout do jakékoli typu cesty bez ohledu na složitost a zahrnout cesty, které používáte v produkční kampani. Strategií je poslat každý návrh malé části celého segmentu, na který je cesta zaměřena, vyčkat, jak tito příjemci reagují na každou verzi zprávy, a pak odeslat zprávu s nejlepším výkonem do zbytku segmentu. Můžete si vybrat, jaké jsou výherní podmínky (nejvíce kliknutí nebo nejvíce otevření) a také, jak dlouho bude test spuštěn.

Důležité

Chcete-li zajistit spolehlivé výsledky testů, měli byste vždy odeslat každou verzi (A a B) minimálně 100 příjemcům, než necháte systém zvolit vítěze. Typické doporučené nastavení by mělo použít segment 1 000 členů nebo více s distribucí testů, která odešle verzi A až 10 % segmentu, verzi B dalším 10 %, a pak odešle vítězný návrh zbývajícím 80 %.

Je možné spustit test A/B s pouze jedním nebo několika příjemci pro každou verzi, ale často to může vést k nerovnoměrnému nebo nenáhodnému rozložení verzí a nespolehlivým konečným výsledkům. Tuto možnost doporučujeme pouze při experimentování s funkcí.

Postup přidání testu A / B do cesty:

1. Nastavte cestu jako obvykle a nezapomeňte zahrnout jednu nebo více e-mailových dlaždic, do kterých můžete umístit své e-maily s testem A/B.

2. Vyberte e-mailovou dlaždici, která se má zahrnout do cesty vašeho kanálu, a otevřete kartu Vlastnosti kartu v postranním panelu pro zahájení konfigurace dlaždice.

3. V poli Marketingová e-mailová zpráva na panelu Vlastnosti vyberte e-mailovou zprávu, kterou jste nastavili pro test A/B. Upozorňujeme, že pokud je zpráva, která má navržen test A/B, zobrazí se v rohu této dlaždice ikony A a B. Tyto položky jsou prozatím zobrazeny šedě, protože jste dosud pro tuto dlaždici nenastavili test (po povolení testu se změní na modrou).

   

4. Přejděte dolů na panel Vlastnosti, dokud neuvidíte přepínač Test A/B, a poté jej vyberte pro zapnutí testu. Tím se otevře nastavení testu A/B.

   

   Poznámka:

   Pokud vyberete e-mailovou zprávu, která má návrhy A a B, ale nepovolíte testování dlaždic A/B, bude verze A odeslána všem příjemcům.

5. Chcete-li nastavit test, proveďte následující nastavení:

   • Zvolte test A/B: Váš vybraný návrh e-mailu musí mít nastaven alespoň jeden nepoužitý test, ale může mít i více. Vyberte název testu, který chcete na této dlaždici spustit. Najednou můžete spustit maximálně jeden test.
   • Distribuce A/B: Posunem posuvníku vyberte, kolik kontaktů (jako procento z celkového počtu kontaktů v cílovém segmentu) chcete do testu zahrnout. Polovina cílové skupiny testu získá verzi A a druhá polovina obdrží verzi B. Všechny testovací kontakty a verze, které každá obdrží, jsou vybrány náhodně.
   • Vítězná metrika: Vyberte, zda se má rozhodnout vítězný návrh na základě míry klikání (jak často příjemce klikl na odkaz ve zprávě) nebo na základě míry otevření (jak často příjemce zprávu otevřel). V každém případě je vítězem verze, která měla nejvíce kliknutí nebo se otevře v poměru k celkovému počtu odeslaných verzí.
   • Trvání testu: Pomocí těchto nastavení určete, jak dlouho má test probíhat. Chcete-li dosáhnout nejlepších výsledků, doporučujeme spustit každý test na dobu nejméně 24 hodin nebo déle, je-li to možné, zejména pokud cílíte na celosvětové příjemce (abyste kompenzovali časové zóny). Na konci této doby systém analyzuje výsledky a odešle vítězný návrh zbývajícím kontaktům v segmentu. Kontaktům, které obdržely „prohrávající“ design, nebude vítězný znovu zaslán.
   • Pokud výsledky nejsou přesvědčivé, odeslat: Vyberte, co dělat, pokud test nepřinese jasného vítěze. V takovém případě můžete zvolit odeslání verze A, verze B nebo náhodného rozdělení obou verzí 50/50 všem zbývajícím kontaktům.

   Poznámka:

   Vítěz je vybrán pomocí nulové hypotézy. U velkých sad s nejméně 1 000 kontakty musí být úroveň spolehlivosti vítězné varianty alespoň 95 %. U menších sad může být úroveň spolehlivosti nižší, až 80 %. Pokud se varianty liší o relativně malý počet kontaktů, výsledky zkoušek budou pravděpodobně považovány za neprůkazné.

   Jinými slovy, vítězem A/B testu není automaticky varianta s více kontakty. Místo toho je vítězem varianta, která vykazuje statisticky významný výsledek.

6. Dokončete nastavení vaší cesty jako obvykle a pak ji uveďte do ostrého provozu.

Sledování životnosti testů A/B

Každý test definovaný pro danou e-mailovou zprávu lze spustit pouze jednou. Jakmile se test začne zpracovávat v cestě zákazníka, nebo jakmile byl test zpracován, nebudete jej moci znovu použít v jiné cestě zákazníka. V důsledku toho se někdy můžete pokusit nastavit test A/B pro e-mailovou dlaždici v cesta zákazníka a být překvapeni, že nemůžete vybrat test, který chcete spustit. V tomto případě můžete pouze přidat další test.

Chcete-li zobrazit stav běhu každého testu A/B definovaného v e-mailové zprávě, otevřete zprávu a rozbalte panel Test A/B. Každý test, který je pro zprávu k dispozici, je uveden pod jedním z následujících záhlaví. Každé záhlaví obsahuje tlačítko pro rozbalení či sbalení, které umožňuje zobrazení nebo skrytí testů v každé kategorii.

• Koncept: jedná se o testy, které ještě nebyly spuštěny, takže můžete nadále upravovat jejich nastavení a zvolit je při konfiguraci e-mailové dlaždice pro cestu zákazníka.
• Naplánováno: Jedná se o testy, které jsou již připraveny pro spuštění pomocí cesty zákazníka, ale tato cesta ještě nezačala. Jejich nastavení je uzamčeno a nelze je spustit v žádné jiné cestě zákazníka.
• Probíhá: jedná se o testy, které jsou právě spuštěny. Jejich nastavení je uzamčeno a nelze je spustit v žádné jiné cestě zákazníka.
• Dokončeno: Jedná se o testy, které jsou dokončeny a nelze je znovu použít. Chcete -li zobrazit výsledky, přejděte na cestu zákazníka, kde jste spustili test.

Kontrola výsledků testu

Průběh a výsledky testů A/B můžete kdykoli zkontrolovat prozkoumáním e-mailových dlaždic vaší cesty se zákazníkem. Postup:

1. Otevřete cestu zákazníka.

2. Vyberte e-mailovou dlaždici, na které provádíte test A/B.

3. Přejděte dolů na konec panelu Data pro vybranou e-mailovou dlaždici. Zde uvidíte obrazovku, která ukazuje název testu, procento kontaktů, kterému jste poslali každou verzi (včetně vítězné verze), kolik času zbývá v testu a který návrh byl vyhlášen jako vítězný (za předpokladu, že test skončil).

   

4. Vyberte zde odkaz Zobrazit podrobnosti, abyste získali další informace o výsledcích testů. Otevře se dialogové okno, které ukazuje KPI pro každý návrh z testu. Další informace o KPI e-mailu a jeich interpretaci naleznete v části Slovník pojmů pro přehledy.

   

Výsledky testu A/B můžete také zobrazit otevřením samotné zprávy. V ní otevřete panel Test A/B, rozbalte kategorii testů Dokončeno a pro test, který chcete zobrazit, vyberte tlačítko Přehledy testu.

Nahrazení verze A verzí B po dokončení testu

Bez ohledu na výsledky testu A/B zůstane verze A standardní verzí zprávy. Budoucí test bude pokračovat v testování v porovnání s verzí A a všechny cesty, které nespustí test A/B, zašlou všem verzi A. Proto, a zejména v případě, že verze B vyhraje test, můžete zvážit možnost, že se verze B stane novou verzí A, která bude přeposlána dál.

Upozornění

Pokud nahradíte verzi A verzí B, bude verze A trvale odstraněna a nahrazena verzí B z vybraného testu. Tuto akci nelze vzít zpět.

Chcete-li nahradit verzi A verzí B z vybraného testu:

1. Otevřete zprávu, ve které byl ukončen test A/B.

2. Chcete-li zobrazit seznam testů, rozbalte panel Test A/B.

3. Rozbalte kategorii testů Dokončeno na panelu Test A/B.

4. Vyberte test obsahující verzi B, kterou chcete použít jako novou verzi A, a vyberte tlačítko Nahradit za verzi B.

   

5. Budete vyzváni k potvrzení této akce. Pokud jste si jisti, že chcete pokračovat, potvrďte výzvu a poté zprávu uložte.