Test e-mailové kampaně má pomoci rozhodnout se. Otázka „Pomůže průvodce velikostmi zákazníkům s výběrem?“ je užitečnější než „Který e-mail vypadá lépe?“. Ještě před odesláním určete změnu, způsobilé publikum i výsledek, který porovnáte. Ať už srovnání organizujete ručně, nebo použijete dostupné testovací nástroje, neměňte několik prvků najednou a nepřisuzujte výsledek jen jednomu z nich.
Izolujte testovanou změnu
Pravidla pro publikum, nabídku, cílovou stránku i odeslání ponechte srovnatelná. Změňte jeden důležitý prvek, například úhel hlavního sdělení nebo přidání informací o velikosti. Pokud změníte všechno současně, můžete určit lepší celek, ale nezjistíte, která součást měla vliv.
K uspořádání srovnání použijte možnosti kampaní a publika dostupné ve svém účtu Sendvio. Pokud potřebujete skupiny připravit ručně, zdokumentujte způsob jejich přiřazení a zajistěte, aby se nepřekrývaly. Nepředpokládejte automatické testování ani výběr vítězné varianty, dokud si jejich chování neověříte.
Sepište zadání, které půjde zpětně zkontrolovat
Užitečné zadání může znít: „U způsobilých odběratelů, kteří zvažují stejnou kolekci povlaků, zvýší stručné vysvětlení velikostí počet nákupů splňujících kritéria na jednoho přiřazeného příjemce během zvoleného období.“ Pojmenujte změnu, publikum, očekávaný výsledek i časový úsek. Zachovejte srovnatelnou nabídku a dostupnost produktů.
Pokud to dostupný postup umožňuje, náhodně rozdělte způsobilé příjemce do nepřekrývajících se skupin. Rozdělení podle abecedy nebo odeslání jedné varianty nejnovějším odběratelům může vytvořit systematické rozdíly. Potřebujete-li vyvážené zastoupení důležitých zákaznických skupin, naplánujte je předem, místo abyste výsledek zpětně vysvětlovali.
Rozhodněte se, zda testujete jeden prvek, nebo celou kombinaci. Obojí může být užitečné, ale odpovídá to na jiné otázky. Změníte-li předmět, rozvržení, slevu i cílovou stránku současně, můžete vybrat lepší celek, ale nepoznáte, která změna rozhodla. Test také poctivě označte.
Předem určete, co znamená úspěch
Vyberte hlavní výsledek, který odpovídá otázce, například počet objednávek na způsobilého příjemce. Odhlášení, stížnosti a důležité náklady sledujte jako ochranné ukazatele. Samotný nárůst otevření nemusí znamenat více skutečné pozornosti ani lepší obchodní výsledek.
Před spuštěním určete délku sledování s ohledem na běžný nákupní cyklus. Opakované ukončování testu ve chvíli, kdy jedna varianta vede, může přinést zavádějící závěr. U malého vzorku může být výsledek neprůkazný, i když je jedno procento viditelně vyšší.
Rozhodněte, kolik důkazů potřebujete
Nárůst ze dvou nákupů na tři představuje relativní zvýšení o 50 %, zároveň však jde o rozdíl jediného nákupu. To je slabý podklad pro trvalé pravidlo. Vedle relativního nárůstu uvádějte také absolutní počty a rozdíl v procentních bodech, aby prezentace nepřeháněla význam malé změny.
U důležitého rozhodnutí odhadněte potřebný vzorek podle výchozí míry a nejmenšího účinku, který by stál za zavedení. Použijte vhodnou statistickou metodu nebo požádejte o pomoc kvalifikovaného odborníka. Neexistuje jediná velikost vzorku, která zajistí spolehlivost každého e-mailového testu. Vzácné výsledky a malé očekávané rozdíly obvykle vyžadují více podkladů než časté výsledky a velké změny.
Před spuštěním stanovte délku pozorování i způsob ukončení. Časté kontroly a zastavení při prvním příznivém výsledku mohou závěr zkreslit, pokud analýza nebyla pro takový postup navržena. Musíte-li kampaň ukončit z obchodních důvodů, zaznamenejte omezení a neoznačujte dílčí výsledek za definitivní.
Výsledek čtěte v počtech, sazbách i obchodním kontextu
Představme si dvě srovnatelné náhodně sestavené skupiny, z nichž každá má 5 000 způsobilých příjemců. Varianta A přinese během dohodnutého období 100 unikátních nakupujících, varianta B jich přinese 115. Pozorované míry nákupu jsou 2 % a 2,3 %. Rozdíl činí 0,3 procentního bodu, tedy relativní nárůst o 15 % oproti výchozím 2 %. Jde o ilustrativní výsledky, ne o data skutečné kampaně Sendvio.
Vyšší procento samo o sobě nerozhoduje. Vhodná statistická analýza musí zohlednit nejistotu a obchod musí posoudit, zda případné zlepšení stojí za to. Ověřte, zda se neočekávaně nelišila sleva, skladové zásoby, doprava nebo měření. V analýze zachovejte původně přiřazené skupiny; dodatečně nevylučujte lidi jen proto, že neotevřeli nebo neklikli.
Potom zkontrolujte ochranné ukazatele. Pokud druhá varianta přinese více objednávek, ale také nákladné nedorozumění o tom, co je součástí balení, nejde jednoduše o úspěch. Během plánovaného období sledujte příspěvek i související negativní reakce. Po zjištění výsledků neměňte hlavní metriku jen proto, aby upřednostňovaná varianta vypadala lépe.
Závěr formulujte přiměřeně podkladům: co se změnilo, co jste pozorovali, jaká je nejistota a jaký krok bude následovat. Pokud výsledek zůstane neprůkazný, může být jednodušší varianta přesto praktickou volbou. Popište to však jako provozní rozhodnutí, ne jako důkaz, že má vyšší míru konverze. V této souvislosti je míra konverze jen jedním ukazatelem.
Zaznamenejte poznatek i s jeho nejistotou
Uložte obě verze, pravidla pro publikum, velikost vzorku, načasování i výsledek. Jsou-li podklady slabé, výslovně to uveďte a nepovyšujte předběžný rozdíl na trvalé pravidlo.
Výsledek využijte k výběru dalšího praktického zlepšení. I test s malým rozdílem může ušetřit čas a naznačit, že se tým má zaměřit jinam. Smyslem je lépe rozhodovat, ne zaplnit kalendář experimenty, jejichž závěry nikdo nepoužije.
Vedle statistických podkladů posuďte i praktický význam. Drobné zlepšení, které vyžaduje nákladnou výrobu, nemusí stát za udržování. Varianta, která zvýší objednávky, ale také vyvolá mylná očekávání nebo více nákladných vratek, nemusí být celkově lepší, ani když zlepší hlavní ukazatel.
Test uzavřete jedním ze tří poctivých výsledků: zaveďte variantu a uveďte, o jaké důkazy se rozhodnutí opírá; pokračujte v ověřování, protože výsledek je nejistý; nebo změnu odmítněte, protože přínos nevyváží náklady či škody. Uchovejte zadání i počty. Budoucí testy tak mohou navazovat na předchozí poznatky místo toho, aby každá kampaň znovu hledala „vítěze“ v náhodném šumu.