Test s kontrolní skupinou porovnává způsobilé publikum, které dostane kampaň, s podobnou skupinou, která ji nedostane. Odpovídá na otázku, zda zpráva změnila nákupní chování, nikoli které objednávky splnily pravidlo atribuce. Myšlenka je jednoduchá, ale důvěryhodné srovnání vyžaduje pečlivé rozdělení skupin, jednotné měření i pozornost k dalším zprávám, které zákazníci dostávají.
Skupiny naplánujte před odesláním
Začněte se způsobilým publikem a vyčleňte srovnatelnou část, která dostane nabídku, zatímco druhá část danou marketingovou zprávu nedostane. Běžnou nezbytnou komunikaci o službě zachovejte. Kvůli experimentu nezadržujte důležité informace o objednávce.
Pro plán využijte dostupné možnosti práce s publikem a zdokumentujte způsob rozdělení. Pokud nedokážete vytvořit srovnatelné skupiny nebo průběžně měřit výsledek, považujte cvičení za průzkumné, ne za spolehlivý test příčinného vlivu.
Přesně určete, co testujete
Rozhodněte, zda testujete jeden e-mail, celou posloupnost, nebo přidání SMS ke stávajícímu plánu e-mailů. Skupiny se mají lišit v definované marketingové aktivitě, zatímco nezbytná servisní komunikace zůstává zachována. Změní-li se několik dalších věcí, výsledek odpoví na širší otázku než na samotný účinek jednoho e-mailu.
Pokud to proces a data dovolují, náhodně přiřaďte způsobilé zákazníky a jejich zařazení ponechte stejné po celé sledované období. Neumisťujte nejméně aktivní lidi do kontrolní skupiny a nejlepší zákazníky do testované. Takové srovnání by měřilo hlavně to, koho jste vybrali, nikoli co kampaň změnila.
Před odesláním zaznamenejte metodu rozdělení, velikost skupin, výjimky, zamýšlené vystavení zprávě i hlavní výsledek. Měřte nákupy zdrojem, který dokáže sledovat obě skupiny. Samotná atribuce tržeb podle zprávy se nehodí, protože skupina bez zprávy nemá stejnou možnost získat přiřazenou zásluhu.
Sledujte další vlivy
Ověřte, zda se ke skupinám nedostávají jinak jiné kampaně, automatizace nebo veřejné nabídky. Člověk v kontrolní skupině pro jeden e-mail může stejnou slevu uvidět jinde. Test tím nemusí být zbytečný, ale mění to, co lze z výsledku vyvodit.
U obou skupin zachovejte stejnou délku sledování i definici výsledku. Porovnávejte míru objednávek nebo příspěvek na způsobilého zákazníka, ne pouze přiřazené tržby: skupina bez zprávy nemá srovnatelnou cestu k přiřazení tržeb konkrétnímu e-mailu.
Rozdíl spočítejte bez přehnaných závěrů
Představme si 2 000 zákazníků v každé skupině. Během stejného období nakoupí 60 zákazníků vystavených kampani a 50 lidí v kontrolní skupině. Pozorované míry činí 3 % a 2,5 %, rozdíl je tedy 0,5 procentního bodu. Při 2 000 zákaznících jde o pozorovaný rozdíl deseti nákupů, nikoli o důkaz, že všech 60 nákupů v testované skupině způsobila zpráva.
I tento příklad vyžaduje posouzení nejistoty. Náhodné kolísání může způsobit rozdíl, obzvlášť pokud jsou nákupy vzácné. Použijte vhodnou statistickou analýzu a zvažte, zda je účinek obchodně významný. Kladný bodový odhad ještě není spolehlivým závěrem.
Rozdíl vykládejte střízlivě
Malé skupiny a vzácné nákupy mohou přinést kolísavé výsledky. Menší rozdíl nemusí stačit k závěru. Před obchodním tvrzením zaznamenejte velikost vzorku, překryv publik, načasování i případné odchylky od plánu.
Přehledy kampaní Sendvio mohou analýzu doplnit, test s kontrolní skupinou je však metodika měření, nikoli automatická záruka v dashboardu. Použijte ho, když je rozhodnutí dost důležité na potřebnou přípravu. Cílem je zjistit dodatečnou hodnotu, včetně případů, kdy menší počet rozesílek přinese podobný obchodní výsledek.
Prověřte i kontakt s dalšími sděleními mimo testovanou zprávu. Člověk v kontrolní skupině může vidět veřejnou slevu nebo dostat jinou povolenou automatizaci. Test to samo o sobě nezneplatňuje, ale odhaduje dodatečný účinek konkrétní aktivity v širším prostředí, nikoli rozdíl mezi veškerým marketingem a jeho úplnou absencí.
Podle účelu rozhodnutí porovnejte také příspěvek a negativní reakce; používejte stejné definice a dostatečný čas na případné vratky. Odchylky od plánu nezatajujte. Pokud skupiny nebyly srovnatelné nebo se vystavení zprávám špatně sledovalo, označte výsledek jako průzkumný. Dobře provedený test může ukázat, že kampaň přináší hodnotu, malou hodnotu, nebo stojí více, než vydělá. Každá z těchto odpovědí je užitečná, pokud ovlivní skutečné rozhodnutí.