Bij een test met een controlegroep voor e-mail ontvangt een geschikte groep een campagne en ontvangt een vergelijkbare groep die niet. De vraag is of het bericht het koopgedrag veranderde, niet welke bestellingen volgens een toerekeningsregel bij het bericht passen. Het idee is eenvoudig; voor een betrouwbare vergelijking zijn zorgvuldige groepsindeling, consistente metingen en aandacht voor andere berichten aan dezelfde klanten nodig.
Plan de groepen vóór verzending
Begin met een geschikte doelgroep en wijs een vergelijkbare deelgroep aan die de promotie ontvangt, terwijl een andere deelgroep dat specifieke marketingbericht niet krijgt. Gewone noodzakelijke serviceberichten moeten intact blijven. Houd essentiële informatie over bestellingen niet achter voor een experiment.
Gebruik de beschikbare doelgroepinstellingen om de opzet te organiseren en documenteer hoe de groepen zijn samengesteld. Kun je geen vergelijkbare groepen maken of de uitkomst niet op een consistente manier volgen, beschouw de oefening dan als verkennend in plaats van als een betrouwbaar oorzakelijk bewijs.
Bepaal precies welke marketingbehandeling je test
Beslis of je één e-mail, een reeks berichten of de toevoeging van sms aan een bestaand e-mailplan test. Alleen de omschreven marketingbehandeling hoort tussen de test- en controlegroep te verschillen; noodzakelijke servicecommunicatie blijft hetzelfde. Veranderen meerdere andere onderdelen, dan beantwoordt de uitkomst een bredere vraag dan alleen het effect van één e-mail.
Wijs geschikte klanten waar het proces en de gegevens dat toelaten willekeurig toe en houd hun indeling tijdens de meetperiode stabiel. Zet niet de minst actieve mensen in de controlegroep en de beste klanten in de testgroep. Zo’n vergelijking meet vooral wie je hebt geselecteerd, niet wat de campagne veranderde.
Leg vóór verzending de toewijzingsmethode, groepsomvang, uitsluitingen, beoogde blootstelling en hoofdmaatstaf vast. Meet de uitkomst met gegevensbron die aankopen in beide groepen kan zien. Omzet die aan berichten wordt toegeschreven is hiervoor ongeschikt, want de groep zonder bericht heeft geen vergelijkbare toerekeningsmogelijkheid.
Houd andere invloeden zichtbaar
Controleer of andere campagnes, automatiseringen of openbare aanbiedingen de groepen verschillend bereiken. Een klant in de controlegroep van één e-mail kan dezelfde aanbieding ergens anders zien. Daardoor is de oefening niet automatisch waardeloos, maar het bepaalt wel wat je eruit kunt afleiden.
Gebruik voor beide groepen dezelfde meetperiode en definitie van de uitkomst. Vergelijk bestellingen of contributie per geschikte klant, en niet alleen toegeschreven omzet, want voor de groep zonder bericht bestaat geen vergelijkbare toerekening aan dat bericht.
Bereken het verschil zonder het groter voor te stellen dan het is
Stel dat beide groepen elk 2.000 klanten bevatten. Binnen dezelfde meetperiode kopen 60 klanten uit de testgroep en 50 uit de controlegroep. De waargenomen ratio’s zijn 3% en 2,5%, een verschil van 0,5 procentpunt. Toegepast op 2.000 klanten is dat een waargenomen verschil van tien kopers; het bewijst niet dat alle 60 aankopen in de testgroep door het bericht zijn veroorzaakt.
Ook voor dit voorbeeld moet de onzekerheid worden beoordeeld. Toeval kan een verschil opleveren, vooral wanneer aankopen relatief zeldzaam zijn. Gebruik een passende statistische analyse en kijk of het effect commercieel groot genoeg is om ertoe te doen. Een positieve puntschatting is nog geen betrouwbare conclusie.
Interpreteer het verschil voorzichtig
Kleine groepen en weinig aankopen kunnen ruis opleveren. Een bescheiden verschil kan onvoldoende uitsluitsel geven. Noteer vóór een zakelijke claim de omvang van de steekproef, overlap, timing en afwijkingen van de opzet.
Campagnerapporten van Sendvio kunnen bijdragen aan de analyse, maar een test met een controlegroep is een meetopzet en geen garantie die automatisch in een dashboard zit. Gebruik die wanneer de beslissing belangrijk genoeg is om de voorbereiding te rechtvaardigen. Het doel is de extra waarde te begrijpen, ook wanneer minder berichten versturen een vergelijkbaar commercieel resultaat oplevert.
Onderzoek ook blootstelling buiten het geteste bericht. Een klant in de controlegroep kan de openbare aanbieding zien of een andere toegestane automatisering ontvangen. Dat maakt het experiment niet automatisch ongeldig, maar betekent dat je het extra effect van de omschreven behandeling binnen die bredere omgeving schat, niet het effect van alle marketing tegenover helemaal geen marketing.
Vergelijk waar relevant ook de contributie en negatieve reacties en gebruik consistente definities en genoeg tijd om retouren mee te nemen. Houd afwijkingen van de opzet zichtbaar. Waren de groepen niet vergelijkbaar of is de blootstelling onvoldoende gevolgd, rapporteer de oefening dan als verkennend. Een goed uitgevoerde test met een controlegroep kan laten zien dat een campagne waarde toevoegt, weinig toevoegt of meer kost dan oplevert; alle drie de uitkomsten zijn nuttig als ze een echte beslissing veranderen.