En holdout-test for e-mail sammenligner en gruppe, der modtager en kampagne, med en tilsvarende gruppe, der ikke gør. Spørgsmålet er, om beskeden ændrede købsadfærden, ikke blot hvilke ordrer der passer til en tilskrivningsregel. Ideen er enkel, men en troværdig sammenligning kræver omhyggelig fordeling af grupperne, ensartet måling og opmærksomhed på andre beskeder, kunderne modtager.
Planlæg grupperne før udsendelsen
Begynd med en målgruppe, der opfylder kriterierne. Fordel sammenlignelige kunder, så én gruppe modtager kampagnen, mens en anden ikke modtager netop denne marketingbesked. Behold nødvendige servicemeddelelser. Undlad aldrig vigtig ordreinformation som led i et eksperiment.
Brug de målgruppeindstillinger, der er tilgængelige, til at organisere planen, og dokumentér fordelingsmetoden. Hvis du ikke kan skabe sammenlignelige grupper eller måle resultatet ensartet, så betragt analysen som undersøgende frem for som en pålidelig test af årsag og virkning.
Beskriv præcist, hvad grupperne udsættes for
Beslut, om du tester én e-mail, en serie eller tilføjelsen af SMS til en eksisterende e-mailplan. Holdout-gruppen skal kun adskille sig ved den beskrevne marketingpåvirkning, mens nødvendige servicemeddelelser stadig sendes. Hvis flere andre forhold ændres, besvarer resultatet et bredere spørgsmål end effekten af én e-mail.
Fordel kunder tilfældigt, når processen og dataene tillader det, og hold fordelingen stabil i måleperioden. Undgå at placere de mindst engagerede i holdout-gruppen og de bedste kunder i kampagnegruppen. Så måler sammenligningen mest, hvem du udvalgte, og ikke hvad kampagnen ændrede.
Notér fordelingsmetoden, gruppestørrelser, udelukkelser, den planlagte påvirkning og det primære resultat, før du sender. Mål resultatet med en datakilde, der kan registrere køb i begge grupper. Omsætning tilskrevet beskeden kan ikke stå alene, fordi gruppen uden besked ikke har den samme mulighed for at få ordrer tilskrevet den.
Hold andre påvirkninger synlige
Undersøg, om andre kampagner, automatiseringer eller offentlige tilbud påvirker grupperne forskelligt. En holdout-gruppe til én e-mail kan stadig se det samme udsalg andre steder. Det gør ikke analysen værdiløs, men ændrer, hvad resultatet kan fortælle dig.
Brug den samme måleperiode og definition af resultat for begge grupper. Sammenlign ordrerater eller dækningsbidrag pr. kvalificeret kunde i stedet for kun tilskrevet omsætning, da gruppen uden beskeden ikke har en tilsvarende tilskrivningsmulighed.
Beregn forskellen uden at overdrive resultatet
Forestil dig 2.000 kunder i hver gruppe. I samme måleperiode køber 60 kunder i kampagnegruppen og 50 i holdout-gruppen. De observerede købsrater er 3 og 2,5 procent, altså en forskel på 0,5 procentpoint. Blandt 2.000 kunder svarer det til en observeret forskel på ti købere; det viser ikke, at beskeden skabte alle 60 køb i kampagnegruppen.
Eksemplet kræver stadig en vurdering af usikkerheden. Tilfældige udsving kan skabe en forskel, især når køb er relativt sjældne. Brug en passende statistisk analyse, og overvej, om forskellen er stor nok til at have forretningsmæssig betydning. Et positivt punktestimat er ikke det samme som en pålidelig konklusion.
Fortolk forskellen med mådehold
Små grupper og sjældne køb kan give støjende resultater. En mindre forskel er måske ikke entydig. Notér stikprøvestørrelse, overlap, timing og eventuelle afvigelser fra planen, før du fremsætter en forretningsmæssig påstand.
Sendvios kampagnerapporter kan bidrage til analysen, men en holdout er en målemetode, ikke en funktion, som et dashboard automatisk garanterer. Brug den, når beslutningen er vigtig nok til at retfærdiggøre forberedelsen. Målet er at forstå den ekstra værdi, også hvis færre udsendelser giver et tilsvarende forretningsresultat.
Undersøg påvirkninger fra andre kilder end den testede besked. En kunde i holdout-gruppen kan se et offentligt udsalg eller modtage en anden tilladt automatisering. Det gør ikke automatisk eksperimentet ugyldigt, men betyder, at du måler den ekstra effekt af den beskrevne påvirkning i det bredere miljø, ikke effekten af al marketing sammenlignet med ingen marketing.
Sammenlign dækningsbidrag og negative reaktioner, når beslutningen kræver det, og brug ensartede definitioner samt tilstrækkelig tid til relevante returneringer. Synliggør afvigelser fra planen. Hvis grupperne ikke var sammenlignelige, eller påvirkningen blev registreret upræcist, så beskriv analysen som undersøgende. En veludført holdout kan vise, at en kampagne tilfører værdi, tilfører meget lidt eller koster mere, end den indbringer. Alle tre udfald er nyttige, når de påvirker en reel beslutning.