En test af en e-mailkampagne skal hjælpe dig med at træffe en beslutning. »Hjælper en størrelsesguide kunderne med at vælge?« er mere nyttigt end »Hvilken e-mail ser bedst ud?«. Definér ændringen, den målgruppe, der kan modtage beskeden, og det resultat, du vil sammenligne, før udsendelsen. Uanset om du organiserer sammenligningen manuelt eller bruger de testværktøjer, du har adgang til, bør du undgå at ændre flere ting og bagefter tilskrive resultatet til kun én af dem.
Afgræns ændringen
Hold reglerne for målgruppen, tilbuddet, destinationen og udsendelsen så ens som muligt. Ændr ét meningsfuldt element, for eksempel vinklen i overskriften eller om der vises en størrelsesvejledning. Hvis alt ændres på én gang, kan du måske finde den bedste samlede løsning, men ikke forstå, hvilken del der gjorde forskellen.
Brug de kampagne- og målgruppeindstillinger, der findes på din Sendvio-konto, til at organisere sammenligningen. Hvis processen kræver, at du selv forbereder grupperne, så dokumentér, hvordan de blev fordelt, og sørg for, at grupperne ikke overlapper. Gå ikke ud fra, at der findes en automatisk testfunktion eller udvælgelse af en vinder, medmindre du har bekræftet det.
Skriv en testplan, der kan efterprøves bagefter
En brugbar plan kan lyde sådan: »Blandt abonnenter, der overvejer den samme serie sengetæpper, vil en kort forklaring af størrelser øge antallet af kvalificerende køb pr. tildelt modtager i den valgte måleperiode.« Beskriv ændringen, målgruppen, det forventede resultat og tidsrummet. Sørg for, at tilbud og lagerstatus er sammenlignelige.
Hvis processen giver mulighed for det, skal du fordele de relevante modtagere tilfældigt i grupper, der ikke overlapper. En alfabetisk opdeling eller en udsendelse til de nyeste abonnenter først kan skabe systematiske forskelle. Hvis vigtige kundegrupper skal være ligeligt repræsenteret, så planlæg det på forhånd i stedet for at forsøge at forklare ubalancen, når resultaterne er kommet.
Beslut, om du tester ét element eller en samlet løsning. Begge dele kan være nyttige, men de besvarer forskellige spørgsmål. Hvis du ændrer emnelinje, layout, rabat og destination på én gang, kan resultatet pege på den bedste samlede pakke uden at vise, hvilken enkelt ændring der havde betydning. Beskriv testen præcist.
Aftal på forhånd, hvad succes betyder
Vælg et primært resultat, der hænger sammen med spørgsmålet, for eksempel ordrer pr. kvalificeret modtager. Brug afmeldinger, klager og relevante omkostninger som sikkerhedsmål. En højere åbningsrate betyder ikke i sig selv, at flere mennesker har læst beskeden, eller at forretningen har fået et bedre resultat.
Fastlæg måleperioden før udsendelsen, og giv den plads til den normale købsproces. Hvis du stopper, så snart den ene version ser ud til at føre, kan konklusionen blive misvisende. Et lille datagrundlag kan ende uden et klart svar, selv når den ene procent ser større ud.
Vurdér, hvor meget dokumentation beslutningen kræver
En stigning fra to køb til tre svarer til en relativ stigning på 50 procent, men forskellen er stadig ét køb. Det er et svagt grundlag for en permanent regel. Notér de faktiske antal og forskellen i procentpoint sammen med den relative ændring, så et lille resultat ikke kommer til at se større ud, end det er.
Før en vigtig beslutning bør du vurdere, hvor stort et datagrundlag der kræves ud fra den normale konverteringsrate og den mindste effekt, der vil være værd at handle på. Brug en passende statistisk metode eller få kvalificeret hjælp. Der findes ikke ét bestemt antal modtagere, som gør alle e-mailtests pålidelige. Sjældne resultater og små forventede forskelle kræver normalt mere dokumentation end almindelige resultater og store forskelle.
Fastlæg måleperioden og måden, testen afsluttes på, inden udsendelsen. Hvis du løbende tjekker og stopper ved det første positive resultat, kan konklusionen blive skæv, medmindre analysen er planlagt til den fremgangsmåde. Hvis kampagnen må afsluttes af en kommerciel grund, så notér begrænsningen i stedet for at kalde et foreløbigt resultat endegyldigt.
Læs resultatet som antal, rater og forretningsværdi
Forestil dig to sammenlignelige grupper med 5.000 kvalificerede modtagere i hver. Version A giver 100 unikke købere, og version B giver 115 i den aftalte periode. Købsraterne er henholdsvis 2 og 2,3 procent. Det er en forskel på 0,3 procentpoint eller en relativ stigning på 15 procent fra udgangspunktet på 2 procent. Tallene er kun et eksempel og siger ikke noget om en faktisk Sendvio-kampagne.
Den højere procent afgør ikke sagen. En passende statistisk analyse skal stadig vurdere usikkerheden, og virksomheden skal beslutte, om den mulige forbedring er værd at forfølge. Undersøg, om rabatter, lager, levering eller sporing uventet var forskellige. Medtag de oprindeligt tildelte grupper i analysen; udelad ikke bagefter modtagere, der ikke åbnede eller klikkede.
Se derefter på sikkerhedsmålene. Hvis den anden version giver flere køb, men også skaber en dyr misforståelse om, hvad der følger med, er resultatet ikke en entydig succes. Gennemgå dækningsbidraget og relevante negative reaktioner i den planlagte periode. Skift ikke primært resultatmål, efter at du har set, hvilket tal der får din foretrukne version til at se bedst ud.
Formulér konklusionen, så den passer til dokumentationen: hvad blev ændret, hvad observerede I, hvor stor er usikkerheden, og hvad bør ske nu? Hvis resultatet stadig er uklart, kan en enklere version godt være et fornuftigt praktisk valg. Beskriv det som en praktisk beslutning, ikke som et bevis på, at dens konverteringsrate er højere.
Notér læringen og usikkerheden
Gem versionerne, målgruppereglerne, stikprøvestørrelserne, tidspunktet og resultaterne. Hvis grundlaget er svagt, så sig det åbent, og gør ikke en foreløbig forskel til en fast regel.
Brug resultatet til at vælge den næste praktiske forbedring. En test uden tydelig forskel kan stadig spare tid, fordi den viser, at teamet måske bør prioritere noget andet. Målet er at træffe bedre beslutninger, ikke at fylde kalenderen med eksperimenter, som ingen bruger bagefter.
Vurdér både den praktiske betydning og den statistiske dokumentation. En lille forbedring, der kræver dyr produktion, er måske ikke værd at vedligeholde. En version, der øger antallet af ordrer, men også skaber forkerte forventninger eller flere dyre returneringer, kan være en dårlig samlet løsning, selvom hovedmålet forbedres.
Afslut testen med ét af tre ærlige udfald: indfør ændringen med en beskrivelse af dokumentationen, undersøg videre, fordi resultatet er usikkert, eller forkast den, fordi gevinsten ikke opvejer omkostningerne eller ulemperne. Gem testplanen og tallene. Så bygger de næste tests videre på det, I allerede har lært, i stedet for at hver kampagne bliver endnu en chance for at kåre en »vinder« ud fra tilfældige udsving.