Ein Test für eine E-Mail-Kampagne sollte eine Entscheidung erleichtern. „Hilft ein Größenratgeber Käufern bei der Auswahl?“ ist nützlicher als „Welche E-Mail sieht besser aus?“. Legen Sie vor dem Versand Änderung, berechtigte Zielgruppe und zu vergleichendes Ergebnis fest. Ob Sie den Vergleich manuell organisieren oder verfügbare Testwerkzeuge verwenden: Ändern Sie nicht mehrere Faktoren und schreiben das Ergebnis nur einem davon zu.
Die Änderung isolieren
Halten Sie Zielgruppenregeln, Angebot, Ziel und Versandbedingungen vergleichbar. Ändern Sie ein aussagekräftiges Element, etwa den Blickwinkel der Überschrift oder einen Größenhinweis. Ändert sich alles gleichzeitig, erkennen Sie vielleicht ein besseres Gesamtpaket, verstehen aber nicht, welcher Teil wichtig war.
Nutzen Sie verfügbare Kampagnen- und Zielgruppensteuerungen Ihres Sendvio-Kontos zur Organisation des Vergleichs. Müssen Gruppen manuell vorbereitet werden, dokumentieren Sie ihre Zuteilung und achten Sie darauf, dass sie sich nicht überschneiden. Gehen Sie nicht von automatischen Testfunktionen oder einer automatischen Gewinnerauswahl aus, die Sie nicht überprüft haben.
Ein Briefing schreiben, das sich danach überprüfen lässt
Ein hilfreiches Briefing könnte lauten: „Bei berechtigten Abonnenten, die dieselbe Bezugskollektion in Betracht ziehen, erhöht eine knappe Größenerklärung die Zahl qualifizierender Käufe pro zugeteilter Person im gewählten Beobachtungszeitraum.“ Nennen Sie Änderung, Zielgruppe, erwartetes Ergebnis und Zeitfenster. Halten Sie Angebot und Produktverfügbarkeit vergleichbar.
Weist das verfügbare Verfahren es her, teilen Sie berechtigte Empfänger zufällig in getrennte, nicht überlappende Gruppen ein. Alphabetische Aufteilung oder Versand einer Fassung an die jüngsten Abonnenten kann systematische Unterschiede verursachen. Müssen wichtige Kundengruppen ausgewogen vertreten sein, planen Sie das ausdrücklich, statt die Erklärung nach Eingang der Ergebnisse zu reparieren.
Entscheiden Sie, ob Sie ein Element oder ein vollständiges Maßnahmenpaket testen. Beides kann nützlich sein, beantwortet aber unterschiedliche Fragen. Ändern Sie Betreff, Layout, Rabatt und Ziel gleichzeitig, bevorzugt das Ergebnis womöglich ein Gesamtpaket, zeigt aber nicht, welche einzelne Änderung dafür verantwortlich war. Benennen Sie den Test entsprechend.
Vorab festlegen, was Erfolg bedeutet
Wählen Sie ein primäres Ergebnis, das zur Frage passt, etwa Bestellungen pro berechtigtem Empfänger. Behalten Sie Abmeldungen, Beschwerden und relevante Kosten als Schutzkennzahlen im Blick. Eine alleinige Steigerung der Öffnungsrate muss weder mehr menschliche Aufmerksamkeit noch bessere Geschäftsergebnisse bedeuten.
Legen Sie vor dem Start den Beobachtungszeitraum fest und berücksichtigen Sie den üblichen Kaufzyklus. Wiederholtes Beenden, sobald eine Variante kurz vorn liegt, kann irreführende Schlüsse erzeugen. Kleine Stichproben können auch bei sichtbar höherem Prozentwert unentschieden bleiben.
Bestimmen, wie viele Nachweise die Entscheidung braucht
Ein Anstieg von zwei auf drei Käufe entspricht einer relativen Steigerung von 50 Prozent, aber auch nur einem zusätzlichen Kauf. Das ist ein schwacher Nachweis für eine dauerhafte Regel. Halten Sie absolute Zahlen und Prozentpunktdifferenzen neben der relativen Steigerung fest, damit die Darstellung ein kleines Ergebnis nicht übertreibt.
Schätzen Sie bei wichtigen Entscheidungen mit einer geeigneten statistischen Methode oder qualifizierter Unterstützung den Stichprobenbedarf anhand der Ausgangsrate und des kleinsten Effekts, der sich lohnt. Eine einzige Stichprobengröße macht nicht jeden E-Mail-Test zuverlässig. Seltene Ergebnisse und kleine erwartete Unterschiede benötigen gewöhnlich mehr Daten als häufige Ergebnisse und große Veränderungen.
Legen Sie Beobachtungszeitraum und Abbruchregel vor dem Start fest. Wiederholtes Prüfen und Beenden beim ersten günstigen Ergebnis kann die Schlussfolgerung verzerren, sofern das Verfahren nicht dafür entworfen wurde. Muss die Kampagne aus geschäftlichen Gründen früher enden, dokumentieren Sie die Einschränkung, statt ein Teilergebnis als abschließend zu bezeichnen.
Das Ergebnis anhand von Zahlen, Raten und Wirtschaftlichkeit lesen
Angenommen, zwei vergleichbare, zufällig zugeteilte Gruppen enthalten jeweils 5.000 berechtigte Empfänger. Variante A führt im vereinbarten Zeitraum zu 100 eindeutigen Käufern, Variante B zu 115. Die beobachteten Käuferquoten betragen 2 und 2,3 Prozent. Das ist ein Unterschied von 0,3 Prozentpunkten oder eine relative Steigerung von 15 Prozent gegenüber dem Ausgangswert von zwei Prozent. Es sind Beispieldaten und kein Beleg über eine reale Sendvio-Kampagne.
Der höhere Prozentwert entscheidet die Frage nicht. Eine geeignete statistische Analyse muss weiterhin die Unsicherheit bewerten; außerdem muss das Unternehmen entscheiden, ob sich die mögliche Verbesserung lohnt. Prüfen Sie unerwartete Unterschiede bei Rabatten, Bestand, Lieferung oder Messung. Behalten Sie die ursprünglich zugeteilten Gruppen in der Auswertung, statt Personen nachträglich auszuschließen, weil sie nicht geöffnet oder geklickt haben.
Prüfen Sie danach die Schutzkennzahlen. Löst die zweite Fassung mehr Käufe, aber auch ein kostspieliges Missverständnis über enthaltene Artikel aus, ist das Ergebnis nicht einfach ein Erfolg. Prüfen Sie Deckungsbeitrag und relevante negative Rückmeldungen über den geplanten Zeitraum. Legen Sie nach Sichtung der Ergebnisse keine neue primäre Kennzahl fest, nur weil sie die bevorzugte Fassung besser aussehen lässt.
Formulieren Sie die Schlussfolgerung im Verhältnis zu den Nachweisen: Was änderte sich, was wurde beobachtet, wie unsicher ist das Ergebnis und was folgt daraus? Ist der Test unentschieden, kann eine einfachere Fassung betrieblich trotzdem sinnvoll sein. Beschreiben Sie das als praktische Entscheidung und nicht als Beweis für eine höhere Conversion-Rate.
Die Erkenntnis einschließlich Unsicherheit festhalten
Speichern Sie Varianten, Zielgruppenregeln, Stichprobengrößen, Zeitpunkte und Ergebnisse. Sind die Nachweise schwach, sagen Sie das ausdrücklich und machen Sie aus einem vorläufigen Unterschied keine dauerhafte Regel.
Verwenden Sie das Ergebnis für die nächste praktische Verbesserung. Ein Test ohne deutlichen Unterschied kann dennoch Zeit sparen, wenn er nahelegt, die Aufmerksamkeit auf ein anderes Problem zu richten. Ziel ist ein besserer Entscheidungsprozess und nicht ein Kalender voller Experimente, deren Ergebnisse niemand nutzt.
Berücksichtigen Sie neben statistischen Nachweisen auch die praktische Bedeutung. Eine kleine Verbesserung, deren Umsetzung teuer ist, lohnt sich vielleicht nicht. Eine Fassung, die mehr Bestellungen erzeugt, aber falsche Erwartungen oder teurere Rücksendungen auslöst, kann trotz Verbesserung der Hauptkennzahl die Gesamtentscheidung verfehlen.
Schließen Sie den Test mit einem von drei ehrlichen Ergebnissen ab: übernehmen, mit den Nachweisen beschrieben; weiter prüfen, weil das Ergebnis unsicher ist; oder ablehnen, weil Änderungskosten oder Nachteile den Nutzen überwiegen. Bewahren Sie Briefing und Zahlen auf. So bauen spätere Experimente aufeinander auf, statt in jeder Kampagne erneut einen vermeintlichen Gewinner aus Zufallsschwankungen zu suchen.