Μια δοκιμή email με ομάδα ελέγχου συγκρίνει μια επιλέξιμη ομάδα που λαμβάνει την καμπάνια με μια αντίστοιχη ομάδα που δεν τη λαμβάνει. Εξετάζει αν το μήνυμα άλλαξε την αγοραστική συμπεριφορά και όχι απλώς ποιες παραγγελίες αντιστοιχίστηκαν σε κάποιον κανόνα απόδοσης. Η ιδέα είναι απλή· για αξιόπιστη σύγκριση χρειάζονται προσεκτική κατανομή σε ομάδες, σταθερή μέτρηση και έλεγχος των άλλων μηνυμάτων που λαμβάνουν οι ίδιοι πελάτες.
Σχεδιάστε τις ομάδες πριν από την αποστολή
Ξεκινήστε με ένα επιλέξιμο κοινό και επιλέξτε μια αντίστοιχη υποομάδα για να λάβει την προσφορά, ενώ μια άλλη υποομάδα δεν θα λάβει το συγκεκριμένο μήνυμα marketing. Συνεχίστε κανονικά την απαραίτητη επικοινωνία εξυπηρέτησης. Μην αποκλείετε από το πείραμα ουσιώδεις πληροφορίες σχετικά με παραγγελίες.
Χρησιμοποιήστε τα διαθέσιμα εργαλεία διαχείρισης κοινού για να οργανώσετε το σχέδιο και καταγράψτε τη διαδικασία κατανομής. Αν δεν μπορείτε να δημιουργήσετε συγκρίσιμες ομάδες ή να παρακολουθήσετε τα αποτελέσματα με συνέπεια, αντιμετωπίστε την προσπάθεια ως διερευνητική και όχι ως αξιόπιστο πείραμα αιτιότητας.
Ορίστε με ακρίβεια την παρέμβαση
Αποφασίστε αν δοκιμάζετε ένα email, μια σειρά μηνυμάτων ή την προσθήκη SMS σε ένα υπάρχον πλάνο email. Η ομάδα ελέγχου πρέπει να διαφέρει μόνο ως προς την καθορισμένη ενέργεια marketing, ενώ η απαραίτητη επικοινωνία εξυπηρέτησης παραμένει διαθέσιμη. Αν αλλάξουν και άλλα πράγματα, το αποτέλεσμα θα απαντά σε ευρύτερο ερώτημα από την επίδραση ενός email.
Όπου το επιτρέπουν η διαδικασία και τα δεδομένα σας, κατανεμήστε τυχαία τους επιλέξιμους πελάτες και διατηρήστε σταθερή την κατανομή κατά την περίοδο παρατήρησης. Μην τοποθετείτε τους λιγότερο ενεργούς πελάτες στην ομάδα ελέγχου και τους καλύτερους στην ομάδα που λαμβάνει την καμπάνια. Μια τέτοια σύγκριση μετρά κυρίως ποιους επιλέξατε και όχι τι άλλαξε η καμπάνια.
Πριν από την αποστολή, καταγράψτε τη μέθοδο κατανομής, το μέγεθος των ομάδων, τις εξαιρέσεις, την προβλεπόμενη έκθεση και το βασικό αποτέλεσμα. Μετρήστε το αποτέλεσμα από πηγή που μπορεί να παρατηρεί αγορές και στις δύο ομάδες. Τα έσοδα που αποδίδονται μόνο σε μηνύματα δεν είναι κατάλληλα, επειδή η ομάδα που δεν έλαβε μήνυμα δεν έχει αντίστοιχη δυνατότητα απόδοσης.
Λάβετε υπόψη και άλλους παράγοντες
Ελέγξτε αν οι ομάδες λαμβάνουν διαφορετικά άλλες καμπάνιες, αυτοματισμούς ή δημόσιες προσφορές. Μια ομάδα ελέγχου για ένα email μπορεί και πάλι να δει την ίδια έκπτωση αλλού. Αυτό δεν καθιστά την προσπάθεια άχρηστη, αλλά αλλάζει τι μπορεί να σας δείξει.
Χρησιμοποιήστε την ίδια περίοδο παρατήρησης και τον ίδιο ορισμό αποτελέσματος και για τις δύο ομάδες. Συγκρίνετε ποσοστά παραγγελιών ή συνεισφορά ανά επιλέξιμο πελάτη αντί να εξετάζετε μόνο τα έσοδα που αποδίδονται, καθώς η ομάδα χωρίς το μήνυμα δεν έχει αντίστοιχη διαδρομή απόδοσης.
Υπολογίστε τη διαφορά χωρίς υπερβολικούς ισχυρισμούς
Ας υποθέσουμε ότι κάθε ομάδα περιλαμβάνει 2.000 πελάτες. Στην ίδια περίοδο παρατήρησης, αγοράζουν 60 πελάτες από την ομάδα που έλαβε την καμπάνια και 50 από την ομάδα ελέγχου. Τα ποσοστά που παρατηρήθηκαν είναι 3% και 2,5%, διαφορά 0,5 ποσοστιαίας μονάδας. Για 2.000 πελάτες, αυτό αντιστοιχεί σε παρατηρούμενη διαφορά δέκα αγοραστών· δεν αποδεικνύει ότι το μήνυμα δημιούργησε και τις 60 αγορές της πρώτης ομάδας.
Χρειάζεται ακόμη να αξιολογήσετε την αβεβαιότητα. Η τυχαία διακύμανση μπορεί να δημιουργήσει μια τέτοια διαφορά, ιδιαίτερα όταν οι αγορές είναι σχετικά σπάνιες. Χρησιμοποιήστε κατάλληλη στατιστική ανάλυση και εξετάστε αν το μέγεθος της επίδρασης έχει εμπορική σημασία. Μια θετική εκτίμηση από μόνη της δεν αποτελεί αξιόπιστο συμπέρασμα.
Ερμηνεύστε τη διαφορά με μέτρο
Οι μικρές ομάδες και οι σπάνιες αγορές μπορούν να οδηγήσουν σε αποτελέσματα με μεγάλη διακύμανση. Μια μικρή διαφορά μπορεί να μην αρκεί για ασφαλές συμπέρασμα. Πριν διατυπώσετε επιχειρηματικό ισχυρισμό, καταγράψτε το μέγεθος του δείγματος, τυχόν αλληλεπικαλύψεις, το χρονοδιάγραμμα και κάθε απόκλιση από το σχέδιο.
Οι αναφορές καμπανιών του Sendvio μπορούν να συνεισφέρουν στην ανάλυση, αλλά η ομάδα ελέγχου είναι μέθοδος μέτρησης, όχι εγγυημένη λειτουργία ενός πίνακα ελέγχου. Χρησιμοποιήστε την όταν η απόφαση αξίζει την προετοιμασία. Στόχος είναι να κατανοήσετε την πρόσθετη αξία, ακόμη και αν αποδειχθεί ότι στέλνοντας λιγότερα πετυχαίνετε παρόμοιο εμπορικό αποτέλεσμα.
Εξετάστε την έκθεση σε μηνύματα εκτός της δοκιμής. Ένας πελάτης της ομάδας ελέγχου μπορεί να δει τη δημόσια προσφορά ή να λάβει έναν άλλο επιτρεπόμενο αυτοματισμό. Αυτό δεν ακυρώνει αυτομάτως το πείραμα, σημαίνει όμως ότι μετράτε την πρόσθετη επίδραση της συγκεκριμένης ενέργειας μέσα σε αυτό το ευρύτερο περιβάλλον, όχι την επίδραση όλου του marketing σε σύγκριση με την πλήρη απουσία του.
Αν το απαιτεί η απόφαση, συγκρίνετε τη συνεισφορά στο κέρδος και τις αρνητικές αντιδράσεις χρησιμοποιώντας σταθερούς ορισμούς και αρκετό χρόνο για να φανούν οι σχετικές επιστροφές. Μην αποκρύπτετε αποκλίσεις από το σχέδιο. Αν οι ομάδες δεν ήταν συγκρίσιμες ή η έκθεση δεν παρακολουθήθηκε σωστά, περιγράψτε τη δοκιμή ως διερευνητική. Μια σωστά οργανωμένη ομάδα ελέγχου μπορεί να δείξει ότι μια καμπάνια προσθέτει αξία, προσθέτει ελάχιστη αξία ή κοστίζει περισσότερο από όσα αποφέρει. Και τα τρία αποτελέσματα είναι χρήσιμα όταν οδηγούν σε πραγματική απόφαση.