Μια δοκιμή καμπάνιας email πρέπει να σας βοηθά να πάρετε μια απόφαση. Το «Βοηθά ένας οδηγός μεγεθών τους αγοραστές να επιλέξουν;» είναι πιο χρήσιμο ερώτημα από το «Ποιο email φαίνεται καλύτερο;». Ορίστε την αλλαγή, το επιλέξιμο κοινό και το αποτέλεσμα που θα συγκρίνετε πριν από την αποστολή. Είτε οργανώνετε τη σύγκριση χειροκίνητα είτε χρησιμοποιείτε διαθέσιμα εργαλεία δοκιμών, μην αλλάζετε πολλά στοιχεία μαζί και αποδίδετε το αποτέλεσμα μόνο σε ένα από αυτά.
Απομονώστε την αλλαγή
Κρατήστε συγκρίσιμους τους κανόνες κοινού, την προσφορά, τον προορισμό και τις συνθήκες αποστολής. Αλλάξτε ένα ουσιαστικό στοιχείο, όπως την προσέγγιση του τίτλου ή την παρουσία πληροφοριών για τα μεγέθη. Αν αλλάξουν όλα μαζί, μπορεί να εντοπίσετε ένα καλύτερο συνολικό πακέτο, αλλά δεν θα ξέρετε ποιο στοιχείο έκανε τη διαφορά.
Χρησιμοποιήστε τα εργαλεία καμπανιών και διαχείρισης κοινού που είναι διαθέσιμα στον λογαριασμό σας Sendvio για να οργανώσετε τη σύγκριση. Αν η διαδικασία απαιτεί να δημιουργήσετε τις ομάδες χειροκίνητα, καταγράψτε τον τρόπο κατανομής τους και φροντίστε να μην αλληλεπικαλύπτονται. Μην υποθέτετε ότι υπάρχει αυτόματη λειτουργία δοκιμής ή αυτόματη επιλογή νικητή, αν δεν την έχετε επιβεβαιώσει.
Γράψτε ένα σχέδιο δοκιμής που μπορείτε να ελέγξετε εκ των υστέρων
Ένα χρήσιμο σχέδιο μπορεί να λέει: «Για τους επιλέξιμους συνδρομητές που εξετάζουν την ίδια συλλογή καλυμμάτων, μια σύντομη εξήγηση μεγεθών θα αυξήσει τις επιλέξιμες αγορές ανά άτομο στο οποίο ανατέθηκε η εκδοχή, μέσα στη συμφωνημένη περίοδο παρατήρησης». Ονομάστε την αλλαγή, το κοινό, το αναμενόμενο αποτέλεσμα και το χρονικό διάστημα. Κρατήστε συγκρίσιμα την προσφορά και τη διαθεσιμότητα προϊόντων.
Όπου το επιτρέπει η διαδικασία, κατανείμετε τυχαία τους επιλέξιμους παραλήπτες σε ομάδες χωρίς επικάλυψη. Ο αλφαβητικός διαχωρισμός ή η αποστολή της μίας εκδοχής στους πιο πρόσφατους συνδρομητές μπορεί να δημιουργήσει συστηματικές διαφορές. Αν χρειάζεται ισορροπημένη εκπροσώπηση σημαντικών ομάδων πελατών, σχεδιάστε το από πριν αντί να προσπαθήσετε να εξηγήσετε τη διαφορά αφού δείτε τα αποτελέσματα.
Αποφασίστε αν δοκιμάζετε ένα στοιχείο ή ένα ολοκληρωμένο πακέτο. Και οι δύο προσεγγίσεις μπορεί να είναι χρήσιμες, αλλά απαντούν σε διαφορετικά ερωτήματα. Αν αλλάξετε ταυτόχρονα θέμα, διάταξη, έκπτωση και προορισμό, το αποτέλεσμα μπορεί να ευνοεί ένα πακέτο, χωρίς να δείχνει ποια επιμέρους αλλαγή το προκάλεσε. Περιγράψτε με ακρίβεια τι δοκιμάσατε.
Αποφασίστε εκ των προτέρων τι σημαίνει επιτυχία
Επιλέξτε ένα βασικό αποτέλεσμα που συνδέεται με το ερώτημα, όπως παραγγελίες ανά επιλέξιμο παραλήπτη. Παρακολουθείτε επίσης τις διαγραφές, τα παράπονα και τα σχετικά κόστη ως δικλίδες ασφαλείας. Μια αύξηση στο ποσοστό ανοίγματος από μόνη της δεν σημαίνει απαραίτητα περισσότερη ουσιαστική προσοχή ή καλύτερο εμπορικό αποτέλεσμα.
Ορίστε την περίοδο παρατήρησης πριν από την έναρξη και δώστε χρόνο στον συνηθισμένο κύκλο αγοράς. Αν σταματάτε επανειλημμένα τη δοκιμή μόλις προηγηθεί μία εκδοχή, μπορεί να βγάλετε παραπλανητικά συμπεράσματα. Με μικρό δείγμα, τα αποτελέσματα μπορεί να μην αρκούν για συμπέρασμα, ακόμη κι όταν το ένα ποσοστό φαίνεται αισθητά υψηλότερο.
Σχεδιάστε πόσα στοιχεία χρειάζεται η απόφαση
Η αύξηση από δύο αγορές σε τρεις είναι σχετική αύξηση 50%, αλλά εξακολουθεί να είναι διαφορά μόλις μίας αγοράς. Αυτό αποτελεί αδύναμη βάση για έναν μόνιμο κανόνα. Καταγράψτε τους απόλυτους αριθμούς και τις διαφορές σε ποσοστιαίες μονάδες, μαζί με τη σχετική μεταβολή, ώστε η παρουσίαση να μην υπερβάλλει για ένα μικρό αποτέλεσμα.
Για μια σημαντική απόφαση, εκτιμήστε πόσο μεγάλο δείγμα χρειάζεστε με βάση το αρχικό ποσοστό και τη μικρότερη επίδραση που θα άξιζε να εφαρμόσετε, χρησιμοποιώντας κατάλληλη στατιστική μέθοδο ή τη βοήθεια ειδικού. Δεν υπάρχει ένα μοναδικό μέγεθος δείγματος που να καθιστά αξιόπιστη κάθε δοκιμή email. Τα σπάνια αποτελέσματα και οι μικρές αναμενόμενες διαφορές συνήθως απαιτούν περισσότερα στοιχεία από τα συχνά αποτελέσματα και τις μεγάλες αλλαγές.
Ορίστε πριν από την έναρξη την περίοδο παρατήρησης και τον τρόπο διακοπής της δοκιμής. Οι επανειλημμένοι έλεγχοι και η διακοπή μόλις εμφανιστεί το πρώτο ευνοϊκό αποτέλεσμα μπορούν να αλλοιώσουν το συμπέρασμα, εκτός αν η ανάλυση έχει σχεδιαστεί για αυτή τη διαδικασία. Αν πρέπει να τερματίσετε την καμπάνια για εμπορικό λόγο, καταγράψτε τον περιορισμό αντί να παρουσιάσετε το μερικό αποτέλεσμα ως οριστικό.
Ερμηνεύστε το αποτέλεσμα ως αριθμούς, ποσοστά και εμπορική αξία
Ας υποθέσουμε ότι δύο συγκρίσιμες ομάδες, στις οποίες οι παραλήπτες κατανεμήθηκαν τυχαία, έχουν από 5.000 επιλέξιμους παραλήπτες. Η εκδοχή Α φέρνει 100 μοναδικούς αγοραστές και η Β 115 μέσα στο συμφωνημένο χρονικό διάστημα. Τα παρατηρούμενα ποσοστά αγοραστών είναι 2% και 2,3%. Η διαφορά είναι 0,3 ποσοστιαίες μονάδες ή σχετική αύξηση 15% σε σχέση με την αρχική τιμή του 2%. Πρόκειται για ενδεικτικό παράδειγμα και όχι για στοιχεία πραγματικής καμπάνιας Sendvio.
Το υψηλότερο ποσοστό δεν αρκεί για να αποφασίσετε. Κατάλληλη στατιστική ανάλυση πρέπει να αξιολογήσει την αβεβαιότητα, ενώ η επιχείρηση χρειάζεται να κρίνει αν η πιθανή βελτίωση αξίζει. Ελέγξτε αν υπήρξαν απρόσμενες διαφορές στις εκπτώσεις, στο απόθεμα, στην παράδοση ή στην παρακολούθηση αποτελεσμάτων. Αναλύστε τους παραλήπτες στις ομάδες στις οποίες είχαν αρχικά κατανεμηθεί· μην εξαιρείτε εκ των υστέρων όσους δεν άνοιξαν ή δεν πάτησαν το μήνυμα.
Έπειτα εξετάστε τις δικλίδες ασφαλείας. Αν η δεύτερη εκδοχή φέρνει περισσότερες αγορές αλλά δημιουργεί δαπανηρή σύγχυση σχετικά με τα προϊόντα που περιλαμβάνονται, το αποτέλεσμα δεν είναι απλώς επιτυχία. Εξετάστε τη συνεισφορά στο κέρδος και τα σχετικά αρνητικά σχόλια μέσα στην προγραμματισμένη περίοδο. Μην επιλέγετε νέο βασικό δείκτη αφού δείτε ποιος αριθμός κάνει την εκδοχή που προτιμάτε να φαίνεται καλύτερη.
Διατυπώστε το συμπέρασμα ανάλογα με την ισχύ των στοιχείων: τι άλλαξε, τι παρατηρήθηκε, πόση αβεβαιότητα παραμένει και ποια ενέργεια ακολουθεί. Αν το αποτέλεσμα δεν είναι οριστικό, μια απλούστερη εκδοχή μπορεί παρ’ όλα αυτά να είναι πρακτική επιλογή. Περιγράψτε την όμως ως λειτουργική απόφαση και όχι ως απόδειξη ότι το ποσοστό μετατροπής της είναι υψηλότερο.
Καταγράψτε το μάθημα, μαζί με την αβεβαιότητα
Αποθηκεύστε τις εκδοχές, τους κανόνες κοινού, τα μεγέθη των δειγμάτων, τον χρόνο αποστολής και το αποτέλεσμα. Αν τα στοιχεία είναι αδύναμα, αναφέρετέ το και μην παρουσιάζετε μια προσωρινή διαφορά ως μόνιμο κανόνα.
Χρησιμοποιήστε το αποτέλεσμα για να επιλέξετε την επόμενη πρακτική βελτίωση. Ακόμη και μια δοκιμή που δείχνει μικρή διαφορά μπορεί να εξοικονομήσει χρόνο, υποδεικνύοντας ότι η ομάδα πρέπει να εστιάσει αλλού. Στόχος είναι να βελτιώνεται η διαδικασία λήψης αποφάσεων, όχι να γεμίζει το ημερολόγιο με πειράματα των οποίων τα συμπεράσματα δεν αξιοποιεί κανείς.
Εξετάστε τόσο την πρακτική αξία όσο και τα στατιστικά στοιχεία. Μια μικρή βελτίωση που απαιτεί ακριβή παραγωγή ίσως να μην αξίζει να διατηρηθεί. Μια εκδοχή που αυξάνει τις παραγγελίες αλλά δημιουργεί παραπλανητικές προσδοκίες ή περισσότερες δαπανηρές επιστροφές μπορεί να είναι αποτυχημένη συνολικά, ακόμη κι αν βελτιώνει τον βασικό δείκτη.
Ολοκληρώστε τη δοκιμή με ένα από τρία ειλικρινή συμπεράσματα: υιοθετήστε την αλλαγή περιγράφοντας τα διαθέσιμα στοιχεία, συνεχίστε τη διερεύνηση επειδή το αποτέλεσμα είναι αβέβαιο ή απορρίψτε την επειδή δεν δικαιολογεί το κόστος ή τις επιπτώσεις της. Κρατήστε το σχέδιο και τους αριθμούς. Έτσι τα μελλοντικά πειράματα θα βασίζονται στα προηγούμενα, αντί κάθε καμπάνια να γίνεται άλλη μία ευκαιρία να ανακηρυχθεί «νικητής» μια τυχαία διακύμανση.