Pengujian kampanye email seharusnya membantu Anda mengambil keputusan. “Apakah panduan ukuran membantu pembeli memilih?” lebih berguna daripada “Email mana yang terlihat lebih bagus?” Tentukan perubahan, audiens yang memenuhi syarat, dan hasil yang akan dibandingkan sebelum mengirim. Baik Anda mengatur perbandingan secara manual maupun memakai alat pengujian yang tersedia, hindari mengubah banyak hal sekaligus lalu mengaitkan hasilnya hanya dengan satu perubahan.
Uji satu perubahan
Buat aturan audiens, penawaran, halaman tujuan, dan kondisi pengiriman tetap sebanding. Ubah satu elemen penting, seperti sudut pesan pada judul atau penambahan panduan ukuran. Jika semuanya berubah sekaligus, Anda mungkin menemukan paket yang lebih baik, tetapi tidak akan tahu bagian mana yang berpengaruh.
Gunakan pengaturan kampanye dan audiens yang tersedia di akun Sendvio untuk mengatur perbandingan. Jika prosesnya memerlukan kelompok yang disiapkan secara manual, catat cara penerima dibagi dan pastikan kelompoknya tidak tumpang tindih. Jangan menganggap ada fitur pengujian otomatis atau pemilihan pemenang tertentu sebelum Anda memastikannya.
Tulis rencana pengujian yang bisa diperiksa setelahnya
Rencana yang berguna bisa berbunyi: “Bagi pelanggan yang memenuhi syarat dan sedang mempertimbangkan koleksi sarung yang sama, menambahkan penjelasan ukuran singkat akan meningkatkan pembelian yang memenuhi kriteria per penerima yang ditetapkan selama periode pengamatan.” Sebutkan perubahan, audiens, hasil yang diharapkan, dan rentang waktu. Pastikan penawaran serta ketersediaan produk sebanding.
Jika proses yang tersedia mendukungnya, bagikan penerima yang memenuhi syarat secara acak ke dalam kelompok yang tidak tumpang tindih. Membagi daftar berdasarkan urutan abjad atau mengirim satu versi kepada pelanggan terbaru dapat menimbulkan perbedaan sistematis. Jika kelompok pelanggan tertentu perlu diwakili secara seimbang, rencanakan sejak awal alih-alih mencoba memperbaiki penjelasan setelah hasil keluar.
Tentukan apakah Anda menguji satu elemen atau keseluruhan paket. Keduanya berguna, tetapi menjawab pertanyaan berbeda. Jika subjek, tata letak, diskon, dan halaman tujuan semuanya berubah, hasilnya mungkin menunjukkan paket mana yang lebih baik tanpa menjelaskan perubahan tunggal yang berpengaruh. Beri nama dan jelaskan pengujian secara jujur.
Tentukan arti keberhasilan sebelum memulai
Pilih hasil utama yang menjawab pertanyaan, seperti jumlah pesanan per penerima yang memenuhi syarat. Jadikan berhenti berlangganan, keluhan, dan biaya terkait sebagai metrik penjaga. Kenaikan rasio buka saja belum tentu berarti perhatian manusia meningkat atau hasil komersial membaik.
Tentukan periode pengamatan sebelum peluncuran dan sesuaikan dengan siklus pembelian yang wajar. Berulang kali menghentikan pengujian begitu satu versi tampak unggul dapat menghasilkan kesimpulan menyesatkan. Sampel kecil mungkin tetap belum meyakinkan, meskipun salah satu persentase terlihat lebih tinggi.
Tentukan seberapa banyak bukti yang dibutuhkan
Kenaikan dari dua pembelian menjadi tiga berarti peningkatan relatif 50%, tetapi selisihnya hanya satu pembelian. Itu bukti yang lemah untuk menetapkan aturan permanen. Catat jumlah aktual dan selisih dalam poin persentase bersama peningkatan relatif agar hasil kecil tidak tampak berlebihan.
Untuk keputusan penting, perkirakan kebutuhan sampel berdasarkan rasio dasar dan dampak terkecil yang cukup berarti untuk ditindaklanjuti. Gunakan metode statistik yang sesuai atau mintalah bantuan ahli. Tidak ada satu ukuran sampel yang membuat setiap pengujian email otomatis andal. Hasil yang jarang terjadi dan perubahan kecil yang diharapkan biasanya membutuhkan lebih banyak bukti daripada hasil umum dan perubahan besar.
Tetapkan durasi pengamatan dan aturan penghentian sebelum kampanye dimulai. Terus-menerus memeriksa hasil lalu berhenti ketika angka pertama kali tampak menguntungkan dapat membiaskan kesimpulan, kecuali analisis memang dirancang untuk cara tersebut. Jika alasan bisnis mengharuskan kampanye berakhir lebih cepat, catat keterbatasannya dan jangan menyebut hasil sementara itu sebagai bukti pasti.
Baca hasil sebagai jumlah, rasio, dan nilai bisnis
Misalkan dua kelompok sebanding yang dibagi secara acak masing-masing berisi 5.000 penerima yang memenuhi syarat. Versi A menghasilkan 100 pembeli unik, sedangkan versi B menghasilkan 115 selama periode yang disepakati. Rasio pembeli yang diamati adalah 2% dan 2,3%. Selisihnya 0,3 poin persentase, atau kenaikan relatif 15% dari dasar 2%. Ini hanya ilustrasi, bukan bukti tentang kampanye Sendvio yang sebenarnya.
Persentase yang lebih besar belum cukup untuk mengambil keputusan. Analisis statistik yang sesuai tetap perlu menilai ketidakpastian, dan bisnis perlu memutuskan apakah kemungkinan peningkatan itu sepadan. Periksa apakah diskon, stok, pengiriman, atau pelacakan berbeda secara tidak sengaja. Pertahankan kelompok awal yang telah ditetapkan dalam analisis; jangan mengeluarkan penerima setelahnya hanya karena mereka tidak membuka atau mengeklik email.
Kemudian periksa metrik penjaga. Jika versi kedua menghasilkan lebih banyak pembelian tetapi juga membuat pelanggan salah memahami barang yang disertakan sehingga biaya meningkat, hasilnya tidak bisa disebut sukses begitu saja. Tinjau kontribusi dan respons negatif yang relevan selama periode yang direncanakan. Jangan memilih metrik utama baru setelah melihat angka mana yang membuat versi favorit Anda tampak unggul.
Sampaikan kesimpulan sesuai kekuatan buktinya: apa yang berubah, apa yang terlihat, seberapa besar ketidakpastiannya, dan tindakan selanjutnya. Jika hasilnya belum meyakinkan, versi yang lebih sederhana mungkin tetap menjadi pilihan operasional yang wajar. Namun, sebut itu sebagai keputusan praktis, bukan bukti bahwa rasio konversinya lebih baik.
Catat pelajaran, termasuk ketidakpastiannya
Simpan versi pesan, aturan audiens, ukuran sampel, waktu pengiriman, dan hasilnya. Jika buktinya lemah, katakan demikian dan jangan mengubah perbedaan sementara menjadi aturan permanen.
Gunakan hasil untuk memilih perbaikan praktis berikutnya. Pengujian yang tidak menunjukkan banyak perbedaan pun dapat menghemat waktu karena memberi petunjuk bahwa tim sebaiknya berfokus pada hal lain. Tujuannya adalah mengambil keputusan yang lebih baik, bukan memenuhi kalender dengan eksperimen yang hasilnya tidak pernah dipakai.
Pertimbangkan arti praktis selain bukti statistik. Peningkatan yang sangat kecil tetapi memerlukan produksi mahal mungkin tidak layak dipertahankan. Versi yang meningkatkan pesanan tetapi juga menimbulkan ekspektasi keliru atau pengembalian yang lebih mahal dapat gagal memenuhi tujuan yang lebih luas, meskipun metrik utamanya membaik.
Tutup pengujian dengan salah satu dari tiga kesimpulan yang jujur: terapkan perubahan dengan menyebutkan batas bukti yang ada, lanjutkan eksplorasi karena hasil belum pasti, atau tolak karena perubahan tidak sepadan dengan biaya maupun dampaknya. Simpan rencana dan jumlah hasilnya. Catatan tersebut membuat eksperimen berikutnya bisa dibangun dari pengalaman sebelumnya, alih-alih terus mencari “pemenang” baru dari kebetulan statistik.