Pengujian kelompok kontrol email membandingkan kelompok yang memenuhi syarat dan menerima kampanye dengan kelompok sebanding yang tidak menerimanya. Tujuannya adalah mengetahui apakah pesan mengubah perilaku pembelian, bukan menentukan pesanan mana yang cocok dengan aturan atribusi. Gagasannya sederhana, tetapi perbandingan yang dapat dipercaya memerlukan pembagian kelompok yang cermat, pengukuran yang konsisten, dan perhatian terhadap pesan lain yang diterima pelanggan yang sama.
Rencanakan kelompok sebelum pengiriman
Mulailah dengan audiens yang memenuhi syarat, lalu tetapkan satu kelompok sebanding untuk menerima promosi dan kelompok lainnya untuk tidak menerima pesan pemasaran tertentu itu. Komunikasi layanan yang penting harus tetap berjalan. Jangan menahan informasi penting tentang pesanan demi sebuah eksperimen.
Gunakan pengaturan audiens yang tersedia untuk menyusun rencana dan catat proses pembagian kelompok. Jika Anda tidak dapat membuat kelompok yang sebanding atau melacak hasil secara konsisten, anggap kegiatan ini sebagai eksplorasi, bukan uji sebab-akibat yang dapat diandalkan.
Tentukan perlakuan yang diuji secara tepat
Tentukan apakah Anda menguji satu email, serangkaian email, atau penambahan SMS pada rencana email yang sudah ada. Perbedaan antara kelompok kontrol dan kelompok perlakuan harus terbatas pada bentuk pemasaran yang ditetapkan itu, sementara komunikasi layanan yang diperlukan tetap berjalan. Jika beberapa hal lain ikut berubah, hasilnya akan menjawab pertanyaan yang lebih luas daripada dampak satu email.
Jika proses dan data memungkinkan, tetapkan pelanggan yang memenuhi syarat ke kelompok secara acak dan pertahankan pembagian itu selama periode pengamatan. Jangan menempatkan pelanggan yang paling jarang berinteraksi di kelompok kontrol dan pelanggan terbaik di kelompok perlakuan. Perbandingan seperti itu terutama mengukur siapa yang Anda pilih, bukan apa yang diubah kampanye.
Catat metode pembagian, ukuran kelompok, pengecualian, paparan yang direncanakan, dan hasil utama sebelum pengiriman. Ukur hasil dari sumber yang dapat mengamati pembelian di kedua kelompok. Pendapatan yang diatribusikan ke pesan saja tidak cocok karena kelompok yang tidak menerima pesan tidak memiliki kesempatan atribusi yang setara.
Perhatikan pengaruh lain yang mungkin bersaing
Periksa apakah kampanye lain, otomatisasi, atau penawaran publik menjangkau kedua kelompok secara berbeda. Kelompok kontrol untuk satu email mungkin tetap melihat obral yang sama di tempat lain. Hal itu tidak otomatis membuat pengujian sia-sia, tetapi mengubah kesimpulan yang bisa ditarik.
Gunakan periode pengamatan dan definisi hasil yang sama untuk kedua kelompok. Bandingkan rasio pesanan atau kontribusi per pelanggan yang memenuhi syarat, bukan hanya pendapatan teratribusi, karena kelompok yang tidak menerima pesan tidak memiliki jalur atribusi pesan yang setara.
Hitung selisih tanpa melebih-lebihkan maknanya
Bayangkan ada 2.000 pelanggan di setiap kelompok. Selama periode pengamatan yang sama, 60 pelanggan di kelompok perlakuan membeli dan 50 pelanggan di kelompok kontrol membeli. Rasio yang terlihat adalah 3% dan 2,5%, dengan selisih 0,5 poin persentase. Pada kelompok berisi 2.000 pelanggan, selisih yang diamati itu berarti sepuluh pembeli, bukan bukti bahwa pesanlah yang menghasilkan semua 60 pembelian di kelompok perlakuan.
Contoh tersebut tetap perlu dinilai ketidakpastiannya. Variasi acak dapat menghasilkan selisih, terutama ketika pembelian relatif jarang. Gunakan analisis statistik yang sesuai dan pertimbangkan apakah besarnya dampak cukup berarti secara komersial. Estimasi positif saja belum sama dengan kesimpulan yang dapat dipercaya.
Tafsirkan perbedaan dengan hati-hati
Kelompok kecil dan pembelian yang jarang dapat menghasilkan angka yang berfluktuasi. Selisih yang tampak kecil mungkin belum memberikan kesimpulan. Catat ukuran sampel, tumpang tindih, waktu, dan penyimpangan dari rencana sebelum membuat klaim bisnis.
Laporan kampanye Sendvio dapat menjadi bagian dari analisis, tetapi kelompok kontrol adalah rancangan pengukuran, bukan jaminan yang otomatis disediakan dasbor. Gunakan metode ini ketika keputusan cukup penting untuk membenarkan persiapannya. Tujuannya adalah memahami nilai tambah, termasuk kemungkinan bahwa pengiriman yang lebih sedikit menghasilkan dampak komersial serupa.
Periksa paparan yang terjadi di luar pesan yang diuji. Pelanggan dalam kelompok kontrol mungkin melihat obral publik atau menerima otomatisasi lain yang diizinkan. Ini tidak otomatis membatalkan eksperimen, tetapi berarti Anda sedang memperkirakan dampak tambahan dari perlakuan tertentu di tengah lingkungan pemasaran yang lebih luas, bukan membandingkan semua pemasaran dengan tanpa pemasaran sama sekali.
Bandingkan kontribusi dan respons negatif bila keputusan memerlukannya, dengan definisi yang konsisten dan waktu yang cukup untuk memperhitungkan pengembalian barang. Catat penyimpangan dari rencana. Jika kelompok tidak sebanding atau paparan tidak terlacak dengan baik, laporkan kegiatan ini sebagai eksplorasi. Kelompok kontrol yang dirancang dengan baik dapat menunjukkan bahwa kampanye memberi nilai tambah, hanya sedikit membantu, atau menelan biaya lebih besar daripada hasilnya. Ketiganya berguna jika membantu mengubah keputusan nyata.