آزمون گروه کنترل ایمیل، گروه واجدشرایطی را که کمپین می‌گیرد با گروهی قابل مقایسه که آن را دریافت نمی‌کند می‌سنجد. این آزمون می‌پرسد پیام رفتار خرید را عوض کرد یا نه، نه اینکه کدام سفارش با قاعدهٔ انتساب جور شد. ایده ساده است؛ مقایسهٔ قابل اعتماد به تخصیص دقیق گروه‌ها، اندازه‌گیری یکسان و توجه به پیام‌های دیگری که همان مشتری می‌گیرد نیاز دارد.
پیش از ارسال گروه‌ها را برنامه‌ریزی کنید
با مخاطبی واجدشرایط شروع و زیرگروهی قابل مقایسه را برای گرفتن پیشنهاد تعیین کنید، درحالی‌که گروه دیگری آن پیام بازاریابی مشخص را نمی‌گیرد. ارتباط ضروری خدماتی را حفظ کنید. برای آزمایش، اطلاعات لازم سفارش را دریغ نکنید.
از کنترل مخاطب موجود برای سازمان‌دهی برنامه استفاده و روش تخصیص را مستند کنید. اگر نمی‌توانید گروه‌های قابل مقایسه بسازید یا نتیجه را یکدست رهگیری کنید، کار را اکتشافی بدانید، نه آزمون علّی قابل اعتماد.
مداخلهٔ آزموده‌شده را دقیق تعریف کنید
تصمیم بگیرید یک ایمیل، دنبالهٔ پیام یا افزودن پیامک به برنامهٔ موجود ایمیل را می‌آزمایید. گروه کنترل فقط باید در همان مداخلهٔ بازاریابی تعریف‌شده تفاوت داشته باشد و پیام خدماتی ضروری برایش محفوظ بماند. اگر چند چیز دیگر هم عوض شود، نتیجه پرسشی گسترده‌تر از اثر یک ایمیل را پاسخ می‌دهد.
هرجا فرایند و داده اجازه می‌دهد مشتریان واجدشرایط را تصادفی تخصیص دهید و در دورهٔ مشاهده تخصیص را ثابت نگه دارید. کم‌تعامل‌ترین افراد را در گروه کنترل و بهترین مشتریان را در گروه دریافت‌کننده نگذارید. چنین مقایسه‌ای بیشتر تفاوت انتخاب شما را می‌سنجد تا تغییر حاصل از کمپین.
روش تخصیص، اندازهٔ گروه، کنارگذاری‌ها، مواجههٔ موردنظر و نتیجهٔ اصلی را پیش از ارسال ثبت کنید. پیامد را از منبعی بسنجید که خرید هر دو گروه را می‌بیند. درآمد منتسب به پیام به‌تنهایی مناسب نیست، چون گروه بدون پیام فرصت انتساب معادلی ندارد.
اثرهای رقیب را آشکار نگه دارید
بررسی کنید کمپین، خودکارسازی یا پیشنهاد عمومی دیگری به شکل متفاوت به گروه‌ها می‌رسد یا نه. گروه کنترل یک ایمیل ممکن است همان تخفیف را جای دیگری ببیند. این کار الزاماً آزمایش را بی‌فایده نمی‌کند، اما معنای نتیجه را عوض می‌کند.
برای هر دو گروه دوره و تعریف پیامد یکسان بگذارید. نرخ سفارش یا سهم سود به‌ازای مشتری واجدشرایط را مقایسه کنید، نه فقط درآمد منتسب؛ گروه بدون پیام مسیر انتسابی معادل ندارد.
تفاوت را حساب کنید، بی‌آنکه اغراق کنید
فرض کنید در هر گروه ۲۰۰۰ مشتری است. طی بازهٔ یکسان ۶۰ نفر از گروه مداخله و ۵۰ نفر از گروه کنترل خرید می‌کنند. نرخ مشاهده‌شده به‌ترتیب ۳ و ۲٫۵ درصد است؛ تفاوت ۰٫۵ واحد درصد. برای ۲۰۰۰ مشتری، یعنی ده خریدار تفاوت مشاهده‌شده، نه مدرک اینکه پیام هر ۶۰ خرید گروه اول را ساخته است.
این مثال هنوز به ارزیابی عدم‌قطعیت نیاز دارد. تغییر تصادفی می‌تواند تفاوت بسازد، به‌خصوص اگر خرید نسبتاً نادر باشد. تحلیل آماری مناسب انجام و اهمیت تجاری اندازهٔ اثر را بسنجید. برآورد نقطه‌ای مثبت با نتیجهٔ قابل اعتماد یکی نیست.
تفاوت را با احتیاط تفسیر کنید
گروه کوچک و خریدهای نادر نتیجهٔ پرنوسان می‌سازند. تفاوت اندک شاید بی‌نتیجه بماند. پیش از ادعای تجاری اندازهٔ نمونه، هم‌پوشانی، زمان‌بندی و هر انحراف از برنامه را ثبت کنید.
گزارش کمپین Sendvio می‌تواند به تحلیل کمک کند، اما گروه کنترل طرح سنجش است، نه تضمینی که در داشبورد وجود دارد. وقتی اهمیت تصمیم ارزش آماده‌سازی را دارد از آن استفاده کنید. هدف فهم ارزش افزوده است، از جمله حالتی که ارسال کمتر نتیجهٔ تجاری مشابه می‌دهد.
مواجهه با پیام بیرون از مداخلهٔ آزموده‌شده را بررسی کنید. مشتری گروه کنترل شاید فروش عمومی را ببیند یا خودکارسازی مجاز دیگری بگیرد. این اتفاق خودبه‌خود آزمایش را باطل نمی‌کند، اما برآورد شما اثر افزودهٔ مداخلهٔ مشخص در همان محیط گسترده‌تر است، نه اثر همهٔ بازاریابی در برابر هیچ بازاریابی.
اگر تصمیم نیاز دارد، سهم سود و واکنش منفی را با تعریف یکسان و زمان کافی برای مرجوعی‌های مربوط مقایسه کنید. انحراف از برنامه را آشکار بنویسید. اگر گروه‌ها قابل مقایسه نبودند یا مواجهه خوب رهگیری نشد، نتیجه را اکتشافی گزارش کنید. گروه کنترلِ درست می‌تواند نشان دهد کمپین ارزش می‌افزاید، اندک می‌افزاید یا بیش از درآمدش هزینه دارد؛ هر سه نتیجه برای تغییر تصمیم مفیدند.