آزمون کمپین ایمیل باید به تصمیم‌گیری کمک کند. «آیا راهنمای اندازه‌گیری به خریدار در انتخاب کمک می‌کند؟» از «کدام ایمیل زیباتر است؟» پرسش مفیدتری است. پیش از ارسال، تغییر، مخاطب واجدشرایط و نتیجهٔ مورد مقایسه را تعریف کنید. مقایسه را دستی سازمان دهید یا از ابزار آزمون موجود بهره بگیرید؛ چند چیز را هم‌زمان عوض نکنید و نتیجه را به یکی نسبت ندهید.
تغییر را جداگانه بیازمایید
قواعد مخاطب، پیشنهاد، مقصد و شرط ارسال را قابل مقایسه نگه دارید. یک جزء معنادار عوض کنید؛ مثلاً زاویهٔ عنوان یا وجود راهنمای اندازه. اگر همه‌چیز با هم تغییر کند، شاید بستهٔ بهتری پیدا کنید اما دلیل اثر هر جزء را نمی‌فهمید.
برای سازمان‌دهی مقایسه از کنترل کمپین و مخاطب موجود در حساب Sendvio استفاده کنید. اگر گردش کار به گروه‌بندی دستی نیاز دارد، روش تخصیص را ثبت و گروه‌ها را بدون هم‌پوشانی نگه دارید. قابلیت آزمون خودکار یا انتخاب خودکار برنده‌ای را که تأیید نکرده‌اید فرض نکنید.
خلاصهٔ آزمونی بنویسید که بعداً قابل بررسی باشد
خلاصهٔ مفید شاید بگوید: «برای مشترکان واجدشرایطی که همان مجموعهٔ روکش را بررسی می‌کنند، توضیح کوتاه اندازه‌گیری خرید واجدشرایط به‌ازای هر گیرندهٔ تخصیص‌یافته را در بازهٔ مشاهدهٔ انتخابی افزایش می‌دهد.» تغییر، مخاطب، نتیجهٔ مورد انتظار و بازهٔ زمانی را نام ببرید. پیشنهاد و موجودبودن محصول را قابل مقایسه نگه دارید.
هرجا فرایند موجود پشتیبانی می‌کند، گیرندگان واجدشرایط را تصادفی به گروه‌های بدون هم‌پوشانی اختصاص دهید. تقسیم الفبایی یا فرستادن یک نسخه فقط به مشترکان تازه‌تر می‌تواند تفاوت نظام‌مند بسازد. اگر حضور متوازن گروه‌های مهم مشتری لازم است، از پیش برنامه‌ریزی کنید، نه اینکه پس از رسیدن نتیجه توجیهش کنید.
تصمیم بگیرید یک عنصر را می‌آزمایید یا بسته‌ای کامل را. هر دو مفیدند، اما پرسش متفاوتی جواب می‌دهند. اگر موضوع، چیدمان، تخفیف و مقصد را با هم عوض کنید، شاید بسته‌ای برنده شود بی‌آنکه معلوم شود کدام تغییر علت بوده. صادقانه برچسب بزنید چه چیزی آزموده شد.
پیشاپیش موفقیت را تعریف کنید
نتیجهٔ اصلی مرتبط با پرسش برگزینید؛ مثلاً سفارش به‌ازای هر گیرندهٔ واجدشرایط. لغو اشتراک، شکایت و هزینه‌های مربوط را به‌عنوان حفاظ نگه دارید. افزایش نرخ بازشدن به‌تنهایی شاید توجه انسانی بیشتر یا نتیجهٔ تجاری بهتر نباشد.
دورهٔ مشاهده را پیش از راه‌اندازی تعیین کنید و برای چرخهٔ معمول خرید فرصت بدهید. توقف مکرر به‌محض جلو افتادن یک نسخه می‌تواند نتیجهٔ گمراه‌کننده دهد. حتی اگر یک درصد آشکارا بزرگ‌تر است، نمونهٔ کوچک شاید بی‌نتیجه بماند.
مشخص کنید تصمیم به چه میزان شواهد نیاز دارد
افزایش خرید از دو به سه، رشد نسبی ۵۰ درصدی است اما تفاوت مطلقش یک سفارش است. مدرک ضعیفی برای قاعدهٔ دائمی محسوب می‌شود. تعداد مطلق و تفاوت واحد درصد را کنار رشد نسبی ثبت کنید تا ارائه، نتیجهٔ کوچک را بزرگ‌نمایی نکند.
برای تصمیم مهم، نیاز نمونه را از نرخ پایه و کوچک‌ترین اثری که ارزش اقدام دارد تخمین بزنید؛ از روش آماری مناسب یا فرد واجدصلاحیت کمک بگیرید. حجم نمونهٔ واحدی همهٔ آزمون‌های ایمیل را معتبر نمی‌کند. نتیجه‌های نادر و تفاوت‌های مورد انتظار کوچک معمولاً شواهد بیشتری از پیامد رایج یا تغییر بزرگ می‌خواهند.
بازهٔ مشاهده و روش توقف را پیش از اجرا تعیین کنید. بررسی مکرر و توقف با نخستین نتیجهٔ مطلوب می‌تواند نتیجه‌گیری را مخدوش کند، مگر تحلیل برای این کار طراحی شده باشد. اگر به‌دلیل تجاری کمپین باید تمام شود، محدودیت را ثبت کنید و نتیجهٔ ناقص را قطعی ننامید.
نتیجه را با تعداد، نرخ و معنای تجاری بخوانید
فرض کنید دو گروه تصادفی و قابل مقایسه هرکدام ۵۰۰۰ گیرندهٔ واجدشرایط دارند. نسخهٔ A در بازهٔ توافق‌شده ۱۰۰ خریدار یکتا و نسخهٔ B، ۱۱۵ نفر می‌آورد. نرخ مشاهده‌شده به‌ترتیب ۲ و ۲٫۳ درصد است: تفاوت ۰٫۳ واحد درصد یا رشد نسبی ۱۵ درصد نسبت به خط مبنای ۲ درصد. این فقط نتیجهٔ نمونه‌ای برای توضیح است، نه داده‌ای دربارهٔ کمپین واقعی Sendvio.
درصد بزرگ‌تر تصمیم را نهایی نمی‌کند. تحلیل آماری مناسب هنوز باید عدم‌قطعیت را بسنجد و کسب‌وکار باید ارزش احتمالی بهبود را تعیین کند. بررسی کنید تخفیف، موجودی، تحویل یا رهگیری ناخواسته فرق نداشته‌اند. گروه‌های اولیهٔ تخصیص‌یافته را در تحلیل حفظ کنید؛ به‌خاطر بازنکردن یا کلیک‌نکردن پس از واقعیت افراد را حذف نکنید.
سپس حفاظ‌ها را بررسی کنید. اگر نسخهٔ دوم سفارش بیشتری می‌آورد اما دربارهٔ اقلام همراه سوءبرداشت پرهزینه می‌سازد، نتیجه فقط موفقیت نیست. سهم سود و بازخورد منفی را در بازهٔ برنامه‌ریزی‌شده ببینید. پس از دیدن نتیجه، معیار اصلی تازه‌ای برنگزینید که نسخهٔ دلخواه را بهتر نشان دهد.
نتیجه را متناسب با شواهد بنویسید: چه چیزی تغییر کرد، چه مشاهده شد، عدم‌قطعیت چقدر است و اقدام بعدی چیست. اگر نتیجه نامشخص ماند، نسخهٔ ساده‌تر هنوز شاید انتخاب عملیاتی معقولی باشد، اما آن را تصمیمی عملی بخوانید، نه اثبات نرخ تبدیل بهتر.
درس را همراه عدم‌قطعیت ثبت کنید
نسخه‌ها، قواعد مخاطب، اندازهٔ نمونه، زمان‌بندی و نتیجه را ذخیره کنید. اگر شواهد ضعیف است صریح بگویید و تفاوت موقتی را قاعده‌ای دائمی معرفی نکنید.
از نتیجه برای انتخاب بهبود عملی بعدی استفاده کنید. آزمونی که تفاوت کمی نشان می‌دهد باز هم می‌تواند با پیشنهاد تمرکز بر جای دیگری در وقت تیم صرفه‌جویی کند. هدف فرایند تصمیم بهتر است، نه تقویمی پُر از آزمایش‌هایی که کسی نتیجه‌شان را به‌کار نمی‌گیرد.
اهمیت عملی را هم کنار شواهد آماری بسنجید. شاید بهبود ناچیزی که تولید پرهزینه می‌خواهد ارزش نگهداری نداشته باشد. نسخه‌ای که سفارش را زیاد می‌کند اما انتظار گمراه‌کننده یا مرجوعی پرهزینه می‌سازد شاید با وجود رشد معیار اصلی برای تصمیم کلی موفق نباشد.
آزمون را با یکی از سه نتیجهٔ صادقانه ببندید: با شرح شواهد به‌کار بگیرید؛ چون نتیجه نامطمئن است بیشتر بیازمایید؛ یا چون هزینه یا آسیب ارزش تغییر را ندارد کنار بگذارید. خلاصه و تعدادها را نگه دارید. این سابقه آزمایش‌های آینده را روی هم می‌سازد تا هر کمپین فرصتی تازه برای یافتن «برنده» در نویز آماری نباشد.