Тестът на имейл кампания трябва да помага при вземането на решение. „Помага ли ръководството за размер на клиентите да изберат?“ е по-полезно от „Кой имейл изглежда по-добре?“. Преди изпращане определете промяната, допустимата аудитория и резултата за сравнение. Независимо дали организирате сравнението ръчно или използвате наличните инструменти, не променяйте няколко неща и не приписвайте резултата само на едно от тях.
Отделете конкретната промяна
Поддържайте сходни правилата за аудитория, офертата, целевата страница и условията за изпращане. Променете един значим елемент, например подхода в заглавието или наличието на информация за размерите. Ако промените всичко наведнъж, може да откриете по-добър цялостен вариант, но няма да разберете коя част е имала значение.
Използвайте наличните контроли за кампания и аудитория в акаунта си в Sendvio, за да организирате сравнението. Ако процесът изисква ръчно подготвени групи, документирайте разпределението им и не допускайте припокриване. Не приемайте, че има автоматична функция за тестване или избор на победител, преди да сте я проверили.
Напишете заданието за теста така, че да може да се провери след това
Полезното задание може да гласи: „При допустими абонати, които обмислят една и съща колекция калъфи, добавянето на кратко обяснение на размерите ще увеличи отговарящите на условията покупки на разпределен получател в избрания период на наблюдение.“ Посочете промяната, аудиторията, очаквания резултат и периода. Запазете сравними офертата и наличността на продукта.
Когато наличният процес го поддържа, разпределете допустимите получатели на случаен принцип в групи без припокриване. Разделянето по азбучен ред или изпращането на единия вариант до най-новите абонати може да създаде систематични различия. Ако важните групи клиенти трябва да бъдат равномерно представени, планирайте го предварително, вместо да доизмисляте обяснение след получаване на резултатите.
Решете дали проверявате един елемент или цялостен вариант. И двата подхода могат да бъдат полезни, но отговарят на различни въпроси. Ако заедно промените темата, оформлението, отстъпката и целевата страница, резултатът може да предпочете единия пакет, без да покаже коя отделна промяна е причинила разликата. Назовете теста точно.
Предварително определете какво означава успех
Изберете основен резултат, свързан с въпроса, например поръчки на допустим получател. Като предпазни показатели следете отказите от абонамент, оплакванията и съответните разходи. Самото увеличение на процента на отваряне може да не означава повече човешко внимание или по-добър търговски резултат.
Преди старта определете периода на наблюдение и оставете време за обичайния цикъл на покупка. Ако спирате веднага щом единият вариант излезе напред, изводът може да е подвеждащ. Малката извадка може да остане неубедителна, дори когато единият процент видимо е по-голям.
Определете колко доказателства са нужни за решението
Увеличение от две покупки до три е относителен ръст от 50%, но разликата е само една покупка. Това е слабо основание за постоянно правило. Записвайте абсолютните броеве и разликите в процентни пунктове наред с относителното увеличение, за да не преувеличава представянето малък резултат.
При важно решение оценете нужния размер на извадката според базовия процент и най-малкия ефект, който си струва да приложите, като използвате подходящ статистически метод или квалифицирана помощ. Няма един размер на извадката, който да прави всеки тест на имейл надежден. Редките резултати и малките очаквани разлики обикновено изискват повече доказателства от честите резултати и големите промени.
Преди старта определете периода на наблюдение и начина за приключване на теста. Многократното проверяване и спиране при първия положителен резултат може да изкриви извода, освен ако анализът не е проектиран за такъв процес. Ако кампанията трябва да приключи по търговска причина, запишете ограничението, вместо да обявявате частичния резултат за окончателен.
Разглеждайте резултата като броеве, проценти и търговска стойност
Представете си две сравними групи, разпределени на случаен принцип, всяка с по 5 000 допустими получатели. Вариант А носи 100 уникални купувачи, а вариант Б — 115, в рамките на договорения период. Наблюдаваните проценти са 2% и 2,3%. Това е разлика от 0,3 процентни пункта или относителен ръст от 15% спрямо базовите 2%. Това са примерни числа, а не доказателства за реална кампания на Sendvio.
По-големият процент не решава въпроса сам по себе си. Подходящ статистически анализ трябва да оцени несигурността, а бизнесът — дали възможното подобрение си струва. Проверете дали не са се променили неочаквано отстъпките, наличностите, доставката или проследяването. Включвайте първоначално разпределените групи в анализа, вместо впоследствие да изключвате хората, които не са отворили или кликнали.
След това проверете предпазните показатели. Ако вторият вариант увеличава покупките, но и създава скъпо объркване за включените артикули, резултатът не е просто успех. Прегледайте приноса и съответната отрицателна обратна връзка за планирания период. Не избирайте нов основен показател след резултатите, само защото предпочитаният вариант изглежда по-добре по него.
Формулирайте извода в съответствие с доказателствата: какво се промени, какво се наблюдава, колко е несигурно и какво следва. Ако резултатът остава неубедителен, по-простият вариант може пак да е разумен оперативен избор, но представете го като практично решение, а не като доказателство за по-добър процент на конверсия.
Запишете извода и несигурността
Запазете вариантите, правилата на аудиторията, размерите на извадките, времето и резултата. Ако доказателствата са слаби, посочете го и не превръщайте временната разлика в постоянно правило.
Използвайте резултата, за да изберете следващото практично подобрение. Тест с малка разлика пак може да спести време, като покаже, че екипът трябва да се съсредоточи другаде. Целта е по-добър процес за решения, а не календар, пълен с експерименти, чиито резултати никой не използва.
Проверявайте практическото значение, както и статистическите доказателства. Малко подобрение, което изисква скъпо производство, може да не си струва да се поддържа. Вариант, който увеличава поръчките, но създава подвеждащи очаквания или скъпи връщания, може да не е подходящ дори ако основният показател се подобрява.
Завършете теста с един от три честни изхода: приемете промяната с посочените доказателства; продължете проучването, защото резултатът е несигурен; или я отхвърлете, защото ползата не оправдава разхода или вредата. Запазете заданието и броевете. Така бъдещите тестове надграждат наученото, вместо всяка кампания да се превръща в нов опит да се открие „победител“ в случайния шум.