Контролният тест без изпращане сравнява допустима група, която получава кампанията, със сходна група, която не я получава. Той проверява дали съобщението променя поведението при покупка, а не кои поръчки съвпадат с правило за приписване. Идеята е проста, но надеждното сравнение изисква внимателно разпределяне на групите, последователно измерване и внимание към другите съобщения, които същите клиенти получават.
Планирайте групите преди изпращане
Започнете с допустима аудитория и изберете сравнима подгрупа, която ще получи промоцията, докато друга няма да получи точно това маркетингово съобщение. Запазете обичайните необходими служебни съобщения. Не спирайте важната информация за поръчката в името на експеримент.
Използвайте наличните контроли за аудиторията, за да организирате плана, и документирайте начина на разпределяне. Ако не можете да създадете сравними групи или последователно да проследите резултата, разглеждайте проверката като проучвателна, а не като надежден причинен тест.
Определете точно какво получава тестовата група
Решете дали проверявате един имейл, поредица или добавянето на SMS към съществуващ план за имейли. Контролната група трябва да се различава само по това конкретно маркетингово въздействие, докато необходимата служебна комуникация остава достъпна. Ако се променят и други фактори, резултатът ще отговаря на по-широк въпрос от ефекта на един имейл.
Когато процесът и данните позволяват, разпределете допустимите клиенти на случаен принцип и запазете групите за целия период на наблюдение. Не поставяйте най-слабо ангажираните в контролната група, а най-добрите клиенти — в тестовата. Такова сравнение ще измерва най-вече кого сте избрали, а не промяната от кампанията.
Преди изпращане запишете начина на разпределяне, размера на групите, изключванията, планираното въздействие и основния резултат. Измервайте резултата от източник, който отчита покупките и в двете групи. Самият приход, приписан на съобщението, не е подходящ, защото групата без съобщение няма равностойна възможност за приписване.
Следете конкурентните влияния
Проверете дали други кампании, автоматизации или публични оферти достигат до групите по различен начин. Контролната група за един имейл пак може да види същата публична разпродажба. Това не прави проверката безполезна, но променя какво може да ви каже резултатът.
Използвайте еднакъв период и определение за резултат и за двете групи. Сравнявайте броя поръчки или приноса на допустим клиент, а не само приписания приход, тъй като групата без съобщение няма еквивалентен път за приписване към него.
Изчислете разликата, без да преувеличавате
Представете си по 2 000 клиенти във всяка група. През един и същ период 60 души от тестовата група купуват, а от контролната — 50. Наблюдаваните проценти са 3% и 2,5%, разлика от 0,5 процентни пункта. При 2 000 души това е наблюдавана разлика от десет купувачи, а не доказателство, че всичките 60 покупки в тестовата група са причинени от съобщението.
И този пример изисква оценка на несигурността. Случайните колебания могат да доведат до разлика, особено когато покупките са сравнително редки. Използвайте подходящ статистически анализ и преценете дали ефектът е достатъчно голям за бизнеса. Положителната точкова оценка не е равнозначна на надежден извод.
Тълкувайте разликата сдържано
Малките групи и редките покупки могат да дадат шумни резултати. Умерената разлика може да остане неубедителна. Преди търговски извод запишете размера на извадката, припокриванията, времето и всяко отклонение от плана.
Отчетите за кампании на Sendvio могат да участват в анализа, но контролният тест е дизайн на измерването, а не гарантирана функция на таблото. Използвайте го, когато решението е достатъчно важно, за да оправдае подготовката. Целта е да разберете допълнителната стойност, включително случаите, когато по-малкото изпращане води до сходен търговски резултат.
Проучете въздействието извън тестовото съобщение. Клиент в контролната група може да види публичната разпродажба или да получи друга разрешена автоматизация. Това не обезсилва автоматично експеримента, но означава, че оценявате допълнителния ефект на конкретното въздействие в тази по-широка среда, а не ефекта на целия маркетинг спрямо пълната липса на маркетинг.
Когато решението го изисква, сравнете приноса и отрицателните реакции с последователни определения и достатъчно време за връщанията. Оставете отклоненията от плана видими. Ако групите не са били сравними или въздействието не е проследено добре, представете проверката като проучвателна. Добре проведен контролен тест може да покаже, че кампанията добавя стойност, носи малка полза или струва повече, отколкото носи; и трите резултата са полезни, когато променят реално решение.