Un test témoin compare un groupe admissible qui reçoit une campagne à un groupe comparable qui ne la reçoit pas. Il cherche à savoir si le message a modifié les achats, plutôt qu’à déterminer quelles commandes répondent à une règle d’attribution. Le principe est simple, mais une comparaison crédible exige une répartition rigoureuse des groupes, une mesure cohérente et la prise en compte des autres messages envoyés aux mêmes clients.
Préparez les groupes avant l’envoi
Commencez par définir une audience admissible, puis attribuez un sous-groupe comparable à la promotion tandis qu’un autre ne reçoit pas ce message marketing précis. Continuez à envoyer les communications de service nécessaires. Ne retenez pas une information essentielle sur une commande pour les besoins d’une expérience.
Utilisez les commandes d’audience disponibles pour organiser le test et documentez la méthode de répartition. Si vous ne pouvez ni créer des groupes comparables ni mesurer leurs résultats de façon cohérente, traitez l’exercice comme exploratoire plutôt que comme un test causal fiable.
Définissez précisément ce que vous testez
Décidez si vous testez un seul email, une séquence ou l’ajout du SMS à un plan email existant. Le groupe témoin doit différer uniquement par l’exposition marketing définie, tandis que les communications de service nécessaires restent intactes. Si plusieurs autres facteurs changent, le résultat répond à une question plus large que l’effet d’un email.
Affectez au hasard les clients admissibles lorsque votre processus et vos données le permettent, et gardez cette répartition stable pendant la période d’observation. Évitez de placer les clients les moins engagés dans le groupe témoin et les meilleurs dans le groupe exposé. Une telle comparaison mesurerait surtout vos critères de sélection, pas l’effet de la campagne.
Consignez avant l’envoi la méthode de répartition, le nombre de personnes dans chaque groupe, les exclusions, l’exposition prévue et le résultat principal. Mesurez le résultat avec une source capable de suivre les achats des deux groupes. Le chiffre d’affaires attribué au message ne convient pas seul, puisque le groupe qui n’a reçu aucun message ne bénéficie d’aucune possibilité équivalente d’attribution.
Tenez compte des influences concurrentes
Vérifiez si d’autres campagnes, automatisations ou offres publiques atteignent différemment les groupes. Les membres du groupe témoin peuvent tout de même voir la même promotion ailleurs. Cela ne rend pas le test inutile, mais modifie ce que ses résultats peuvent établir.
Appliquez la même période d’observation et la même définition du résultat aux deux groupes. Comparez le taux de commande ou la marge contributive par client admissible plutôt que le seul chiffre d’affaires attribué, puisque le groupe non exposé ne dispose pas du même parcours d’attribution lié à un message.
Analysez l’écart sans l’exagérer
Imaginons deux groupes de 2 000 clients. Pendant la même période, 60 personnes du groupe exposé et 50 du groupe témoin achètent. Les taux observés sont respectivement de 3 % et de 2,5 %, soit un écart de 0,5 point. Sur 2 000 clients, cela correspond à dix acheteurs de différence observée, et non à la preuve que les 60 achats du groupe exposé ont été causés par le message.
Il faut encore évaluer l’incertitude. Une variation aléatoire peut produire un écart, surtout lorsque les achats sont peu fréquents. Utilisez une analyse statistique appropriée et demandez-vous si l’effet est commercialement important. Une estimation ponctuelle positive ne constitue pas à elle seule une conclusion fiable.
Interprétez l’écart avec retenue
Des groupes restreints et des achats rares peuvent produire des résultats variables. Un écart modeste peut rester indécis. Avant toute conclusion commerciale, consignez la taille des échantillons, leur chevauchement éventuel, la période et tout écart par rapport au plan.
Les rapports de campagne Sendvio peuvent contribuer à l’analyse, mais un groupe témoin est une méthode de mesure, pas une fonction garantie du tableau de bord. Utilisez-la lorsque l’importance de la décision justifie la préparation. Il s’agit de comprendre la valeur supplémentaire apportée, y compris les situations où l’envoi de moins de messages produit des résultats commerciaux comparables.
Examinez également l’exposition en dehors du message testé. Un client témoin peut voir la promotion publique ou recevoir une autre automatisation autorisée. Cela n’invalide pas automatiquement l’expérience, mais signifie que vous estimez l’effet supplémentaire du traitement défini dans cet environnement global, et non l’effet de tout le marketing par rapport à son absence.
Si la décision le justifie, comparez la marge contributive et les réactions négatives à l’aide de définitions cohérentes, et laissez assez de temps pour prendre en compte les retours pertinents. Signalez tout écart au plan. Si les groupes n’étaient pas comparables ou si l’exposition était mal suivie, présentez le résultat comme exploratoire. Un bon test témoin peut montrer qu’une campagne apporte de la valeur, en apporte peu ou coûte davantage qu’elle ne rapporte ; ces trois résultats sont utiles s’ils éclairent une vraie décision.