Um teste de campanha deve ajudar você a tomar uma decisão. “Um guia de tamanhos ajuda as pessoas a escolher?” é uma pergunta mais útil do que “Qual e-mail ficou mais bonito?”. Antes do envio, defina a mudança, o público elegível e o resultado que vai comparar. Quer você organize o teste manualmente ou use recursos disponíveis, evite mudar várias coisas e atribuir o resultado a apenas uma delas.
Isole a mudança
Mantenha comparáveis as regras do público, a oferta, o destino e as condições de envio. Mude um elemento significativo, como a abordagem do título ou a inclusão de orientações sobre tamanhos. Se tudo mudar ao mesmo tempo, talvez você identifique um pacote melhor, mas não entenda qual parte fez diferença.
Use os controles de campanha e público disponíveis na conta do Sendvio para organizar a comparação. Se o fluxo de trabalho exigir grupos preparados manualmente, documente como as pessoas foram distribuídas e evite sobreposição. Não presuma que existe um recurso automático de teste ou de escolha de vencedor sem antes confirmar como funciona.
Escreva um briefing que possa ser conferido depois
Um briefing útil poderia dizer: “Para inscritos elegíveis que consideram a mesma coleção de capas, incluir uma explicação breve de tamanhos vai aumentar as compras qualificadas por destinatário selecionado durante o período de observação definido”. Especifique a mudança, o público, o resultado esperado e o período. Mantenha comparáveis a oferta e a disponibilidade dos produtos.
Quando o processo disponível permitir, distribua aleatoriamente os destinatários elegíveis entre grupos que não se sobreponham. Dividir por ordem alfabética ou enviar uma versão às pessoas inscritas mais recentemente pode criar diferenças sistemáticas. Se precisar equilibrar grupos importantes de clientes, planeje isso deliberadamente em vez de tentar explicar a diferença depois de ver os resultados.
Decida se vai testar um elemento ou um pacote completo. As duas opções podem ser úteis, mas respondem a perguntas diferentes. Se você mudar o assunto, o layout, o desconto e o destino ao mesmo tempo, o resultado pode favorecer um pacote sem revelar qual mudança específica produziu o efeito. Descreva o teste com precisão.
Defina o que significa sucesso antes do envio
Escolha um resultado principal ligado à pergunta, como pedidos por destinatário elegível. Use cancelamentos, reclamações e custos relevantes como limites de proteção. Um aumento na taxa de abertura, sozinho, talvez não represente mais atenção humana nem melhores resultados comerciais.
Defina o período de observação antes do lançamento e considere o ciclo normal de compra. Encerrar repetidamente o teste assim que uma versão parecer estar na frente pode levar a conclusões enganosas. Mesmo que uma porcentagem pareça muito maior, uma amostra pequena pode não permitir uma conclusão.
Planeje quanta evidência a decisão exige
Passar de duas compras para três representa um aumento relativo de 50%, mas também é uma diferença de apenas uma compra. É uma evidência fraca para estabelecer uma regra permanente. Registre as contagens absolutas e as diferenças em pontos percentuais, além do aumento relativo, para não exagerar a importância de uma variação pequena.
Para uma decisão importante, estime o tamanho de amostra necessário usando a taxa de referência e o menor efeito que justificaria uma ação, com um método estatístico adequado ou o apoio de uma pessoa qualificada. Não existe um único tamanho de amostra que torne confiável qualquer teste de e-mail. Resultados raros e diferenças esperadas pequenas geralmente exigem mais evidências do que resultados comuns e mudanças grandes.
Defina antes do envio o período de observação e como o teste será encerrado. Verificar repetidamente e parar na primeira leitura favorável pode distorcer a conclusão, a menos que o método de análise tenha sido criado para isso. Se houver um motivo comercial para encerrar a campanha, registre essa limitação em vez de tratar um resultado parcial como definitivo.
Analise contagens, taxas e impacto comercial
Imagine dois grupos comparáveis, distribuídos aleatoriamente, com 5.000 destinatários elegíveis cada. A versão A gera 100 compradores únicos e a versão B gera 115 durante o período acordado. As taxas observadas são 2% e 2,3%. A diferença é de 0,3 ponto percentual, ou um aumento relativo de 15% em relação à referência de 2%. São resultados ilustrativos, não evidências de uma campanha real do Sendvio.
A porcentagem maior não encerra a decisão. Uma análise estatística adequada ainda precisa avaliar a incerteza, e a empresa precisa decidir se a possível melhora compensa. Confira se descontos, estoque, entrega ou rastreamento tiveram diferenças inesperadas. Analise os grupos originalmente definidos em vez de excluir depois as pessoas que não abriram nem clicaram.
Depois, examine os limites de proteção. Se a segunda versão gerar mais compras, mas também causar um mal-entendido caro sobre os itens incluídos, o resultado não é simplesmente um sucesso. Analise a margem e as reações negativas relevantes durante o período planejado. Não escolha uma nova métrica principal depois de ver qual número favorece a versão preferida.
Redija uma conclusão proporcional às evidências: o que mudou, o que foi observado, quanta incerteza existe e qual será a próxima ação. Se o resultado não for conclusivo, talvez ainda seja prático escolher a versão mais simples, mas descreva isso como uma decisão operacional, não como prova de uma taxa de conversão superior.
Registre o aprendizado, inclusive as incertezas
Guarde as versões, as regras do público, o tamanho da amostra, o horário e os resultados. Se as evidências forem fracas, deixe isso claro e não transforme uma diferença provisória em uma regra permanente.
Use o resultado para escolher a próxima melhoria prática. Um teste com pouca diferença também pode economizar tempo ao indicar que a equipe deve se concentrar em outro ponto. A meta é melhorar o processo de decisão, não preencher o calendário com experimentos cujos resultados ninguém usa.
Considere a importância prática e as evidências estatísticas. Uma melhora pequena que exige uma produção cara pode não valer a pena. Uma versão que aumenta os pedidos, mas cria expectativas enganosas ou mais devoluções dispendiosas, pode não atender ao objetivo mais amplo, mesmo que sua métrica principal melhore.
Encerre o teste com um de três resultados honestos: adotar a mudança com as evidências devidamente descritas, continuar investigando porque o resultado é incerto ou rejeitá-la porque seu custo ou impacto negativo não se justificam. Preserve o briefing e as contagens. Assim, os próximos experimentos acumulam aprendizado em vez de cada campanha se tornar uma nova chance de encontrar um “vencedor” no meio do ruído.