Como fazer teste A/B no e-mail marketing

Hoje, vamos falar um pouco sobre como fazer teste A/B no e-mail marketing. Mesmo que você não saiba perfeitamente como ele funciona e como deve ser aplicado, com certeza já deve ter ouvido falar nele.

De qualquer forma, vamos recapitular: o teste A/B é uma funcionalidade muito interessante para realizar a comparação de duas ou mais versões de uma mesma campanha ANTES de enviar o email marketing para toda a base. Você cria duas ou mais campanhas diferentes, determina qual indicador será observado durante o teste, e a campanha que obtiver o melhor resultado será enviado para o restante da sua base.

Demos o destaque no ANTES porque é aí que está o diferencial! Obviamente não faz sentido enviar uma mesma campanha para toda a base e depois enviá-la novamente com uma alteração apenas no campo “Assunto” por exemplo.

Pois bem, como o objetivo de um teste A/B é descobrir – antes de enviar a campanha para toda a base – qual de duas ou mais versões da campanha terá maior aceitação, temos que definir estes 4 pontos para configurar o teste:

1. Qual será a variação entre as versões da campanha?

As variações podem ser de dois tipos: conteúdo ou remetente/assunto, sendo que é possível ter as duas variações em um mesmo teste.

2. Quantos % da base receberão as diferentes versões?

É recomendável enviar para 15% ou 20% da base, pois menos do que isso poderá ser insuficiente e mais do que 20% representará uma fatia muito grande.

3. Por quanto tempo os resultados serão monitorados?

Aqui depende da sua urgência em enviar a versão “vencedora”. Se você precisa enviar no mesmo dia, recomenda-se monitorar os resultados por 4 ou 5 horas. Caso tenha mais tempo, monitorar por 10 ou 12 horas é o suficiente. Uma dica muito importante: quando escolher este tempo, calcule em que horas será disparada a versão final para o resto da base. Pode acontecer de esta hora ser imprópria, portanto neste caso pode valer a pena diminuir ou estender o período de monitoramento para entregar a campanha final no horário mais interessante!

4. Qual será o critério para vencer o teste?

Você deve escolher se o que determinará a versão final da campanha é a taxa de abertura ou a taxa de cliques. E é aqui que se vê os maiores erros na aplicação do teste A/B no e-mail marketing. Vamos mostrar porquê. Supondo que você queira testar uma variação de conteúdo, pois criou uma peça com cor predominante verde e outra com cor predominante rosa. Se a variação será apenas de conteúdo, teremos o remetente e o assunto iguais, certo?

Aqui é que vem o X da questão: se a variação é apenas de conteúdo, ou seja, aquilo que é visualizado APÓS abrir o e-mail, não faz sentido escolher como critério vencedor a taxa de abertura! O que está relacionado com a abertura do e-mail é apenas o remetente e o assunto, e não o conteúdo. Neste caso, o critério para vencer o teste deveria ser a taxa de cliques, ou seja, a versão que obtiver mais cliques foi a que despertou mais interesse no público, logo é ela que deverá ser enviada para o restante da base. Já no caso de um teste com variação apenas no remetente ou no assunto, só faz sentido escolher como critério vencedor a taxa de abertura, pois ela é diretamente afetada por este tipo de variação.

Uma outra possibilidade é realizar um teste A/B variando conteúdo e assunto ao mesmo tempo. Neste caso, teremos que ter no mínimo 4 versões sendo enviadas, pois teremos assunto X e Y bem como conteúdo X e Y. Portanto, deverão existir 4 versões que contemplem as possíveis combinações entre os assuntos e os conteúdos.

É importante ressaltar que as regras do item 4 acima podem não se aplicar quando o objetivo do Teste A/B é exclusivamente verificar qual versão é mais ou menos afetada pelos filtros anti-spam. Neste caso, uma variação de conteúdo pode acabar impactando na taxa de abertura, uma vez que o conteúdo do e-mail é um dos critérios avaliados pelos servidores para conduzir a mensagem para o lixo ou para a caixa de entrada.

Esperamos que este tópico tenha contribuído com o seu conhecimento sobre o Teste A/B e a sua forma de aplicação. Sucesso nos seus próximos testes!

Leia também: Qual o melhor horário para enviar email marketing?