Um teste A/B em emailing envia duas versões da mesma mensagem a duas metades de uma lista sorteadas ao acaso e escolhe a vencedora com base num único indicador. Conte com cerca de 1.000 contactos no mínimo, uma duração de teste fixada antes do envio e um nível de confiança de 95%. Há uma condição prévia: os endereços inválidos da sua lista distorcem o tamanho real da amostra e todas as taxas calculadas a partir dela.
Definição de teste A/B aplicado ao emailing
O teste A/B (ou split testing) compara uma versão A, chamada de controlo, com uma versão B que difere apenas num elemento. Cada versão segue para um grupo distinto de destinatários, formado por sorteio aleatório. A aleatorização torna os dois grupos comparáveis.
Em emailing, o teste decorre quase sempre sobre uma amostra da lista. A ferramenta mede os resultados e envia depois a versão vencedora ao resto dos contactos.
O teste multivariável cruza vários elementos: 2 assuntos e 2 botões dão 4 versões. Com 1.094 destinatários por versão (cálculo detalhado mais abaixo), são precisos 4.376 contactos para detetar 5 pontos de diferença numa taxa de abertura de 20%.
Escolher o elemento a testar e o indicador que o avalia
Cada elemento mede-se com o seu próprio indicador. Testar um assunto e julgá-lo pela taxa de cliques não dá nenhuma resposta fiável, porque o assunto atua antes da abertura.
| Elemento | Exemplo de variante | Indicador a ler | Limite |
|---|---|---|---|
| Assunto do email | Pergunta contra número | Taxa de abertura | Distorcida pelo Apple Mail Privacy Protection |
| Preheader | Com ou sem texto de pré-visualização | Taxa de abertura | Ligado ao assunto: alterar apenas um dos dois |
| Nome do remetente | Nome da marca contra nome de pessoa | Taxa de abertura e depois de cliques | Nem todas as ferramentas o permitem |
| Apelo à ação | Botão contra ligação de texto | Taxa de cliques | Um único botão principal por versão |
| Conteúdo | Mensagem curta contra longa | CTOR (cliques divididos por aberturas) | Altera vários elementos ao mesmo tempo: a evitar |
| Hora de envio | Terça às 10h contra terça às 14h | Taxa de cliques | Mesmo dia nos dois envios, caso contrário o dia distorce o teste |
Um teste de assunto com 1.000 destinatários por versão só deteta uma diferença de pelo menos 5 pontos: 25,2% de abertura contra 20%. Abaixo disso, o resultado fica dentro do ruído estatístico. Para encontrar variantes de assunto a opor, 15 exemplos de assuntos de email cativantes oferecem formulações já testadas.
Montar um teste em seis passos
- Escreva uma hipótese quantificada: «um assunto com o nome próprio fará a taxa de abertura passar de 20% para 22%».
- Altere uma única variável. Duas alterações simultâneas tornam o resultado impossível de interpretar: não se sabe qual delas pesou.
- Fixe o indicador de decisão antes do envio: abertura, clique ou conversão. Escolhê-lo depois enviesa a leitura.
- Calcule o tamanho da amostra por versão (secção seguinte).
- Ative a repartição aleatória. Nunca forme os grupos à mão, por exemplo por ordem alfabética.
- Lance o teste, aguarde o fim da janela de medição e envie a versão vencedora ao resto da lista.
O indicador do passo 3 depende do objetivo da campanha: a escolha dos KPI da sua campanha de emailing faz-se antes do teste.
Calcular o tamanho da amostra e a duração
O blogue da HubSpot França (24 de fevereiro de 2026) aponta cerca de 1.000 contactos como limiar pertinente: abaixo disso, é por vezes necessário testar 80% a 95% da lista para obter um resultado aproveitável (blogue da HubSpot França, 2026). Esse limiar é um mínimo. O tamanho útil depende da diferença mínima detetável, a menor variação que quer identificar.
Eis os tamanhos por versão, calculados com um teste bilateral sobre duas proporções, um nível de confiança de 95% e uma potência de 80%:
- taxa de abertura de 20% para 25%: 1.094 destinatários;
- taxa de abertura de 20% para 22%: 6.510 destinatários;
- taxa de cliques de 3% para 4%: 5.301 destinatários;
- taxa de cliques de 3% para 3,6%: 13.914 destinatários.
O cálculo lê-se também no sentido inverso. Com 1.000 destinatários por versão, a menor diferença detetável parte de uma taxa de abertura de 20% e sobe para 25,2%. Sobre uma taxa de cliques de 3%, chega a 5,5%. Com 200 destinatários por versão, é preciso uma abertura de 32,3% contra 20% para concluir. Uma lista de 4.000 contactos só deteta, portanto, uma grande diferença: numa base pequena, teste mudanças radicais em vez de nuances.
As ferramentas que exprimem a amostra em percentagem da lista exigem uma conversão: 10% de 4.000 contactos dão 400 destinatários, ou seja, 200 por versão. Confirme este número antes de lançar.
A duração acompanha o ritmo das reações. Fixe-a antes do envio, com base nas suas campanhas anteriores. A HubSpot cita o exemplo de um email que gera 70% dos cliques nas primeiras 24 horas e depois 5% por dia: limitar o teste a 24 horas passa a fazer sentido.
Ler os resultados: significância e Apple Mail Privacy Protection
A significância estatística indica se a diferença observada pode dever-se ao acaso. Com 95% de confiança, o valor p tem de ficar abaixo de 0,05 (HubSpot, 2026). Verifique depois se os dois grupos receberam um volume comparável: um grupo menor alarga a margem de erro. Confronte por fim a diferença com o resultado comercial: uma subida de 2% na taxa de abertura pode ser significativa sem alterar a receita (HubSpot).
Desde 20 de setembro de 2021, o Apple Mail Privacy Protection pré-carrega as imagens do email, incluindo o pixel de rastreio. A abertura fica assim registada sem que o destinatário tenha lido coisa alguma. A Litmus já media 49,8% das aberturas nos clientes Apple no fim de agosto de 2021 (Litmus, 2021).
Um vencedor designado pela abertura lê-se, por isso, com cautela. Prefira a taxa de cliques ou a conversão. Para perceber o que distorce este indicador nos seus próprios envios, consulte o nosso guia sobre a taxa de abertura em emailing.
Erros frequentes
O mais dispendioso é parar o teste assim que B passa à frente. Evan Miller quantificou o enviesamento a 18 de abril de 2010: com uma taxa de conversão de 50% e um teste interrompido ao primeiro resultado significativo a 5%, antes de 150 observações, um teste sem qualquer efeito real mostra um falso vencedor em 26,1% dos casos (Evan Miller, 2010). Espreitar os resultados 10 vezes durante o teste faz um limiar apresentado de 1% corresponder a um risco real de 5%. Com 3 espreitadelas, é preciso apresentar 1,8% para manter 5%. Fixe o tamanho da amostra antes do envio e só decida no fim.
- Testar um assunto com 200 destinatários por versão e declarar um vencedor por 2 aberturas de diferença: a este volume, só uma taxa de abertura de 32,3% contra 20% passa o limiar.
- Comparar dois grupos de natureza diferente: clientes antigos contra novos inscritos.
- Reutilizar um resultado fora de contexto: um assunto vencedor em B2C numa terça de manhã não se transpõe para uma base B2B no fim da semana.
Verificar a lista antes de enviar o teste
O número que conta é o dos endereços que recebem a mensagem. Tomemos uma lista de 5.000 contactos com 4% de endereços inválidos (valor de exemplo): 200 rejeições definitivas, ou seja, 100 por versão. Cada grupo desce para 2.400 destinatários reais.
Quando as rejeições se concentram de um lado (140 no grupo A, 60 no grupo B), as taxas de cliques calculam-se sobre bases diferentes. A diferença medida passa então a depender da própria lista.
A gestão da taxa de rejeição começa, por isso, antes do teste. Passe uma amostra da sua lista pelo CaptainVerify antes da próxima campanha: o número de endereços inválidos dá-lhe o tamanho real da sua amostra. Limpe, recalcule e só depois lance o teste.
