Un test A/B en emailing envoie deux versions d’un même message à deux moitiés d’une liste tirées au hasard, puis retient la gagnante sur un seul indicateur. Prévoyez environ 1 000 contacts au minimum, une durée de test fixée avant l’envoi et un seuil de confiance de 95 %. Une condition précède le reste : les adresses invalides de votre liste faussent la taille réelle de l’échantillon et tous les taux calculés dessus.
Définition du test A/B appliqué à l’emailing
Le test A/B (ou split testing) compare une version A, dite de contrôle, à une version B qui ne diffère que d’un élément. Chaque version part vers un groupe distinct de destinataires, constitué par tirage aléatoire. La randomisation rend les deux groupes comparables.
En emailing, le test se déroule le plus souvent sur un échantillon de la liste. L’outil mesure les résultats puis envoie la version gagnante au reste des contacts.
Le test multivarié croise plusieurs éléments : 2 objets et 2 boutons donnent 4 versions. À 1 094 destinataires par version (calcul détaillé plus bas), il faut 4 376 contacts pour détecter 5 points d’écart sur un taux d’ouverture de 20 %.
Choisir l’élément à tester et l’indicateur qui le juge
Chaque élément se mesure avec son propre indicateur. Tester un objet et juger au taux de clic ne donne aucune réponse fiable, puisque l’objet agit avant l’ouverture.
| Élément | Exemple de variante | Indicateur à lire | Limite |
|---|---|---|---|
| Objet de l’email | Question contre chiffre | Taux d’ouverture | Faussé par Apple Mail Privacy Protection |
| Preheader | Avec ou sans texte de prévisualisation | Taux d’ouverture | Lié à l’objet : changer un seul des deux |
| Nom de l’expéditeur | Nom de marque contre nom de personne | Taux d’ouverture puis clic | Non proposé par tous les outils |
| Appel à l’action | Bouton contre lien texte | Taux de clic | Un seul bouton principal par version |
| Contenu | Message court contre long | CTOR (clics divisés par ouvertures) | Change plusieurs éléments à la fois : à éviter |
| Heure d’envoi | Mardi 10 h contre mardi 14 h | Taux de clic | Même jour pour les deux envois, sinon le jour fausse le test |
Un test d’objet sur 1 000 destinataires par version ne détecte qu’un écart d’au moins 5 points : 25,2 % d’ouverture contre 20 %. En dessous, le résultat reste dans le bruit statistique. Pour trouver des variantes d’objet à opposer, 15 exemples d’objets d’email accrocheurs donnent des formulations déjà éprouvées.
Mettre en place un test en six étapes
- Écrivez une hypothèse chiffrée : « un objet avec le prénom fera passer le taux d’ouverture de 20 % à 22 % ».
- Modifiez une seule variable. Deux changements simultanés rendent le résultat ininterprétable : impossible de savoir lequel a joué.
- Fixez l’indicateur de décision avant l’envoi : ouverture, clic ou conversion. Le choisir après coup biaise la lecture.
- Calculez la taille d’échantillon par version (section suivante).
- Activez la répartition aléatoire. Ne constituez jamais les groupes à la main, par exemple par ordre alphabétique.
- Lancez, attendez la fin de la fenêtre de mesure puis envoyez la version gagnante au reste de la liste.
L’indicateur de l’étape 3 dépend de l’objectif de la campagne : le choix des KPI de votre campagne emailing se fait avant le test.
Calculer la taille d’échantillon et la durée
Le blog HubSpot France (24 février 2026) retient environ 1 000 contacts comme seuil pertinent : en dessous, il faut parfois tester 80 % à 95 % de la liste pour obtenir un résultat exploitable (blog HubSpot France, 2026). Ce seuil est un minimum. La taille utile dépend de l’écart minimal détectable, la plus petite différence que vous voulez repérer.
Voici les tailles par version, calculées avec un test bilatéral sur deux proportions, un seuil de confiance de 95 % et une puissance de 80 % :
- taux d’ouverture de 20 % à 25 % : 1 094 destinataires ;
- taux d’ouverture de 20 % à 22 % : 6 510 destinataires ;
- taux de clic de 3 % à 4 % : 5 301 destinataires ;
- taux de clic de 3 % à 3,6 % : 13 914 destinataires.
Le calcul se lit aussi dans l’autre sens. Avec 1 000 destinataires par version, le plus petit écart détectable part d’un taux d’ouverture de 20 % et monte à 25,2 %. Sur un taux de clic de 3 %, il atteint 5,5 %. Avec 200 destinataires par version, il faut une ouverture de 32,3 % contre 20 % pour conclure. Une liste de 4 000 contacts ne détecte donc qu’un gros écart : sur une petite base, testez des changements radicaux plutôt que des nuances.
Les outils qui expriment l’échantillon en pourcentage de la liste demandent une conversion : 10 % de 4 000 contacts font 400 destinataires, soit 200 par version. Vérifiez ce nombre avant de lancer.
La durée suit le rythme des réactions. Fixez la durée avant l’envoi à partir de vos campagnes passées. HubSpot cite l’exemple d’un email qui génère 70 % des clics dans les 24 premières heures puis 5 % par jour : limiter le test à 24 heures devient alors logique.
Lire les résultats : significativité et Apple Mail Privacy Protection
La significativité statistique indique si l’écart observé peut venir du hasard. À 95 % de confiance, la valeur p doit rester sous 0,05 (HubSpot, 2026). Vérifiez ensuite que les deux groupes ont reçu un volume comparable : un groupe plus petit élargit la marge d’erreur. Confrontez enfin l’écart au résultat commercial : une hausse de 2 % du taux d’ouverture peut être significative sans changer le revenu (HubSpot).
Depuis le 20 septembre 2021, Apple Mail Privacy Protection précharge les images de l’email, pixel de suivi compris. L’ouverture est alors enregistrée sans que le destinataire ait lu quoi que ce soit. Litmus mesurait déjà 49,8 % des ouvertures sur les clients Apple fin août 2021 (Litmus, 2021).
Un gagnant désigné à l’ouverture se lit donc avec prudence. Préférez le taux de clic ou la conversion. Pour comprendre ce qui fausse cet indicateur sur vos propres envois, consultez notre guide sur le taux d’ouverture en emailing.
Erreurs fréquentes
La plus coûteuse consiste à arrêter le test dès que B passe devant. Evan Miller a chiffré le biais le 18 avril 2010 : avec un taux de conversion de 50 % et un test stoppé au premier résultat significatif à 5 %, avant 150 observations, un test sans aucun effet réel affiche un faux gagnant dans 26,1 % des cas (Evan Miller, 2010). Regarder les résultats 10 fois en cours de test ramène un seuil affiché de 1 % à un risque réel de 5 %. Avec 3 regards, il faut afficher 1,8 % pour garder 5 %. Fixez la taille d’échantillon avant l’envoi, puis ne tranchez qu’à la fin.
- Tester un objet sur 200 destinataires par version et déclarer un gagnant à 2 ouvertures d’écart : à ce volume, seul un taux d’ouverture de 32,3 % contre 20 % passe le seuil.
- Comparer deux groupes de nature différente : anciens clients contre nouveaux inscrits.
- Rejouer un résultat hors contexte : un objet gagnant en B2C un mardi matin ne se transpose pas à une base B2B en fin de semaine.
Vérifier la liste avant d’envoyer le test
Le nombre qui compte est celui des adresses qui reçoivent le message. Prenons une liste de 5 000 contacts dont 4 % d’adresses invalides (valeur d’exemple) : 200 rebonds durs, soit 100 par version. Chaque groupe tombe à 2 400 destinataires réels.
Quand les rebonds se concentrent d’un côté (140 dans le groupe A, 60 dans le groupe B), les taux de clic se calculent sur des bases différentes. L’écart mesuré dépend alors de la liste elle-même.
La gestion du taux de rebond commence donc avant le test. Passez un échantillon de votre liste dans CaptainVerify avant la prochaine campagne : le nombre d’adresses invalides vous donne la taille réelle de votre échantillon. Nettoyez, recalculez puis lancez le test.
