Un test A/B nell’email marketing invia due versioni dello stesso messaggio a due metà di una lista estratte a caso, poi sceglie la vincente su un solo indicatore. Prevedi almeno 1.000 contatti circa, una durata del test fissata prima dell’invio e una soglia di confidenza del 95%. Una condizione viene prima di tutto il resto: gli indirizzi non validi della tua lista falsano la dimensione reale del campione e tutti i tassi calcolati su di esso.
Definizione del test A/B applicato all’email marketing
Il test A/B (o split testing) confronta una versione A, detta di controllo, con una versione B che differisce solo per un elemento. Ogni versione parte verso un gruppo distinto di destinatari, formato per estrazione casuale. La randomizzazione rende i due gruppi confrontabili.
Nell’email marketing il test si svolge di solito su un campione della lista. Lo strumento misura i risultati, poi invia la versione vincente ai contatti rimanenti. A seconda dello strumento, il vincitore si designa in base al tasso di clic o al fatturato generato.
Il test multivariato incrocia più elementi: 2 oggetti e 2 pulsanti danno 4 versioni. Con 1.094 destinatari per versione (calcolo dettagliato più avanti), servono 4.376 contatti per rilevare 5 punti di differenza su un tasso di apertura del 20%.
Scegliere l’elemento da testare e l’indicatore che lo giudica
Ogni elemento si misura con il proprio indicatore. Testare un oggetto e giudicarlo dal tasso di clic non dà alcuna risposta affidabile, perché l’oggetto agisce prima dell’apertura.
| Elemento | Esempio di variante | Indicatore da leggere | Limite |
|---|---|---|---|
| Oggetto dell’email | Domanda contro cifra | Tasso di apertura | Falsato da Apple Mail Privacy Protection |
| Preheader | Con o senza testo di anteprima | Tasso di apertura | Legato all’oggetto: ne cambi uno solo dei due |
| Nome del mittente | Nome del marchio contro nome di persona | Tasso di apertura, poi di clic | Non offerto da tutti gli strumenti |
| Call to action | Pulsante contro link testuale | Tasso di clic | Un solo pulsante principale per versione |
| Contenuto | Messaggio breve contro lungo | CTOR (clic divisi per aperture) | Cambia più elementi insieme: da evitare |
| Orario di invio | Martedì alle 10 contro martedì alle 14 | Tasso di clic | Stesso giorno per i due invii, altrimenti il giorno falsa il test |
Un test sull’oggetto con 1.000 destinatari per versione rileva soltanto una differenza di almeno 5 punti: 25,2% di apertura contro 20%. Sotto questa soglia, il risultato resta nel rumore statistico. Per trovare varianti di oggetto da contrapporre, come scrivere l’oggetto di un’email accattivante offre formulazioni già collaudate.
Impostare un test in sei passaggi
- Scrivi un’ipotesi quantificata: «un oggetto con il nome proprio porterà il tasso di apertura dal 20% al 22%».
- Modifica una sola variabile. Due cambiamenti simultanei rendono il risultato ininterpretabile: è impossibile sapere quale abbia contato.
- Fissa l’indicatore di decisione prima dell’invio: apertura, clic o conversione. Sceglierlo a posteriori distorce la lettura.
- Calcola la dimensione del campione per versione (sezione successiva).
- Attiva la ripartizione casuale. Non formare mai i gruppi a mano, per esempio in ordine alfabetico.
- Lancia il test, attendi la fine della finestra di misurazione, poi invia la versione vincente al resto della lista.
L’indicatore del passaggio 3 dipende dall’obiettivo della campagna: la scelta dei KPI della tua campagna email si fa prima del test.
Calcolare la dimensione del campione e la durata
Il blog HubSpot Francia (24 febbraio 2026) indica circa 1.000 contatti come soglia pertinente: al di sotto, bisogna talvolta testare dall’80% al 95% della lista per ottenere un risultato utilizzabile (blog HubSpot Francia, 2026). Questa soglia è un minimo. La dimensione utile dipende dalla differenza minima rilevabile, cioè la più piccola variazione che vuoi individuare.
Ecco le dimensioni per versione, calcolate con un test bilaterale su due proporzioni, una soglia di confidenza del 95% e una potenza dell’80%:
- tasso di apertura dal 20% al 25%: 1.094 destinatari;
- tasso di apertura dal 20% al 22%: 6.510 destinatari;
- tasso di clic dal 3% al 4%: 5.301 destinatari;
- tasso di clic dal 3% al 3,6%: 13.914 destinatari.
Il calcolo si legge anche nell’altro senso. Con 1.000 destinatari per versione, la più piccola differenza rilevabile parte da un tasso di apertura del 20% e arriva al 25,2%. Su un tasso di clic del 3%, raggiunge il 5,5%. Con 200 destinatari per versione, serve un’apertura del 32,3% contro il 20% per concludere. Una lista di 4.000 contatti rileva quindi soltanto una differenza ampia: su una base piccola, testa cambiamenti radicali anziché sfumature.
Gli strumenti che esprimono il campione in percentuale della lista richiedono una conversione: il 10% di 4.000 contatti fa 400 destinatari, cioè 200 per versione. Verifica questo numero prima di lanciare.
La durata segue il ritmo delle reazioni. Fissala prima dell’invio, in base alle tue campagne passate. HubSpot cita l’esempio di un’email che genera il 70% dei clic nelle prime 24 ore e poi il 5% al giorno: limitare il test a 24 ore diventa allora logico.
Leggere i risultati: significatività e Apple Mail Privacy Protection
La significatività statistica indica se la differenza osservata può dipendere dal caso. Con una confidenza del 95%, il valore p deve restare sotto 0,05 (HubSpot, 2026). Verifica poi che i due gruppi abbiano ricevuto un volume comparabile: un gruppo più piccolo allarga il margine di errore. Confronta infine la differenza con il risultato commerciale: un aumento del 2% del tasso di apertura può essere significativo senza cambiare il fatturato (HubSpot).
Dal 20 settembre 2021 Apple Mail Privacy Protection precarica le immagini dell’email, pixel di tracciamento compreso. L’apertura viene registrata senza che il destinatario abbia letto nulla. Litmus misurava già il 49,8% delle aperture sui client Apple a fine agosto 2021 (Litmus, 2021).
Un vincitore designato in base all’apertura va quindi letto con prudenza. Preferisci il tasso di clic o la conversione. Per capire che cosa distorce questo indicatore sui tuoi invii, consulta la nostra guida al tasso di apertura nell’email marketing.
Errori frequenti
Il più costoso consiste nel fermare il test appena B passa in testa. Evan Miller ha quantificato la distorsione il 18 aprile 2010: con un tasso di conversione del 50% e un test interrotto al primo risultato significativo al 5%, prima di 150 osservazioni, un test senza alcun effetto reale mostra un falso vincitore nel 26,1% dei casi (Evan Miller, 2010). Guardare i risultati 10 volte durante il test porta una soglia dichiarata dell’1% a un rischio reale del 5%. Con 3 controlli, bisogna dichiarare l’1,8% per mantenere il 5%. Fissa la dimensione del campione prima dell’invio e decidi solo alla fine.
- Testare un oggetto su 200 destinatari per versione e proclamare un vincitore per 2 aperture di scarto: a questo volume, solo un tasso di apertura del 32,3% contro il 20% supera la soglia.
- Confrontare due gruppi di natura diversa: vecchi clienti contro nuovi iscritti.
- Riutilizzare un risultato fuori contesto: un oggetto vincente in B2C un martedì mattina non si trasferisce a una base B2B a fine settimana.
Verificare la lista prima di inviare il test
Il numero che conta è quello degli indirizzi che ricevono il messaggio. Prendiamo una lista di 5.000 contatti con il 4% di indirizzi non validi (valore di esempio): 200 hard bounce, cioè 100 per versione. Ogni gruppo scende a 2.400 destinatari reali.
Quando i bounce si concentrano da un lato (140 nel gruppo A, 60 nel gruppo B), i tassi di clic si calcolano su basi diverse. La differenza misurata dipende allora dalla lista stessa.
La gestione della frequenza di rimbalzo comincia dunque prima del test. Passa un campione della tua lista in CaptainVerify prima della prossima campagna: il numero di indirizzi non validi ti dà la dimensione reale del campione. Pulisci, ricalcola, poi lancia il test.
