Ein A/B-Test im E-Mail-Marketing verschickt zwei Versionen derselben Nachricht an zwei zufällig gezogene Hälften einer Liste und wählt die Gewinnerin anhand einer einzigen Kennzahl. Planen Sie mindestens 1.000 Kontakte, eine vor dem Versand festgelegte Testdauer und ein Konfidenzniveau von 95 % ein. Eine Voraussetzung kommt vor allem anderen: Ungültige Adressen in Ihrer Liste verfälschen die tatsächliche Stichprobengröße und alle Raten, die darauf beruhen.
Definition: A/B-Test im E-Mail-Marketing
Der A/B-Test (auch Split-Test) vergleicht eine Version A, die Kontrollversion, mit einer Version B, die sich nur in einem Element unterscheidet. Jede Version geht an eine eigene Empfängergruppe, die per Zufallsauswahl gebildet wird. Die Randomisierung macht beide Gruppen vergleichbar.
Im E-Mail-Marketing läuft der Test meist an einer Teilmenge der Liste. Das Tool wertet die Ergebnisse aus und schickt die Gewinnerversion anschließend an die übrigen Kontakte.
Der multivariate Test kombiniert mehrere Elemente: 2 Betreffzeilen und 2 Buttons ergeben 4 Versionen. Bei 1.094 Empfängern pro Version (Berechnung weiter unten) braucht es 4.376 Kontakte, um 5 Punkte Unterschied bei einer Öffnungsrate von 20 % nachzuweisen.
Das Testelement und die passende Kennzahl wählen
Jedes Element wird mit seiner eigenen Kennzahl gemessen. Wer eine Betreffzeile testet und nach der Klickrate urteilt, erhält keine belastbare Antwort, denn der Betreff wirkt vor dem Öffnen.
| Element | Beispiel für eine Variante | Kennzahl | Einschränkung |
|---|---|---|---|
| Betreffzeile | Frage gegen Zahl | Öffnungsrate | Durch Apple Mail Privacy Protection verfälscht |
| Preheader | Mit oder ohne Vorschautext | Öffnungsrate | Hängt mit dem Betreff zusammen: nur eines von beiden ändern |
| Absendername | Markenname gegen Personenname | Öffnungsrate, dann Klickrate | Nicht in allen Tools verfügbar |
| Call-to-Action | Button gegen Textlink | Klickrate | Pro Version nur ein Haupt-Button |
| Inhalt | Kurze gegen lange Nachricht | CTOR (Klicks geteilt durch Öffnungen) | Ändert mehrere Elemente gleichzeitig: vermeiden |
| Versandzeit | Dienstag 10 Uhr gegen Dienstag 14 Uhr | Klickrate | Beide Versendungen am selben Tag, sonst verfälscht der Wochentag den Test |
Ein Betreff-Test mit 1.000 Empfängern pro Version erkennt erst einen Unterschied von mindestens 5 Punkten: 25,2 % Öffnungen gegen 20 %. Darunter bleibt das Ergebnis im statistischen Rauschen. Wenn Sie Betreffzeilen zum Gegeneinanderstellen suchen, liefern ansprechende E-Mail-Betreffzeilen und ihre Beispiele bereits erprobte Formulierungen.
Einen Test in sechs Schritten aufsetzen
- Formulieren Sie eine Hypothese mit Zahlen: „Ein Betreff mit Vornamen hebt die Öffnungsrate von 20 % auf 22 %.“
- Ändern Sie nur eine Variable. Zwei gleichzeitige Änderungen machen das Ergebnis unlesbar: Sie wissen nicht, welche gewirkt hat.
- Legen Sie die Entscheidungskennzahl vor dem Versand fest: Öffnung, Klick oder Conversion. Wer sie erst danach wählt, verzerrt die Auswertung.
- Berechnen Sie die Stichprobengröße pro Version (nächster Abschnitt).
- Aktivieren Sie die zufällige Aufteilung. Bilden Sie die Gruppen nie von Hand, etwa in alphabetischer Reihenfolge.
- Starten Sie den Test, warten Sie das Messfenster ab und senden Sie dann die Gewinnerversion an den Rest der Liste.
Die Kennzahl aus Schritt 3 hängt vom Ziel der Kampagne ab: Die Auswahl der KPIs für Ihre E-Mail-Kampagne treffen Sie vor dem Test.
Stichprobengröße und Testdauer berechnen
Der HubSpot-Blog Frankreich (24. Februar 2026) nennt etwa 1.000 Kontakte als sinnvolle Untergrenze: Darunter muss man mitunter 80 % bis 95 % der Liste testen, um ein verwertbares Ergebnis zu erhalten (HubSpot-Blog Frankreich, 2026). Dieser Wert ist ein Minimum. Die nötige Größe hängt vom kleinsten nachweisbaren Unterschied ab, also von der kleinsten Differenz, die Sie erkennen wollen.
Hier die Größen pro Version, berechnet mit einem zweiseitigen Test auf zwei Anteile, 95 % Konfidenzniveau und 80 % Teststärke:
- Öffnungsrate von 20 % auf 25 %: 1.094 Empfänger;
- Öffnungsrate von 20 % auf 22 %: 6.510 Empfänger;
- Klickrate von 3 % auf 4 %: 5.301 Empfänger;
- Klickrate von 3 % auf 3,6 %: 13.914 Empfänger.
Die Rechnung lässt sich auch umdrehen. Bei 1.000 Empfängern pro Version liegt der kleinste nachweisbare Wert, ausgehend von einer Öffnungsrate von 20 %, bei 25,2 %. Bei einer Klickrate von 3 % sind es 5,5 %. Bei 200 Empfängern pro Version braucht es 32,3 % Öffnungen gegen 20 %, um zu einem Schluss zu kommen. Eine Liste mit 4.000 Kontakten zeigt daher nur einen großen Unterschied zuverlässig an: Testen Sie bei kleinen Beständen lieber radikale Änderungen statt feiner Nuancen.
Tools, die die Stichprobe als Prozentsatz der Liste angeben, verlangen eine Umrechnung: 10 % von 4.000 Kontakten sind 400 Empfänger, also 200 pro Version. Prüfen Sie diese Zahl vor dem Start.
Die Dauer folgt dem Reaktionsrhythmus. Legen Sie sie vor dem Versand anhand Ihrer bisherigen Kampagnen fest. HubSpot nennt das Beispiel einer E-Mail, die 70 % ihrer Klicks in den ersten 24 Stunden erzielt und danach 5 % pro Tag: Dann ist ein auf 24 Stunden begrenzter Test sinnvoll.
Ergebnisse lesen: Signifikanz und Apple Mail Privacy Protection
Die statistische Signifikanz zeigt, ob der beobachtete Unterschied vom Zufall stammen kann. Bei 95 % Konfidenz muss der p-Wert unter 0,05 liegen (HubSpot, 2026). Prüfen Sie zuerst, ob beide Gruppen ein vergleichbares Volumen erhalten haben: Eine kleinere Gruppe vergrößert die Fehlermarge. Messen Sie den Unterschied danach am Geschäftsergebnis: Ein Plus von 2 % bei der Öffnungsrate kann signifikant sein und den Umsatz trotzdem nicht verändern (HubSpot).
Seit dem 20. September 2021 lädt Apple Mail Privacy Protection die Bilder einer E-Mail vorab, einschließlich des Tracking-Pixels. Die Öffnung wird dann registriert, ohne dass die Empfängerin oder der Empfänger etwas gelesen hat. Litmus ermittelte bereits Ende August 2021 einen Anteil von 49,8 % der Öffnungen auf Apple-Clients (Litmus, 2021).
Eine nach Öffnungen bestimmte Gewinnerin sollten Sie also vorsichtig deuten. Ziehen Sie die Klickrate oder die Conversion vor. Was diese Kennzahl bei Ihren eigenen Sendungen verfälscht, erklärt unser Leitfaden zur Öffnungsrate im E-Mail-Marketing.
Häufige Fehler
Am teuersten ist es, den Test abzubrechen, sobald B vorne liegt. Evan Miller hat die Verzerrung am 18. April 2010 beziffert: Bei einer Konversionsrate von 50 % und einem Test, der beim ersten signifikanten Ergebnis auf 5-%-Niveau gestoppt wird, vor 150 Beobachtungen, zeigt ein Test ganz ohne echten Effekt in 26,1 % der Fälle eine falsche Gewinnerin an (Evan Miller, 2010). Wer während des Tests 10-mal auf die Ergebnisse schaut, hat bei einer angezeigten Schwelle von 1 % in Wirklichkeit ein Risiko von 5 %. Bei 3 Blicken muss die angezeigte Schwelle 1,8 % betragen, um 5 % einzuhalten. Legen Sie die Stichprobengröße vor dem Versand fest und entscheiden Sie erst am Ende.
- Einen Betreff an 200 Empfängern pro Version testen und bei 2 Öffnungen Unterschied eine Gewinnerin ausrufen: Bei diesem Volumen überschreitet nur eine Öffnungsrate von 32,3 % gegen 20 % die Schwelle.
- Zwei Gruppen unterschiedlicher Art vergleichen: Bestandskunden gegen Neuanmeldungen.
- Ein Ergebnis aus dem Zusammenhang reißen: Ein Betreff, der im B2C an einem Dienstagmorgen gewinnt, lässt sich nicht auf einen B2B-Bestand am Wochenende übertragen.
Die Liste vor dem Testversand prüfen
Entscheidend ist die Zahl der Adressen, die die Nachricht tatsächlich erreicht. Nehmen wir eine Liste mit 5.000 Kontakten und 4 % ungültigen Adressen (Beispielwert): 200 Hard Bounces, also 100 pro Version. Jede Gruppe schrumpft auf 2.400 reale Empfänger.
Häufen sich die Bounces auf einer Seite (140 in Gruppe A, 60 in Gruppe B), werden die Klickraten auf unterschiedlichen Grundlagen berechnet. Der gemessene Unterschied hängt dann von der Liste ab.
Der Umgang mit der Bounce Rate beginnt daher vor dem Test. Lassen Sie vor der nächsten Kampagne eine Stichprobe Ihrer Liste durch CaptainVerify laufen: Die Zahl der ungültigen Adressen zeigt Ihnen die reale Stichprobengröße. Bereinigen Sie, rechnen Sie neu und starten Sie dann den Test.
