E-Mail Marketing Agentur

A/B Testing im E-Mail Marketing: Ein Plädoyer für die Statistik

Einsatz von A/B Testing im E-Mail Marketing – Status quo

Öffnungs- und Klickraten steigern und so die bestehenden E-Mail Marketing Aktivitäten strukturiert und kontinuierlich optimieren: Mit diesem Idealbild setzen viele E-Mail Marketer Betreffzeilen- und Content-Variationen im Rahmen von A/B Testing im E-Mail Marketing ein. Tatsächlich sieht die Realität zumeist anders aus – das Testen verschiedener Variationen eines Mailings wird häufig nicht nur geradezu stiefmütterlich behandelt, sondern dank fehlender Toolunterstützung bei den (entscheidenden!) statistischen Fragestellungen im Hintergrund auch gleich noch ad absurdum geführt.

Vielfach ist zu beobachten, dass A/B Testing – nicht nur im E-Mail Marketing übrigens! – eher unstrukturiert erfolgt und nur unregelmäßig eingesetzt wird. Dabei scheinen es vor allem zwei Faktoren zu sein, die dafür verantwortlich sein dürften, dass das eigentliche im A/B Testing liegende Potenzial bisher noch nicht ausgeschöpft wird:

  1. A/B Testing im E-Mail Marketing erfolgt ohne ein ausgearbeitetes Testing-Konzept mit definierten Zielen und klaren Hypothesen.
  2. Viele E-Mail Marketing & CRM Tools stellen A/B Testing extrem einfach dar: Nur allzu schnell könnte man glauben, dass es mit der Definition zweier Betreffzeilen und dem Zusatz „A/B Test mit auto-optimiertem Versand aktivieren“ getan ist.

Der erste Punkt ist damit eher strategischer und struktureller Natur: Häufig fehlt es nicht nur an Ressourcen, entsprechende Testing-Konzepte auszuarbeiten, sondern auch an dem entsprechenden Know-How: So werden einfach zwei grundverschiedene Betreffzeilen eingegeben, gegeneinander „getestet“ und am Ende steht die „eindeutige“ Feststellung, dass zwei Ausrufezeichen in Betreffzeilen auf jeden Fall, immer und ganz pauschal besser funktionieren als ein Ausrufezeichen. Nach den tatsächlich ableitbaren Erkenntnissen, geschweige denn nach dem Signifikanzniveau fragt häufig niemand.

Gewissermaßen mitschuldig sind aber auch die E-Mail Marketing Tools: Sie bieten an, zum Beispiel zwei verschiedene Betreffzeilen an einen Teil der definierten Zielgruppen zu versenden, ermitteln eine Gewinnervariante und senden diese automatisch an den Rest der Zielgruppe – egal, ob eine der beiden Betreffzeilen tatsächlich (im Sinne von „signifikant“) besser performt als die andere.

So gelingt statistisch sauberes A/B Testing im E-Mail Marketing

Wer A/B Testing im E-Mail Marketing methodisch und statistisch sauber betreiben möchte, sollte zunächst mit der Erarbeitung eines Testing-Konzeptes beginnen: Hierbei ist zu definieren, welche Hypothesen entlang der verschiedenen Elemente eines Mailings getestet werden sollen. Beispiel: Betreffzeilen, in den Rabatte versprochen werden, erzielen höhere Öffnungsraten.

Anschließend sollten einzelne Tests konzeptioniert werden, die je nach Hypothese in mehreren Mailings durchgeführt werden. Beispiel: Der Zusatz „Jetzt 20 % sparen“ in einer Betreffzeile generiert höhere Öffnungsraten als die Betreffzeile ohne den entsprechenden Zusatz.

Wichtig ist dabei, dass die entsprechenden Tests hinsichtlich ihrer statistischen Signifikanz überprüft werden, um sicherzustellen, dass es sich etwa bei einer höheren Öffnungsrate nicht einfach um einen glücklichen Zufall handelt, sondern das Ergebnis auch reproduzierbar wäre. Hierfür bieten sich Onlinerechner für Chi-Quadrat-Tests an. (Linktipps: Onlinerechner und Exkurs zum Thema Chi-Quadrat-Test)

Neben einer schriftlichen Dokumentation der Testergebnisse und der Überprüfung der Hypothesen, sollten Marketer bei A/B Testing im E-Mail Marketing darauf achten, die Ergebnisse nicht übermäßig zu interpretieren, sondern möglichst nah am tatsächlichen Testfall zu bleiben. Beispiel: Erzielt der Zusatz „Jetzt 20 % sparen“ signifikant höhere Öffnungsraten, gilt genau dieses bloße Testergebnis methodisch sauber für genau eben dieses Mailing, für genau eben diese Zielgruppe, zu eben genau diesem Zeitpunkt und für exakt diese Formulieren – eine Generalisierung kann bestenfalls erst aus einer Reihe von Testergebnissen abgeleitet werden.

Für Unterstützung bei der Erstellung eines Testing-Konzeptes und der Auswertung von A/B Tests im E-Mail Marketing kontaktieren Sie uns gerne.

Atilla Wohllebe

Über Atilla Wohllebe

Seit Januar 2015 arbeite ich für netnomics im Bereich E-Mail Marketing Consulting. Vor meinem aktuellen berufsbegleitenden Studium zum M. Sc. in E-Commerce an der FH Wedel habe ich ein duales Studium zum B. A. in Business Administration mit Schwerpunkt e-business & digital marketing in Kooperation mit der Hamburger Otto Group absolviert.

A/B Testing im E-Mail Marketing: Ein Plädoyer für die Statistik: 1 Stern2 Sterne3 Sterne4 Sterne5 Sterne
5,00 von 5 Punkten, basierend auf 1 abgegebenen Stimmen.
Loading...

Kommentiere