Ist Ihr A/B Split Test erfolgreich gewesen – mailworx sagt's Ihnen ab V 7.0!

imageA/B Split-Kampagnen sind ein gängiges Mittel, mit dem die Öffnungsrate optimiert wird. Durch die statistischen Tests von verschiedenen Betreffs wird derjenige Betreff an die restlichen Empfänger gesendet, der in den Tests am besten bei den Lesern angekommen ist.

Der Erfolg von A/B-Split-Tests hängt im Wesentlichen von drei Faktoren ab:

  • Ist die Testgröße ausreichend?
  • Ist das Testkriterium (im Allgemeinen der Betreff) wirklich aussagekräftig unterschiedlich gut?
  • Ist die Wartezeit zwischen Test und Realversand ausreichend?

Sollten diese drei Faktoren nicht "perfekt" sein, kann der Test auch fehlschlagen. Und zwar im Sinne, dass der A/B-Split-Test nur unzureichende Abweichungen feststellt und der vermeintlich "bessere" Betreff überhaupt nicht besser ist.

Die Testgrößen

Bei den Testgrößen wird häufig die Faustregel von 10 – 20% der gesamten Empfängergruppe genannt. Wobei diese durchaus über 500 Empfänger je Testgruppe sein sollte. Oft werden auch statistische Verfahren zur Erhebung der optimalen Stichprobengröße angewendet.

Das Kriterium

Das Testkriterium ist ebenfalls nicht dem Zufall zu überlassen. Die verschiedenen Betreffs müssen sich signifikant unterscheiden, sodass der Test überhaupt zu Abweichungen führen kann. Zusätzlich sollen spezifische Elemente getestet werden wie zum Beispiel, ob die englische Schreibeweise "XMAS SALE – Ihr 5 € Gutschein" oder doch lieber "5 € zur Adventzeit" verwendet werden soll. Alternativ kann auch das Wort "Rabatt" einen Einfluss haben. Hier könnten Beispielbetreffs so aussehen: "10 % Adventrabatt" vs. "10 % zur Adventzeit".

Die Wartezeit

Wird der A/B Split Test durchgeführt, so benötigt dieser Zeit um eine Wirkung zu erzielen. Wenn zwischen Test und Hauptversand lediglich 1 – 2 Stunden vergehen, ist das Testergebnis meist nicht aussagekräftig, da dies oftmals nur darauf zurückzuführen ist, welche Leser gerade online sind und E-Mails lesen und welche noch nicht. Eine entsprechende Wartezeit von 1/2 Tag bis 2 Tage sollte eingehalten werden um Ergebnisse zu erzielen.

Die grundlegende Frage die sich Marketer stellen ist, ob der A/B-Split-Test überhaupt erfolgreich war oder nicht – ob das Ergebnis des A/B-Split Tests tatsächlich aussagekräftig ist, oder ob es trotz alledem auf Zufall zurückzuführen ist.

Erreicht beispielsweise der Betreff A eine Öffnungsrate von 23,7 % und der Betreff B eine Öffnungsrate von 24 % ist der Unterschied der beiden Gruppen nicht zwingend ausreichend deutlich um eine statistisch relevante Aussage treffen zu können – da dies eben auch auf den Zufall zurückgeführt werden kann.

Es sind hier entsprechende Berechnungen aus dem Bereich der Statistik notwendig um Relevanzaussagen treffen zu können.

Da wir mit mailworx nicht nur auf Professionalität, sondern auch auf höchste Benutzerfreundlichkeit und Transparenz setzen nehmen wir diese Berechnung unseren Benutzern ab. Welcher Marketer hat schon wirklich die Zeit, sich um die mathematischen und statistischen Berechnungen zu kümmern?

War der A/B Split Test aussagekräftig?

Daher haben wir mit mailworx 7.0 die A/B-Split-Statistik erweitert, sodass Sie nun auch Informationen darüber erhalten, ob das A/B-Split-Ergebnis Ihrer Aussendung zu einem statistisch aussagekräftigen Ergebnis geführt hat, oder der Unterschied der beiden Testgruppen auf den Zufall zurückgeführt werden kann.

clip_image001

Doch was tun, wenn der Test nicht erfolgreich war? Sie haben nun verschiedene Möglichkeiten: Erhöhen Sie den Testzeitraum, vergrößern Sie künftig die Testgruppe oder variieren Sie die Betreffs stärker!

clip_image002

mailworx liefert dabei keine Zahlen, die der Benutzer dann selbst interpretieren, gewichten oder weiter berechnen müsste.

Wir wollen dem Benutzer alles möglichst einfach und transparent liefern. Daher enthalten unsere Statistiken Benchmarks mit Vergleichswerten oder eben auch Informationen über die Aussagekräftigkeit verschiedener Werte.

Den Aufwand für die Berechnungen und die mathematische Komplexität wollen wir keinem Benutzer zumuten und das ist der größte Antrieb für uns, dass wir für Sie die perfekten Werkzeuge liefern um Ihre E-Mail-Marketing-Kampagne zum Erfolg zu führen.

Kommentar schreiben