A/B-Tests

Sobald Sie entschieden haben, was Sie testen möchten und wie Sie den Erfolg Ihrer Kampagne messen, fügen Sie Ihre Inhalte hinzu und legen die Parameter des Tests fest.

Winning metric

Das Winning metric ist das, was wir messen, um die 'gewinnende' Variante zu bestimmen. Sie wählen dies während der Konfigurationsphase aus. Die verfügbaren Optionen hängen vom Kanal ab, den Sie für Ihren Test verwenden.

• Klickraten: Der Prozentsatz der Empfänger, die Ihre Nachricht öffnen und mindestens einen Link darin anklicken.

• Leserate: (nur WhatsApp): Der Prozentsatz der Empfänger, die Ihre Nachricht öffnen und lesen.

• Öffnungsrate: (nur E-Mail): Der Prozentsatz der Empfänger, die Ihre Nachricht öffnen.

Die 'gewinnende' Variante ist die Variante mit dem besten Ergebnis für das von Ihnen gewählte Kennzahl.

Testgröße

Sie müssen 100 Empfänger in einer Liste oder Zielgruppe haben, um ihnen eine A/B-getestete Kampagne senden zu können.

Während der Konfigurationsphase wählen Sie, welcher Prozentsatz Ihrer Empfänger für den Test Ihrer Varianten verwendet werden soll.

Die Mindestgröße für Ihre Testliste beträgt 100 Empfänger, aber denken Sie daran, dass je größer Ihre Testgröße ist, desto genauer werden Ihre Ergebnisse sein.

Dies ist besonders wichtig, wenn Sie mehr als zwei Varianten vergleichen. Acht Varianten, die mit 10% einer 100-Empfänger-Liste getestet werden, führen nicht zu sehr statistisch signifikanten Ergebnissen!

Wir empfehlen, dass Sie Ihre Kampagnenvarianten auf mindestens 10% Ihrer Empfänger testen.

Testergebnisdauer

Standardmäßig ist die Testdauer auf zwei Stunden eingestellt. Sie können dies bei Bedarf verlängern.

Je länger Sie Ihre Varianten testen, desto genauer werden Ihre A/B-Testergebnisse sein. Es ist jedoch wichtig zu bedenken, dass die Länge des Testzeitfensters die Zeit beeinflusst, zu der die gewinnende Variante gesendet wird, und dies bei der Testung Ihrer Kampagne zu berücksichtigen.

Zum Beispiel, wenn Sie wissen, dass die beste Versandzeit Donnerstags um 11 Uhr ist, könnten Sie sich entscheiden, Ihre Kampagne um 24 Stunden um 10 Uhr am Mittwoch A/B zu testen, sodass die gewinnende Variante zur optimalen Zeit gesendet wird.

Gewinner-Fallback

Manchmal sind A/B-Tests einfach nicht schlüssig. Dies kann aus einigen Gründen passieren:

• Es gibt nicht genügend Daten, um den Test schlüssig zu machen. Zum Beispiel, wenn Sie das 'Klickraten' metric gewählt haben, aber niemand eine Ihrer Varianten angeklickt hat. Dies kann passieren, wenn die Testdauer zu kurz oder die Teststichprobengröße zu klein war.

• Geringfügige Unterschiede (weniger als 1%) in den Ergebnissen. Zum Beispiel, wenn Sie das 'Klickraten' metric gewählt haben und Ihre erste Variante eine Klickraten von 8,1% erreichte, während Ihre zweite Variante eine Klickraten von 8,7% erreichte.

Während der Konfigurationsphase wählen Sie, was geschehen soll, wenn Ihr Test nicht schlüssig ist:

• Fallback-Gewinner manuell auswählen: Diese Option ermöglicht es Ihnen, die Variante auszuwählen, die Sie bevorzugt senden möchten.

• Alle Testvarianten gleichmäßig an verbleibende Empfänger senden: Diese Option erlaubt uns, die Varianten aus dem Test gleichmäßig unter den verbleibenden Empfängern zu verteilen.