A/B-tests

Zodra je hebt besloten wat je wilt testen en hoe je het succes van je campagne zult meten, voeg je je inhoud toe en stel je de parameters van de test vast.

Winnend meetpunt

Het winnende meetpunt is wat we meten om de 'winnende' variant te bepalen. Je selecteert dit tijdens de configuratiefase. De beschikbare opties hangen af van het kanaal dat je gebruikt om je test uit te voeren.

• Click-through rate: Het percentage ontvangers dat je bericht opent en op ten minste één link binnenin klikt.

• Leespercentage: (alleen WhatsApp): Het percentage ontvangers dat je bericht opent en leest.

• Open rate: (alleen e-mail): Het percentage ontvangers dat je bericht opent.

De 'winnende' variant zal de variant zijn met het beste resultaat voor welk meetpunt je ook selecteert.

Testgrootte

Je moet 100 ontvangers in een lijst of publiek hebben om hen een A/B-geteste campagne te kunnen sturen.

Tijdens de configuratiefase kies je welk percentage van je ontvangers je je varianten wilt testen.

De minimale grootte voor je testlijst is 100 ontvangers, maar onthoud dat hoe groter je testgrootte is, des te nauwkeuriger je resultaten zullen zijn.

Dit is vooral belangrijk als je meer dan twee varianten vergelijkt. Acht varianten getest op 10% van een lijst met 100 ontvangers zal niet tot erg statistisch significante resultaten leiden!

Wij raden aan om je campagnevarianten op minimaal 10% van je ontvangers te testen.

Testduur

Standaard is de testduur ingesteld op twee uur. Je kunt dit naar wens verlengen.

Hoe langer je je varianten test, des te nauwkeuriger je A/B-testresultaten zullen zijn. Het is echter belangrijk te onthouden dat de lengte van het testvenster van invloed zal zijn op de tijd dat de winnende variant wordt verzonden, en dit mee te nemen in je campagneplanning.

Bijvoorbeeld, als je weet dat je beste verzendtijd 11 uur op donderdagen is, kun je besluiten je campagne 24 uur lang te A/B-testen om 10 uur op woensdag, zodat de winnende variant op het optimale tijdstip wordt verzonden.

Terugvaloptie winnaar

Soms zijn A/B-testen gewoonweg niet doorslaggevend. Dit kan om een paar redenen gebeuren:

• Er is niet genoeg data om de test doorslaggevend te maken. Bijvoorbeeld, als je het 'Click-through rate'-meetpunt hebt geselecteerd, maar niemand op enige van je varianten heeft geklikt. Dit kan gebeuren als de testduur te kort was, of de teststeekproef te klein.

• Verwaarloosbare verschillen (minder dan 1%) in de resultaten. Bijvoorbeeld, als je het 'Click-through rate'-meetpunt hebt geselecteerd, en je eerste variant behaalde een click-through rate van 8,1%, terwijl je tweede variant een click-through rate van 8,7% behaalde.

Tijdens de configuratiefase kies je wat je wilt dat er gebeurt als je test niet doorslaggevend is:

• Selecteer de terugvalwinnaar handmatig: Deze optie stelt je in staat te kiezen welke variant je liever wilt verzenden.

• Verzend alle testvariaties gelijkmatig naar overige ontvangers: Deze optie stelt ons in staat de varianten uit de test gelijkmatig onder de resterende ontvangers te verdelen.