A/B tests

Una volta deciso cosa vuoi testare e come misurerai il successo della tua campagna, aggiungerai il tuo contenuto e stabilirai i parametri del test.

Metrica vincente

La metrica vincente è ciò che misuriamo per determinare la variante 'vincente'. Selezionerai questo durante la fase di configurazione. Le opzioni disponibili dipenderanno dal canale che stai utilizzando per eseguire il tuo test.

• Tasso di clic: La percentuale di destinatari che aprono il tuo messaggio e cliccano almeno un link all'interno.

• Tasso di lettura: (solo WhatsApp): La percentuale di destinatari che aprono e leggono il tuo messaggio.

• Tasso di apertura: (solo Email): La percentuale di destinatari che aprono il tuo messaggio.

La variante 'vincente' sarà la variante con il miglior risultato per qualunque metrica tu selezioni.

Dimensione del test

Devi avere 100 destinatari in un elenco o pubblico per poter inviare loro una campagna con test A/B.

Durante la fase di configurazione, sceglierai quale percentuale dei tuoi destinatari vuoi testare con le tue varianti.

La dimensione minima per il tuo elenco di test è di 100 destinatari, ma ricorda che maggiore è la dimensione del test, più accurati saranno i risultati.

Questo è particolarmente importante se stai confrontando più di due varianti. Otto varianti testate sul 10% di un elenco di 100 destinatari non porteranno a risultati molto significativi a livello statistico!

Ti consigliamo di testare le varianti della tua campagna su un minimo del 10% dei tuoi destinatari.

Durata del test

Per impostazione predefinita, la durata del test è impostata su due ore. Puoi aumentarla se necessario.

Più a lungo testate le vostre varianti, più accurati saranno i risultati del vostro test A/B. Tuttavia, è importante ricordare che la durata della finestra di test influenzerà il momento in cui la variazione vincente verrà inviata, e tenerne conto quando si testa la campagna.

Ad esempio, se sai che il tuo orario di invio migliore è alle 11 del mattino di giovedì, potresti decidere di testare la tua campagna A/B per 24 ore alle 10 del mattino di mercoledì, in modo che la variante vincente venga inviata al momento ottimale.

Ripiego del vincitore

A volte i test A/B semplicemente non sono conclusivi. Questo può accadere per alcune ragioni:

• Non ci sono dati sufficienti perché il test sia conclusivo. Ad esempio, se hai selezionato la metrica 'Tasso di clic', ma nessuno ha cliccato su nessuna delle tue varianti. Questo può accadere se la durata del test è stata troppo breve o il campione del test troppo piccolo.

• Differenze trascurabili (meno dell'1%) nei risultati. Ad esempio, se hai selezionato la metrica 'Tasso di clic', e la tua prima variante ha raggiunto un tasso del 8.1%, mentre la tua seconda variante ha raggiunto un tasso del 8.7%.

Durante la fase di configurazione, sceglierai cosa vuoi che accada se il tuo test non è conclusivo:

• Seleziona manualmente la variante ripiego vincente: Questa opzione ti consente di scegliere quale variante preferisci inviare.

• Inviare tutte le varianti di test in modo uguale ai destinatari rimanenti: Questa opzione ci consente di distribuire le varianti dal test in parti uguali tra i destinatari rimanenti.