Tests A/B

Une fois que vous avez décidé de ce que vous voulez tester et comment vous mesurerez le succès de votre campagne, vous ajouterez votre contenu et établirez les paramètres du test.

Métrique gagnante

La métrique gagnante est ce que nous mesurons pour déterminer la variante 'gagnante'. Vous sélectionnerez cela lors de l'étape de configuration. Les options disponibles dépendront du canal que vous utilisez pour exécuter votre test.

• Taux de clics : Le pourcentage de destinataires qui ouvrent votre message et cliquent sur au moins un lien à l'intérieur.

• Taux de lecture : (WhatsApp uniquement) : Le pourcentage de destinataires qui ouvrent et lisent votre message.

• Taux d'ouverture : (Email uniquement) : Le pourcentage de destinataires qui ouvrent votre message.

La variante 'gagnante' sera celle avec le meilleur résultat selon la métrique que vous sélectionnez.

Taille du test

Vous devez avoir 100 destinataires dans une liste ou une audience pour pouvoir leur envoyer une campagne testée en A/B.

Lors de l'étape de configuration, vous choisirez quel pourcentage de vos destinataires vous souhaitez tester vos variantes.

La taille minimale pour votre liste de test est de 100 destinataires, mais n'oubliez pas que plus votre taille de test est grande, plus vos résultats seront précis.

Ceci est particulièrement important si vous comparez plus de deux variantes. Huit variantes testées sur 10 % d'une liste de 100 destinataires ne conduiront pas à des résultats très significatifs statistiquement !

Nous recommandons de tester vos variantes de campagne sur un minimum de 10% de vos destinataires.

Durée du test

Par défaut, la durée du test est fixée à deux heures. Vous pouvez l'augmenter si nécessaire.

Plus vous testez vos variantes longtemps, plus vos résultats de test A/B seront précis. Cependant, il est important de se rappeler que la durée de la fenêtre de test affectera le moment où la variante gagnante est envoyée, et de le prendre en compte lors du test de votre campagne.

Par exemple, si vous savez que votre meilleur moment d'envoi est 11h le jeudi, vous pouvez décider de tester votre campagne en A/B pendant 24 heures à 10h le mercredi, afin que la variante gagnante soit envoyée au moment optimal.

Solution de secours pour le gagnant

Parfois, les tests A/B ne sont tout simplement pas concluants. Cela peut se produire pour plusieurs raisons :

• Il n'y a pas assez de données pour que le test soit concluant. Par exemple, si vous avez sélectionné la métrique 'Taux de clics', mais que personne n'a cliqué sur aucune de vos variantes. Cela peut se produire si la durée du test était trop courte ou si la taille de l'échantillon était trop petite.

• Différences négligeables (moins de 1 %) dans les résultats. Par exemple, si vous avez sélectionné la métrique 'Taux de clics', et que votre première variante a atteint un taux de clics de 8,1 %, tandis que votre deuxième variante a atteint un taux de clics de 8,7 %.

Lors de l'étape de configuration, vous choisirez ce que vous souhaitez faire si votre test n'est pas concluant :

• Sélectionner manuellement le gagnant de secours : Cette option vous permet de choisir quelle variante vous préférez envoyer.

• Envoyer toutes les variations du test à parts égales aux destinataires restants : Cette option nous permet de distribuer les variantes du test de manière égale parmi les destinataires restants.