Une des questions que nous recevons régulièrement à propos de notre Permissioned Email Panel est à quel point il est précis en termes de prévision des taux de réception dans la boîte de réception. Historiquement, cela a été une question difficile à répondre avec certitude car il n'y avait pas de source de vérité fondamentale pour mesurer, et ainsi les opinions (et la foi générale dans les statistiques d'échantillonnage) régnaient dans la discussion.
Maintenant, cependant, avec un fournisseur de messagerie majeur autorisant les données de placement dans la boîte de réception sur leur plateforme, il est possible de faire une analyse réelle, ce que nous avons fait sur environ 20 000 domaines d'envoi distincts de grands et petits expéditeurs, à la fois sur notre plateforme d'envoi et sur d'autres fournisseurs.
Les résultats sont passionnants. Le panneau autorisé est très précis, même avec un signal relativement faible, et devient extrêmement précis à mesure que le nombre de panélistes distincts participant à un envoi augmente. En utilisant des méthodes statistiques courantes, nous examinons l'erreur quadratique moyenne (RMSE – un analogue de l'écart type) entre le taux de réception dans la boîte de réception tel que vu par le fournisseur majeur et ce que notre panel voit.
Dans notre analyse, nous avons remarqué que les expéditeurs utilisant les principaux fournisseurs de services de messagerie voient une corrélation matériellement meilleure entre le taux de réception dans la boîte de réception du panel et le taux réel. Le mécanisme de cela n'est pas connu, mais nous postulons que les normes de conformité auxquelles les grands fournisseurs de services soumettent leurs clients entraînent généralement des taux de réception dans la boîte de réception plus cohérents dans leur audience et sont donc moins sujets aux biais. Nous pouvons voir cela si nous restreignons notre graphique aux expéditeurs uniquement sur les principaux ESP, ce qui réduit également la RMSE d'environ 30 %.
Même lorsqu'un petit nombre (10) de panélistes quotidiens voient le flux de courrier, nous voyons une très forte corrélation entre le taux de réception dans la boîte de réception vu par le panel et la vérité fondamentale.
Si nous considérons uniquement les flux où 50 panélistes ou plus sont vus quotidiennement, la corrélation devient encore plus étroite.
Si nous regardons comment ce taux d'erreur varie dans le temps, nous voyons quelques choses:
Même avec un nombre extrêmement faible de panélistes uniques recevant le courrier, le taux d'erreur est inférieur à 10 %.
Il tombe rapidement à 4 % à mesure que le nombre de panélistes augmente.
Il se rapproche finalement de 2 % – montrant que les données du panel sont précises à 98 %.
Aux fins d'identification des problèmes de délivrabilité du flux de courrier, cette précision est fantastique.
Alors vous pourriez demander : avec un fournisseur majeur offrant des chiffres de vérité fondamentale, quelle est l'utilité d'avoir aussi des données de panel, même si elles sont fortement corrélées ? La majorité des fournisseurs de messagerie – y compris des géants comme Google et Microsoft – n'offrent pas de données de placement dans la boîte de réception, et donc pour les messages livrés là-bas, il vous faut encore une source comme des données de panel pour comprendre les taux de réception dans la boîte de réception.
Et maintenant, nous pouvons tous être confiants dans sa précision pour ces cas.
