Précision des données du panneau autorisé des oiseaux

Oiseau

21 août 2021

Email

1 min read

Précision des données du panneau autorisé des oiseaux

Points Clés

    • Le panneau d'email autorisé de Bird a historiquement été difficile à valider en raison de l'absence de données de placement de boîte de réception de "vérité absolue" des fournisseurs de boîtes aux lettres.

    • Un grand fournisseur de boîtes aux lettres autorise maintenant les données de placement de boîte de réception, permettant une comparaison directe entre plus de 20 000 domaines d'envoi.

    • L'analyse montre une très grande précision entre les estimations de taux de boîte de réception basées sur le panneau de Bird et le véritable taux de boîte de réception.

    • La précision s'améliore à mesure que plus de panélistes distincts reçoivent le flux de courriel—forte même à faible signal, excellente à des volumes plus élevés.

    • Le RMSE (erreur quadratique moyenne) est utilisé pour mesurer la déviation entre les prédictions du panneau et les taux de boîte de réception véritables.

    • Les expéditeurs utilisant les principaux ESPs montrent une meilleure corrélation de manière significative—probablement en raison de pratiques de conformité plus strictes et d'une réception en boîte de réception plus cohérente.

    • Avec seulement 10 panélistes quotidiens, les taux d'erreur restent en dessous de 10 %.

    • Avec plus de 50 panélistes, l'erreur diminue considérablement et devient très serrée.

    • Le taux d'erreur approche rapidement ~2 % à mesure que la taille du panneau augmente—indiquant ~98 % de précision dans la prédiction du placement en boîte de réception.

    • Ce niveau de précision est excellent pour diagnostiquer les problèmes de délivrabilité à travers l'ensemble du flux de courrier d'un expéditeur.

    • Les données du panneau restent critiques car les principaux fournisseurs comme Google et Microsoft ne fournissent pas de métriques de placement en boîte de réception.

    • Avec une corrélation prouvée, les expéditeurs peuvent s'appuyer en toute confiance sur les données du panneau de Bird pour comprendre la réception en boîte de réception là où il n'existe pas de vérité absolue.

Points forts des Q&A

  • Quel problème était historiquement difficile à résoudre concernant le placement dans Inbox ?

    Il n'existait pas de « vérité absolue » fiable pour valider la précision avec laquelle un panel autorisé prédisait le placement dans l'Inbox à grande échelle.

  • Qu'est-ce qui a changé pour permettre une mesure appropriée ?

    Un important fournisseur de boîtes aux lettres a commencé à licencier de véritables données de placement dans les boîtes de réception, permettant à Bird de comparer ses prévisions de panel aux résultats réels.

  • Quelle était la taille du jeu de données d'analyse ?

    Plus de 20 000 domaines d'envoi—qui vont de petits expéditeurs à de très grands expéditeurs d'entreprise.

  • Quel indicateur a été utilisé pour évaluer l'exactitude?

    RMSE (root mean square error), une manière standard de mesurer l'écart entre les valeurs prévues et réelles.

  • Quelle est la précision du panel avec un très petit nombre de panélistes quotidiens ?

    Même avec seulement 10 panélistes distincts, les taux d'erreur restent en dessous de 10%, ce qui est déjà solide pour les diagnostics de délivrabilité.

  • Que se passe-t-il lorsque plus de panélistes voient le flux d'email?

    La précision augmente rapidement—à 50+ participants, la corrélation devient extrêmement forte, et l'erreur diminue fortement.

  • Quelle est la précision la meilleure constatée ?

    L'erreur approche ~2 %, ce qui signifie que les données de panel de Bird peuvent être jusqu'à 98 % précises par rapport au véritable placement dans la boîte de réception.

  • Pourquoi les principaux ESPs montrent-ils une meilleure corrélation ?

    Probablement en raison de normes de conformité plus strictes, qui conduisent à des schémas d'Inbox plus stables et à moins de variations dans le comportement de délivrabilité.

  • L'accuracy est-elle suffisante pour diagnostiquer les problèmes de deliverability ?

    Absolument—des taux d'erreur inférieurs à 5–10 % offrent plus qu'assez de précision pour repérer les anomalies de délivrabilité et les tendances.

  • Pourquoi les données de panel sont-elles toujours nécessaires si un fournisseur de boîte aux lettres offre la vérité absolue?

    Parce que les principaux fournisseurs de boîtes mail (Google, Microsoft, etc.) ne fournissent pas de rapports de placement dans la boîte de réception, les données de panel comblent ce manque de visibilité.

  • Que prouve l'analyse au sujet du modèle de panneau de Bird dans l'ensemble ?

    Qu'il soit statistiquement fiable à travers une large gamme de domaines et de comportements d'envoi, même avec des tailles d'échantillons faibles.

  • Quel est le résultat pratique pour les expéditeurs ?

    Ils peuvent faire confiance aux données de panel de Bird pour guider les décisions de délivrabilité, surtout dans les écosystèmes où aucune autre donnée de placement d'Inbox n'existe.

Une des questions que nous recevons régulièrement au sujet de notre panneau de messagerie autorisée est de savoir à quel point il est précis en termes de prévision des taux de réception dans l'inbox. Historiquement, cela a été une question difficile à répondre avec certitude car il n'y avait aucune source de vérité pour se mesurer, et donc les opinions (et la confiance générale dans les statistiques d'échantillons) dominaient la discussion.

Mais maintenant, avec un fournisseur de boîte aux lettres majeur qui autorise les données de placement dans l'inbox pour leur plateforme, il est possible de faire une analyse réelle, ce que nous avons fait sur environ 20 000 domaines d'envoi distincts de grands et petits expéditeurs, à la fois sur notre plateforme d'envoi et sur d'autres fournisseurs. 

Les résultats sont excitants. Le panneau autorisé est très précis, même avec un signal relativement faible, et devient extrêmement précis à mesure que le nombre de panélistes distincts vus dans un envoi augmente. En utilisant des méthodes statistiques courantes, nous examinons l'erreur quadratique moyenne (RMSE – un analogue de l'écart-type) entre le taux de réception dans l'inbox tel qu'il est vu chez le fournisseur majeur et ce que notre panneau voit.

Dans notre analyse, nous avons noté que les expéditeurs qui envoient leur courrier via les meilleurs fournisseurs de services de messagerie voient une meilleure corrélation matérielle entre le taux de réception dans l'inbox du panneau et le véritable taux de réception dans l'inbox. Le mécanisme pour cela n'est pas connu, mais nous postulons que les normes de conformité auxquelles les grands fournisseurs de services tiennent leurs clients se traduisent généralement par des taux de réception plus cohérents dans l'inbox auprès de leur audience et sont donc moins sujets à la distorsion. Nous pouvons voir cela si nous limitons notre graphique aux expéditeurs uniquement sur les principaux ESPs, ce qui réduit également le RMSE d'environ 30%.

Même lorsque un petit nombre (10) de panélistes quotidiens voient le flux de courrier, nous voyons une corrélation très forte entre le taux de réception dans l'inbox vu par le panneau et la vérité terrain.

Si nous considérons uniquement les flux où 50 ou plus de panélistes sont vus quotidiennement, la corrélation devient encore plus forte.

Si nous observons comment ce taux d'erreur varie dans le temps, nous voyons quelques choses : 

  • Même avec des nombres extrêmement faibles de panélistes uniques recevant le courrier, le taux d'erreur est inférieur à 10%.

  • Il tombe rapidement à 4% à mesure que le nombre de panélistes augmente.

  • Il approche finalement 2% – montrant que les données du panneau sont précises à 98%. 

Pour les besoins d'identification des problèmes de délivrabilité des flux de courrier, cette précision est fantastique.

Donc, vous pourriez vous demander : avec un fournisseur majeur offrant des chiffres de vérité terrain, quelle est l'utilité de disposer également de données de panneau, même si elles sont hautement corrélées ? La majorité des fournisseurs de boîtes aux lettres – y compris des titans comme Google et Microsoft – n'offrent pas de données de placement dans l'inbox, et donc pour les messages délivrés là-bas, vous avez toujours besoin d'une source comme les données du panneau pour comprendre les taux de réception dans l'inbox. 

Et maintenant, nous pouvons tous être confiants dans sa précision pour ces cas.

Une des questions que nous recevons régulièrement au sujet de notre panneau de messagerie autorisée est de savoir à quel point il est précis en termes de prévision des taux de réception dans l'inbox. Historiquement, cela a été une question difficile à répondre avec certitude car il n'y avait aucune source de vérité pour se mesurer, et donc les opinions (et la confiance générale dans les statistiques d'échantillons) dominaient la discussion.

Mais maintenant, avec un fournisseur de boîte aux lettres majeur qui autorise les données de placement dans l'inbox pour leur plateforme, il est possible de faire une analyse réelle, ce que nous avons fait sur environ 20 000 domaines d'envoi distincts de grands et petits expéditeurs, à la fois sur notre plateforme d'envoi et sur d'autres fournisseurs. 

Les résultats sont excitants. Le panneau autorisé est très précis, même avec un signal relativement faible, et devient extrêmement précis à mesure que le nombre de panélistes distincts vus dans un envoi augmente. En utilisant des méthodes statistiques courantes, nous examinons l'erreur quadratique moyenne (RMSE – un analogue de l'écart-type) entre le taux de réception dans l'inbox tel qu'il est vu chez le fournisseur majeur et ce que notre panneau voit.

Dans notre analyse, nous avons noté que les expéditeurs qui envoient leur courrier via les meilleurs fournisseurs de services de messagerie voient une meilleure corrélation matérielle entre le taux de réception dans l'inbox du panneau et le véritable taux de réception dans l'inbox. Le mécanisme pour cela n'est pas connu, mais nous postulons que les normes de conformité auxquelles les grands fournisseurs de services tiennent leurs clients se traduisent généralement par des taux de réception plus cohérents dans l'inbox auprès de leur audience et sont donc moins sujets à la distorsion. Nous pouvons voir cela si nous limitons notre graphique aux expéditeurs uniquement sur les principaux ESPs, ce qui réduit également le RMSE d'environ 30%.

Même lorsque un petit nombre (10) de panélistes quotidiens voient le flux de courrier, nous voyons une corrélation très forte entre le taux de réception dans l'inbox vu par le panneau et la vérité terrain.

Si nous considérons uniquement les flux où 50 ou plus de panélistes sont vus quotidiennement, la corrélation devient encore plus forte.

Si nous observons comment ce taux d'erreur varie dans le temps, nous voyons quelques choses : 

  • Même avec des nombres extrêmement faibles de panélistes uniques recevant le courrier, le taux d'erreur est inférieur à 10%.

  • Il tombe rapidement à 4% à mesure que le nombre de panélistes augmente.

  • Il approche finalement 2% – montrant que les données du panneau sont précises à 98%. 

Pour les besoins d'identification des problèmes de délivrabilité des flux de courrier, cette précision est fantastique.

Donc, vous pourriez vous demander : avec un fournisseur majeur offrant des chiffres de vérité terrain, quelle est l'utilité de disposer également de données de panneau, même si elles sont hautement corrélées ? La majorité des fournisseurs de boîtes aux lettres – y compris des titans comme Google et Microsoft – n'offrent pas de données de placement dans l'inbox, et donc pour les messages délivrés là-bas, vous avez toujours besoin d'une source comme les données du panneau pour comprendre les taux de réception dans l'inbox. 

Et maintenant, nous pouvons tous être confiants dans sa précision pour ces cas.

Une des questions que nous recevons régulièrement au sujet de notre panneau de messagerie autorisée est de savoir à quel point il est précis en termes de prévision des taux de réception dans l'inbox. Historiquement, cela a été une question difficile à répondre avec certitude car il n'y avait aucune source de vérité pour se mesurer, et donc les opinions (et la confiance générale dans les statistiques d'échantillons) dominaient la discussion.

Mais maintenant, avec un fournisseur de boîte aux lettres majeur qui autorise les données de placement dans l'inbox pour leur plateforme, il est possible de faire une analyse réelle, ce que nous avons fait sur environ 20 000 domaines d'envoi distincts de grands et petits expéditeurs, à la fois sur notre plateforme d'envoi et sur d'autres fournisseurs. 

Les résultats sont excitants. Le panneau autorisé est très précis, même avec un signal relativement faible, et devient extrêmement précis à mesure que le nombre de panélistes distincts vus dans un envoi augmente. En utilisant des méthodes statistiques courantes, nous examinons l'erreur quadratique moyenne (RMSE – un analogue de l'écart-type) entre le taux de réception dans l'inbox tel qu'il est vu chez le fournisseur majeur et ce que notre panneau voit.

Dans notre analyse, nous avons noté que les expéditeurs qui envoient leur courrier via les meilleurs fournisseurs de services de messagerie voient une meilleure corrélation matérielle entre le taux de réception dans l'inbox du panneau et le véritable taux de réception dans l'inbox. Le mécanisme pour cela n'est pas connu, mais nous postulons que les normes de conformité auxquelles les grands fournisseurs de services tiennent leurs clients se traduisent généralement par des taux de réception plus cohérents dans l'inbox auprès de leur audience et sont donc moins sujets à la distorsion. Nous pouvons voir cela si nous limitons notre graphique aux expéditeurs uniquement sur les principaux ESPs, ce qui réduit également le RMSE d'environ 30%.

Même lorsque un petit nombre (10) de panélistes quotidiens voient le flux de courrier, nous voyons une corrélation très forte entre le taux de réception dans l'inbox vu par le panneau et la vérité terrain.

Si nous considérons uniquement les flux où 50 ou plus de panélistes sont vus quotidiennement, la corrélation devient encore plus forte.

Si nous observons comment ce taux d'erreur varie dans le temps, nous voyons quelques choses : 

  • Même avec des nombres extrêmement faibles de panélistes uniques recevant le courrier, le taux d'erreur est inférieur à 10%.

  • Il tombe rapidement à 4% à mesure que le nombre de panélistes augmente.

  • Il approche finalement 2% – montrant que les données du panneau sont précises à 98%. 

Pour les besoins d'identification des problèmes de délivrabilité des flux de courrier, cette précision est fantastique.

Donc, vous pourriez vous demander : avec un fournisseur majeur offrant des chiffres de vérité terrain, quelle est l'utilité de disposer également de données de panneau, même si elles sont hautement corrélées ? La majorité des fournisseurs de boîtes aux lettres – y compris des titans comme Google et Microsoft – n'offrent pas de données de placement dans l'inbox, et donc pour les messages délivrés là-bas, vous avez toujours besoin d'une source comme les données du panneau pour comprendre les taux de réception dans l'inbox. 

Et maintenant, nous pouvons tous être confiants dans sa précision pour ces cas.

Autres news

Lire la suite de cette catégorie

A person is standing at a desk while typing on a laptop.

La plateforme native AI complète qui évolue avec votre business.

A person is standing at a desk while typing on a laptop.

La plateforme native AI complète qui évolue avec votre business.