Précision des données du panneau autorisé des oiseaux

Oiseau

21 août 2021

Email

1 min read

Précision des données du panneau autorisé des oiseaux

Points Clés

    • Le panneau d'email autorisé de Bird a historiquement été difficile à valider en raison de l'absence de données de placement de boîte de réception de "vérité absolue" des fournisseurs de boîtes aux lettres.

    • Un grand fournisseur de boîtes aux lettres autorise maintenant les données de placement de boîte de réception, permettant une comparaison directe entre plus de 20 000 domaines d'envoi.

    • L'analyse montre une très grande précision entre les estimations de taux de boîte de réception basées sur le panneau de Bird et le véritable taux de boîte de réception.

    • La précision s'améliore à mesure que plus de panélistes distincts reçoivent le flux de courriel—forte même à faible signal, excellente à des volumes plus élevés.

    • Le RMSE (erreur quadratique moyenne) est utilisé pour mesurer la déviation entre les prédictions du panneau et les taux de boîte de réception véritables.

    • Les expéditeurs utilisant les principaux ESPs montrent une meilleure corrélation de manière significative—probablement en raison de pratiques de conformité plus strictes et d'une réception en boîte de réception plus cohérente.

    • Avec seulement 10 panélistes quotidiens, les taux d'erreur restent en dessous de 10 %.

    • Avec plus de 50 panélistes, l'erreur diminue considérablement et devient très serrée.

    • Le taux d'erreur approche rapidement ~2 % à mesure que la taille du panneau augmente—indiquant ~98 % de précision dans la prédiction du placement en boîte de réception.

    • Ce niveau de précision est excellent pour diagnostiquer les problèmes de délivrabilité à travers l'ensemble du flux de courrier d'un expéditeur.

    • Les données du panneau restent critiques car les principaux fournisseurs comme Google et Microsoft ne fournissent pas de métriques de placement en boîte de réception.

    • Avec une corrélation prouvée, les expéditeurs peuvent s'appuyer en toute confiance sur les données du panneau de Bird pour comprendre la réception en boîte de réception là où il n'existe pas de vérité absolue.

Points forts des Q&A

  • Quel problème était historiquement difficile à résoudre concernant le placement dans Inbox ?

    Il n'existait pas de « vérité absolue » fiable pour valider la précision avec laquelle un panel autorisé prédisait le placement dans l'Inbox à grande échelle.

  • Qu'est-ce qui a changé pour permettre une mesure appropriée ?

    Un important fournisseur de boîtes aux lettres a commencé à licencier de véritables données de placement dans les boîtes de réception, permettant à Bird de comparer ses prévisions de panel aux résultats réels.

  • Quelle était la taille du jeu de données d'analyse ?

    Plus de 20 000 domaines d'envoi—qui vont de petits expéditeurs à de très grands expéditeurs d'entreprise.

  • Quel indicateur a été utilisé pour évaluer l'exactitude?

    RMSE (root mean square error), une manière standard de mesurer l'écart entre les valeurs prévues et réelles.

  • Quelle est la précision du panel avec un très petit nombre de panélistes quotidiens ?

    Même avec seulement 10 panélistes distincts, les taux d'erreur restent en dessous de 10%, ce qui est déjà solide pour les diagnostics de délivrabilité.

  • Que se passe-t-il lorsque plus de panélistes voient le flux d'email?

    La précision augmente rapidement—à 50+ participants, la corrélation devient extrêmement forte, et l'erreur diminue fortement.

  • Quelle est la précision la meilleure constatée ?

    L'erreur approche ~2 %, ce qui signifie que les données de panel de Bird peuvent être jusqu'à 98 % précises par rapport au véritable placement dans la boîte de réception.

  • Pourquoi les principaux ESPs montrent-ils une meilleure corrélation ?

    Probablement en raison de normes de conformité plus strictes, qui conduisent à des schémas d'Inbox plus stables et à moins de variations dans le comportement de délivrabilité.

  • L'accuracy est-elle suffisante pour diagnostiquer les problèmes de deliverability ?

    Absolument—des taux d'erreur inférieurs à 5–10 % offrent plus qu'assez de précision pour repérer les anomalies de délivrabilité et les tendances.

  • Pourquoi les données de panel sont-elles toujours nécessaires si un fournisseur de boîte aux lettres offre la vérité absolue?

    Parce que les principaux fournisseurs de boîtes mail (Google, Microsoft, etc.) ne fournissent pas de rapports de placement dans la boîte de réception, les données de panel comblent ce manque de visibilité.

  • Que prouve l'analyse au sujet du modèle de panneau de Bird dans l'ensemble ?

    Qu'il soit statistiquement fiable à travers une large gamme de domaines et de comportements d'envoi, même avec des tailles d'échantillons faibles.

  • Quel est le résultat pratique pour les expéditeurs ?

    Ils peuvent faire confiance aux données de panel de Bird pour guider les décisions de délivrabilité, surtout dans les écosystèmes où aucune autre donnée de placement d'Inbox n'existe.

Quelle est la précision du panneau d'email autorisé ?

L'une des questions les plus courantes que nous recevons à propos de notre Permissioned Email Panel est de savoir à quel point il est précis pour prévoir les taux de placement dans la boîte de réception.

Historiquement, cela a été une question difficile à répondre avec confiance. Il n'y avait pas de vérité fondamentale fiable à laquelle se mesurer, donc les discussions étaient largement motivées par l'opinion et la confiance générale dans les statistiques d'échantillonnage.

Cela a maintenant changé.

L'une des questions les plus courantes que nous recevons à propos de notre Permissioned Email Panel est de savoir à quel point il est précis pour prévoir les taux de placement dans la boîte de réception.

Historiquement, cela a été une question difficile à répondre avec confiance. Il n'y avait pas de vérité fondamentale fiable à laquelle se mesurer, donc les discussions étaient largement motivées par l'opinion et la confiance générale dans les statistiques d'échantillonnage.

Cela a maintenant changé.

L'une des questions les plus courantes que nous recevons à propos de notre Permissioned Email Panel est de savoir à quel point il est précis pour prévoir les taux de placement dans la boîte de réception.

Historiquement, cela a été une question difficile à répondre avec confiance. Il n'y avait pas de vérité fondamentale fiable à laquelle se mesurer, donc les discussions étaient largement motivées par l'opinion et la confiance générale dans les statistiques d'échantillonnage.

Cela a maintenant changé.

Une nouvelle source de vérité fondamentale

Un important fournisseur de services de messagerie a licencié les données de placement dans la boîte de réception pour leur plateforme, rendant possible une validation en conditions réelles.

À l'aide de ces données, nous avons mené une analyse de plus de 20 000 domaines d'expédition distincts, couvrant :

  • Expéditeurs grands et petits

  • Domaines envoyant via notre plateforme

  • Domaines envoyant via d'autres fournisseurs

Cela nous a permis de comparer directement les taux d'inboxing observés par le panel avec de véritables données de placement dans la boîte de réception.

Un important fournisseur de services de messagerie a licencié les données de placement dans la boîte de réception pour leur plateforme, rendant possible une validation en conditions réelles.

À l'aide de ces données, nous avons mené une analyse de plus de 20 000 domaines d'expédition distincts, couvrant :

  • Expéditeurs grands et petits

  • Domaines envoyant via notre plateforme

  • Domaines envoyant via d'autres fournisseurs

Cela nous a permis de comparer directement les taux d'inboxing observés par le panel avec de véritables données de placement dans la boîte de réception.

Un important fournisseur de services de messagerie a licencié les données de placement dans la boîte de réception pour leur plateforme, rendant possible une validation en conditions réelles.

À l'aide de ces données, nous avons mené une analyse de plus de 20 000 domaines d'expédition distincts, couvrant :

  • Expéditeurs grands et petits

  • Domaines envoyant via notre plateforme

  • Domaines envoyant via d'autres fournisseurs

Cela nous a permis de comparer directement les taux d'inboxing observés par le panel avec de véritables données de placement dans la boîte de réception.

Ce que les données montrent

Les résultats sont très encourageants.

  • Le Permissioned Email Panel est très précis, même avec un signal relativement faible.

  • La précision augmente rapidement avec le nombre croissant de panélistes distincts.

  • Avec une couverture de panel suffisante, le panel suit de près le véritable placement dans l'inbox.

Pour quantifier cela, nous avons mesuré l'erreur quadratique moyenne (RMSE) entre :

  • Les taux de placement dans l'inbox rapportés par le fournisseur de boîte mail (vérité terrain)

  • Les taux de placement dans l'inbox observés par notre panel

(RMSE peut être considéré comme un analogue à l'écart-type.)

Les résultats sont très encourageants.

  • Le Permissioned Email Panel est très précis, même avec un signal relativement faible.

  • La précision augmente rapidement avec le nombre croissant de panélistes distincts.

  • Avec une couverture de panel suffisante, le panel suit de près le véritable placement dans l'inbox.

Pour quantifier cela, nous avons mesuré l'erreur quadratique moyenne (RMSE) entre :

  • Les taux de placement dans l'inbox rapportés par le fournisseur de boîte mail (vérité terrain)

  • Les taux de placement dans l'inbox observés par notre panel

(RMSE peut être considéré comme un analogue à l'écart-type.)

Les résultats sont très encourageants.

  • Le Permissioned Email Panel est très précis, même avec un signal relativement faible.

  • La précision augmente rapidement avec le nombre croissant de panélistes distincts.

  • Avec une couverture de panel suffisante, le panel suit de près le véritable placement dans l'inbox.

Pour quantifier cela, nous avons mesuré l'erreur quadratique moyenne (RMSE) entre :

  • Les taux de placement dans l'inbox rapportés par le fournisseur de boîte mail (vérité terrain)

  • Les taux de placement dans l'inbox observés par notre panel

(RMSE peut être considéré comme un analogue à l'écart-type.)

Impact des fournisseurs de services Email

Une découverte intéressante est que les expéditeurs utilisant les principaux fournisseurs de services de messagerie électronique (ESPs) montrent une corrélation sensiblement plus forte entre les taux de réception dans la boîte de réception du panel et les vrais taux de réception dans la boîte de réception.

Bien que le mécanisme exact soit flou, nous pensons que cela est dû à :

  • Des normes de conformité plus élevées appliquées par les grands ESPs

  • Des pratiques d'envoi plus cohérentes

  • Moins de biais au niveau de l'audience dans le placement en boîte de réception

Lors de la restriction de l'analyse aux expéditeurs utilisant les principaux ESPs :

  • RMSE est réduit de environ 30%

Une découverte intéressante est que les expéditeurs utilisant les principaux fournisseurs de services de messagerie électronique (ESPs) montrent une corrélation sensiblement plus forte entre les taux de réception dans la boîte de réception du panel et les vrais taux de réception dans la boîte de réception.

Bien que le mécanisme exact soit flou, nous pensons que cela est dû à :

  • Des normes de conformité plus élevées appliquées par les grands ESPs

  • Des pratiques d'envoi plus cohérentes

  • Moins de biais au niveau de l'audience dans le placement en boîte de réception

Lors de la restriction de l'analyse aux expéditeurs utilisant les principaux ESPs :

  • RMSE est réduit de environ 30%

Une découverte intéressante est que les expéditeurs utilisant les principaux fournisseurs de services de messagerie électronique (ESPs) montrent une corrélation sensiblement plus forte entre les taux de réception dans la boîte de réception du panel et les vrais taux de réception dans la boîte de réception.

Bien que le mécanisme exact soit flou, nous pensons que cela est dû à :

  • Des normes de conformité plus élevées appliquées par les grands ESPs

  • Des pratiques d'envoi plus cohérentes

  • Moins de biais au niveau de l'audience dans le placement en boîte de réception

Lors de la restriction de l'analyse aux expéditeurs utilisant les principaux ESPs :

  • RMSE est réduit de environ 30%

Précision à Différentes Tailles de Panel

Même avec un petit nombre de panélistes, les résultats restent solides :

Section

Objectif

Type

Quelle est la précision du panel d'e-mails autorisés ?

Encadrement du problème

Contexte

Une nouvelle source de vérité fondamentale

Méthodologie

Évidence

Ce que montrent les données

Résumé des résultats

Conclusions

Impact des fournisseurs de services d'email

Analyse de variables

Comparatif

Précision à différentes tailles de panel

Comportement quantitatif

Basé sur des seuils

Pourquoi les données de panel sont-elles toujours importantes

Justification

Stratégique


  • Avec aussi peu que 10 panélistes quotidiens, la corrélation avec la vérité fondamentale est déjà très élevée

  • À 50 panélistes quotidiens ou plus, la corrélation devient extrêmement étroite

Examen des taux d'erreur au fil du temps :

  • À des panneaux très faibles, l'erreur reste inférieure à 10%

  • L'erreur chute rapidement à ~4% à mesure que la taille du panel augmente

  • À grande échelle, l'erreur s'approche de ~2%, impliquant une précision de 98%

Pour identifier les problèmes de délivrabilité et de placement dans Inbox, ce niveau de précision est exceptionnel.

Même avec un petit nombre de panélistes, les résultats restent solides :

Section

Objectif

Type

Quelle est la précision du panel d'e-mails autorisés ?

Encadrement du problème

Contexte

Une nouvelle source de vérité fondamentale

Méthodologie

Évidence

Ce que montrent les données

Résumé des résultats

Conclusions

Impact des fournisseurs de services d'email

Analyse de variables

Comparatif

Précision à différentes tailles de panel

Comportement quantitatif

Basé sur des seuils

Pourquoi les données de panel sont-elles toujours importantes

Justification

Stratégique


  • Avec aussi peu que 10 panélistes quotidiens, la corrélation avec la vérité fondamentale est déjà très élevée

  • À 50 panélistes quotidiens ou plus, la corrélation devient extrêmement étroite

Examen des taux d'erreur au fil du temps :

  • À des panneaux très faibles, l'erreur reste inférieure à 10%

  • L'erreur chute rapidement à ~4% à mesure que la taille du panel augmente

  • À grande échelle, l'erreur s'approche de ~2%, impliquant une précision de 98%

Pour identifier les problèmes de délivrabilité et de placement dans Inbox, ce niveau de précision est exceptionnel.

Même avec un petit nombre de panélistes, les résultats restent solides :

Section

Objectif

Type

Quelle est la précision du panel d'e-mails autorisés ?

Encadrement du problème

Contexte

Une nouvelle source de vérité fondamentale

Méthodologie

Évidence

Ce que montrent les données

Résumé des résultats

Conclusions

Impact des fournisseurs de services d'email

Analyse de variables

Comparatif

Précision à différentes tailles de panel

Comportement quantitatif

Basé sur des seuils

Pourquoi les données de panel sont-elles toujours importantes

Justification

Stratégique


  • Avec aussi peu que 10 panélistes quotidiens, la corrélation avec la vérité fondamentale est déjà très élevée

  • À 50 panélistes quotidiens ou plus, la corrélation devient extrêmement étroite

Examen des taux d'erreur au fil du temps :

  • À des panneaux très faibles, l'erreur reste inférieure à 10%

  • L'erreur chute rapidement à ~4% à mesure que la taille du panel augmente

  • À grande échelle, l'erreur s'approche de ~2%, impliquant une précision de 98%

Pour identifier les problèmes de délivrabilité et de placement dans Inbox, ce niveau de précision est exceptionnel.

Pourquoi les données de Panel Still Matters

Vous pourriez demander :

Si certains fournisseurs de boîtes de réception offrent des données réelles de placement en boîte de réception, pourquoi avons-nous encore besoin de données de panel ?

La réponse est simple :

La plupart des fournisseurs de boîtes de réception ne proposent pas de données de placement en boîte de réception — y compris les grandes plateformes comme Google et Microsoft.

Pour les messages livrés à ces fournisseurs, les données de panel restent le seul moyen viable pour comprendre la performance de placement en boîte de réception.

Grâce à cette validation, nous pouvons maintenant être confiants que :

  • Les taux de boîte de réception basés sur le panel sont précis

  • Les données de panel peuvent être fiables là où la vérité terrain n'est pas disponible

  • Le Permissioned Email Panel fournit une perspicacité fiable à travers l'écosystème postal plus large

Vous pourriez demander :

Si certains fournisseurs de boîtes de réception offrent des données réelles de placement en boîte de réception, pourquoi avons-nous encore besoin de données de panel ?

La réponse est simple :

La plupart des fournisseurs de boîtes de réception ne proposent pas de données de placement en boîte de réception — y compris les grandes plateformes comme Google et Microsoft.

Pour les messages livrés à ces fournisseurs, les données de panel restent le seul moyen viable pour comprendre la performance de placement en boîte de réception.

Grâce à cette validation, nous pouvons maintenant être confiants que :

  • Les taux de boîte de réception basés sur le panel sont précis

  • Les données de panel peuvent être fiables là où la vérité terrain n'est pas disponible

  • Le Permissioned Email Panel fournit une perspicacité fiable à travers l'écosystème postal plus large

Vous pourriez demander :

Si certains fournisseurs de boîtes de réception offrent des données réelles de placement en boîte de réception, pourquoi avons-nous encore besoin de données de panel ?

La réponse est simple :

La plupart des fournisseurs de boîtes de réception ne proposent pas de données de placement en boîte de réception — y compris les grandes plateformes comme Google et Microsoft.

Pour les messages livrés à ces fournisseurs, les données de panel restent le seul moyen viable pour comprendre la performance de placement en boîte de réception.

Grâce à cette validation, nous pouvons maintenant être confiants que :

  • Les taux de boîte de réception basés sur le panel sont précis

  • Les données de panel peuvent être fiables là où la vérité terrain n'est pas disponible

  • Le Permissioned Email Panel fournit une perspicacité fiable à travers l'écosystème postal plus large

Autres news

Lire la suite de cette catégorie

A person is standing at a desk while typing on a laptop.

La plateforme native AI complète qui évolue avec votre business.

A person is standing at a desk while typing on a laptop.

La plateforme native AI complète qui évolue avec votre business.