鸟类许可面板数据的准确性
电子邮件
·
2021年8月21日
关键要点
Bird的许可电子邮件面板由于缺乏来自邮箱提供商的“真实情况”收件箱放置数据，历来难以验证。
一家主要的邮箱提供商现在许可收件箱放置数据，使得能够直接比较超过20,000个发送域。
分析显示Bird基于面板的收件箱率估算与真实收件箱率之间的准确性极高。
随着更多不同的面板成员收到电子邮件流，准确性提高——即使在低信号下也很强，在较高量时效果更佳。
使用RMSE（均方根误差）来测量面板预测与真实收件箱率之间的偏差。
使用顶级ESP的发送者显示出更好的相关性——可能是由于更严格的合规性实践和更加一致的收件。
即使只有10位每日面板成员，错误率也保持在10%以下。
有超过50位面板成员时，错误显著下降且变得非常紧密。
随着面板规模的增长，错误率迅速接近约2%——表明预测收件箱放置的准确率约为98%。
这一准确性水平对于诊断发件人完整邮件流中的投递问题来说非常出色。
面板数据仍然至关重要，因为像Google和Microsoft这样的主要提供商不提供收件箱放置指标。
由于已证明的相关性，发送者可以放心依赖Bird的面板数据来理解在没有真实情况的情况下的收件情况。
Q&A 精华
关于Inbox放置位置，历史上很难解决的问题是什么？
没有可靠的“ground truth”来验证一个有权限的面板如何准确地预测大规模的Inbox投放位置。
是什么改变使得能够进行适当的测量？
一家主要的邮箱提供商开始授权使用真实的收件箱放置数据，使Bird能够将其面板预测与实际结果进行比较。
分析数据集有多大？
超过20,000个发送域名——从小型发件人到非常大型企业发件人。
使用什么指标来评估准确性？
RMSE（均方根误差），是一种衡量预测值与实际值之间偏差的标准方法。
具有非常少的每日小组成员的面板的准确性如何？
即使只有10位不同的讨论专家，错误率也保持在10%以下，这对于可投递性诊断已经相当强。
当更多的小组成员看到邮件流时会发生什么？
准确性迅速提高——在超过50名小组成员时，相关性变得极强，错误率急剧下降。
观察到的最佳情况准确率是什么？
误差接近~2%，这意味着Bird的面板数据与真实收件箱投放相比可达98%准确。
为什么顶级 ESPs 显示更好的相关性？
可能由于更严格的合规标准，导致更稳定的Inbox模式和更小的递送行为差异。
Is the accuracy sufficient for diagnosing deliverability issues?
绝对——错误率低于 5–10% 提供了足够的精确度来发现可交付性异常和趋势。
为什么面板数据仍然是必要的，即使一个邮箱提供商提供了真实数据？
由于主要邮箱提供商（Google、Microsoft 等）不提供收件箱入箱报告，面板数据填补了这个可见性空缺。
分析总体上证明了Bird的面板模型是什么？
它在广泛领域和发送行为中具有统计可靠性，即使样本量较少。
对发送者的实际结果是什么？
他们可以信赖 Bird 的面板数据来指导可交付性决策，尤其是在不存在其他收件箱放置数据的生态系统中。
许可邮件面板的准确性如何？
关于我们的Permissioned Email Panel，人们最常问的问题之一是它在预测收件箱到达率方面的准确性如何。
历史上，这一直是一个难以自信回答的问题。没有可靠的基准真相进行衡量，因此讨论很大程度上是由意见和对抽样统计的普遍信任驱动的。
这一情况现已改变。
一个新的Ground Truth来源
一家主要的邮箱提供商已为其平台获得收件箱投递数据的许可，使得进行现实世界的验证成为可能。
使用这些数据，我们在超过 20,000 个不同的发送域中进行了分析，涵盖：
大型和小型发件人
通过我们平台发送的域
通过其他提供商发送的域
这使我们能够直接比较面板观察到的收件箱投递率与真实收件箱投递数据。
数据揭示了什么
结果非常令人鼓舞。
Permissioned Email Panel 即使在信号相对较低的情况下，也是非常准确的。
随着不同小组成员数量的增加，准确性迅速提高。
在有足够的小组覆盖的情况下，小组能紧密跟踪真实的 Inbox placement。
为了量化这一点，我们测量了均方根误差 (RMSE)，其计算方式为：
邮箱提供商报告的 Inbox placement 率（真实值）
我们小组观察的 Inbox placement 率
(RMSE 可以被视为标准差的类似物。)
电子邮件服务提供商的影响
一个有趣的发现是，使用顶级电子邮件服务提供商 (ESPs) 的发件人的面板收件箱率和真实收件箱率之间显示出显著更强的相关性。
虽然确切机制尚不清楚，但我们认为原因是：
大型 ESPs 强制执行更高的合规标准
发送实践更一致
收件箱放置中观众级别偏差更少
当将分析限制为使用顶级 ESPs 的发件人：
RMSE 减少了大约 30%
不同面板尺寸的准确性
即使在只有少量参与者的情况下，结果仍然强劲：
部分 | 目的 | 类型 |
|---|---|---|
Permissioned Email Panel 的准确性如何？ | 问题框架 | 背景 |
新的地面真理来源 | 方法论 | 证据 |
数据展示了什么 | 结果总结 | 发现 |
Email Service Providers 的影响 | 变量分析 | 比较 |
不同面板规模下的准确性 | 定量行为 | 基于阈值 |
为什么面板数据仍然重要 | 理由 | 战略性 |
即使每天只有10个参与者，与地面真象的相关性已经很高
在每天50个或更多参与者的情况下，相关性变得极其紧密
观察随着时间的误差率：
在非常低的面板数量下，误差仍然低于10%
随着面板规模的增加，误差迅速下降到约4%
在规模上，误差接近约2%，意味着98%的准确性
对于识别交付能力和收件箱位置的问题，这种准确度是非常出色的。
