鸟类许可面板数据的准确性
鸟
2021年8月21日
电子邮件
1 min read
关键要点
Bird的许可电子邮件面板由于缺乏来自邮箱提供商的“真实情况”收件箱放置数据，历来难以验证。
一家主要的邮箱提供商现在许可收件箱放置数据，使得能够直接比较超过20,000个发送域。
分析显示Bird基于面板的收件箱率估算与真实收件箱率之间的准确性极高。
随着更多不同的面板成员收到电子邮件流，准确性提高——即使在低信号下也很强，在较高量时效果更佳。
使用RMSE（均方根误差）来测量面板预测与真实收件箱率之间的偏差。
使用顶级ESP的发送者显示出更好的相关性——可能是由于更严格的合规性实践和更加一致的收件。
即使只有10位每日面板成员，错误率也保持在10%以下。
有超过50位面板成员时，错误显著下降且变得非常紧密。
随着面板规模的增长，错误率迅速接近约2%——表明预测收件箱放置的准确率约为98%。
这一准确性水平对于诊断发件人完整邮件流中的投递问题来说非常出色。
面板数据仍然至关重要，因为像Google和Microsoft这样的主要提供商不提供收件箱放置指标。
由于已证明的相关性，发送者可以放心依赖Bird的面板数据来理解在没有真实情况的情况下的收件情况。
Q&A 精华
关于Inbox放置位置，历史上很难解决的问题是什么？
没有可靠的“ground truth”来验证一个有权限的面板如何准确地预测大规模的Inbox投放位置。
是什么改变使得能够进行适当的测量？
一家主要的邮箱提供商开始授权使用真实的收件箱放置数据，使Bird能够将其面板预测与实际结果进行比较。
分析数据集有多大？
超过20,000个发送域名——从小型发件人到非常大型企业发件人。
使用什么指标来评估准确性？
RMSE（均方根误差），是一种衡量预测值与实际值之间偏差的标准方法。
具有非常少的每日小组成员的面板的准确性如何？
即使只有10位不同的讨论专家，错误率也保持在10%以下，这对于可投递性诊断已经相当强。
当更多的小组成员看到邮件流时会发生什么？
准确性迅速提高——在超过50名小组成员时，相关性变得极强，错误率急剧下降。
观察到的最佳情况准确率是什么？
误差接近~2%，这意味着Bird的面板数据与真实收件箱投放相比可达98%准确。
为什么顶级 ESPs 显示更好的相关性？
可能由于更严格的合规标准，导致更稳定的Inbox模式和更小的递送行为差异。
Is the accuracy sufficient for diagnosing deliverability issues?
绝对——错误率低于 5–10% 提供了足够的精确度来发现可交付性异常和趋势。
为什么面板数据仍然是必要的，即使一个邮箱提供商提供了真实数据？
由于主要邮箱提供商（Google、Microsoft 等）不提供收件箱入箱报告，面板数据填补了这个可见性空缺。
分析总体上证明了Bird的面板模型是什么？
它在广泛领域和发送行为中具有统计可靠性，即使样本量较少。
对发送者的实际结果是什么？
他们可以信赖 Bird 的面板数据来指导可交付性决策，尤其是在不存在其他收件箱放置数据的生态系统中。
