鸟类许可面板数据的准确性
鸟
2021年8月21日
电子邮件
1 min read
关键要点
Bird的许可电子邮件面板由于缺乏来自邮箱提供商的“真实情况”收件箱放置数据，历来难以验证。
一家主要的邮箱提供商现在许可收件箱放置数据，使得能够直接比较超过20,000个发送域。
分析显示Bird基于面板的收件箱率估算与真实收件箱率之间的准确性极高。
随着更多不同的面板成员收到电子邮件流，准确性提高——即使在低信号下也很强，在较高量时效果更佳。
使用RMSE（均方根误差）来测量面板预测与真实收件箱率之间的偏差。
使用顶级ESP的发送者显示出更好的相关性——可能是由于更严格的合规性实践和更加一致的收件。
即使只有10位每日面板成员，错误率也保持在10%以下。
有超过50位面板成员时，错误显著下降且变得非常紧密。
随着面板规模的增长，错误率迅速接近约2%——表明预测收件箱放置的准确率约为98%。
这一准确性水平对于诊断发件人完整邮件流中的投递问题来说非常出色。
面板数据仍然至关重要，因为像Google和Microsoft这样的主要提供商不提供收件箱放置指标。
由于已证明的相关性，发送者可以放心依赖Bird的面板数据来理解在没有真实情况的情况下的收件情况。
Q&A 精华
关于Inbox放置位置，历史上很难解决的问题是什么？
没有可靠的“ground truth”来验证一个有权限的面板如何准确地预测大规模的Inbox投放位置。
是什么改变使得能够进行适当的测量？
一家主要的邮箱提供商开始授权使用真实的收件箱放置数据，使Bird能够将其面板预测与实际结果进行比较。
分析数据集有多大？
超过20,000个发送域名——从小型发件人到非常大型企业发件人。
使用什么指标来评估准确性？
RMSE（均方根误差），是一种衡量预测值与实际值之间偏差的标准方法。
具有非常少的每日小组成员的面板的准确性如何？
即使只有10位不同的讨论专家，错误率也保持在10%以下，这对于可投递性诊断已经相当强。
当更多的小组成员看到邮件流时会发生什么？
准确性迅速提高——在超过50名小组成员时，相关性变得极强，错误率急剧下降。
观察到的最佳情况准确率是什么？
误差接近~2%，这意味着Bird的面板数据与真实收件箱投放相比可达98%准确。
为什么顶级 ESPs 显示更好的相关性？
可能由于更严格的合规标准，导致更稳定的Inbox模式和更小的递送行为差异。
Is the accuracy sufficient for diagnosing deliverability issues?
绝对——错误率低于 5–10% 提供了足够的精确度来发现可交付性异常和趋势。
为什么面板数据仍然是必要的，即使一个邮箱提供商提供了真实数据？
由于主要邮箱提供商（Google、Microsoft 等）不提供收件箱入箱报告，面板数据填补了这个可见性空缺。
分析总体上证明了Bird的面板模型是什么？
它在广泛领域和发送行为中具有统计可靠性，即使样本量较少。
对发送者的实际结果是什么？
他们可以信赖 Bird 的面板数据来指导可交付性决策，尤其是在不存在其他收件箱放置数据的生态系统中。
我们经常收到关于我们授权电子邮件面板的问题，其中一个是它在预测收件箱率方面的准确性。历史上，这个问题很难以权威的身份回答，因为没有可以衡量的基础事实来源，因此，观点（以及对样本统计数据的普遍信任）支配了讨论。
不过，现在，随着一家大型邮箱提供商为他们的平台许可收件箱放置数据，可以进行真实分析，我们对一些20,000个不同的发送域进行了分析，包括大型和小型发送者，既在我们的发送平台上，也在其他提供商上。
结果令人兴奋。即使信号相对较低，授权面板也非常准确，并随着发送中观察到的不同面板成员的数量增加而变得极其准确。使用常用的统计方法，我们查看了根均方误差（RMSE – 标准偏差的类似物），比较在主要提供商处看到的收件箱率与我们面板看到的情况。
在我们的分析中，我们注意到，通过顶级电子邮件服务提供商发送邮件的发送者，其面板收件箱率与真实收件箱率之间的相关性明显更好。这其中的机制尚不清楚，但我们假设大型服务提供商对其客户的一般合规标准导致其收件箱率更稳定且更不容易偏斜。如果我们将图表限制为仅限顶级ESP的发送者，也能看到RMSE减少了约30%。
即使只有少数（10）名每日面板成员看到邮件流，我们也看到面板观察到的收件箱率与真实率之间有很强的相关性。
如果我们仅考虑每天看到50名或更多面板成员的流，这种相关性甚至更紧密。
如果我们观察这种误差率随时间变化，我们看到一些现象：
即使接收邮件的唯一面板成员数量极少，误差率也在10%以下。
随着面板成员数量增加，误差率快速下降到4%。
最终接近2% – 显示面板数据准确性为98%。
就识别邮件流传递问题而言，这种准确性非常出色。
因此，您可能会问：当主要提供商提供基础事实数字时，即使它们高度相关，依然使用面板数据有什么用途？多数邮箱提供商 – 包括像Google和Microsoft这样的巨头 – 不提供收件箱放置数据，因此对于发送到这些提供商的信息，您仍需要像面板数据这样的来源来了解收件箱率。
现在，我们可以对这些情况下它的准确性充满信心。
