我们经常收到有关我们批准的电子邮件面板的一个问题是,它在预测收件箱率方面的准确性如何。历史上,这一直是一个很难以任何权威回答的问题,因为没有可以衡量的真实来源,因此意见(和对样本统计的普遍信任)主导了讨论。
不过,现在,由于一个主要的邮箱提供商为其平台授权收件箱投放数据,进行实际分析成为可能,我们对大约20,000个不同的发送域进行了分析,包括大小发送者,在我们的发送平台和其他提供商上都进行了分析。
结果令人兴奋。该授权面板的准确性很高,即使信号相对较低,当发送中看到的不同面板参与者的数量增加时,准确性会变得极为精准。使用常见的统计方法,我们查看在主要提供商看到的收件箱率与我们的面板所看到的收件箱率之间的均方根误差(RMSE——标准差的类比)。
在我们的分析中,我们注意到,通过顶级电子邮件服务提供商发送邮件的发送者,面板收件箱率与真实收件箱率之间的相关性大大提高。对此机制的具体原因尚不清楚,但我们推测,大型服务提供商对其客户所保持的合规标准通常导致其受众的收件箱率更加一致,因此不易偏斜。如果我们仅限制于顶级ESP的发送者,我们可以看到这种现象,这也使得RMSE降低了大约30%。
即使只有少数(10)每日面板参与者看到邮件流,我们也看到面板所见的收件箱率与真实数值之间的相关性非常强。
如果我们仅考虑每日看到50个或更多面板参与者的流,相关性会更加紧密。
如果我们查看这一错误率随时间的变化,我们会看到几件事情:
即使只有极少数唯一的面板参与者接收邮件,错误率也低于10%。
随着面板参与者数量的增加,它迅速降至4%。
最终接近2%——这表明面板数据的准确率为98%。
就识别邮件流的可投递性问题而言,这种准确性非常出色。
所以你可能会问:在有一个主要提供商提供真实数据的情况下,拥有面板数据的效用是什么,即使它高度相关?大多数邮箱提供商——包括谷歌和微软这样的巨头——并不提供收件箱投放数据,因此对于在那里投递的消息,您仍然需要像面板数据这样的来源来了解收件箱率。
现在我们都可以对其在这些情况下的准确性充满信心。