Acurácia dos Dados do Painel Autorizado de Aves
·
21 de ago. de 2021
Principais Conclusões
O Painel de E-mails Autorizados do Bird tem historicamente sido difícil de validar devido à falta de dados de colocação em caixa de entrada com "verdadeiro fundamento" dos provedores de caixas de entrada.
Um importante provedor de caixa de entrada agora licencia dados de colocação em caixa, permitindo comparação direta entre mais de 20.000 domínios de envio.
A análise mostra uma precisão extremamente alta entre as estimativas de taxa de caixa de entrada do painel do Bird e a verdadeira taxa de caixa de entrada.
A precisão melhora à medida que mais painelistas distintos recebem o fluxo de e-mails - é forte mesmo em sinais baixos, excelente em volumes mais altos.
RMSE (erro médio quadrático) é usado para medir a diferença entre as previsões do painel e as taxas de caixa de entrada com verdadeiro fundamento.
Remetentes que usam os principais ESPs mostram uma correlação materialmente melhor - provavelmente devido a práticas de conformidade mais rígidas e um recebimento mais consistente.
Com apenas 10 painelistas diários, as taxas de erro permanecem abaixo de 10%.
Com 50+ painelistas, o erro cai significativamente e se torna muito preciso.
A taxa de erro se aproxima rapidamente de ~2% à medida que o tamanho do painel cresce - indicando ~98% de precisão na previsão de colocação na caixa de entrada.
Esse nível de precisão é excelente para diagnosticar problemas de entregabilidade em todo o fluxo de e-mails de um remetente.
Os dados do painel continuam sendo críticos porque os principais provedores como Google e Microsoft não fornecem métricas de colocação na caixa de entrada.
Com a correlação comprovada, os remetentes podem confiar com confiança nos dados do painel do Bird para entender a colocação na caixa onde não existe verdadeiro fundamento.
Destaques de Perguntas e Respostas
Qual problema foi historicamente difícil de resolver em relação à entrega na caixa de entrada?
Não havia uma "verdade fundamental" confiável para validar quão precisamente um painel com permissão previa a colocação na caixa de entrada em larga escala.
O que mudou que possibilitou a medição adequada?
Um grande provedor de caixas de entrada começou a licenciar dados reais de colocação na caixa de entrada, permitindo que a Bird comparasse suas previsões de painel com os resultados reais.
Qual era o tamanho do conjunto de dados da análise?
Mais de 20.000 domínios de envio — variando de pequenos remetentes a grandes remetentes empresariais.
Qual métrica foi usada para avaliar a precisão?
RMSE (raiz do erro quadrático médio), uma forma padrão de medir a divergência entre valores previstos e reais.
Quão precisa é a painel com um número muito pequeno de painelistas diários?
Mesmo com apenas 10 painelistas distintos, as taxas de erro permanecem abaixo de 10%, o que já é forte para diagnósticos de entregabilidade.
O que acontece quando mais painelistas veem o fluxo de emails?
A precisão aumenta rapidamente—com mais de 50 painelistas, a correlação se torna extremamente forte e o erro cai drasticamente.
Qual é a melhor precisão observada?
O erro se aproxima de ~2%, o que significa que os dados do painel do Bird podem ser até 98% precisos em comparação com a entrega real na caixa de entrada.
Por que os principais ESPs mostram uma melhor correlação?
Provavelmente devido a padrões de conformidade mais rigorosos, que levam a padrões de entrega de e-mail mais estáveis e menos variação no comportamento de entregabilidade.
A precisão é suficiente para diagnosticar problemas de entregabilidade?
Absolutamente—taxas de erro abaixo de 5–10% oferecem mais do que precisão suficiente para identificar anomalias e tendências de entrega.
Por que os dados de painel ainda são necessários se um provedor de caixa de entrada oferece a verdade fundamental?
Porque os principais provedores de caixa de entrada (Google, Microsoft, etc.) não fornecem relatórios de colocação na caixa de entrada—dados de painel preenchem essa lacuna de visibilidade.
O que a análise prova sobre o modelo de painel de Bird, no geral?
Que seja estatisticamente confiável em uma ampla gama de domínios e comportamentos de envio, mesmo com tamanhos de amostra baixos.
Qual é o resultado prático para os remetentes?
Eles podem confiar nos dados do painel da Bird para orientar as decisões de entregabilidade, especialmente em ecossistemas onde não existem outros dados de colocação de caixa de entrada.
Quão Preciso É o Painel de Email Autorizado?
Uma das perguntas mais comuns que recebemos sobre o nosso Painel de E-mails Autorizados é quão preciso ele é na previsão das taxas de entrega na caixa de entrada.
Historicamente, essa foi uma pergunta difícil de responder com confiança. Não havia uma verdade absoluta confiável para medir, então as discussões eram amplamente impulsionadas por opiniões e fé geral nas estatísticas de amostragem.
Isso agora mudou.
Uma Nova Fonte de Verdade Fundamental
Um grande provedor de caixas de entrada licenciou dados de colocação de caixa de entrada para sua plataforma, tornando possível realizar uma validação do mundo real.
Usando esses dados, conduzimos uma análise em mais de 20.000 domínios de envio distintos, abrangendo:
Remetentes grandes e pequenos
Domínios enviando através de nossa plataforma
Domínios enviando através de outros provedores
Isso nos permitiu comparar diretamente taxas de entrega observadas pelo painel com dados verdadeiros de colocação de caixa de entrada.
O que os Dados Mostram
Os resultados são altamente encorajadores.
O Painel de Email Autorizado é altamente preciso, mesmo com sinal relativamente baixo.
A precisão aumenta rapidamente à medida que o número de painelistas distintos aumenta.
Com cobertura suficiente do painel, o painel acompanha de perto a verdadeira colocação na caixa de entrada.
Para quantificar isso, medimos o erro quadrático médio (RMSE) entre:
Taxas de colocação na caixa de entrada relatadas pelo provedor de correio (verdade de base)
Taxas de colocação na caixa de entrada observadas pelo nosso painel
(RMSE pode ser pensado como um análogo ao desvio padrão.)
Impacto dos Provedores de Serviços de Email
Uma descoberta interessante é que remetentes que usam os principais provedores de serviços de e-mail (ESPs) mostram uma correlação materialmente mais forte entre as taxas de entrega na caixa de entrada do painel e as taxas reais de entrega na caixa de entrada.
Embora o mecanismo exato não esteja claro, acreditamos que isso se deve a:
Padrões de conformidade mais altos impostos por grandes ESPs
Práticas de envio mais consistentes
Menos distorção em nível de público na colocação na caixa de entrada
Ao restringir a análise a remetentes que usam os principais ESPs:
O RMSE é reduzido em aproximadamente 30%
Precisão em Diferentes Tamanhos de Painel
Mesmo com um pequeno número de painelistas, os resultados continuam fortes:
Seção | Propósito | Tipo |
|---|---|---|
Quão Preciso é o Painel de E-mail com Permissão? | Enquadramento do problema | Contexto |
Uma Nova Fonte de Verdade Fundamental | Metodologia | Evidence |
O que os Dados Mostram | Resumo dos resultados | Descobertas |
Impacto dos Provedores de Serviço de E-mail | Análise de variáveis | Comparativo |
Precisão em Diferentes Tamanhos de Painel | Comportamento quantitativo | Baseado em limiares |
Por que os Dados de Painel Ainda Importam | Justificativa | Estratégico |
Com tão poucos quanto 10 painelistas diários, a correlação com a verdade fundamental já é muito alta
Com 50 ou mais painelistas diários, a correlação se torna extremamente estreita
Analisando as taxas de erro ao longo do tempo:
Com contagens de painel muito baixas, o erro permanece abaixo de 10%
O erro cai rapidamente para ~4% à medida que o tamanho do painel aumenta
Em escala, o erro se aproxima de ~2%, implicando 98% de precisão
Para identificar problemas de entregabilidade e colocação na caixa de entrada, esse nível de precisão é excepcional.
Por que os Dados em Painel Ainda Importam
Você pode perguntar:
Se alguns provedores de caixa de entrada oferecem dados de caixa de entrada verdadeiros, por que ainda precisamos de dados de painel?
A resposta é simples:
A maioria dos provedores de caixa de entrada não oferece dados de colocação na caixa de entrada — incluindo plataformas importantes como Google e Microsoft.
Para mensagens entregue a esses provedores, os dados do painel continuam sendo a única maneira viável de entender o desempenho da colocação na caixa de entrada.
Graças a essa validação, agora podemos ter confiança de que:
As taxas de caixa de entrada baseadas em painel são precisas
Os dados do painel podem ser confiáveis onde a verdade fundamental está indisponível
O Painel de E-mail Autorizado fornece informações confiáveis em todo o ecossistema de caixa de entrada mais amplo
