Accuratezza dei Dati del Pannello Permesso degli Uccelli
Uccello
21 ago 2021
1 min read
Conclusioni principali
Il Pannello Email Autorizzato di Bird è storicamente difficile da validare a causa della mancanza di dati di posizionamento "verità" dall'inbox forniti dai fornitori di caselle di posta.
Un importante fornitore di caselle di posta ora concede in licenza i dati di posizionamento dell'inbox, consentendo un confronto diretto su oltre 20.000 domini di invio.
L'analisi mostra un'accuratezza estremamente alta tra le stime del tasso di inbox basate sul pannello di Bird e il tasso di inbox reale.
L'accuratezza migliora man mano che più panelisti distinti ricevono il flusso di email—forte anche a basso segnale, eccellente a volumi più alti.
Il RMSE (radice dell'errore quadratico medio) viene utilizzato per misurare la deviazione tra le previsioni del pannello e le tariffe di inbox verità.
I mittenti che utilizzano i principali ESP mostrano una correlazione materialmente migliore, probabile a causa di pratiche di conformità più rigorose e un'inbox più coerente.
Con solo 10 panelisti giornalieri, i tassi di errore rimangono inferiori al 10%.
Con oltre 50 panelisti, l'errore scende significativamente e diventa molto stretto.
Il tasso di errore si avvicina rapidamente a circa il 2% man mano che la dimensione del pannello cresce, indicando un'accuratezza del ~98% nel predire il posizionamento dell'inbox.
Questo livello di accuratezza è eccellente per diagnosticare i problemi di deliverabilità in tutto il flusso di email del mittente.
I dati del pannello rimangono critici perché i principali fornitori come Google e Microsoft non forniscono metriche di posizionamento dell'inbox.
Con una correlazione provata, i mittenti possono affidarsi con fiducia ai dati del pannello di Bird per comprendere l'inboxing quando non esiste una verità di fondo.
Q&A Highlights
Quale problema era storicamente difficile da risolvere riguardo alla collocazione dell'inbox?
Non c'era una "ground truth" affidabile per convalidare quanto accuratamente un panel con autorizzazioni prevedesse il piazzamento nella inbox su larga scala.
Cosa è cambiato che ha permesso una misurazione appropriata?
Un importante fornitore di caselle di posta ha iniziato a concedere in licenza dati reali di posizionamento della casella di posta, consentendo a Bird di confrontare le sue previsioni del pannello con i risultati effettivi.
Quanto era grande il dataset dell'analisi?
Più di 20.000 domini di invio, che spaziano da piccoli mittenti a grandi mittenti aziendali.
Quale metrica è stata utilizzata per valutare l'accuratezza?
RMSE (root mean square error), un modo standard per misurare la deviazione tra i valori previsti e quelli effettivi.
Quanto è accurato il pannello con un numero molto piccolo di partecipanti giornalieri?
Anche con soli 10 diversi panelisti, i tassi di errore rimangono sotto il 10%, il che è già forte per la diagnosi di recapito.
Cosa succede quando più panelist vedono l'email stream?
La precisione aumenta rapidamente—con 50+ partecipanti, la correlazione diventa estremamente forte e l'errore diminuisce drasticamente.
Qual è la precisione migliore osservata?
L'errore si avvicina al ~2%, il che significa che i dati del pannello di Bird possono essere fino al 98% accurati rispetto al reale posizionamento nella inbox.
Perché i principali ESP mostrano una migliore correlazione?
Probabilmente a causa di norme di conformità più rigide, che portano a schemi di inboxing più stabili e meno variazioni nel comportamento di consegna.
L'accuratezza è sufficiente per diagnosticare problemi di deliverability?
Assolutamente—i tassi di errore inferiori al 5–10% offrono più che sufficiente precisione per individuare anomalie e tendenze nella deliverability.
Perché i dati panel sono ancora necessari se un provider di posta elettronica offre la verità assoluta?
Poiché i principali fornitori di caselle di posta (Google, Microsoft, ecc.) non forniscono rapporti sulla collocazione nella Inbox—i dati del pannello colmano questa lacuna di visibilità.
Cosa dimostra l'analisi riguardo al modello del pannello di Bird nel complesso?
Che è statisticamente affidabile in una vasta gamma di domini e comportamenti di invio, anche con campioni di dimensioni ridotte.
Qual è il risultato pratico per i mittenti?
Possono fidarsi dei dati del pannello di Bird per guidare le decisioni sulla deliverabilità, specialmente negli ecosistemi dove non esistono altri dati di posizionamento della posta in arrivo.
