Genauigkeit der genehmigten Paneldaten von Vögeln
Vogel
21.08.2021
1 min read
Wichtige Erkenntnisse
Das Permissioned Email Panel von Bird war historisch schwer zu validieren, da es an „Ground Truth“ Inbox-Platzierungsdaten von Postfachanbietern mangelte.
Ein großer Postfachanbieter lizenziert jetzt Inbox-Platzierungsdaten, was einen direkten Vergleich über mehr als 20.000 sendende Domains ermöglicht.
Die Analyse zeigt eine extrem hohe Genauigkeit zwischen den panelbasierten Inbox-Ratenschätzungen von Bird und der tatsächlichen Inbox-Rate.
Die Genauigkeit verbessert sich, je mehr verschiedene Panelisten den E-Mail-Stream erhalten—stark selbst bei geringem Signal, ausgezeichnet bei höheren Volumen.
RMSE (Root Mean Square Error) wird verwendet, um die Abweichung zwischen Panelvorhersagen und Ground-Truth-Inbox-Raten zu messen.
Absender, die führende ESPs nutzen, zeigen eine deutlich bessere Korrelation—wahrscheinlich aufgrund strengerer Compliance-Praktiken und konsistenterer Inbox-Platzierung.
Bereits bei nur 10 täglichen Panelisten bleiben die Fehlerraten unter 10%.
Mit über 50 Panelisten sinkt der Fehler erheblich und wird sehr gering.
Die Fehlerrate nähert sich schnell ~2% an, während die Panelgröße wächst—was auf ~98% Genauigkeit bei der Vorhersage der Inbox-Platzierung hinweist.
Dieses Maß an Genauigkeit ist ausgezeichnet für die Diagnose von Zustellbarkeitsproblemen im gesamten E-Mail-Stream eines Absenders.
Paneldaten bleiben entscheidend, da große Anbieter wie Google und Microsoft keine Inbox-Platzierungsmetriken bereitstellen.
Mit bewiesener Korrelation können Absender sich zuversichtlich auf die Paneldaten von Bird verlassen, um das Inboxing zu verstehen, wo keine Ground Truth existiert.
Q&A Highlights
Welches Problem war historisch gesehen schwierig zu lösen in Bezug auf Inbox-Platzierung?
Es gab keine zuverlässige „Ground Truth“, um zu validieren, wie genau ein berechtigtes Panel die Platzierung im Inbox in großem Maßstab vorhersagte.
Was hat sich geändert, das eine ordnungsgemäße Messung ermöglicht hat?
Ein großer Anbieter von Postfächern begann, echte Inbox-Platzierungsdaten zu lizenzieren, was Bird ermöglichte, seine Panelvorhersagen mit den tatsächlichen Ergebnissen zu vergleichen.
Wie groß war der Analyse-Datensatz?
Mehr als 20.000 Sendedomänen—von kleinen Sendern bis hin zu sehr großen Unternehmenssendern.
Welcher Messwert wurde zur Bewertung der Genauigkeit verwendet?
RMSE (root mean square error), eine standardmäßige Methode zur Messung der Abweichung zwischen vorhergesagten und tatsächlichen Werten.
Wie genau ist das Panel mit einer sehr kleinen Anzahl täglicher Panelisten?
Selbst mit nur 10 verschiedenen Diskussionsteilnehmern bleiben die Fehlerquoten unter 10%, was bereits stark für Zustellbarkeit-Diagnosen ist.
Was passiert, wenn mehr Panelisten den E-Mail-Stream sehen?
Die Genauigkeit nimmt schnell zu—bei über 50 Panelisten wird die Korrelation extrem stark und der Fehler nimmt stark ab.
Was ist die bestmögliche Genauigkeit, die beobachtet wurde?
Fehler nähern sich ~2%, was bedeutet, dass die Bird-Daten bis zu 98% genau im Vergleich zur tatsächlichen Inbox-Platzierung sein können.
Warum zeigen die Top ESPs eine bessere Korrelation?
Wahrscheinlich aufgrund strengerer Compliance-Standards, die zu stabileren Inboxing-Mustern und weniger Schwankungen im Zustellungsverhalten führen.
Ist die Genauigkeit ausreichend für die Diagnose von Zustellbarkeitsproblemen?
Absolut—Fehlerraten unter 5–10 % bieten mehr als genug Präzision, um Zustellbarkeitsanomalien und -trends zu erkennen.
Warum sind Paneldaten immer noch notwendig, wenn ein Mailbox-Anbieter Ground Truth bietet?
Da große Postfachanbieter (Google, Microsoft usw.) nicht über Zustellberichte für Postfächer verfügen, füllt Paneldaten diese Sichtbarkeitslücke.
Was beweist die Analyse insgesamt über Birds Panelmodell?
Dass es statistisch zuverlässig über eine große Bandbreite von Bereichen und Sendeverhalten ist, selbst bei kleinen Stichprobengrößen.
Was ist das praktische Ergebnis für Sender?
Sie können den Paneldaten von Bird vertrauen, um Entscheidungen zur Zustellbarkeit zu treffen, insbesondere in Ökosystemen, in denen keine andere Inbox-Platzierungsdaten existieren.
