Genauigkeit der genehmigten Paneldaten von Vögeln

Eine der Fragen, die wir regelmäßig zu unserem Permissioned Email Panel erhalten, ist, wie genau es in Bezug auf die Vorhersage von Inbox-Raten ist. Historisch gesehen war dies eine schwierige Frage zu beantworten, da es keine Quelle der Wahrheit gab, an der man sich messen konnte, und daher beherrschten Meinungen (und allgemeiner Glaube an Stichprobenstatistiken) die Diskussion.

Jetzt jedoch, mit einem großen Postfach-Anbieter, der Inbox-Platzierungsdaten für seine Plattform lizenziert, ist es möglich, eine echte Analyse durchzuführen, was wir über etwa 20.000 unterschiedliche sendende Domains von großen und kleinen Absendern sowohl auf unserer Sendeplattform als auch bei anderen Anbietern getan haben. 

Die Ergebnisse sind aufregend. Das Permissioned Panel ist sehr genau, selbst mit relativ schwachem Signal, und wird extrem genau, je mehr unterschiedliche Panelisten in einer Sendung gesehen werden. Unter Verwendung gängiger statistischer Methoden betrachten wir den Root Mean Square Error (RMSE – ein Analogon zur Standardabweichung) zwischen der Inbox-Rate, wie sie beim großen Anbieter gesehen wird, und dem, was unser Panel sieht.

In unserer Analyse haben wir festgestellt, dass Absender, die ihre E-Mails über führende E-Mail-Dienstleister senden, eine wesentlich bessere Korrelation zwischen der Panel-Inbox-Rate und der tatsächlichen Inbox-Rate sehen. Der Mechanismus dafür ist nicht bekannt, aber wir vermuten, dass die Compliance-Standards, die große Dienstleister ihren Kunden auferlegen, generell zu konsistenteren Inbox-Raten über ihr Publikum führen und daher weniger anfällig für Verzerrungen sind. Dies können wir sehen, wenn wir unser Diagramm nur auf Absender bei führenden ESPs einschränken, was den RMSE ebenfalls um etwa 30 % reduziert.

Sogar wenn nur eine kleine Anzahl (10) täglicher Panelisten den E-Mail-Strom sehen, sehen wir eine sehr starke Korrelation zwischen der vom Panel gesehenen Inbox-Rate und der Wahrheit.

Wenn wir nur Streams betrachten, bei denen täglich 50 oder mehr Panelisten gesehen werden, wird die Korrelation noch enger.

Wenn wir betrachten, wie sich diese Fehlerrate im Laufe der Zeit ändert, sehen wir einige Dinge: 

• Sogar bei einer extrem kleinen Anzahl einzigartiger Panelisten, die die E-Mails empfangen, liegt die Fehlerrate unter 10 %.

• Sie sinkt schnell auf 4 %, wenn die Zahl der Panelisten steigt.

• Sie nähert sich schließlich 2 % an – was zeigt, dass Paneldaten 98 % genau sind. 

Für die Zwecke der Erkennung von Zustellbarkeitsproblemen im E-Mail-Strom ist diese Genauigkeit fantastisch.

Sie könnten also fragen: Wenn ein großer Anbieter wahre Zahlen anbietet, welchen Nutzen haben dann auch Paneldaten, selbst wenn sie stark korreliert sind? Die Mehrheit der Postfachanbieter – einschließlich Titanen wie Google und Microsoft – bietet keine Daten zur Inbox-Platzierung an, und daher benötigen Sie für dort zugestellte Nachrichten immer noch eine Quelle wie Paneldaten, um die Inbox-Raten zu verstehen. 

Und jetzt können wir alle in ihrer Genauigkeit für diese Fälle zuversichtlich sein.