Een van de vragen die we regelmatig ontvangen over ons Permissioned Email Panel is hoe nauwkeurig het is in termen van het voorspellen van inboxpercentages. Historisch gezien was dit een moeilijke vraag om met enige autoriteit te beantwoorden, omdat er geen bron van de waarheid was om tegen te meten, en dus regeerden meningen (en algemeen vertrouwen in steekproefstatistieken) de discussie.

Nu, echter, met een grote mailboxprovider die inboxplaatsingsdata licentieert voor hun platform, is het mogelijk om een echte analyse te doen, wat we deden over zo'n 20.000 verschillende verzenddomeinen van grote en kleine verzenders, zowel op ons verzendplatform als op andere providers. 

De resultaten zijn spannend. Het geautoriseerde paneel is zeer nauwkeurig, zelfs met relatief laag signaal, en wordt uiterst nauwkeurig naarmate het aantal verschillende panelleden dat bij een verzending wordt gezien toeneemt. Met behulp van gebruikelijke statistische methoden kijken we naar de root mean square error (RMSE – een analoog van de standaarddeviatie) tussen het inboxpercentage zoals gezien bij de grote provider en wat ons paneel ziet.

In onze analyse merkten we op dat verzenders die hun e-mail via top-e-mailserviceproviders versturen, een materieel betere correlatie zien tussen het inboxpercentage van het paneel en het werkelijke inboxpercentage. Het mechanisme hiervoor is niet bekend, maar we veronderstellen dat de compliance-standaarden waaraan grote serviceproviders hun klanten houden, over het algemeen resulteren in consistentere inboxpercentages binnen hun publiek en dus minder geneigd zijn tot bias. We kunnen dit zien als we onze grafiek beperken tot alleen verzenders op top ESPs, wat ook de RMSE met ongeveer 30% reduceert.

Zelfs wanneer een klein aantal (10) dagelijkse panelleden de mailstroom zien, zien we een zeer sterke correlatie tussen het inboxpercentage zoals waargenomen door het paneel en de werkelijkheid.

Als we alleen streams beschouwen waarin dagelijks 50 of meer panelleden worden gezien, wordt de correlatie nog strakker.

Als we kijken hoe deze foutmarge in de tijd varieert, zien we een paar dingen: 

• Zelfs bij extreem kleine aantallen unieke panelleden die de mail ontvangen, ligt de foutmarge onder de 10%.

• Het daalt snel tot 4% naarmate het aantal panelleden toeneemt.

• Het nadert uiteindelijk 2% – wat aantoont dat de paneldata 98% nauwkeurig is. 

Voor de doeleinden van het identificeren van leverbaarheidsproblemen van mailstromen is deze nauwkeurigheid fantastisch.

Dus je zou kunnen vragen: met een grote provider die cijfers van de werkelijkheid biedt, wat is het nut van het hebben van paneldata daarnaast, zelfs als het sterk gecorreleerd is? De meerderheid van de mailboxproviders – inclusief reuzen zoals Google en Microsoft – bieden geen inboxplaatsingsdata en dus voor berichten die daar worden afgeleverd, heb je nog steeds een bron zoals paneldata nodig om inboxpercentages te begrijpen. 

En nu kunnen we allemaal zeker zijn van de nauwkeurigheid ervan voor die gevallen.