Een van de vragen die we regelmatig ontvangen over ons Permissioned Email Panel is hoe nauwkeurig het is in termen van het voorspellen van inboxpercentages. Historisch gezien was dit een moeilijke vraag om met enige autoriteit te beantwoorden omdat er geen bron van de werkelijkheid was om te meten, en dus heersten meningen (en algemeen geloof in steekproefstatistieken) de discussie.

Nu, echter, met een grote mailboxprovider die inboxplaatsingsgegevens voor hun platform licentieert, is het mogelijk om een echte analyse te doen, wat we hebben gedaan over zo’n 20.000 verschillende verzenddomeinen van zowel grote als kleine verzenders, zowel op ons verzendplatform als bij andere providers. 

De resultaten zijn opwindend. Het permissioned panel is zeer nauwkeurig, zelfs met relatief laag signaal, en wordt extreem nauwkeurig naarmate het aantal verschillende panelleden die in een verzending worden gezien toeneemt. Met behulp van gangbare statistische methoden kijken we naar de wortel van het kwadraatgemiddelde (RMSE – een analogie van de standaarddeviatie) tussen het inboxpercentage zoals gezien bij de grote provider en wat ons panel ziet.

In onze analyse merkten we op dat verzenders die hun mail via top e-mailserviceproviders verzenden, een materieel betere correlatie zien tussen het panel-inboxpercentage en het echte inboxpercentage. Het mechanisme hiervoor is niet bekend, maar we veronderstellen dat de nalevingsnormen waaraan grote serviceproviders hun klanten houden, over het algemeen resulteren in consistentere inboxpercentages over hun publiek en dus minder gevoelig zijn voor afwijkingen. We kunnen dit zien als we onze grafiek beperken tot alleen verzenders op top ESP's, wat de RMSE ook met ongeveer 30% vermindert.

Zelfs wanneer een klein aantal (10) dagelijkse panelleden de mailstroom zien, zien we een zeer sterke correlatie tussen het inboxpercentage gezien door het panel en de werkelijkheid.

Als we alleen streams beschouwen waar dagelijks 50 of meer panelleden worden gezien, wordt de correlatie nog strakker.

Als we kijken naar hoe deze foutmarge in de tijd varieert, zien we een paar dingen: 

• Zelfs bij een extreem klein aantal unieke panelleden die de mail ontvangen, is de foutmarge onder de 10%.

• Het daalt snel naar 4% naarmate het aantal panelleden toeneemt.

• Uiteindelijk nadert het 2% – wat aangeeft dat paneldata 98% nauwkeurig is. 

  
  

Voor de doeleinden van het identificeren van mailstroomafleverbaarheidsproblemen is deze nauwkeurigheid fantastisch.

Dus je zou kunnen vragen: met een grote provider die werkelijkheidscijfers aanbiedt, wat is het nut van ook paneldata hebben, zelfs als het sterk gecorreleerd is? De meerderheid van de mailboxproviders – waaronder titanen zoals Google en Microsoft – bieden geen inboxplaatsingsgegevens aan, en dus voor berichten die daar worden afgeleverd, heb je nog steeds een bron zoals paneldata nodig om inboxpercentages te begrijpen. 

En nu kunnen we er allemaal zeker van zijn dat het nauwkeurig is voor die gevallen.