Een van de vragen die we regelmatig ontvangen over ons Permissioned Email Panel, is hoe nauwkeurig het is in termen van het voorspellen van inboxpercentages. Historisch gezien was dit een moeilijke vraag om met enige autoriteit te beantwoorden, aangezien er geen bron van absolute waarheid was om tegen te meten, waardoor meningen (en algemeen vertrouwen in steekproefstatistieken) de discussie beheersten.
Nu echter, met een grote mailboxprovider die gegevens over inboxplaatsing voor hun platform licentieert, is het mogelijk om een echte analyse te doen, wat we deden over zo'n 20.000 verschillende verzenddomeinen van zowel grote als kleine verzenders, zowel op ons verzendplatform als op andere providers.
De resultaten zijn spannend. Het permissioned panel is zeer nauwkeurig, zelfs met relatief weinig signaal, en wordt extreem nauwkeurig als het aantal unieke panelleden dat in een verzending wordt gezien, toeneemt. Met behulp van gangbare statistische methoden kijken we naar de root mean square error (RMSE – een analoog van de standaardafwijking) tussen het inboxpercentage zoals gezien bij de grote provider en wat ons panel ziet.
In onze analyse merkten we op dat verzenders die hun mail via top e-mailserviceproviders verzenden, een materieel betere correlatie zien tussen het panel-inboxpercentage en het werkelijke inboxpercentage. Het mechanisme hiervoor is niet bekend, maar we postuleren dat de nalevingsnormen waaraan grote serviceproviders hun klanten houden, over het algemeen resulteren in consistentere inboxpercentages bij hun publiek en daardoor minder vatbaar zijn voor afwijkingen. We kunnen dit zien als we onze plot beperken tot alleen verzenders op top-ESPs, wat de RMSE met ongeveer 30% vermindert.
Zelfs wanneer een klein aantal (10) dagelijkse panelleden de mailstroom ziet, zien we een zeer sterke correlatie tussen het inboxpercentage zoals gezien door het panel en de absolute waarheid.
Als we alleen stromen beschouwen waar dagelijks 50 of meer panelleden worden gezien, wordt de correlatie nog sterker.
Als we kijken hoe deze foutmarge in de loop van de tijd varieert, zien we een paar dingen:
Zelfs bij een zeer klein aantal unieke panelleden die de mail ontvangen, is de foutmarge onder de 10%.
Het daalt snel naar 4% naarmate het aantal panelleden toeneemt.
Het nadert uiteindelijk 2% – wat aantoont dat panelgegevens 98% nauwkeurig zijn.
Voor de doelen van het identificeren van mailstroom-afleveringsproblemen is deze nauwkeurigheid fantastisch.
Dus u zou kunnen vragen: met een grote provider die absolute cijfers biedt, wat is dan het nut van het hebben van panelgegevens, zelfs als ze sterk gecorreleerd zijn? De meerderheid van de mailboxproviders – waaronder grootmachten zoals Google en Microsoft – bieden geen gegevens over inboxplaatsing, en dus voor berichten die daar worden afgeleverd, hebt u nog steeds een bron zoals panelgegevens nodig om inboxpercentages te begrijpen.
En nu kunnen we allemaal vertrouwen hebben in de nauwkeurigheid ervan voor die gevallen.