Een van de vragen die we regelmatig ontvangen over ons Permissioned Email Panel is hoe nauwkeurig het is in termen van het voorspellen van inboxpercentages. Historisch gezien was dit een moeilijke vraag om met enige autoriteit te beantwoorden, aangezien er geen bron van waarheid was om tegen te meten, en dus regeerden meningen (en het algemene vertrouwen in statistieken uit steekproeven) de discussie.
Nu, echter, met een grote mailboxprovider die inboxplaatsingsgegevens voor hun platform in licentie geeft, is het mogelijk om een echte analyse uit te voeren, wat we deden over zo'n 20.000 verschillende verzendende domeinen van zowel grote als kleine verzenders, zowel op ons verzendplatform als op andere providers.
De resultaten zijn opwindend. Het permissioned panel is zeer nauwkeurig, zelfs met relatief weinig signaal, en wordt extreem nauwkeurig naarmate het aantal verschillende panelleden dat in een verzending wordt gezien, toeneemt. Met behulp van gangbare statistische methoden kijken we naar de wortelgemiddelde kwadratische afwijking (RMSE - een analogie van de standaarddeviatie) tussen het inboxpercentage zoals gezien bij de grote provider en wat ons panel ziet.
In onze analyse merkten we op dat verzenders die hun mail via toonaangevende e-maildienstverleners versturen, een materieel betere correlatie zien tussen het panel-inboxpercentage en het werkelijke inboxpercentage. Het mechanisme hiervoor is niet bekend, maar we postuleren dat de nalevingsnormen waaraan grote dienstverleners hun klanten houden doorgaans resulteren in consistentere inboxpercentages over hun publiek en dus minder vatbaar zijn voor vertekening. We kunnen dit zien als we onze grafiek beperken tot alleen verzenders op top ESP's, wat ook de RMSE met ongeveer 30% vermindert.
Zelfs wanneer een klein aantal (10) dagelijkse panelleden de mailstroom ziet, zien we een zeer sterke correlatie tussen het inboxpercentage zoals gezien door het panel en de grondwaarheid.
Als we alleen stromen beschouwen waar 50 of meer panelleden dagelijks worden gezien, wordt de correlatie nog strakker.
Als we kijken naar hoe deze foutmarge in de loop van de tijd varieert, zien we een paar dingen:
Zelfs bij een uiterst klein aantal unieke panelleden die de mail ontvangen, ligt de foutmarge onder de 10%.
Het daalt snel naar 4% naarmate het aantal panelleden toeneemt.
Het nadert uiteindelijk 2% – wat aantoont dat panelgegevens 98% nauwkeurig zijn.
Voor de doeleinden van het identificeren van problemen met de leverbaarheid van mailstromen, is deze nauwkeurigheid fantastisch.
Dus je zou kunnen vragen: met een grote aanbieder die waarheidsgetrouwe cijfers biedt, wat is het nut van het hebben van panelgegevens, zelfs als het hoog gecorreleerd is? De meerderheid van de mailboxproviders – waaronder giganten zoals Google en Microsoft – bieden geen inboxplaatsingsgegevens aan, en dus voor berichten die daar worden afgeleverd, heb je nog steeds een bron zoals panelgegevens nodig om inzicht te krijgen in de inboxpercentages.
En nu kunnen we allemaal zeker zijn van de nauwkeurigheid in die gevallen.
