Nauwkeurigheid van Bird's Permissioned Panel Data

Een van de vragen die we regelmatig ontvangen over ons Permissioned Email Panel is hoe nauwkeurig het is in termen van het voorspellen van inboxpercentages. Historisch gezien was dit een moeilijke vraag om met enige autoriteit te beantwoorden, aangezien er geen bron van de waarheid was om tegen te meten, en dus regeerden meningen (en algemeen vertrouwen in steekproefstatistieken) de discussie.

Nu is het echter mogelijk om een echte analyse uit te voeren, omdat een grote mailboxprovider inboxplaatsingsgegevens voor hun platform in licentie geeft, wat we deden bij ongeveer 20.000 verschillende verzenddomeinen van zowel grote als kleine afzenders, zowel op ons verzendplatform als bij andere providers. 

De resultaten zijn spannend. Het toestemminggebaseerde panel is zeer nauwkeurig, zelfs met relatief weinig signalen, en wordt uiterst nauwkeurig naarmate het aantal verschillende panelleden dat in een verzending wordt gezien toeneemt. Met behulp van gangbare statistische methoden kijken we naar de root mean square error (RMSE – een analoog van de standaarddeviatie) tussen het inboxingpercentage zoals gezien bij de grote provider en wat ons panel ziet.

In onze analyse merkten we op dat afzenders die hun mail via top e-mailserviceproviders versturen een substantieel betere correlatie zien tussen het panelinboxpercentage en het ware inboxpercentage. Het mechanisme hiervoor is niet bekend, maar we veronderstellen dat de nalevingsnormen waaraan grote serviceproviders hun klanten houden, doorgaans resulteren in consistentere inboxpercentages binnen hun publiek en dus minder vatbaar zijn voor vertekening. We kunnen dit zien als we onze grafiek beperken tot alleen afzenders bij top ESP's, wat ook de RMSE met ongeveer 30% vermindert.

Zelfs wanneer een klein aantal (10) dagelijkse panelleden de mailstroom ziet, zien we een zeer sterke correlatie tussen het inboxpercentage zoals gezien door het panel en de grondwaarheid.

Als we alleen streams beschouwen waar dagelijks 50 of meer panelleden worden gezien, wordt de correlatie nog sterker.

Als we kijken naar hoe dit foutenpercentage in de loop van de tijd varieert, zien we een paar dingen: 

• Zelfs bij een uiterst klein aantal unieke panelleden dat de mail ontvangt, is het foutenpercentage minder dan 10%.

• Het daalt snel naar 4% naarmate het aantal panelleden toeneemt.

• Het nadert uiteindelijk 2% – wat aantoont dat panelgegevens 98% nauwkeurig zijn. 

Voor de doeleinden van het identificeren van problemen met de bezorgbaarheid van mailstromen is deze nauwkeurigheid fantastisch.

Dus je zou kunnen vragen: met een grote provider die nummers van de waarheid biedt, wat is dan het nut van het hebben van panelgegevens ernaast, zelfs als het zeer gecorreleerd is? De meerderheid van de mailboxproviders – inclusief giganten zoals Google en Microsoft – bieden geen inboxplaatsingsgegevens aan, en dus voor berichten die daar worden bezorgd, heb je nog steeds een bron zoals panelgegevens nodig om inboxpercentages te begrijpen. 

En nu kunnen we allemaal vertrouwen op de nauwkeurigheid ervan voor die gevallen.