Jednym z pytań, które regularnie otrzymujemy na temat naszego Panelu E-mailowego z Uprawnieniami, jest to, jak dokładne jest on w prognozowaniu wskaźników dostarczania do Inbox. Historycznie, było to trudne pytanie do odpowiedzi z jakąkolwiek pewnością, ponieważ nie było źródła prawdy w terenie, z którym można by go porównać, a więc opinie (i ogólna wiara w statystyki próbkowe) dominowały w dyskusji.

Teraz jednak, gdy jeden z głównych dostawców skrzynek pocztowych udostępnia dane o umieszczaniu wiadomości w Inbox dla swojej platformy, możliwe jest przeprowadzenie prawdziwej analizy, którą wykonaliśmy dla około 20 000 różnych domen nadawców dużych i małych, zarówno na naszej platformie wysyłkowej, jak i na innych dostawcach. 

Wyniki są ekscytujące. Panel z uprawnieniami jest bardzo dokładny, nawet przy stosunkowo niskim sygnale, i staje się niezwykle dokładny, gdy zwiększa się liczba unikalnych panelistów widzianych w wysyłce. Korzystając z powszechnych metod statystycznych, analizujemy średni błąd kwadratowy (RMSE – analog odchylenia standardowego) pomiędzy wskaźnikiem dostarczenia do Inbox widzianym u głównego dostawcy a tym, co widzi nasz panel.

W naszej analizie zauważyliśmy, że nadawcy, którzy wysyłają swoje wiadomości przez najlepszych dostawców usług e-mail, zauważają znacznie lepszą korelację pomiędzy wskaźnikiem dostarczenia do Inbox panelu a prawdziwym wskaźnikiem dostarczenia do Inbox. Mechanizm tego nie jest znany, ale przypuszczamy, że standardy zgodności, których przestrzegają duzi dostawcy usług, generalnie skutkują bardziej spójnymi wskaźnikami dostarczania do Inbox wśród odbiorców i są mniej podatne na przekrzywienia. Możemy to zobaczyć, jeśli ograniczymy nasz wykres tylko do nadawców korzystających z najlepszych ESP, co również zmniejsza RMSE o około 30%.

Nawet kiedy mała liczba (10) dziennych panelistów obserwuje strumień wiadomości, widzimy bardzo silną korelację pomiędzy wskaźnikiem dostarczania do Inbox widzianym przez panel a prawdą w terenie.

Jeżeli weźmiemy pod uwagę tylko strumienie, gdzie dziennie widzianych jest 50 lub więcej panelistów, korelacja staje się jeszcze ściślejsza.

Jeśli przyjrzymy się, jak ten wskaźnik błędu zmienia się w czasie, widzimy kilka rzeczy: 

• Nawet przy niezwykle małej liczbie unikalnych panelistów otrzymujących wiadomości, wskaźnik błędu wynosi poniżej 10%.

• Szybko spada do 4% wraz ze wzrostem liczby panelistów.

• Ostatecznie zbliża się do 2% – pokazując, że dane panelu są dokładne w 98%. 

W celu identyfikacji problemów z dostarczalnością strumienia wiadomości, ta dokładność jest fantastyczna.

Więc można się zastanawiać: skoro główny dostawca oferuje rzeczywiste liczby, jaka jest użyteczność posiadania również danych panelu, nawet jeśli są one ściśle skorelowane? Większość dostawców skrzynek pocztowych – w tym giganci jak Google i Microsoft – nie oferuje danych o umieszczaniu wiadomości w Inbox, więc dla wiadomości dostarczanych do nich, nadal potrzebujesz źródła jak dane panelowe, aby zrozumieć wskaźniki dostarczania do Inbox. 

I teraz wszyscy możemy być pewni ich dokładności w tych przypadkach.