Jedno z pytań, które regularnie otrzymujemy o naszym Permissioned Email Panel, dotyczy tego, jak dokładne jest prognozowanie wskaźników dostarczania do skrzynki odbiorczej. Historycznie było to trudne pytanie do odpowiedzi z jakąkolwiek pewnością, ponieważ nie było źródła prawdy, do którego można się było odnieść, a opinie (i ogólne zaufanie do statystyki próby) dominowały w dyskusji.
Teraz jednak, z głównym dostawcą skrzynek pocztowych udzielającym licencji na dane o umiejscowieniu skrzynki odbiorczej na swojej platformie, możliwa jest rzeczywista analiza, którą przeprowadziliśmy na ponad 20 000 różnych domen nadawców dużych i małych, zarówno na naszej platformie wysyłkowej, jak i u innych dostawców.
Wyniki są ekscytujące. Panel z uprawnieniami jest bardzo dokładny, nawet przy stosunkowo niskim sygnale, i staje się niezwykle dokładny wraz ze wzrostem liczby różnych uczestników panelu obserwowanych w wysyłce. Korzystając ze wspólnych metod statystycznych, patrzymy na pierwiastek średniokwadratowy błędu (RMSE – analog odchylenia standardowego) pomiędzy wskaźnikiem dostarczenia do skrzynki odbiorczej widzianym u głównego dostawcy a tym, co widzi nasz panel.
W naszej analizie zauważyliśmy, że nadawcy, którzy wysyłają swoją pocztę przez czołowych dostawców usług e-mail, zauważają materialnie lepszą korelację między wskaźnikiem dostarczenia do skrzynki odbiorczej panelu a prawdziwym wskaźnikiem dostarczenia do skrzynki odbiorczej. Mechanizm tego nie jest znany, ale przypuszczamy, że standardy zgodności, którym duzi dostawcy usług poddają swoich klientów, zazwyczaj prowadzą do bardziej spójnych wskaźników dostarczania do skrzynki odbiorczej w całej ich audiencji, a tym samym są mniej podatne na przekłamania. Widzimy to, jeśli ograniczymy nasz wykres tylko do nadawców na czołowych ESP, co również zmniejsza RMSE o około 30%.
Nawet gdy niewielka liczba (10) codziennych uczestników panelu widzi strumień poczty, obserwujemy bardzo silną korelację między wskaźnikiem dostarczenia do skrzynki odbiorczej widzianym przez panel a prawdziwymi danymi.
Jeśli weźmiemy pod uwagę tylko strumienie, w których codziennie widzi się 50 lub więcej uczestników panelu, korelacja staje się jeszcze silniejsza.
Jeśli przyjrzymy się, jak ten wskaźnik błędu zmienia się w czasie, widzimy kilka rzeczy:
Nawet przy niezwykle małej liczbie unikalnych uczestników panelu otrzymujących pocztę, wskaźnik błędu jest poniżej 10%.
Szybko spada do 4% wraz ze wzrostem liczby uczestników.
Ostatecznie zbliża się do 2% – pokazując, że dane panelowe są dokładne w 98%.
W celach identyfikacji problemów z dostarczalnością strumienia poczty ta dokładność jest fantastyczna.
Więc można zapytać: po co mieć dane panelowe, skoro główny dostawca oferuje liczby prawdziwe, nawet jeśli są one wysoko skorelowane? Większość dostawców skrzynek pocztowych – w tym giganci tacy jak Google i Microsoft – nie oferuje danych o umiejscowieniu skrzynki odbiorczej, a więc dla wiadomości dostarczonych tam nadal potrzebujesz źródła, jakim są dane panelowe, aby zrozumieć wskaźniki dostarczenia do skrzynki odbiorczej.
I teraz wszyscy możemy być pewni ich dokładności w tych przypadkach.
