Dokładność panelu danych z pozwoleniem ptaków
·
21 sie 2021
Najważniejsze informacje
Painel z uprawnieniami Bird’a historycznie był trudny do weryfikacji z powodu braku danych o „prawdziwej rzeczywistości” dotyczących umiejscowienia wiadomości w skrzynkach odbiorczych od dostawców skrzynek pocztowych.
Główny dostawca skrzynek pocztowych teraz licencjonuje dane dotyczące umiejscowienia w skrzynce odbiorczej, co umożliwia bezpośrednie porównanie w ponad 20 000 domenach wysyłkowych.
Analiza pokazuje niezwykle wysoką dokładność między szacunkami wskaźników umiejscowienia w skrzynce odbiorczej opartymi na panelu Bird’a a prawdziwym wskaźnikiem umiejscowienia w skrzynce odbiorczej.
Dokładność poprawia się, gdy więcej różnych panelistów otrzymuje strumień e-maili—jest silna nawet przy niskim sygnale, doskonała przy wyższych wolumenach.
RMSE (błąd średniokwadratowy) jest wykorzystywane do mierzenia odchyleń między prognozami panelu a wskaźnikami umiejscowienia w skrzynce odbiorczej w rzeczywistości.
Nadawcy korzystający z najlepszych ESP wykazują materiałowo lepszą korelację—prawdopodobnie z powodu surowszych praktyk zgodności i bardziej konsekwentnego umiejscowienia w skrzynkach odbiorczych.
Przy zaledwie 10 codziennych panelistach, wskaźniki błędów pozostają poniżej 10%.
Przy 50+ panelistach, błąd znacznie spada i staje się bardzo niski.
Wskaźnik błędu szybko zbliża się do ~2% w miarę wzrostu rozmiaru panelu—wskazując na ~98% dokładności w przewidywaniu umiejscowienia w skrzynce odbiorczej.
Ten poziom dokładności jest doskonały do diagnozowania problemów z dostarczalnością w całym strumieniu korespondencyjnym nadawcy.
Dane panelu pozostają kluczowe, ponieważ główni dostawcy tacy jak Google i Microsoft nie dostarczają metryk umiejscowienia w skrzynce odbiorczej.
Przy udowodnionej korelacji, nadawcy mogą pewnie polegać na danych panelu Bird’a, aby zrozumieć umiejscowienie w skrzynce odbiorczej, gdzie brak rzeczywistej prawdy.
Podsumowanie pytań i odpowiedzi
Jakie problemy historycznie trudno było rozwiązać w związku z umieszczaniem wiadomości w skrzynkach odbiorczych?
Nie było wiarygodnej „prawdy obiektywnej”, aby zweryfikować, jak dokładnie panel z dostępem przewidział umiejscowienie wiadomości w skrzynce odbiorczej na dużą skalę.
Co się zmieniło, aby umożliwić prawidłowy pomiar?
Duży dostawca skrzynek pocztowych zaczął licencjonować rzeczywiste dane dotyczące umiejscowienia skrzynek odbiorczych, umożliwiając Bird porównanie swoich prognoz panelowych z rzeczywistymi wynikami.
Jak duży był zbiór danych analizy?
Więcej niż 20 000 domen nadawczych — od małych nadawców po bardzo duże przedsiębiorstwa.
Jakie miary użyto do oceny dokładności?
RMSE (pierwiastkowy błąd średniokwadratowy), standardowy sposób pomiaru odchylenia między przewidywanymi a rzeczywistymi wartościami.
Jak dokładna jest ankieta z bardzo małą liczbą panelistów dziennych?
Nawet przy tylko 10 różnych panelistach, wskaźniki błędów pozostają poniżej 10%, co już jest silnym wynikiem w diagnostyce dostarczalności.
Co się staje, gdy więcej panelistów widzi strumień e-maili?
Dokładność szybko rośnie—przy 50+ panelistach korelacja staje się bardzo silna, a błąd gwałtownie spada.
Jaka jest obserwowana dokładność w najlepszym przypadku?
Błąd wynosi ~2%, co oznacza, że dane panelowe Bird'a mogą być do 98% dokładne w porównaniu do rzeczywistego umiejscowienia w skrzynce odbiorczej.
Dlaczego najlepsze ESP pokazują lepszą korelację?
Prawdopodobnie z powodu surowszych standardów zgodności, co prowadzi do bardziej stabilnych wzorców dostarczania i mniejszej zmienności w zachowaniu dostarczalności.
Czy dokładność jest wystarczająca do diagnozowania problemów z dostarczalnością?
Absolutnie—wskaźniki błędów poniżej 5–10% zapewniają więcej niż wystarczającą precyzję, aby zauważyć anomalie i trendy dotyczące dostarczalności.
Dlaczego dane panelowe są nadal potrzebne, jeśli jeden dostawca skrzynki pocztowej oferuje prawdę ostateczną?
Ponieważ główni dostawcy skrzynek pocztowych (Google, Microsoft itp.) nie zapewniają raportowania umiejscowienia wiadomości w skrzynce odbiorczej — dane panelowe wypełniają tę lukę w widoczności.
Co dowodzi analiza na temat ogólnego modelu panelowego Birda?
Że jest statystycznie wiarygodne w szerokim zakresie dziedzin i zachowań wysyłkowych, nawet przy małych wielkościach próbek.
Jaki jest praktyczny rezultat dla nadawców?
Mogą zaufać danym panelowym Bird’a, aby pomóc w podejmowaniu decyzji dotyczących dostarczalności, szczególnie w ekosystemach, gdzie nie istnieją żadne inne dane na temat umiejscowienia w skrzynce odbiorczej.
Jak dokładny jest panel e-mailowy z pozwoleniem?
Jednym z najczęściej zadawanych pytań, które otrzymujemy na temat naszego Panelu E-maili z Prawami Dostępu, jest to, jak dokładne są prognozy dotyczące wskaźników umieszczania w skrzynkach odbiorczych.
Historycznie było to trudne pytanie do odpowiedzenia z pewnością. Nie było żadnej wiarygodnej odpowiedzi rzeczywistej, z którą można by się porównać, więc dyskusje były w dużej mierze napędzane opinią i ogólną wiarą w statystyki próbkowania.
To się teraz zmieniło.
Nowe Źródło Prawdziwych Informacji
Główny dostawca skrzynek pocztowych udzielił licencji na dane dotyczące umieszczania wiadomości w skrzynce odbiorczej dla swojej platformy, co pozwala na przeprowadzenie rzeczywistej walidacji.
Używając tych danych, przeprowadziliśmy analizę na ponad 20 000 różnych domen wysyłających, obejmując:
Duże i małe nadawców
Domeny wysyłające przez naszą platformę
Domeny wysyłające przez innych dostawców
To pozwoliło nam bezpośrednio porównać współczynniki obserwacji skrzynki odbiorczej w panelu z rzeczywistymi danymi o umieszczaniu w skrzynce odbiorczej.
Co pokazują dane
Wyniki są bardzo zachęcające.
Panelem E-mail z dostępem jest bardzo dokładny, nawet przy stosunkowo niskim sygnale.
Dokładność szybko wzrasta w miarę zwiększania się liczby różnych panelistów.
Przy dostatecznym pokryciu panelu, panel dokładnie śledzi rzeczywiste umiejscowienie w skrzynce odbiorczej.
Aby to zobrazować, zmierzyliśmy pierwiastek z błędu średniokwadratowego (RMSE) między:
Wskaźnikami umiejscowienia w skrzynce odbiorczej zgłaszanymi przez dostawcę skrzynki pocztowej (prawda podstawowa)
Wskaźnikami umiejscowienia w skrzynce odbiorczej obserwowanymi przez nasz panel
(RMSE można traktować jako analogię do odchylenia standardowego.)
Wpływ dostawców usług e-mail
Jednym z interesujących odkryć jest to, że nadawcy korzystający z najlepszych dostawców usług e-mail (ESP) wykazują znacznie silniejszą korelację między wskaźnikami skrzynki odbiorczej panelu a rzeczywistymi wskaźnikami skrzynki odbiorczej.
Choć dokładny mechanizm nie jest jasny, uważamy, że wynika to z:
Wyższe standardy zgodności egzekwowane przez duże ESP
Bardziej spójne praktyki wysyłania
Mniejsze odchylenia w umiejscowieniu skrzynki odbiorczej na poziomie odbiorców
Ograniczając analizę do nadawców korzystających z najlepszych ESP:
RMSE jest zmniejszone o około 30%
Dokładność przy różnych rozmiarach paneli
Nawet przy małej liczbie panelistów, wyniki pozostają mocne:
Sekcja | Cel | Typ |
|---|---|---|
Jak dokładny jest panel e-maili z pozwoleniem? | Formułowanie problemu | Kontekst |
Nowe źródło prawdy podstawowej | Metodologia | Dowody |
Co pokazują dane | Podsumowanie wyników | Ustalenia |
Wpływ dostawców usług e-mailowych | Analiza zmiennych | Porównawcza |
Dokładność przy różnych rozmiarach paneli | Zachowanie ilościowe | Na podstawie progów |
Dlaczego dane panelowe wciąż mają znaczenie | Uzasadnienie | Strategiczne |
Przy tak niewielu jak 10 codziennych panelistów, korelacja z prawdą podstawową jest już bardzo wysoka
Przy 50 lub więcej codziennych panelistach, korelacja staje się niezwykle ścisła
Patrząc na wskaźniki błędów w czasie:
Przy bardzo niskich liczbach paneli, błąd pozostaje poniżej 10%
Błąd szybko spada do ~4% w miarę wzrostu rozmiaru panelu
Na większą skalę, błąd zbliża się do ~2%, co sugeruje 98% dokładności
W celu identyfikacji problemów z dostarczalnością i umiejscowieniem w skrzynkach odbiorczych, ten poziom dokładności jest wyjątkowy.
Dlaczego dane panelowe wciąż mają znaczenie
Możesz zapytać:
Jeśli niektórzy dostawcy skrzynek pocztowych oferują dane dotyczące rzeczywistego umiejscowienia wiadomości, dlaczego wciąż potrzebujemy danych z panelu?
Odpowiedź jest prosta:
Większość dostawców skrzynek pocztowych nie oferuje danych o umiejscowieniu wiadomości - w tym główne platformy, takie jak Google i Microsoft.
Dla wiadomości dostarczonych do tych dostawców, dane z panelu pozostają jedynym realnym sposobem na zrozumienie wydajności umiejscowienia wiadomości w skrzynkach.
Dzięki tej weryfikacji, możemy teraz mieć pewność, że:
Wskaźniki umiejscowienia wiadomości oparte na panelu są dokładne
Dane z panelu można ufać tam, gdzie dostęp do rzeczywistych danych jest niedostępny
Panele E-mail z zezwoleniem dostarczają wiarygodnych informacji w szerszym ekosystemie skrzynek pocztowych
