Dokładność danych panelowych ptaków z uprawnieniami

Ptak

21 sie 2021

Email

1 min read

Dokładność danych panelowych ptaków z uprawnieniami

Kluczowe Wnioski

    • Panel Uprawnionych E-maili Bird z założenia był trudny do weryfikacji z powodu braku danych o „rzeczywistym” umieszczeniu e-maili od dostawców skrzynek pocztowych.

    • Jeden z głównych dostawców skrzynek pocztowych obecnie udostępnia dane o umieszczeniu e-maili, co umożliwia bezpośrednie porównanie w ponad 20 000 domen wysyłających.

    • Analiza wykazuje niezwykle wysoką dokładność pomiędzy oszacowaniami umieszczenia w skrzynkach opartymi na panelu Bird a rzeczywistym wskaźnikiem umieszczenia w skrzynce.

    • Dokładność rośnie w miarę jak więcej różnych panelistów otrzymuje strumień e-maili—jest silna nawet przy niskim sygnale, a doskonała przy większych wolumenach.

    • RMSE (root mean square error) jest używane do mierzenia odchylenia pomiędzy przewidywaniami panelu a rzeczywistymi wskaźnikami umieszczenia w skrzynce.

    • Nadawcy korzystający z najlepszych ESP pokazują materialnie lepszą korelację—prawdopodobnie z powodu surowszych praktyk zgodności i bardziej spójnego umieszczania w skrzynkach.

    • Przy zaledwie 10 codziennych panelistach, wskaźniki błędów pozostają poniżej 10%.

    • Przy ponad 50 panelistach, błąd znacząco spada i staje się bardzo mały.

    • Wskaźnik błędu szybko zbliża się do ~2% wraz z rozrostem panelu—wskazując na ~98% dokładność w przewidywaniu umieszczenia w skrzynkach.

    • Ten poziom dokładności jest doskonały do diagnozowania problemów z dostarczalnością w pełnym strumieniu e-maili nadawcy.

    • Dane panelu pozostają kluczowe ponieważ główni dostawcy jak Google i Microsoft nie udostępniają metryk umieszczania e-maili w skrzynkach.

    • Z udowodnioną korelacją, nadawcy mogą pewnie polegać na danych panelu Bird aby zrozumieć umieszczanie e-maili w skrzynkach tam, gdzie brak jest rzeczywistego odzwierciedlenia.

Q&A Highlights

  • Jaki problem historycznie było trudno rozwiązać w związku z umieszczaniem w Inbox?

    Nie było wiarygodnej "prawdziwej rzeczywistości", aby zweryfikować, jak dokładnie panel z uprawnieniami przewidywał umieszczanie w Inbox na dużą skalę.

  • Co się zmieniło, że umożliwiło właściwy pomiar?

    Duży dostawca skrzynek pocztowych zaczął licencjonować rzeczywiste dane dotyczące umieszczania w skrzynkach odbiorczych, co umożliwiło Bird porównanie przewidywań panelu z rzeczywistymi wynikami.

  • Jak duży był zestaw danych analizy?

    Więcej niż 20 000 domen wysyłających—od małych nadawców po bardzo dużych nadawców korporacyjnych.

  • Jaką metrykę użyto do oceny dokładności?

    RMSE (root mean square error), standardowa metoda pomiaru odchylenia między przewidywanymi a rzeczywistymi wartościami.

  • Jak dokładny jest panel przy bardzo małej liczbie codziennych panelistów?

    Nawet przy tylko 10 różnych panelistach, wskaźniki błędów pozostają poniżej 10%, co już jest mocne dla diagnostyki dostarczalności.

  • Co się dzieje, gdy więcej panelistów widzi strumień email?

    Dokładność szybko wzrasta—przy 50+ panelistach, korelacja staje się niezwykle silna, a błąd gwałtownie spada.

  • Jaka jest najlepsza zaobserwowana dokładność?

    Błąd wynosi około ~2%, co oznacza, że dane panelu Bird mogą być do 98% dokładne w porównaniu z rzeczywistym umieszczeniem w skrzynce odbiorczej.

  • Dlaczego czołowe ESPs pokazują lepszą korelację?

    Prawdopodobnie z powodu bardziej rygorystycznych standardów zgodności, co prowadzi do bardziej stabilnych wzorców dostarczania do Inbox i mniejszej zmienności w zachowaniu dostarczalności.

  • Czy dokładność jest wystarczająca do diagnozowania problemów z dostarczalnością?

    Absolutnie – wskaźniki błędów poniżej 5–10% zapewniają wystarczającą precyzję do wykrywania anomalii i trendów w dostarczalności.

  • Dlaczego dane panelowe są nadal konieczne, jeśli jeden dostawca skrzynki pocztowej oferuje prawdę?

    Ponieważ główni dostawcy skrzynek pocztowych (Google, Microsoft, itp.) nie zapewniają raportowania na temat umieszczania w Inbox — dane panelowe wypełniają tę lukę w widoczności.

  • Co ogółem udowadnia analiza na temat panelowego modelu Bird?

    Jest statystycznie wiarygodny w różnych dziedzinach i zachowaniach związanych z wysyłaniem, nawet przy małych próbkach.

  • Jaki jest praktyczny wynik dla senders?

    Mogą zaufać danym z panelu Bird, aby kierować decyzjami dotyczącymi dostarczalności, zwłaszcza w ekosystemach, gdzie nie istnieją żadne inne dane dotyczące umieszczania w Inbox.

Jednym z pytań, które regularnie otrzymujemy na temat naszego Panelu Zgodnych E-maili, jest to, jak dokładny jest w prognozowaniu wskaźników dostarczania do skrzynki odbiorczej. Historycznie było to trudne pytanie do odpowiedzenia z jakąkolwiek pewnością, ponieważ nie było źródła prawdy, do którego można by się odnieść, więc w dyskusji dominowały opinie (i ogólna wiara w statystyki próbki).

Teraz jednak, gdy jeden z głównych dostawców skrzynek pocztowych udziela licencji na dane o umieszczaniu w skrzynce odbiorczej dla swojej platformy, możliwe jest przeprowadzenie rzeczywistej analizy, co zrobiliśmy dla około 20 000 odmiennych domen nadawców dużych i małych, zarówno na naszej platformie wysyłki, jak i u innych dostawców. 

Wyniki są ekscytujące. Panel zgodnych e-maili jest bardzo dokładny, nawet przy stosunkowo niskim sygnale, i staje się niezwykle dokładny, gdy liczba odmiennych panelistów widzianych w wysyłce wzrasta. Korzystając z powszechnych metod statystycznych, badamy średni błąd kwadratowy (RMSE – analog odchylenia standardowego) między wskaźnikiem dostarczania do skrzynki odbiorczej widzianym wśród głównego dostawcy a tym, co widzi nasz panel.

W naszej analizie zauważyliśmy, że nadawcy, którzy wysyłają swoje e-maile za pośrednictwem czołowych dostawców usług pocztowych, obserwują materialnie lepszą korelację między wskaźnikiem dostarczania do skrzynki odbiorczej panelu a rzeczywistym wskaźnikiem dostarczania do skrzynki odbiorczej. Mechanizm tego zjawiska nie jest znany, ale postujemy, że normy zgodności, które duzi dostawcy usług narzucają swoim klientom, ogólnie prowadzą do bardziej spójnych wskaźników dostarczania do skrzynki odbiorczej wśród ich odbiorców i w związku z tym są mniej podatne na zniekształcenia. Możemy to zaobserwować, jeśli ograniczymy naszą analizę do nadawców tylko z czołowych ESP, co również zmniejsza RMSE o około 30%.

Nawet gdy niewielka liczba (10) dziennych panelistów widzi strumień e-maili, obserwujemy bardzo silną korelację między wskaźnikiem dostarczania do skrzynki odbiorczej widzianym przez panel a rzeczywistością.

Jeśli weźmiemy pod uwagę tylko strumienie, w które dziennie zaangażowanych jest 50 lub więcej panelistów, korelacja staje się jeszcze ściślejsza.

Jeśli przyjrzymy się, jak ten wskaźnik błędu zmienia się w czasie, zobaczymy kilka rzeczy: 

  • Nawet przy bardzo małych liczbach unikalnych panelistów otrzymujących e-maile wskaźnik błędu wynosi poniżej 10%.

  • Szybko spada do 4% wraz ze wzrostem liczby panelistów.

  • W końcu zbliża się do 2% – pokazując, że dane panelowe są dokładne w 98%. 

Na potrzeby identyfikacji problemów z dostarczalnością strumieni e-maili, ta dokładność jest fantastyczna.

Możesz zapytać: skoro główny dostawca oferuje liczby obrazujące rzeczywistość, jaka jest użyteczność posiadania danych panelowych, nawet jeśli są one bardzo skorelowane? Większość dostawców skrzynek pocztowych – w tym gigantów takich jak Google i Microsoft – nie oferuje danych o umieszczaniu w skrzynce odbiorczej, więc dla wiadomości dostarczanych tam nadal potrzebujesz źródła takiego jak dane panelowe, aby zrozumieć wskaźniki dostarczania do skrzynki odbiorczej. 

I teraz wszyscy możemy być pewni ich dokładności w tych przypadkach.

Jednym z pytań, które regularnie otrzymujemy na temat naszego Panelu Zgodnych E-maili, jest to, jak dokładny jest w prognozowaniu wskaźników dostarczania do skrzynki odbiorczej. Historycznie było to trudne pytanie do odpowiedzenia z jakąkolwiek pewnością, ponieważ nie było źródła prawdy, do którego można by się odnieść, więc w dyskusji dominowały opinie (i ogólna wiara w statystyki próbki).

Teraz jednak, gdy jeden z głównych dostawców skrzynek pocztowych udziela licencji na dane o umieszczaniu w skrzynce odbiorczej dla swojej platformy, możliwe jest przeprowadzenie rzeczywistej analizy, co zrobiliśmy dla około 20 000 odmiennych domen nadawców dużych i małych, zarówno na naszej platformie wysyłki, jak i u innych dostawców. 

Wyniki są ekscytujące. Panel zgodnych e-maili jest bardzo dokładny, nawet przy stosunkowo niskim sygnale, i staje się niezwykle dokładny, gdy liczba odmiennych panelistów widzianych w wysyłce wzrasta. Korzystając z powszechnych metod statystycznych, badamy średni błąd kwadratowy (RMSE – analog odchylenia standardowego) między wskaźnikiem dostarczania do skrzynki odbiorczej widzianym wśród głównego dostawcy a tym, co widzi nasz panel.

W naszej analizie zauważyliśmy, że nadawcy, którzy wysyłają swoje e-maile za pośrednictwem czołowych dostawców usług pocztowych, obserwują materialnie lepszą korelację między wskaźnikiem dostarczania do skrzynki odbiorczej panelu a rzeczywistym wskaźnikiem dostarczania do skrzynki odbiorczej. Mechanizm tego zjawiska nie jest znany, ale postujemy, że normy zgodności, które duzi dostawcy usług narzucają swoim klientom, ogólnie prowadzą do bardziej spójnych wskaźników dostarczania do skrzynki odbiorczej wśród ich odbiorców i w związku z tym są mniej podatne na zniekształcenia. Możemy to zaobserwować, jeśli ograniczymy naszą analizę do nadawców tylko z czołowych ESP, co również zmniejsza RMSE o około 30%.

Nawet gdy niewielka liczba (10) dziennych panelistów widzi strumień e-maili, obserwujemy bardzo silną korelację między wskaźnikiem dostarczania do skrzynki odbiorczej widzianym przez panel a rzeczywistością.

Jeśli weźmiemy pod uwagę tylko strumienie, w które dziennie zaangażowanych jest 50 lub więcej panelistów, korelacja staje się jeszcze ściślejsza.

Jeśli przyjrzymy się, jak ten wskaźnik błędu zmienia się w czasie, zobaczymy kilka rzeczy: 

  • Nawet przy bardzo małych liczbach unikalnych panelistów otrzymujących e-maile wskaźnik błędu wynosi poniżej 10%.

  • Szybko spada do 4% wraz ze wzrostem liczby panelistów.

  • W końcu zbliża się do 2% – pokazując, że dane panelowe są dokładne w 98%. 

Na potrzeby identyfikacji problemów z dostarczalnością strumieni e-maili, ta dokładność jest fantastyczna.

Możesz zapytać: skoro główny dostawca oferuje liczby obrazujące rzeczywistość, jaka jest użyteczność posiadania danych panelowych, nawet jeśli są one bardzo skorelowane? Większość dostawców skrzynek pocztowych – w tym gigantów takich jak Google i Microsoft – nie oferuje danych o umieszczaniu w skrzynce odbiorczej, więc dla wiadomości dostarczanych tam nadal potrzebujesz źródła takiego jak dane panelowe, aby zrozumieć wskaźniki dostarczania do skrzynki odbiorczej. 

I teraz wszyscy możemy być pewni ich dokładności w tych przypadkach.

Jednym z pytań, które regularnie otrzymujemy na temat naszego Panelu Zgodnych E-maili, jest to, jak dokładny jest w prognozowaniu wskaźników dostarczania do skrzynki odbiorczej. Historycznie było to trudne pytanie do odpowiedzenia z jakąkolwiek pewnością, ponieważ nie było źródła prawdy, do którego można by się odnieść, więc w dyskusji dominowały opinie (i ogólna wiara w statystyki próbki).

Teraz jednak, gdy jeden z głównych dostawców skrzynek pocztowych udziela licencji na dane o umieszczaniu w skrzynce odbiorczej dla swojej platformy, możliwe jest przeprowadzenie rzeczywistej analizy, co zrobiliśmy dla około 20 000 odmiennych domen nadawców dużych i małych, zarówno na naszej platformie wysyłki, jak i u innych dostawców. 

Wyniki są ekscytujące. Panel zgodnych e-maili jest bardzo dokładny, nawet przy stosunkowo niskim sygnale, i staje się niezwykle dokładny, gdy liczba odmiennych panelistów widzianych w wysyłce wzrasta. Korzystając z powszechnych metod statystycznych, badamy średni błąd kwadratowy (RMSE – analog odchylenia standardowego) między wskaźnikiem dostarczania do skrzynki odbiorczej widzianym wśród głównego dostawcy a tym, co widzi nasz panel.

W naszej analizie zauważyliśmy, że nadawcy, którzy wysyłają swoje e-maile za pośrednictwem czołowych dostawców usług pocztowych, obserwują materialnie lepszą korelację między wskaźnikiem dostarczania do skrzynki odbiorczej panelu a rzeczywistym wskaźnikiem dostarczania do skrzynki odbiorczej. Mechanizm tego zjawiska nie jest znany, ale postujemy, że normy zgodności, które duzi dostawcy usług narzucają swoim klientom, ogólnie prowadzą do bardziej spójnych wskaźników dostarczania do skrzynki odbiorczej wśród ich odbiorców i w związku z tym są mniej podatne na zniekształcenia. Możemy to zaobserwować, jeśli ograniczymy naszą analizę do nadawców tylko z czołowych ESP, co również zmniejsza RMSE o około 30%.

Nawet gdy niewielka liczba (10) dziennych panelistów widzi strumień e-maili, obserwujemy bardzo silną korelację między wskaźnikiem dostarczania do skrzynki odbiorczej widzianym przez panel a rzeczywistością.

Jeśli weźmiemy pod uwagę tylko strumienie, w które dziennie zaangażowanych jest 50 lub więcej panelistów, korelacja staje się jeszcze ściślejsza.

Jeśli przyjrzymy się, jak ten wskaźnik błędu zmienia się w czasie, zobaczymy kilka rzeczy: 

  • Nawet przy bardzo małych liczbach unikalnych panelistów otrzymujących e-maile wskaźnik błędu wynosi poniżej 10%.

  • Szybko spada do 4% wraz ze wzrostem liczby panelistów.

  • W końcu zbliża się do 2% – pokazując, że dane panelowe są dokładne w 98%. 

Na potrzeby identyfikacji problemów z dostarczalnością strumieni e-maili, ta dokładność jest fantastyczna.

Możesz zapytać: skoro główny dostawca oferuje liczby obrazujące rzeczywistość, jaka jest użyteczność posiadania danych panelowych, nawet jeśli są one bardzo skorelowane? Większość dostawców skrzynek pocztowych – w tym gigantów takich jak Google i Microsoft – nie oferuje danych o umieszczaniu w skrzynce odbiorczej, więc dla wiadomości dostarczanych tam nadal potrzebujesz źródła takiego jak dane panelowe, aby zrozumieć wskaźniki dostarczania do skrzynki odbiorczej. 

I teraz wszyscy możemy być pewni ich dokładności w tych przypadkach.

Inne wiadomości

Czytaj więcej z tej kategorii

A person is standing at a desk while typing on a laptop.

Kompletna, natywna dla AI platforma, która rośnie wraz z Twoim biznesem.

Skontaktuj się z działem sprzedaży

Zacznij za darmo

© 2025 Bird

Skontaktuj się z pomocą techniczną

A person is standing at a desk while typing on a laptop.

Kompletna, natywna dla AI platforma, która rośnie wraz z Twoim biznesem.

Skontaktuj się z działem sprzedaży

Zacznij za darmo

© 2025 Bird

Skontaktuj się z pomocą techniczną

A person is standing at a desk while typing on a laptop.

Kompletna, natywna dla AI platforma, która rośnie wraz z Twoim biznesem.

Skontaktuj się z działem sprzedaży

Zacznij za darmo

© 2025 Bird

Skontaktuj się z pomocą techniczną