Akurasi Data Panel Berizin Burung
Burung
21 Agu 2021
1 min read
Intisari Utama
Panel Email Berizin Bird's secara historis sulit untuk divalidasi karena kurangnya data penempatan inbox "ground truth" dari penyedia kotak surat.
Seorang penyedia kotak surat utama sekarang melisensikan data penempatan inbox, memungkinkan perbandingan langsung di lebih dari 20,000 domain pengirim.
Analisis menunjukkan akurasi yang sangat tinggi antara estimasi tingkat inbox berdasarkan panel Bird's dan tingkat inbox yang benar.
Akurasi meningkat saat lebih banyak panelis yang berbeda menerima aliran email—kuat bahkan pada sinyal rendah, luar biasa pada volume yang lebih tinggi.
RMSE (root mean square error) digunakan untuk mengukur deviasi antara prediksi panel dan tingkat inbox "ground truth".
Pengirim yang menggunakan ESP teratas menunjukkan korelasi yang secara material lebih baik—kemungkinan karena praktik kepatuhan yang lebih ketat dan inboxing yang lebih konsisten.
Dengan hanya 10 panelis harian, tingkat kesalahan tetap di bawah 10%.
Dengan lebih dari 50 panelis, kesalahan turun secara signifikan dan menjadi sangat ketat.
Tingkat kesalahan dengan cepat mendekati ~2% seiring pertumbuhan ukuran panel—menunjukkan ~98% akurasi dalam memprediksi penempatan inbox.
Tingkat akurasi ini sangat baik untuk mendeteksi masalah pengantaran di seluruh aliran email pengirim.
Data panel tetap kritis karena penyedia utama seperti Google dan Microsoft tidak menyediakan metrik penempatan inbox.
Dengan korelasi yang terbukti, pengirim dapat dengan percaya diri mengandalkan data panel Bird's untuk memahami inboxing di mana tidak ada "ground truth".
Sorotan Q&A
Masalah apa yang secara historis sulit dipecahkan terkait penempatan inbox?
Tidak ada “ground truth” yang andal untuk memvalidasi seberapa akurat panel berizin memprediksi penempatan inbox dalam skala besar.
Apa yang berubah sehingga memungkinkan pengukuran yang tepat?
Penyedia kotak surat besar mulai melisensikan data penempatan inbox yang sebenarnya, memungkinkan Bird untuk membandingkan prediksi panelnya dengan hasil yang sebenarnya.
Seberapa besar dataset analisis?
Lebih dari 20,000 domain pengiriman—mulai dari pengirim kecil hingga pengirim perusahaan yang sangat besar.
Metric apa yang digunakan untuk mengevaluasi accuracy?
RMSE (root mean square error), cara standar untuk mengukur deviasi antara nilai yang diprediksi dan nilai aktual.
Seberapa akurat panel dengan jumlah panelis yang sangat sedikit setiap hari?
Bahkan dengan hanya 10 panelis yang berbeda, tingkat kesalahan tetap di bawah 10%, yang sudah kuat untuk diagnostik kelayakan pengiriman.
Apa yang terjadi ketika lebih banyak panelis melihat aliran email?
Akurasi meningkat dengan cepat—pada 50+ panelis, korelasi menjadi sangat kuat, dan kesalahan turun tajam.
Apa akurasi terbaik yang diamati?
Error mendekati ~2%, yang berarti data panel Bird dapat hingga 98% akurat dibandingkan dengan penempatan di inbox yang sebenarnya.
Mengapa top ESP menunjukkan korelasi yang lebih baik?
Kemungkinan disebabkan oleh standar kepatuhan yang lebih ketat, yang mengarah pada pola pengiriman ke Inbox yang lebih stabil dan lebih sedikit variasi dalam perilaku penyampaian.
Apakah tingkat akurasi sudah cukup untuk mendiagnosis masalah pengiriman?
Tentu saja—tingkat kesalahan di bawah 5–10% memberikan lebih dari cukup presisi untuk melihat ketidaknormalan dan tren pengiriman.
Mengapa data panel masih diperlukan jika satu penyedia kotak surat menawarkan kebenaran dasar?
Karena penyedia kotak surat utama (Google, Microsoft, dll.) tidak menyediakan pelaporan penempatan Inbox—data panel mengisi kekosongan visibilitas ini.
Apa yang dibuktikan analisis tentang model panel Bird secara keseluruhan?
Bahwa ini secara statistik dapat diandalkan di berbagai domain dan perilaku pengiriman, bahkan dengan ukuran sampel yang kecil.
Apa hasil praktis bagi pengirim?
Mereka dapat mempercayai data panel Bird untuk memandu keputusan pengiriman, terutama dalam ekosistem di mana tidak ada data penempatan inbox lainnya.
Salah satu pertanyaan yang kami terima secara teratur tentang Permissioned Email Panel kami adalah seberapa akurat dalam hal memprediksi tingkat inbox. Secara historis, ini adalah pertanyaan sulit untuk dijawab dengan otoritas karena tidak ada sumber kebenaran yang dapat diukur, sehingga opini (dan keyakinan umum pada statistik sampel) menguasai diskusi.
Sekarang, dengan penyedia kotak surat utama melisensikan data penempatan inbox untuk platform mereka, memungkinkan untuk melakukan analisis nyata, yang kami lakukan pada lebih dari 20.000 domain pengiriman yang berbeda dari pengirim besar dan kecil, baik di platform pengiriman kami dan penyedia lainnya.
Hasilnya sangat menarik. Panel berizin sangat akurat, bahkan dengan sinyal yang relatif rendah, dan menjadi sangat akurat ketika jumlah panelis yang berbeda terlihat dalam satu kiriman meningkat. Menggunakan metode statistik umum, kami melihat kesalahan akar rata-rata kuadrat (RMSE – analog dari standar deviasi) antara tingkat inbox yang terlihat di penyedia utama dengan apa yang panel kami lihat.
Dalam analisis kami, kami mencatat bahwa pengirim yang mengirim email mereka melalui penyedia layanan email teratas melihat korelasi yang secara materi lebih baik antara tingkat inbox panel dan tingkat inbox yang sebenarnya. Mekanisme ini tidak diketahui, tetapi kami menduga bahwa standar kepatuhan yang dipegang penyedia layanan besar terhadap pelanggan umumnya menghasilkan tingkat inbox yang lebih konsisten di seluruh audiens mereka dan karenanya kurang rentan terhadap penyimpangan. Kami dapat melihat ini jika kami membatasi plot kami hanya untuk pengirim di ESP teratas, yang juga mengurangi RMSE sekitar 30%.
Bahkan ketika sejumlah kecil (10) panelis harian melihat aliran email, kami melihat korelasi yang sangat kuat antara tingkat inbox terlihat oleh panel dan kebenaran sebenarnya.
Jika kita hanya mempertimbangkan aliran di mana 50 atau lebih panelis terlihat setiap hari, korelasi menjadi lebih ketat.
Jika kita melihat bagaimana tingkat kesalahan ini bervariasi dari waktu ke waktu, kita melihat beberapa hal:
Bahkan dalam jumlah yang sangat kecil dari panelis unik menerima email, tingkat kesalahan di bawah 10%.
Cepat turun hingga 4% saat jumlah panelis meningkat.
Akhirnya mendekati 2% – menunjukkan bahwa data panel adalah 98% akurat.
Untuk tujuan mengidentifikasi masalah keterkiriman aliran email, akurasi ini fantastis.
Jadi Anda mungkin bertanya: dengan penyedia besar menawarkan angka kebenaran, apa kegunaan dari memiliki data panel juga, bahkan jika itu sangat berkorelasi? Mayoritas penyedia kotak surat – termasuk raksasa seperti Google dan Microsoft – tidak menawarkan data penempatan inbox, sehingga untuk pesan yang terkirim di sana, Anda masih memerlukan sumber seperti data panel untuk memahami tingkat inboxing.
Dan sekarang kita semua dapat yakin akan akurasinya untuk kasus-kasus tersebut.
