Akurasi Data Panel Berizin Burung
Burung
21 Agu 2021
1 min read
Intisari Utama
Panel Email Berizin Bird's secara historis sulit untuk divalidasi karena kurangnya data penempatan inbox "ground truth" dari penyedia kotak surat.
Seorang penyedia kotak surat utama sekarang melisensikan data penempatan inbox, memungkinkan perbandingan langsung di lebih dari 20,000 domain pengirim.
Analisis menunjukkan akurasi yang sangat tinggi antara estimasi tingkat inbox berdasarkan panel Bird's dan tingkat inbox yang benar.
Akurasi meningkat saat lebih banyak panelis yang berbeda menerima aliran email—kuat bahkan pada sinyal rendah, luar biasa pada volume yang lebih tinggi.
RMSE (root mean square error) digunakan untuk mengukur deviasi antara prediksi panel dan tingkat inbox "ground truth".
Pengirim yang menggunakan ESP teratas menunjukkan korelasi yang secara material lebih baik—kemungkinan karena praktik kepatuhan yang lebih ketat dan inboxing yang lebih konsisten.
Dengan hanya 10 panelis harian, tingkat kesalahan tetap di bawah 10%.
Dengan lebih dari 50 panelis, kesalahan turun secara signifikan dan menjadi sangat ketat.
Tingkat kesalahan dengan cepat mendekati ~2% seiring pertumbuhan ukuran panel—menunjukkan ~98% akurasi dalam memprediksi penempatan inbox.
Tingkat akurasi ini sangat baik untuk mendeteksi masalah pengantaran di seluruh aliran email pengirim.
Data panel tetap kritis karena penyedia utama seperti Google dan Microsoft tidak menyediakan metrik penempatan inbox.
Dengan korelasi yang terbukti, pengirim dapat dengan percaya diri mengandalkan data panel Bird's untuk memahami inboxing di mana tidak ada "ground truth".
Sorotan Q&A
Masalah apa yang secara historis sulit dipecahkan terkait penempatan inbox?
Tidak ada “ground truth” yang andal untuk memvalidasi seberapa akurat panel berizin memprediksi penempatan inbox dalam skala besar.
Apa yang berubah sehingga memungkinkan pengukuran yang tepat?
Penyedia kotak surat besar mulai melisensikan data penempatan inbox yang sebenarnya, memungkinkan Bird untuk membandingkan prediksi panelnya dengan hasil yang sebenarnya.
Seberapa besar dataset analisis?
Lebih dari 20,000 domain pengiriman—mulai dari pengirim kecil hingga pengirim perusahaan yang sangat besar.
Metric apa yang digunakan untuk mengevaluasi accuracy?
RMSE (root mean square error), cara standar untuk mengukur deviasi antara nilai yang diprediksi dan nilai aktual.
Seberapa akurat panel dengan jumlah panelis yang sangat sedikit setiap hari?
Bahkan dengan hanya 10 panelis yang berbeda, tingkat kesalahan tetap di bawah 10%, yang sudah kuat untuk diagnostik kelayakan pengiriman.
Apa yang terjadi ketika lebih banyak panelis melihat aliran email?
Akurasi meningkat dengan cepat—pada 50+ panelis, korelasi menjadi sangat kuat, dan kesalahan turun tajam.
Apa akurasi terbaik yang diamati?
Error mendekati ~2%, yang berarti data panel Bird dapat hingga 98% akurat dibandingkan dengan penempatan di inbox yang sebenarnya.
Mengapa top ESP menunjukkan korelasi yang lebih baik?
Kemungkinan disebabkan oleh standar kepatuhan yang lebih ketat, yang mengarah pada pola pengiriman ke Inbox yang lebih stabil dan lebih sedikit variasi dalam perilaku penyampaian.
Apakah tingkat akurasi sudah cukup untuk mendiagnosis masalah pengiriman?
Tentu saja—tingkat kesalahan di bawah 5–10% memberikan lebih dari cukup presisi untuk melihat ketidaknormalan dan tren pengiriman.
Mengapa data panel masih diperlukan jika satu penyedia kotak surat menawarkan kebenaran dasar?
Karena penyedia kotak surat utama (Google, Microsoft, dll.) tidak menyediakan pelaporan penempatan Inbox—data panel mengisi kekosongan visibilitas ini.
Apa yang dibuktikan analisis tentang model panel Bird secara keseluruhan?
Bahwa ini secara statistik dapat diandalkan di berbagai domain dan perilaku pengiriman, bahkan dengan ukuran sampel yang kecil.
Apa hasil praktis bagi pengirim?
Mereka dapat mempercayai data panel Bird untuk memandu keputusan pengiriman, terutama dalam ekosistem di mana tidak ada data penempatan inbox lainnya.
