Salah satu pertanyaan yang kami terima secara teratur tentang Panel Email Berizin kami adalah seberapa akuratnya dalam hal memprediksi tingkat kotak masuk. Secara historis, ini adalah pertanyaan yang sulit dijawab dengan otoritas karena tidak ada sumber kebenaran dasar untuk diukur, dan pendapat (dan keyakinan umum dalam statistik sampel) mendominasi diskusi.
Sekarang, dengan penyedia kotak surat utama melisensikan data penempatan kotak masuk untuk platform mereka, adalah mungkin untuk melakukan analisis nyata, yang kami lakukan atas lebih dari 20.000 domain pengirim yang berbeda dari pengirim besar dan kecil, baik di platform pengiriman kami maupun di penyedia lain.
Hasilnya menarik. Panel berizin sangat akurat, bahkan dengan sinyal yang relatif rendah, dan menjadi sangat akurat saat jumlah panelis yang berbeda yang terlihat dalam pengiriman meningkat. Dengan menggunakan metode statistik umum, kami melihat root mean square error (RMSE – analog dari deviasi standar) antara tingkat kotak masuk yang terlihat di penyedia utama dengan apa yang panel kami lihat.
Dalam analisis kami, kami mencatat bahwa pengirim yang mengirimkan email mereka melalui penyedia layanan email teratas melihat korelasi yang jauh lebih baik antara tingkat kotak masuk panel dan tingkat kotak masuk yang sebenarnya. Mekanisme untuk ini tidak diketahui, tetapi kami menduga bahwa standar kepatuhan yang penyedia layanan besar pegang kepada pelanggan mereka biasanya menghasilkan tingkat kotak masuk yang lebih konsisten di antara audience mereka dan jadi kurang rentan terhadap bias. Kami dapat melihat ini jika kami membatasi plot kami hanya untuk pengirim pada ESP teratas, yang juga mengurangi RMSE sekitar 30%.
Bahkan ketika hanya sejumlah kecil (10) panelis harian melihat aliran email, kami melihat korelasi yang sangat kuat antara tingkat kotak masuk yang terlihat oleh panel dan kebenaran dasar.
Jika kita hanya mempertimbangkan aliran di mana 50 atau lebih panelis terlihat setiap hari, korelasi menjadi semakin ketat.
Jika kita melihat bagaimana tingkat kesalahan ini bervariasi dari waktu ke waktu, kita melihat beberapa hal:
Bahkan pada jumlah panelis unik yang menerima email yang sangat kecil, tingkat kesalahan di bawah 10%.
Ini cepat turun menjadi 4% saat jumlah panelis meningkat.
Akhirnya mendekati 2% – menunjukkan bahwa data panel adalah 98% akurat.
Untuk tujuan mengidentifikasi masalah keterkiriman aliran email, akurasi ini sangat fantastis.
Jadi Anda mungkin bertanya: dengan penyedia utama menawarkan angka kebenaran dasar, apa kegunaan memiliki data panel juga, bahkan jika itu sangat berkorelasi? Mayoritas penyedia kotak surat – termasuk raksasa seperti Google dan Microsoft – tidak menawarkan data penempatan kotak masuk, dan jadi untuk pesan yang dikirimkan di sana, Anda masih membutuhkan sumber seperti data panel untuk memahami tingkat kotak masuk.
Dan sekarang kita semua bisa yakin dengan akurasinya untuk kasus-kasus tersebut.
