A/B tests

Setelah Anda memutuskan apa yang ingin Anda uji, dan bagaimana Anda akan mengukur keberhasilan kampanye Anda, Anda akan menambahkan konten Anda dan menetapkan parameter tes.

Metrik kemenangan

Metrik kemenangan adalah apa yang kita ukur untuk menentukan varian 'terbaik'. Anda akan memilih ini selama tahap konfigurasi. Opsi yang tersedia untuk Anda akan bergantung pada saluran yang Anda gunakan untuk menjalankan tes Anda.

• Click-through rate: Persentase penerima yang membuka pesan Anda dan mengklik setidaknya satu tautan di dalamnya.

• Read rate: (WhatsApp saja): Persentase penerima yang membuka dan membaca pesan Anda.

• Open rate: (Email saja): Persentase penerima yang membuka pesan Anda.

Varian 'terbaik' akan menjadi varian dengan hasil terbaik untuk metrik apa pun yang Anda pilih.

Ukuran tes

Anda harus memiliki 100 penerima dalam daftar atau audiens agar dapat mengirimkan mereka kampanye A/B yang diuji.

Selama tahap konfigurasi, Anda akan memilih persentase penerima Anda yang ingin Anda uji pada varian Anda.

Ukuran minimum untuk daftar tes Anda adalah 100 penerima, tetapi ingat bahwa semakin besar ukuran tes Anda, semakin akurat hasil Anda.

Ini sangat penting jika Anda membandingkan lebih dari dua varian. Delapan varian yang diuji pada 10% dari daftar 100 penerima tidak akan memberikan hasil yang sangat signifikan secara statistik!

Kami merekomendasikan agar Anda menguji varian kampanye Anda pada setidaknya 10% dari penerima Anda.

Durasi tes

Secara default, durasi tes diatur ke dua jam. Anda dapat meningkatkan ini sesuai kebutuhan.

Semakin lama Anda menguji varian Anda, semakin akurat hasil tes A/B Anda. Namun, penting untuk diingat bahwa lamanya jendela tes akan mempengaruhi waktu pengiriman varian yang menang, dan mempertimbangkan ini saat menguji kampanye Anda.

Misalnya, jika Anda tahu waktu pengiriman terbaik Anda adalah pukul 11 pagi pada hari Kamis, Anda mungkin memutuskan untuk melakukan tes A/B kampanye Anda selama 24 jam pada pukul 10 pagi pada hari Rabu, sehingga varian yang menang dikirim pada waktu yang optimal.

Pilihan varian fallback

Terkadang tes A/B tidak memberikan hasil yang konklusif. Ini dapat terjadi karena beberapa alasan:

• Tidak ada cukup data untuk hasil tes yang konklusif. Misalnya, jika Anda memilih metrik 'Click-through rate', tetapi tidak ada yang mengklik salah satu varian Anda. Ini dapat terjadi jika durasi tes terlalu singkat, atau ukuran sampel pengujian terlalu kecil.

• Perbedaan yang tidak signifikan (kurang dari 1%) dalam hasil. Misalnya, jika Anda memilih metrik 'Click-through rate', dan varian pertama Anda mencapai click-through rate 8.1%, sementara varian kedua Anda mencapai click-through rate 8.7%.

Selama tahap konfigurasi, Anda akan memilih apa yang Anda inginkan jika tes Anda tidak memberikan hasil yang konklusif:

• Memilih varian fallback secara manual: Opsi ini memungkinkan Anda memilih varian mana yang Anda lebih suka kirim.

• Mengirimkan semua varian pengujian secara merata kepada sisa penerima: Opsi ini memungkinkan kami untuk mendistribusikan varian dari tes secara merata di antara penerima yang tersisa.