Cloud Intelligence Optimizely: Cara Menggunakan Stats Engine Untuk Uji A / B Lebih Cerdas, Dan Lebih Cepat

Strategi Pengujian Stats Engine dan A / B secara optimum

Sekiranya anda ingin menjalankan program percubaan untuk menolong perniagaan & menguji perniagaan anda, kemungkinan anda menggunakan Awan Kecerdasan yang optimum - atau sekurang-kurangnya anda melihatnya. Secara optimum adalah salah satu alat yang paling kuat dalam permainan, tetapi seperti alat seperti itu, anda mungkin menggunakannya salah jika anda tidak memahami cara kerjanya. 

Apa yang menjadikan Optimizable begitu hebat? Inti dari set fiturnya terdapat enjin statistik yang paling tepat dan intuitif dalam alat pihak ketiga, yang membolehkan anda memberi tumpuan lebih kepada mendapatkan ujian penting secara langsung - tanpa perlu bimbang bahawa anda salah menafsirkan keputusan anda. 

Seperti kajian tradisional buta dalam perubatan, Pengujian A / B secara rawak akan menunjukkan berbeza rawatan laman web anda kepada pengguna yang berbeza untuk membandingkan keberkesanan setiap rawatan. 

Statistik kemudian membantu kami membuat kesimpulan mengenai seberapa berkesan rawatan tersebut dalam jangka masa panjang. 

Sebilangan besar alat ujian A / B bergantung pada salah satu daripada dua jenis inferens statistik: statistik Frequentist atau Bayesian. Setiap sekolah mempunyai pelbagai kebaikan dan keburukan - statistik Frequentist memerlukan ukuran sampel untuk diperbaiki sebelum menjalankan eksperimen, dan statistik Bayesian lebih peduli untuk membuat keputusan arah yang baik daripada menentukan satu angka untuk kesan, untuk menamakan dua contoh. Kuasa super Optimizely adalah satu-satunya alat yang ada di pasaran sekarang untuk mengambil terbaik dari kedua-dua dunia pendekatan.

Hasil akhirnya? Secara optimum membolehkan pengguna menjalankan eksperimen dengan lebih pantas, lebih dipercayai, dan lebih intuitif.

Namun, untuk memanfaatkan sepenuhnya, penting untuk memahami apa yang berlaku di sebalik tabir. Berikut adalah 5 pandangan dan strategi yang akan membuat anda menggunakan kemampuan Optimizely seperti profesional.

Strategi # 1: Fahami bahawa Tidak Semua Metrik Dicipta Sama

Dalam kebanyakan alat pengujian, masalah yang sering diabaikan adalah bahawa semakin banyak metrik yang anda tambahkan dan lacak sebagai sebahagian daripada ujian anda, semakin besar kemungkinan anda melihat beberapa kesimpulan yang salah kerana kebetulan secara rawak (dalam statistik, ini disebut "masalah ujian berganda "). Untuk memastikan hasilnya dapat dipercayai, Optimizely menggunakan rangkaian kawalan dan pembetulan untuk memastikan kemungkinan kejadian itu serendah mungkin. 

Kawalan dan pembetulan tersebut mempunyai dua implikasi ketika anda menjalani ujian di Optimizely. Pertama, metrik yang anda tetapkan sebagai Sukatan Utama akan mencapai kepentingan statistik dengan pantas, semua perkara lain tetap. Kedua, semakin banyak metrik yang anda tambahkan pada eksperimen, semakin lama metrik anda akan diperlukan untuk mencapai kepentingan statistik.

Semasa merancang percubaan, pastikan anda mengetahui metrik mana yang akan menjadi True North anda dalam proses membuat keputusan, menjadikannya Metrik Utama anda. Kemudian, simpan senarai metrik anda yang lain dengan membuang apa-apa yang terlalu berlebihan atau ketara.

Strategi # 2: Bina Atribut Tersuai Anda Sendiri

Secara optimum hebat memberi anda beberapa cara menarik dan bermanfaat untuk membahagikan hasil percubaan anda. Sebagai contoh, anda dapat memeriksa sama ada rawatan tertentu berprestasi lebih baik di desktop berbanding mudah alih, atau melihat perbezaan di seluruh sumber lalu lintas. Oleh kerana program percubaan anda matang, anda akan segera menginginkan segmen baru - ini mungkin khusus untuk kes penggunaan anda, seperti segmen untuk pembelian satu kali berbanding langganan, atau secara umum seperti "pelawat baru berbanding pelawat baru" (yang, terus terang, kami masih tidak dapat mengetahui mengapa perkara itu tidak disediakan di luar kotak).

Berita baiknya ialah melalui bidang Projek Javascript Optimizely, jurutera yang biasa dengan Optimizely dapat membina sebilangan atribut khusus menarik yang dapat ditugaskan dan dibahagi oleh pengunjung. Di Cro Metrics, kami telah membina sejumlah modul stok (seperti "pelawat baru berbanding pengunjung baru") yang kami pasang untuk semua pelanggan kami melalui Project Javascript mereka. Memanfaatkan kemampuan ini adalah pembezaan utama antara pasukan yang matang yang mempunyai sumber teknikal yang tepat untuk membantu mereka melaksanakannya, dan pasukan yang berjuang untuk merealisasikan potensi eksperimen sepenuhnya.

Strategi # 3: Terokai Pemacu Statistik Optimizely

Salah satu ciri alat ujian yang sering diketepikan ialah kemampuan menggunakan "penyamun berbilang senjata", sejenis algoritma pembelajaran mesin yang berubah secara dinamik di mana lalu lintas anda diperuntukkan sepanjang eksperimen, untuk menghantar seberapa banyak pelawat ke "menang" variasi mungkin. Masalah dengan penyamun berbilang senjata adalah hasilnya bukan petunjuk prestasi jangka panjang yang boleh dipercayai, jadi kes penggunaan untuk jenis eksperimen ini terhad kepada kes sensitif masa seperti promosi penjualan.

Secara optimum, bagaimanapun, mempunyai jenis algoritma bandit yang berbeza untuk pengguna dengan rencana yang lebih tinggi - Stats Accelerator (sekarang dikenali sebagai pilihan "Mempercepat Pembelajaran" di dalam Bandits). Dalam penyediaan ini, alih-alih berusaha mengalokasikan lalu lintas secara dinamis ke variasi dengan prestasi tertinggi, Secara optimum secara automatik mengalokasikan lalu lintas ke variasi yang cenderung mencapai makna statistik dengan cepat. Dengan cara ini, anda dapat belajar dengan lebih cepat, dan mengekalkan kebolehulangan hasil ujian A / B tradisional.

Strategi # 4: Tambahkan Emoji ke Nama Metrik Anda

Pada pandangan pertama, idea ini mungkin terdengar tidak tepat, bahkan tidak masuk akal. Walau bagaimanapun, aspek utama untuk memastikan bahawa anda membaca hasil percubaan yang betul bermula dengan memastikan bahawa khalayak anda dapat memahami soalan tersebut. 

Kadang-kadang di sebalik usaha terbaik kami, nama metrik boleh menjadi membingungkan (tunggu - adakah metrik itu muncul ketika pesanan diterima, atau ketika pengguna mencecah halaman terima kasih?), Atau percubaan mempunyai begitu banyak metrik yang menatal ke atas dan ke bawah hasilnya halaman membawa kepada jumlah kognitif yang berlebihan.

Menambah emoji ke nama metrik anda (sasaran, tanda semak hijau, malah beg wang besar dapat berfungsi) boleh menghasilkan halaman yang jauh lebih dapat diimbas. 

Percayalah - hasil membaca akan terasa lebih mudah.

Strategi # 5: Pertimbangkan semula Tahap Kepentingan Statistik Anda

Hasil dianggap meyakinkan dalam konteks percubaan Optimizely ketika mereka mencapai kepentingan statistik. Kepentingan statistik adalah istilah matematik yang sukar, tetapi pada dasarnya kebarangkalian pemerhatian anda adalah hasil dari perbezaan nyata antara dua populasi, dan bukan hanya peluang rawak. 

Tahap kepentingan statistik yang dilaporkan Optimizely adalah "selalu sah" berkat konsep matematik yang disebut ujian berurutan - ini benar-benar menjadikannya jauh lebih dipercayai daripada alat ujian lain, yang terdedah kepada pelbagai masalah "mengintip" jika anda membacanya terlalu cepat.

Perlu dipertimbangkan tahap kepentingan statistik yang anda anggap penting untuk program ujian anda. Walaupun 95% adalah kebiasaan dalam komuniti saintifik, kami menguji perubahan laman web, bukan vaksin. Pilihan umum lain dalam dunia eksperimen: 90%. Tetapi adakah anda bersedia menerima sedikit ketidakpastian untuk menjalankan eksperimen dengan lebih pantas dan menguji lebih banyak idea? Bolehkah anda menggunakan kepentingan statistik 85% atau bahkan 80%? Bersungguh-sungguh mengenai baki risiko-risiko anda dapat membayar dividen eksponensial dari masa ke masa, jadi fikirkanlah ini dengan teliti.

Baca Lebih Lanjut Mengenai Cloud Intelligence Optimizely

Lima prinsip dan pandangan ringkas ini akan sangat berguna untuk diingat semasa menggunakan Optimizely. Seperti alat apa pun, alat ini memastikan bahawa anda memahami dengan baik semua penyesuaian di belakang layar, jadi anda dapat memastikan bahawa anda menggunakan alat tersebut dengan cekap dan berkesan. Dengan pemahaman ini, anda dapat memperoleh hasil yang boleh dipercayai yang anda cari ketika anda memerlukannya. 

Apa yang anda fikir?

Laman web ini menggunakan Akismet untuk mengurangkan spam. Ketahui bagaimana data komen anda diproses.