Gerçek bir A/B testinin arkasında yatanlar

Yıllardır A/B testini bakış açımız bir fikirden, bir renk değiştirmeden, bir yazı değiştirmeden ibaretti. Yalan değil, benim de öyleydi. Peki bir A/B testi gerçekten nedir? Arkasında yatan ne kadar sebep var? Bu sebepler bir fikirden mi çıkıyor yoksa altında bilim var mı? Biraz olaya bu yönden bakalım.

A/B testi fikirin bilimidir

Testleri test yapan şey bir hipotezdir. Hipotezin bilim alanında da karşılıkları vardır. Bilimsel varsayımlar olarakta geçer. Testler zaten bir fikirden doğar. Bunda hem fikiriz. Fakat bir Optimizasyon uzmanı bunu hipoteze dökmekle yükümlüdür. A/B testlerinde hipoteze dökmek için elinizde gerçek bir verinin olması gerekiyor. Buna kalitatif veri de örnek olabilir kantitatif veri de. Bu verilere kullanıcı araştırmalarından, kullandığınız araçlardan, yaptığınız kullanıcı testlerinden aklınıza gelebilecek bir çok yöntemden ulaşabilirsiniz. Aklınıza gelen her fikirde bunu yaparsanız bir hedefiniz olur ve sonrasında bu hedefe ulaşıp ulaşmadığınızı görürsünüz.

Testler saçmalık mıdır?

Neden olmasın? Şaka şaka tabiiki değil. Peki neye göre değil? Genellikle testlere olan bakış açısı kullanıcıya bir çok seçenek sunarak kullanıcının kafasını karıştırmadan ibaret oluyor. Ve testlerde kullanıcıların o an hangi psikolojiyle o teste yanıt verip vermediğini tahmin etmekte bir saçmalık deniyor. Ama işin aslına baktığınız zaman hava durumunun bile kullanıcıların e-ticarette satın alıp almamaya etki yarattığını görebilirsiniz. Hipotezin bilimde karşılığı olduğunu söylemiştik. Ki zaten bu varsayımlar bir sonuca çıkarıyor. Bilimde de böyle. Bu varsayımları araştırdıktan sonra bir sonuca varıyorlar.

Testin en önemli kısmı; Goal(Hedef)

A/B testi yaparken en çok unutulan ama en önemli şey olan; “Hedef”. Bu yaptığınız test neye etki edecek? Bu testin new visitorlara mı yoksa returning visitorlara mı etkisi var? Bu test satışı mı arttıracak sayfa geçiş sayısını mı arttıracak? Hangi kullanıcılara ulaşacak? Tüm kullanıcılar mı görecek yoksa bölgesel kullanıcılar mı? Daha bir çok neden var. Biz bir testimizde şunu görmüştük. Ülke ülke girdiklerinde girilen ülkeden fotoğraflar gösterdik. 3 ülkede yaptık ve bunun 1 tanesi belirlediğimiz hedefte büyük uplift sağladı. Burada yatan nedenler ne? Tahmin olarak testi yaptığımız ülkenin milliyetçi olması. Hedefinizin üstünde çok iyi düşünün yoksa testi 1 ay boşuna çalıştırmış olabilirsiniz.

Ya bu test kaybederse?

“Hangimiz kaybetmedik ki?” Pardon bu yazı o yazı değil. Neyse. Kaybetmek zorunda. Veriyle de iş yapsanız karşınızda bir robot yok. Bir insan var. Ve bu insanın anlık psikolojisini tahmin edecek kadar ileri teknolojiye sahip değilsiniz. Testin kaybetmesine değil, testin kaybettikten sonra sizin ne öğrendiğinize bakın. Klişe diyebilirsiniz ama bu böyle. Bir testte satışı %5 düşürebilirsiniz fakat sonrasında o testi düzeltip kullanıcının ne istediğine yönelirseniz satışı %15 arttırabilirsiniz. Korkmayın, koşun. Yani test yapın. Test koşturun yani.

“Bu testi %90'a aç gerisini boşver!”

Hmm pki. Testin yüzdesini belirlemek çok önemli bir detay. Burada bir çok unsur var. Fakat ben kendimce yaptığım şeyleri size söyleyebilirim. Testin etkisi, testin “neye” etki ettiği çok önemli. Test satışlara etki edecekse oturup düşünün. Benim burada takip ettiğim bir yol var; düşük yüzdelerden yükseğe gitmek. Genellikle önemli bir test ise bunu düşük yüzdelerde yayına almak iyi bir tercih olacaktır. Neden? Kullanıcı kitleniz belli. Siz bu kullanıcı kitlesinin %50'sine bir anda alışık olmadığı bir detay verirseniz ters tepebilir. Eğer segmentleme yapmadıysanız loyalty müşterileriniz de bunu görecek ve sizinle olan bağlılığını bitirecektir. O yüzden yavaş yavaş yükseltin yüzdenizi. Normalde burada sayısal hesaplama olarak sayfa trafiği de önemli. Ben onu ikinci plana atıp kullanıcı psikolojisine yoğunlaşmayı tercih ediyorum. Dikkatli olun.

“Bütüüün kullanıcılara açalım!”

A/B testinin bir diğer en önemli detayı ise; Segmentleme. Testin segmentlemesini bir çok zaman unuturuz. Fakat benim stajyer arkadaşıma daima söylediğim şey; “Testin etkisini kimde görmek istiyorsun? Hangi cihazda görmek istiyorsun? vb.” En küçük örnek; yaptığınız test yeni gelen kullanıcılarda güzel dönüşüm sağlayabilir fakat daimi olan kullanıcılarınıza ne yapar? Yukarı da loyalty müşteriyi kaybetmekten bahsetmiştim. İşte yukarıdakinin olmaması segmentlemeyi unutmayın. Bir cookie ile tutuyorsanız ona göre testinizi yapın, urliniz farklı ise ona göre yapın. “Bu testi biz desktopa açtık fakat tablette gördü. Tablette bozuktu orası boşu boşuna kullanıcı kaybettik!” demeyin. O yüzden testin etkisini görebilmeniz için segmentleme yapmayı asla unutmayın.

Hesaplar doğru mu? (Burada yanlışlarım olabilir. Bilen olursa düzeltsin lütfen.)

İlk başta da dediğim gibi testlerin arkasında bir bilim var. Bu bilim ağırlıklı olarak “İstatistik” üzerine kurulu. O yüzden bir istatistik geçmişiniz veya veri analizi üzerine çalışmalarınız varsa test sonuçlarının doğruluğu konusunda daha şanslısınız. Piyasada bir çok a/b test aracı var. Bu araçların bir çoğu farklı hesaplama yöntemleri kullanıyor. Yanlış bilmiyorsam kimisi sample size olarak kimisi de bayesian metodu kullanarak hesaplama yapıyor. Ve okuduğum bir yazıda bayesian metodunun daha sağlıklı olduğunu belirtiyorlardı(maalesef yazıyı bulamadım). Örnek olarak Google Optimize bayesian metodunu kullanıyor. Bkz. Sonuçlarda bir yanlışlık durumunda bunun hesaplama mantığını öğrenerek kendinizde hesaplayabilirsiniz.

Özet olarak; Ben kendi bildiklerimi paylaştım. Bildiklerimde yanlışlık olabilir. O yüzden düzeltirseniz çok sevinirim. Uzun ve güzel bir yazı oldu. Umarım beğenirseniz.

Ayrıca; sohbet, muhabbet, kahve, görüşler, eleştiriler ve danışmanlık için;
berkoztoprak[at]yandex.com