Beklenmedik test, beklenmedik sonuç!

A/B testi case study’lerine baktığımızda gördüğümüz tek şey “Renk değiştirdik satışlarımız %XX arttı!”. Buna birçoğumuz inanmasa da aslında durumlar öyle ilerliyor.

Uzun süredir optimizasyon ekibi olarak A/B test işleri çıkarmaya çalışıyoruz. Fazla sayfa olmayınca birçok elementi aynı anda incelediğimiz de oluyor. Gerek komplike hipotezler, gerek basit hipotezler hep bir test yayına almaya çalışıyoruz. Biz bunları düşüneduralım… Kullanıcılar gerçekten ne istiyor?

Yeni ana sayfa tasarımına geçeli çok uzun bir süre olmadı. Yeni tasarımımızı teste tabii tutarak geçsek de aslında bizim görmediğimiz bir eksik varmış, bunu bir süre fark edemedik. Ama sonra baktığımızda sitedeki CTA butonlarımızın ana sayfadakiyle uyuşmadığını gördük. Öncesine baktığımızda bir kaç kez daha test etmiştik. “Bir sefer daha test edelim!” deyip yine bir hipotez oluşturup butonu test ettik. Beklediğimiz sonuçlar aslında çok yüksek değildi. Ta ki sonuçlara bakana kadar.

Yaptığımız çalışmaya bakalım;

Şöyle düşündük; şu anki arkaplan fotoğrafıyla butonumuz birbirini kapatıyordu. Kullanıcıyı harekete geçirecek bir renk ve yazı değildi. İlk önce rengi açalım ve gerçekten CTA butonu olsun dedik, sonrasında da harekete geçirecek bir yazı yazalım dedik. Bunu da Search & Book olarak düşündük.

Ana sayfada bir tane buton var. Kullanıcı aramak istediğinde başka tıklayabileceği buton yok. Bu yüzden sonuçlarını biz çok farklı beklemiyorduk. Peki gerçekten sonuçlar ne alemdeydi?

Bir de diğer sonuçlarımıza bakarsak;

Revenue %1,42
İşlem sayısı %1,02
Dönüşüm oranı %1,02
Ortalama sipariş tutarı %1,38 oranında arttı.

Biz her ne kadar yaptığımız testlerle kullanılabilirliği arttırsak da kullanıcılar bizden psikolojisini etkileyen testler istiyor. Biz de bu testimizde renk değiştirerek satışların arttığına şahit olduk. :)