A/B Testi Nasıl Yapılır? Küçük Ürünler İçin Gerçekçi Rehber

A/B testi kavram olarak basittir: kullanıcıların yarısına A versiyonunu, yarısına B'yi gösterirsiniz; hangisi hedef metriği daha çok oynatıyorsa o kazanır.

Basit kavramın etrafında ise iki yaygın hastalık var: büyük şirket ritüellerini küçük ürüne kopyalamak ve anlamlı örneklem olmadan "sonuç" ilan etmek. Bu rehber özellikle trafiği sınırlı ürünler için yazıldı.

Önce dürüst matematik: testiniz mümkün mü?

A/B testinin gizli ön şartı hacimdir. Kabaca: küçük bir iyileşmeyi (%2-3 fark) güvenle tespit etmek, varyant başına binlerce dönüşüm olayı ister.

Ayda 500 ziyaretçisi olan bir ürün, buton rengi testinden asla anlamlı sonuç alamaz; aldığını sananlar, gürültüyü sonuç diye okur. Bu kötü haber değil; sizi doğru araca yönlendiren haberdir:

• Yüksek trafikli noktanız varsa (açılış sayfası, onboarding ilk adımı) → A/B orada çalışabilir.
• Trafik azsa → büyük farklar test edin (iki ayrı değer önerisi gibi), küçük ayarları değil. Büyük fark, küçük örneklemde de görünür.
• Çok azsa → aşağıdaki alternatiflere geçin.

Küçük ürün için test disiplini (5 kural)

1. Hipotezi yazın, sonra test edin: "X'i değiştirirsek Y metriği artar, çünkü Z." Çünkü'sü olmayan test, kumar.
2. Tek değişken: Aynı anda başlığı, görseli ve fiyatı değiştirdiyseniz, kazananın neden kazandığını asla bilemezsiniz.
3. Süreyi baştan belirleyin: "Anlamlı olana kadar bekleyelim" yaklaşımı, gürültünün şansına sonuç ilan etmenin en bilimsel görünümlü yoludur. Takvimi ve örneklem hedefini baştan yazın.
4. Tam haftalarla ölçün: Salı kullanıcısı ile pazar kullanıcısı farklı davranır; test süresi haftanın tüm günlerini dengeli kapsamalı.
5. Kaybeden testi de arşivleyin: "İşe yaramadı" bilgisi, ekibin aynı fikri altı ay sonra yeniden denemesini önler. Karar günlüğünüze yazın.

Trafik yetmiyorsa: A/B'nin alternatifleri

A/B testi, öğrenme yollarından sadece biri. Küçük ölçekte genelde daha verimli olanlar:

• Ardışık test (before/after): Değişikliği herkese açın, önceki dönemle karşılaştırın. Mevsimsellik gürültüsü var ama büyük etkileri gösterir.
• Kullanıcı testi (5 kişi): Nicel yerine nitel: 5 kullanıcının ekran başında sesli düşünmesi, yüzlerce oturumluk veriden daha hızlı "neden"i verir.
• Sahte kapı (fake door): Özelliği yapmadan butonunu koyun; tıklayana "çok yakında" deyin. Dozunda ve dürüst kullanıldığında talep ölçümünün en ucuz yolu.
• Anlık anket: Kritik noktada tek soru: "Bu adımda sizi ne durdurdu?" Cevaplar, hangi A/B'nin yapılmaya değer olduğunu söyler.

Doğru sıralama çoğu zaman şudur: nitel yöntemlerle neyi test edeceğini bul; A/B ile (hacim varsa) doğrula.

Sık sorulan sorular

Test için hangi araç gerekli?

Başlangıç için karmaşık deney platformu şart değil: çoğu analitik araç ve bazı hosting katmanları basit bölünmüş test sunar. Araçtan önce disiplin gelir: hipotez, tek değişken, süre.

İstatistiksel anlamlılık ne demek?

Kabaca: gözlenen farkın şans eseri olma ihtimalinin yeterince düşük olması. Pratik çeviri: örneklem küçükse, gördüğünüz fark büyük olasılıkla şanstır; testin söylediği tek dürüst cümle "daha fazla veri lazım"dır.

Her şeyi test etmeli mi?

Hayır. Test, kararsızlığın pahalı olduğu ve verinin karar verebileceği yerler içindir. Vizyon kararları (ürün kime hizmet ediyor?) A/B ile verilmez. Verilirse, ürünü kullanıcı ortalamasına teslim etmiş olursunuz.

Test kaç gün sürmeli?

En az bir tam hafta, tercihen iki. Kısa testler günlük davranış farklarını (hafta içi/hafta sonu) yakalamaz ve erken bitirme, gürültüyü sonuç sanma riskini büyütür. Süreyi trafiğinize göre önceden hesaplayıp sabitleyin, sonuçlara bakarak uzatıp kısaltmayın.

Huniyle A/B testi nasıl birlikte kullanılır?

Dönüşüm hunisi en çok sızdıran adımı gösterir; A/B testi o adıma odaklı değişikliği doğrular. Rastgele bir yeri test etmek yerine önce huniden en büyük fırsatı bulup sonra test kurmak, sınırlı trafiği en verimli yere harcatır.

---

Bu rehber, sınırlı trafikli gerçek ürünlerde deney yapma deneyimimden derlenmiştir.