Bir test, bir versiyonun diğerinden daha yüksek bir dönüşüm oranı göstermesiyle bitebilir, ama birkaç bin ziyaretçiden oluşturulmuş iki rakam arasındaki küçük bir fark, hiçbir versiyon gerçekten daha iyi olmasa bile sıradan günlük değişkenlik yüzünden kolayca ortaya çıkabilir. Hiçbir zaman gerçek olmamış bir farkın gücüne dayanarak bir değişikliği yaymak, testin var olma amacının tamamını boşa harcar.
Bu ders, yerel bir markanın bir testin kendi sonucunun anlamlı olup olmadığına, ona göre hareket etmeden önce karar vermek için kullandığı yöntemi verir. Bunu Cedar & Co.'nun kendi çevrimiçi mağazasına, temel tişört stili için iki ürün açıklaması versiyonu arasındaki küçük bir farka karar vererek uygulayacaksınız; çünkü tüm ürün grubuna bir değişikliği yayan stoğa üretim yapan bir markanın, farkın gerçek olduğunu, sadece bir tarafa düşen bir yazı tura olmadığını bilmesi gerekir.
İhtiyacınız olan: Ders 2.2'den, adil bir trafik bölünmesi ve test dönemiyle tek değişkenli bir test kurma fikri, arka plan olarak faydalıdır ama zorunlu değildir.
Bu dersin sonunda şunları yapabileceksiniz:
Bu derste ele alınmayan: bir testin kendi kontrolünü ve trafik bölünmesini kurmak (Ders 2.2), veya bol trafik alan ama genel olarak zayıf dönüşen bir sayfayı teşhis etmek (Ders 2.4). Bu ders yalnızca tamamlanmış bir testin sonucunun nasıl değerlendirileceğini öğretir.
| Terim | Anlamı |
|---|---|
| İstatistiksel gürültü | Bir dönüşüm oranındaki, ne bir test varyantının ne de diğerinin neden olduğu ve adil bir testin ortalamasını almaya çalıştığı, günlük veya ziyaretçiden ziyaretçiye rastgele değişkenlik. |
| Anlamlı fark | İki varyantın kendi sonuçları arasında, gerçek olarak güvenilecek kadar büyük, sadece gürültü olmayan bir fark. |
| Test varyantı | Bir testte karşılaştırılan bir sayfanın iki veya daha fazla rakip versiyonundan biri. |
| Ürün sayfası dönüşüm oranı | Bir ürün sayfasının kendi tekil ziyaretçilerinden satın alma işlemini tamamlayanların, aynı dönemde sayılan tüm tekil ziyaretçilere oranı. |
| Trafik hacmi | Bir ürün sayfasının veya bir test varyantının belirtilen bir dönemde aldığı tekil ziyaretçi sayısı. |
| Yönlü sonuç | Bir varyantın daha iyi performans gösterdiğine işaret eden, ama henüz anlamlı denecek kadar büyük veya yeterince desteklenmemiş bir fark. |
| Test dönemi | Bir testin sonucu okunmadan önce çalıştığı sabit süre, önceden kararlaştırılmış ve yarıda uzatılmamış ya da kısaltılmamış. |
Her biri 20.000 ziyaretçiden oluşturulmuş iki varyant arasındaki %0,3 puanlık bir fark, her biri yalnızca 200 ziyaretçiden oluşturulmuş iki varyant arasındaki aynı %0,3 puanlık farktan çok daha muhtemelen gerçek bir farktır, çünkü küçük bir örneklem, sıradan günlük değişkenliğin sonucu kendi başına bu kadar sallamasına izin verir.
| Neyin değişebileceği | Karşılaşacağınız biçimler | Sizin için neden önemli |
|---|---|---|
| İş modeli | Cedar & Co. gibi kalıcı ürün grubuna kazanan bir versiyonu yaymayı planlayan stoğa üretim yapan yerel bir marka, taahhütte bulunmadan önce açıkça anlamlı bir fark talep etmelidir, çünkü karar o sayfanın her gelecekteki ziyaretçisini etkiler. Sınırlı stoklu tek seferlik bir stili test eden sipariş üzerine üretim yapan bir marka, daha fazla veri toplamaya yetecek zaman veya stok yoksa daha küçük bir yönlü sonucu kabul edebilir. | Bir karar için gereken kesinlik düzeyi, sonucunun ne kadar geniş ve ne kadar süre uygulanacağına uymalıdır. |
| Trafik hacmi | Yüksek trafikli amiral gemisi bir stil hızla büyük bir örneklem toplar ve daha erken daha küçük bir farka güvenebilir. Daha düşük trafikli bir stil, sonuca güvenmeden önce ya daha uzun bir test dönemine ya da daha büyük bir gerekli farka ihtiyaç duyar. | Daha düşük trafik bir testi imkânsız yapmaz; sonuca güvenmeden önce gereken fark büyüklüğünü veya test süresini değiştirir. |
| Pazar | Tek bir ülke içinde test yapan yerel bir marka, çok ülkeli bir testin getirdiği, karşılaştırmaya kendi gürültüsünü ekleyebilecek para birimi veya kargo farkları gibi ek değişkenlikten kaçınır. | Tek pazarlı bir testin kendi sonucu, aynı anda birden fazla pazara yayılan bir testten biraz daha kolay temiz bir şekilde değerlendirilir. |
| Ürün ailesi | Tişört gibi sık sık satın alınan temel bir stil, bir ila iki hafta içinde bir farkı değerlendirmeye yetecek kadar ziyaret üretir. Daha az sıklıkla satın alınan bir ürün ailesi, benzer büyüklükte bir örneklem toplamak için birkaç hafta gerektirebilir. | Güvenilir bir örneklem üreten test dönemi, her şey için tek bir sabit uzunluk yerine, ürün ailesinin normalde ne sıklıkla satın alındığına uymalıdır. |
Kendi tahmininden stoğa üretim yaparak kendi çevrimiçi mağazasını yöneten yerel bir marka olan Cedar & Co., daha kısa, madde işaretli bir ürün açıklamasının, temel tişört stili için mevcut paragraf tarzı açıklamasından daha iyi dönüşüp dönüşmediğini test eder. Her iki varyant da, tam olarak Ders 2.2'nin yönteminde kurulduğu gibi, eşit bir trafik bölünmesiyle aynı iki haftalık dönem boyunca çalıştı.
Testin sonunda, kontrol (paragraf açıklaması) %2,0 dönüşüm oranı, test varyantı (madde işaretli açıklama) ise %2,3 dönüşüm oranı gösterir; her biri iki hafta boyunca haftada 1.000 ziyaretçiden oluşturulmuştur.
Hesaplanan rakamBu trafik hacminde 2.000 ziyaretçiden yalnızca 6 ekstra satın alma farkı, sıradan günlük değişkenliğin kendi başına üretebileceği aralığa yeterince yakındır; bu yüzden Cedar & Co. bunu daha uzun bir testi hak eden yönlü bir sonuç olarak ele alır, hemen yayılmayı hak eden anlamlı bir fark olarak değil.
Test varyantının dönüşüm oranının yalnızca birkaç yüz ziyaretçiden oluşturulmuş bir yüzde puanının küçük bir kısmı kadar öne geçtiğini gören ve kazanan açıklamayı hemen gruptaki her stile uygulayan bir ekip, küçük, düşük trafikli bir dalgalanmayı kanıtlanmış kanıtla karıştırmıştır. Bu hatanın maliyeti, marka zaten kanıta dayalı bir iyileştirme yaptığına inanırken, hiçbir şey yapmayabilecek, hatta küçük testin gösterdiği gibi görünenin sessizce tersini yapabilecek bir değişikliği her yere yaymaktır.
Bir test bittiğinde, sadece hangi rakamın daha yüksek olduğuna bakmayın; farkın ne kadar büyük olduğuna ve kaç ziyaretçinin onu ürettiğine bakın. Küçük bir sayıdan gelen minik bir fark, hiçbir versiyon gerçekten daha iyi olmasa bile tesadüfen ortaya çıkabilir. Büyük bir ziyaretçi sayısından gelen net bir fark, gerçek olma ihtimali çok daha yüksektir. Fark ve trafik her ikisi de küçükse, dürüst cevap genellikle "henüz net değil"dir, "kazananımız var" değil, ve herhangi biri ona göre hareket etmeden önce testin daha uzun süre çalışması gerekir.
Cedar & Co.'nun pazarlama lideri, madde işaretli açıklamanın %2,3 dönüşüm oranını paragraf açıklamasının %2,0'ına karşı görür ve "zaten kazanıyor" olduğu için madde işaretli formatı gruptaki her ürün sayfasına hemen uygulamak ister.
Cedar & Co. mevcut farka dayanarak madde işaretli açıklamayı bu hafta tüm ürün grubuna yaymalı mı? Cevabı açmadan önce karar verin.
Hayır. Varyant başına yalnızca 2.000 ziyaretçiden gelen %0,3 puanlık fark yönlü bir sonuçtur, henüz anlamlı bir fark değildir; Cedar & Co. herhangi bir şeyi yaymadan önce testi uzatmalıdır.
1. Toplanan trafik hacmine göre fark büyüklüğü, sıradan değişkenliğin üretebileceği aralığın içindedir, bu yüzden henüz kendi başına yeterince güçlü bir kanıt değildir. 2. Testi uzatmak, çok az ek maliyetle trafiği ikiye katlar, bu farkın kalıcı olup olmadığını veya sıfıra doğru daralıp daralmadığını öğrenmenin ucuz bir yoludur. 3. Yönlü bir sonuca dayanarak tüm gruba bir değişikliği yaymak, hiçbir zaman gerçek olmamış bir iyileştirmeyi testin kendisinden çok daha büyük bir ölçekte uygulama riski taşır.
Sipariş A'nın tişörtü parça başına 19,90 ABD doları mağaza fiyatı taşır (docs/02 bölüm 7); Cedar & Co.'nun kendi yerel tişörtü kendi pazarında karşılaştırılabilir bir fiyattan satılır. Cedar & Co., madde işaretli açıklamanın gerçek bir %0,3 puanlık artış eklediğine inanarak yaysaydı, ama daha fazla trafik toplandığında gerçek etkinin sıfır olduğu ortaya çıksaydı:
Yanlış bir artış tarafından sessizce şişirilen bir tahmin ilk günde başarısız olmaz; her hafta gerçek nedenini izlemek, daha uzun bir testin alacağı iki ekstra haftadan daha zor olan küçük, tekrarlanan bir açık üretir.
T23-C02 Dijital analitik ve test çalışma sayfasının "Anlamlılık kontrolü" sayfasını kullanın. Her tamamlanmış test için, her varyantın kendi dönüşüm oranını ve trafik hacmini kaydedin ve sayfanın farkı hesaplamasına ve toplanan trafiğe göre anlamlı sayılacak kadar büyük olup olmadığını işaretlemesine izin verin. Yukarıdaki Cedar & Co. örneğiyle başlayın, ardından kendi testinizi ekleyin.
[Dijital analitik ve test çalışma sayfasını indirin](../../templates/T23-C02-digital-analytics-and-testing-worksheet.xlsx)
Dijital analitik ve test çalışma sayfası dosyasını indirin (Excel)
1. Aynı %0,3 puanlık fark, varyant başına 20.000 ziyaretçiden geldiğinde neden varyant başına 200 ziyaretçiden geldiğinden daha güvenilirdir?
2. Cedar & Co.'nun pazarlama lideri, test varyantı 'zaten kazanıyor' olduğu için bir değişikliği hemen yaymak istiyor. Bu akıl yürütmedeki kusur nedir?
3. Tamamlanmış bir test henüz açıkça anlamlı olmayan küçük, düşük trafikli bir fark gösterdiğinde Cedar & Co. ne yapmalıdır?
| TR | EN | AR | FR | Anlamı |
|---|---|---|---|---|
| İstatistiksel gürültü | Statistical noise | التشويش الإحصائي | Bruit statistique | Bir dönüşüm oranındaki, ne bir test varyantının ne de diğerinin neden olduğu ve adil bir testin ortalamasını almaya çalıştığı, günlük veya ziyaretçiden ziyaretçiye rastgele değişkenlik. |
| Anlamlı fark | Meaningful gap | فارق ذو دلالة | Écart significatif | İki varyantın kendi sonuçları arasında, gerçek olarak güvenilecek kadar büyük, sadece gürültü olmayan bir fark. |
| Test varyantı | Test variant | متغيّر الاختبار | Variante testée | Bir testte karşılaştırılan bir sayfanın iki veya daha fazla rakip versiyonundan biri. |
| Ürün sayfası dönüşüm oranı | Product-page conversion rate | معدل تحويل صفحة المنتج | Taux de conversion de la page produit | Bir ürün sayfasının kendi tekil ziyaretçilerinden satın alma işlemini tamamlayanların, aynı dönemde sayılan tüm tekil ziyaretçilere oranı. |
| Trafik hacmi | Traffic volume | حجم الزيارات | Volume de trafic | Bir ürün sayfasının veya bir test varyantının belirtilen bir dönemde aldığı tekil ziyaretçi sayısı. |
| Yönlü sonuç | Directional result | نتيجة اتجاهية | Résultat directionnel | Bir varyantın daha iyi performans gösterdiğine işaret eden, ama henüz anlamlı denecek kadar büyük veya yeterince desteklenmemiş bir fark. |
| Test dönemi | Test period | فترة الاختبار | Période de test | Bir testin sonucu okunmadan önce çalıştığı sabit süre, önceden kararlaştırılmış ve yarıda uzatılmamış ya da kısaltılmamış. |
Bir sonraki derste, bir sonraki adımda zaten bol trafik alan ama zayıf dönüşen bir sayfayı, ürünün kendisinin sorun olduğu sonucuna hemen atlamadan nasıl teşhis edeceğinizi öğreneceksiniz. Kurs haritasına dön