يمكن أن ينتهي اختبار بإظهار نسخة معدل تحويل أعلى من الأخرى، لكن فارقًا صغيرًا بين رقمين مبنيين من بضعة آلاف من الزوار يمكن أن يظهر بسهولة حتى عندما لا تكون أي نسخة أفضل فعليًا، لمجرد التباين اليومي العادي. تعميم تغيير بناءً على فارق لم يكن حقيقيًا قط يهدر الغاية كلها من الاختبار من الأساس.
يقدّم هذا الدرس الطريقة التي تستخدمها علامة محلية للحكم على ما إذا كانت نتيجة اختبار حقيقية قبل التصرف بناءً عليها. ستطبّقها على متجر Cedar & Co. الإلكتروني الخاص، بالحكم على فارق صغير بين نسختي وصف منتج لطراز التي شيرت الأساسي الخاص بها، لأن علامة مصنّعة حسب المخزون تعمم تغييرًا عبر نطاقها الكامل تحتاج إلى معرفة أن الفارق حقيقي، لا رمية عملة صادف أن سقطت في اتجاه واحد.
تحتاج إلى: فكرة إعداد اختبار متغيّر واحد بتقسيم زيارات عادل وفترة اختبار، من الدرس 2.2، مفيدة كخلفية لكنها غير مطلوبة.
بنهاية هذا الدرس ستكون قادرًا على:
لا يغطيه هذا الدرس: إعداد الضبط وتقسيم الزيارات الخاصين باختبار ما (الدرس 2.2)، أو تشخيص صفحة تحصل على زيارات كثيرة لكن تحويلها الإجمالي ضعيف (الدرس 2.4). يعلّم هذا الدرس فقط كيفية الحكم على نتيجة اختبار مكتمل.
| المصطلح | المعنى |
|---|---|
| التشويش الإحصائي | تباين عشوائي يومي أو من زائر لآخر في معدل التحويل لا يسببه أي من متغيّري الاختبار، ويحاول اختبار عادل حساب متوسطه بعيدًا. |
| فارق ذو دلالة | فرق بين نتائج متغيّرين يكفي حجمه للثقة به كحقيقي، لا مجرد تشويش. |
| متغيّر الاختبار | إحدى النسختين المتنافستين أو أكثر من صفحة تُقارَن في اختبار. |
| معدل تحويل صفحة المنتج | نصيب زوار صفحة المنتج الفريدين الخاصين بها الذين يُتمّون عملية شراء، من إجمالي الزوار الفريدين المُحتسَبين في الفترة نفسها. |
| حجم الزيارات | عدد الزوار الفريدين الذين تستقبلهم صفحة منتج، أو متغيّر اختبار، في فترة محددة. |
| نتيجة اتجاهية | فارق يشير إلى أن أحد المتغيرين أفضل أداءً، دون أن يكون بعد كبيرًا أو مدعومًا بما يكفي لوصفه بذي دلالة. |
| فترة الاختبار | الطول الثابت للوقت الذي يستمر فيه الاختبار قبل قراءة نتيجته، متفق عليه مسبقًا وغير قابل للتمديد أو التقصير في منتصفه. |
فارق قدره 0.3 نقطة مئوية بين متغيرين بُني كل منهما من 20,000 زائر أكثر احتمالًا بأن يكون فرقًا حقيقيًا من الفارق نفسه 0.3 نقطة بين متغيرين بُني كل منهما من 200 زائر فقط، لأن عينة صغيرة تتيح للتباين اليومي العادي أن يُحرّك النتيجة بهذا القدر من تلقاء نفسه.
| ما يمكن أن يختلف | الأشكال التي تصادفها | لماذا يهمك ذلك |
|---|---|---|
| نموذج العمل | علامة محلية مصنّعة حسب المخزون مثل Cedar & Co.، تخطط لتعميم نسخة فائزة عبر نطاقها القائم بالكامل، ينبغي أن تطلب فارقًا ذا دلالة واضحة قبل الالتزام، لأن القرار يؤثر على كل زائر مستقبلي لتلك الصفحة. أما علامة مصنّعة حسب الطلب تختبر طرازًا لمرة واحدة بمخزون محدود فقد تقبل نتيجة اتجاهية أصغر إذا لم يتوفر وقت أو مخزون كافٍ لجمع مزيد من البيانات. | يجب أن يتناسب مقدار اليقين المطلوب لقرار مع مدى اتساع وطول المدة التي ستُطبَّق فيها نتيجته. |
| حجم الزيارات | يجمع طراز رائد عالي الزيارات عينة كبيرة بسرعة ويمكنه الثقة بفارق أصغر عاجلًا. أما طراز منخفض الزيارات فيحتاج إما فترة اختبار أطول أو فارقًا مطلوبًا أكبر قبل الثقة بالنتيجة. | انخفاض الزيارات لا يجعل الاختبار مستحيلًا؛ بل يغيّر حجم الفارق اللازم، أو مدة الاختبار اللازمة، قبل الثقة بالنتيجة. |
| السوق | تتجنب علامة محلية تختبر داخل بلد واحد التباين الإضافي الذي يُدخله اختبار عبر عدة بلدان، كفروق العملة أو الشحن التي يمكن أن تضيف تشويشها الخاص إلى المقارنة. | يسهل نسبيًا الحكم على نتيجة اختبار سوق واحد مقارنة باختبار يمتد عبر عدة أسواق في آن واحد. |
| فئة المنتج | يولّد طراز أساسي يُشترى كثيرًا كالتي شيرت زيارات كافية للحكم على فارق خلال أسبوع أو أسبوعين. قد تحتاج فئة منتج تُشترى أقل تكرارًا عدة أسابيع لجمع عينة بحجم مماثل. | يجب أن تتناسب فترة الاختبار التي تنتج عينة موثوقة مع مدى تكرار شراء فئة المنتج عادة، لا طولًا ثابتًا واحدًا لكل شيء. |
تختبر Cedar & Co.، وهي علامة محلية تدير متجرها الإلكتروني الخاص من توقع مصنّع حسب المخزون، ما إذا كان وصف منتج أقصر بنقاط يحوّل بشكل أفضل من وصفها الحالي على شكل فقرة لطراز تي شيرتها الأساسي. عملت النسختان للفترة نفسها لمدة أسبوعين بتقسيم زيارات متساوٍ، تمامًا كما أُعِدَّ في طريقة الدرس 2.2.
في نهاية الاختبار، تُظهر نسخة الضبط (وصف الفقرة) معدل تحويل 2.0% وتُظهر متغيّر الاختبار (وصف النقاط) معدل تحويل 2.3%، مبنيَين كل منهما من 1,000 زائر أسبوعيًا على مدى أسبوعين.
الرقم المحسوبفارق قدره 6 عمليات شراء إضافية فقط من أصل 2,000 زائر، عند هذا الحجم من الزيارات، يقع ضمن ما يمكن أن ينتجه التباين اليومي العادي من تلقاء نفسه بما يكفي لأن تعامله Cedar & Co. كنتيجة اتجاهية تستحق اختبارًا أطول، لا فارقًا ذا دلالة يستحق التعميم فورًا.
فريق يرى معدل تحويل متغيّر الاختبار متقدمًا بجزء من نقطة مئوية، مبني من بضع مئات فقط من الزوار، ويعمم فورًا وصف الفوز على كل طراز في النطاق، يكون قد أخطأ باعتبار تذبذب صغير منخفض الزيارات دليلًا مثبتًا. تكلفة هذا الخطأ هي تعميم تغيير في كل مكان قد لا يفعل شيئًا، أو حتى يفعل عكس ما بدا أن الاختبار الصغير يُظهره بصمت، بينما تعتقد العلامة أنها أجرت بالفعل تحسينًا مبنيًا على أدلة.
عند انتهاء اختبار، لا تنظر فقط إلى أي رقم أعلى؛ انظر إلى حجم الفارق وعدد الزوار الذي أنتجه. يمكن أن يحدث فارق ضئيل من عدد قليل من الزوار بمحض الصدفة حتى لو لم تكن أي نسخة أفضل فعليًا. فارق واضح من عدد كبير من الزوار أكثر احتمالًا بأن يكون حقيقيًا. إذا كان الفارق وعدد الزيارات صغيرين معًا، فالإجابة الصادقة غالبًا "ليست واضحة بعد"، لا "لدينا الفائز"، ويجب أن يستمر الاختبار مدة أطول قبل أن يتصرف أحد بناءً عليه.
يرى رئيس تسويق Cedar & Co. معدل تحويل وصف النقاط 2.3% مقابل وصف الفقرة 2.0% ويريد تطبيق صيغة النقاط على كل صفحة منتج في النطاق فورًا، لأن "الأمر فائز بالفعل".
هل يجب أن تعمّم Cedar & Co. وصف النقاط على النطاق بأكمله هذا الأسبوع، بناءً على الفارق الحالي؟ قرّر قبل فتح الإجابة.
لا. فارق 0.3 نقطة، من 2,000 زائر فقط لكل متغيّر، نتيجة اتجاهية، لا فارق ذو دلالة بعد؛ يجب أن تمدّد Cedar & Co. الاختبار قبل تعميم أي شيء.
1. يقع حجم الفارق، نسبةً إلى حجم الزيارات المجموع، ضمن ما يمكن أن ينتجه التباين العادي، فليس بعد دليلًا قويًا كافيًا بذاته. 2. يضاعف تمديد الاختبار الزيارات بتكلفة إضافية قليلة، وهي طريقة رخيصة لمعرفة ما إذا كان الفارق سيصمد أم يتقلص نحو الصفر. 3. يخاطر تعميم تغيير عبر النطاق بأكمله بناءً على نتيجة اتجاهية بتطبيق تحسّن لم يكن حقيقيًا قط، على نطاق أكبر بكثير من الاختبار نفسه.
يحمل تي شيرت الطلبية A سعر محل قدره 19.90 دولارًا للقطعة (docs/02 القسم 7)؛ يُسعَّر تي شيرت Cedar & Co. المحلي بشكل مماثل في سوقها الخاص. لو عمّمت Cedar & Co. وصف النقاط معتقدة أنه يضيف ارتفاعًا حقيقيًا قدره 0.3 نقطة مئوية، لكن الأثر الحقيقي تبيّن أنه صفر بمجرد جمع مزيد من الزيارات:
توقع مُبالَغ فيه بصمت بارتفاع وهمي لا يفشل في اليوم الأول؛ بل ينتج عجزًا صغيرًا متكررًا كل أسبوع يصعب تتبّع سببه الحقيقي أكثر من الأسبوعين الإضافيين اللذين كان سيكلفهما اختبار أطول.
استخدم ورقة عمل T23-C02 للتحليلات الرقمية والاختبار، صفحة "فحص الدلالة". لكل اختبار مكتمل، سجّل معدل تحويل كل متغيّر وحجم زياراته، ودَع الورقة تحسب الفارق وتُشير إلى ما إذا كان كبيرًا بما يكفي، نسبةً إلى الزيارات المجموعة، ليُعامَل كذي دلالة. ابدأ بمثال Cedar & Co. أعلاه، ثم أضف اختبارك الخاص.
[تنزيل ورقة عمل التحليلات الرقمية والاختبار](../../templates/T23-C02-digital-analytics-and-testing-worksheet.xlsx)
1. لماذا يكون الفارق نفسه 0.3 نقطة مئوية أكثر موثوقية عندما يأتي من عشرين ألف زائر لكل متغيّر مما عندما يأتي من 200 زائر لكل متغيّر؟
2. يريد رئيس تسويق Cedar & Co. تعميم تغيير فورًا لأن متغيّر الاختبار 'فائز بالفعل'. ما الخلل في هذا الاستدلال؟
3. ماذا يجب أن تفعل Cedar & Co. عندما يُظهر اختبار مكتمل فارقًا صغيرًا منخفض الزيارات ليس ذا دلالة واضحة بعد؟
| AR | EN | FR | TR | المعنى |
|---|---|---|---|---|
| التشويش الإحصائي | Statistical noise | Bruit statistique | İstatistiksel gürültü | تباين عشوائي يومي أو من زائر لآخر في معدل التحويل لا يسببه أي من متغيّري الاختبار، ويحاول اختبار عادل حساب متوسطه بعيدًا. |
| فارق ذو دلالة | Meaningful gap | Écart significatif | Anlamlı fark | فرق بين نتائج متغيّرين يكفي حجمه للثقة به كحقيقي، لا مجرد تشويش. |
| متغيّر الاختبار | Test variant | Variante testée | Test varyantı | إحدى النسختين المتنافستين أو أكثر من صفحة تُقارَن في اختبار. |
| معدل تحويل صفحة المنتج | Product-page conversion rate | Taux de conversion de la page produit | Ürün sayfası dönüşüm oranı | نصيب زوار صفحة المنتج الفريدين الخاصين بها الذين يُتمّون عملية شراء، من إجمالي الزوار الفريدين المُحتسَبين في الفترة نفسها. |
| حجم الزيارات | Traffic volume | Volume de trafic | Trafik hacmi | عدد الزوار الفريدين الذين تستقبلهم صفحة منتج، أو متغيّر اختبار، في فترة محددة. |
| نتيجة اتجاهية | Directional result | Résultat directionnel | Yönlü sonuç | فارق يشير إلى أن أحد المتغيرين أفضل أداءً، دون أن يكون بعد كبيرًا أو مدعومًا بما يكفي لوصفه بذي دلالة. |
| فترة الاختبار | Test period | Période de test | Test dönemi | الطول الثابت للوقت الذي يستمر فيه الاختبار قبل قراءة نتيجته، متفق عليه مسبقًا وغير قابل للتمديد أو التقصير في منتصفه. |
ستتعلم في الدرس التالي كيفية تشخيص صفحة تحصل بالفعل على زيارات كثيرة لكنها لا تزال تحوّل بشكل ضعيف، دون القفز إلى استنتاج أن المنتج نفسه هو المشكلة. العودة إلى خريطة الدورة