Un test peut se terminer avec une version affichant un taux de conversion plus élevé que l'autre, mais un petit écart entre deux chiffres construits à partir de quelques milliers de visiteurs peut facilement apparaître même quand aucune version n'est réellement meilleure, simplement par variation quotidienne ordinaire. Déployer un changement sur la foi d'un écart qui n'a jamais été réel gaspille tout l'intérêt même de tester.
Cette leçon donne la méthode qu'une marque domestique utilise pour décider si le propre résultat d'un test est significatif avant d'agir dessus. Vous l'appliquerez à la propre boutique en ligne de Cedar & Co., en jugeant un petit écart entre deux versions de description produit pour son style de T-shirt de base, car une marque en fabrication sur stock déployant un changement sur toute sa gamme doit savoir que l'écart est réel, non un pile ou face qui est simplement tombé d'un côté.
Vous avez besoin de : l'idée de mettre en place un test à une seule variable avec une répartition du trafic équitable et une période de test, de la leçon 2.2, est utile en arrière-plan mais non requise.
À la fin de cette leçon, vous pourrez :
Non couvert ici : mettre en place le propre contrôle et la répartition du trafic d'un test (leçon 2.2), ou diagnostiquer une page qui reçoit beaucoup de trafic mais convertit mal dans l'ensemble (leçon 2.4). Cette leçon enseigne uniquement comment juger le résultat d'un test terminé.
| Terme | Signification |
|---|---|
| Bruit statistique | Variation aléatoire quotidienne ou de visiteur à visiteur dans un taux de conversion, non causée par l'une ou l'autre variante de test, et qu'un test équitable cherche à moyenner. |
| Écart significatif | Une différence entre les propres résultats de deux variantes assez grande pour être digne de confiance en tant que réelle, non simplement du bruit. |
| Variante testée | L'une des deux versions concurrentes ou plus d'une page comparées dans un test. |
| Taux de conversion de la page produit | La part des propres visiteurs uniques d'une page produit qui finalisent un achat, sur l'ensemble des visiteurs uniques comptés sur la même période. |
| Volume de trafic | Le nombre de visiteurs uniques qu'une page produit, ou une variante de test, reçoit sur une période donnée. |
| Résultat directionnel | Un écart qui indique qu'une variante performe mieux, sans être encore assez grand ou assez étayé pour être qualifié de significatif. |
| Période de test | La durée fixe pendant laquelle un test s'exécute avant que son résultat ne soit lu, convenue à l'avance et non prolongée ni raccourcie en cours de route. |
Un écart de 0,3 point de pourcentage entre deux variantes construites chacune à partir de 20 000 visiteurs est bien plus probablement une réelle différence que le même écart de 0,3 point entre deux variantes construites chacune à partir de seulement 200 visiteurs, car un petit échantillon laisse la variation quotidienne ordinaire faire osciller le résultat de ce montant à elle seule.
| Ce qui peut varier | Les formes que vous rencontrez | Pourquoi cela compte pour vous |
|---|---|---|
| Modèle économique | Une marque domestique en fabrication sur stock comme Cedar & Co., prévoyant de déployer une version gagnante sur toute sa gamme permanente, devrait exiger un écart clairement significatif avant de s'engager, car la décision affecte chaque futur visiteur de cette page. Une marque en fabrication sur commande testant un style ponctuel à stock limité peut accepter un résultat directionnel plus modeste s'il n'y a simplement pas assez de temps ou de stock pour recueillir plus de données. | Le niveau de certitude requis pour une décision doit correspondre à l'ampleur et à la durée d'application de son résultat. |
| Volume de trafic | Un style phare à fort trafic recueille rapidement un large échantillon et peut faire confiance à un écart plus petit plus tôt. Un style à trafic plus faible nécessite soit une période de test plus longue, soit un écart requis plus grand avant de faire confiance au résultat. | Un trafic plus faible ne rend pas le test impossible ; il change la taille d'écart, ou la durée du test, nécessaire avant de faire confiance au résultat. |
| Marché | Une marque domestique testant au sein d'un seul pays évite la variation supplémentaire qu'un test multi-pays introduit, comme des différences de devise ou de livraison pouvant ajouter leur propre bruit à la comparaison. | Le propre résultat d'un test sur un seul marché est un peu plus facile à juger proprement qu'un test s'étendant sur plusieurs marchés à la fois. |
| Famille de produits | Un style de base fréquemment acheté comme un T-shirt génère assez de visites pour juger un écart en une à deux semaines. Une famille de produits achetée moins fréquemment peut nécessiter plusieurs semaines pour recueillir un échantillon de taille comparable. | La période de test produisant un échantillon fiable doit correspondre à la fréquence d'achat normale de la famille de produits, non une durée unique fixe pour tout. |
Cedar & Co., une marque domestique gérant sa propre boutique en ligne à partir d'une prévision en fabrication sur stock, teste si une description produit plus courte, à puces, convertit mieux que sa propre description existante en style paragraphe pour son style de T-shirt de base. Les deux variantes ont tourné pendant la même période de deux semaines avec une répartition du trafic égale, exactement comme mis en place selon la méthode de la leçon 2.2.
À la fin du test, le contrôle (description en paragraphe) affiche un taux de conversion de 2,0 % et la variante de test (description à puces) affiche un taux de conversion de 2,3 %, chacun construit à partir de 1 000 visiteurs par semaine sur deux semaines.
Le chiffre calculéUn écart de seulement 6 achats supplémentaires sur 2 000 visiteurs, à ce volume de trafic, se situe assez près de ce que la variation quotidienne ordinaire peut produire à elle seule pour que Cedar & Co. le traite comme un résultat directionnel méritant un test plus long, pas encore un écart significatif méritant un déploiement immédiat.
Une équipe qui voit le taux de conversion de la variante de test dépasser d'une fraction de point de pourcentage, construit à partir de seulement quelques centaines de visiteurs, et applique immédiatement la description gagnante à tous les styles de la gamme, a confondu une petite fluctuation à faible trafic avec une preuve établie. Le coût de cette erreur est de déployer partout un changement qui pourrait ne rien faire, voire faire discrètement le contraire de ce que le petit test semblait montrer, pendant que la marque croit avoir déjà réalisé une amélioration fondée sur des preuves.
Quand un test se termine, ne regardez pas seulement quel chiffre est le plus élevé ; regardez la taille de l'écart et combien de visiteurs l'ont produit. Un écart minuscule venant d'un petit nombre de visiteurs peut arriver par hasard même quand aucune version n'est réellement meilleure. Un écart clair venant d'un grand nombre de visiteurs est bien plus probablement réel. Si l'écart et le trafic sont tous deux petits, la réponse honnête est souvent « pas encore clair », non « nous avons notre gagnant », et le test devrait tourner plus longtemps avant que quiconque n'agisse dessus.
Le responsable marketing de Cedar & Co. voit le taux de conversion de 2,3 % de la description à puces contre les 2,0 % de la description en paragraphe et veut appliquer immédiatement le format à puces à chaque page produit de la gamme, puisque « c'est déjà gagnant ».
Cedar & Co. devrait-elle déployer la description à puces sur toute la gamme cette semaine, sur la base de l'écart actuel ? Décidez avant d'ouvrir la réponse.
Non. L'écart de 0,3 point, venant de seulement 2 000 visiteurs par variante, est un résultat directionnel, pas encore un écart significatif ; Cedar & Co. devrait prolonger le test avant de déployer quoi que ce soit.
1. La taille de l'écart, relative au volume de trafic recueilli, se situe dans la fourchette que la variation ordinaire pourrait produire, ce n'est donc pas encore une preuve assez forte en soi. 2. Prolonger le test double le trafic à peu de frais supplémentaires, un moyen bon marché de découvrir si l'écart tient bon ou se réduit vers zéro. 3. Déployer un changement sur toute la gamme sur la foi d'un résultat directionnel risque d'appliquer une amélioration qui n'a jamais été réelle, à une échelle bien plus grande que le test lui-même.
Le T-shirt de la commande A porte un prix boutique de 19,90 USD par pièce (docs/02 section 7) ; le propre T-shirt domestique de Cedar & Co. est fixé à un prix comparable sur son propre marché. Si Cedar & Co. déployait la description à puces en croyant qu'elle ajoute une réelle hausse de 0,3 point de pourcentage, mais que l'effet réel s'avère nul une fois plus de trafic recueilli :
Une prévision discrètement surestimée par une fausse hausse n'échoue pas le premier jour ; elle produit un petit manque récurrent chaque semaine, plus difficile à retracer jusqu'à sa cause réelle que les deux semaines supplémentaires qu'aurait coûté un test plus long.
Utilisez la fiche T23-C02 d'analytique numérique et de tests, feuille « Vérification de significativité ». Pour chaque test terminé, consignez le propre taux de conversion et le volume de trafic de chaque variante, et laissez la feuille calculer l'écart et signaler s'il est assez grand, relativement au trafic recueilli, pour être traité comme significatif. Commencez par l'exemple de Cedar & Co. ci-dessus, puis ajoutez votre propre test.
[Télécharger la fiche d'analytique numérique et de tests](../../templates/T23-C02-digital-analytics-and-testing-worksheet.xlsx)
Télécharger Fiche d'analytique numérique et de tests (Excel)
1. Pourquoi le même écart de 0,3 point de pourcentage est-il plus digne de confiance quand il vient de 20 000 visiteurs par variante que quand il vient de 200 visiteurs par variante ?
2. Le responsable marketing de Cedar & Co. veut déployer un changement immédiatement parce que la variante de test est « déjà gagnante ». Quel est le défaut de ce raisonnement ?
3. Que devrait faire Cedar & Co. quand un test terminé montre un petit écart à faible trafic qui n'est pas encore clairement significatif ?
| FR | EN | AR | TR | Signification |
|---|---|---|---|---|
| Bruit statistique | Statistical noise | التشويش الإحصائي | İstatistiksel gürültü | Variation aléatoire quotidienne ou de visiteur à visiteur dans un taux de conversion, non causée par l'une ou l'autre variante de test, et qu'un test équitable cherche à moyenner. |
| Écart significatif | Meaningful gap | فارق ذو دلالة | Anlamlı fark | Une différence entre les propres résultats de deux variantes assez grande pour être digne de confiance en tant que réelle, non simplement du bruit. |
| Variante testée | Test variant | متغيّر الاختبار | Test varyantı | L'une des deux versions concurrentes ou plus d'une page comparées dans un test. |
| Taux de conversion de la page produit | Product-page conversion rate | معدل تحويل صفحة المنتج | Ürün sayfası dönüşüm oranı | La part des propres visiteurs uniques d'une page produit qui finalisent un achat, sur l'ensemble des visiteurs uniques comptés sur la même période. |
| Volume de trafic | Traffic volume | حجم الزيارات | Trafik hacmi | Le nombre de visiteurs uniques qu'une page produit, ou une variante de test, reçoit sur une période donnée. |
| Résultat directionnel | Directional result | نتيجة اتجاهية | Yönlü sonuç | Un écart qui indique qu'une variante performe mieux, sans être encore assez grand ou assez étayé pour être qualifié de significatif. |
| Période de test | Test period | فترة الاختبار | Test dönemi | La durée fixe pendant laquelle un test s'exécute avant que son résultat ne soit lu, convenue à l'avance et non prolongée ni raccourcie en cours de route. |
Vous apprendrez ensuite à diagnostiquer une page qui reçoit déjà beaucoup de trafic mais convertit mal, sans conclure directement que le produit lui-même est le problème. Retour à la carte du cours