Une page produit peut être changée de nombreuses façons à la fois, une nouvelle photo, une description plus courte, une couleur de bouton différente, mais changer plusieurs choses ensemble puis comparer le résultat à l'ancienne page ne laisse aucun moyen de savoir quel changement a réellement causé un meilleur ou un moins bon résultat. Un test ne prouve quelque chose que si tout, sauf la seule chose testée, reste identique.
Cette leçon donne la méthode qu'une usine ou un détaillant utilise pour mettre en place un test équitable à une seule variable avant d'en tirer une quelconque conclusion. Vous l'appliquerez à la propre boutique d'usine en ligne de Delta Garments, en testant une nouvelle photo produit pour un T-shirt de type commande A en second choix face à la photo existante, car un test mêlant plus d'un changement ne peut honnêtement dire à personne lequel a fonctionné.
Vous avez besoin de : l'idée de lire correctement le propre taux de conversion de référence d'une page produit, de la leçon 2.1, est utile en arrière-plan mais non requise.
À la fin de cette leçon, vous pourrez :
Non couvert ici : juger si le résultat d'un test terminé est réel ou du bruit ordinaire (leçon 2.3), ou diagnostiquer une page qui reçoit déjà beaucoup de trafic mais convertit mal (leçon 2.4). Cette leçon enseigne uniquement comment mettre en place correctement un test avant qu'il ne s'exécute.
| Terme | Signification |
|---|---|
| Test à une seule variable | Un test dans lequel exactement un élément d'une page change entre le contrôle et la variante de test, si bien que tout écart de résultat peut être attribué à cet élément seul. |
| Variante testée | L'une des deux versions concurrentes ou plus d'une page comparées dans un test. |
| Condition de contrôle | Garder tout facteur, sauf la seule variable testée, identique entre les deux versions, afin que la comparaison isole cette seule variable. |
| Facteur confondant | Tout autre changement survenant en même temps qu'un test et qui pourrait aussi expliquer un changement dans le résultat. |
| Répartition du trafic | La façon dont les visiteurs entrants sont divisés entre la version de contrôle et la variante de test, généralement aussi près de l'égalité que possible. |
| Page en direct | La version d'une page réellement montrée à un visiteur pendant un test, que ce soit le contrôle ou la variante de test, décidée par la répartition du trafic. |
| Période de test | La durée fixe pendant laquelle un test s'exécute avant que son résultat ne soit lu, convenue à l'avance et non prolongée ni raccourcie en cours de route. |
Changer la photo et le prix en même temps, puis observer un taux de conversion plus élevé sur la nouvelle version, ne laisse aucun moyen de savoir si la photo, le prix, ou une combinaison des deux a produit le résultat, car deux explications se disputent désormais le même chiffre unique.
| Ce qui peut varier | Les formes que vous rencontrez | Pourquoi cela compte pour vous |
|---|---|---|
| Modèle économique | Une boutique d'usine en fabrication sur commande comme celle de Delta Garments teste un seul style à la fois, car le stock d'un style donné est limité et ne se répète pas indéfiniment. Un détaillant en fabrication sur stock gérant un style permanent peut exécuter un test plus long, puisque le même style reste disponible tout du long. | La période de test et la répartition du trafic doivent correspondre à la durée pendant laquelle le produit restera réellement en vente. |
| Marché | La boutique en ligne d'une marque exportatrice servant plusieurs pays à la fois devrait répartir le trafic séparément dans chaque pays si le comportement d'achat diffère selon le pays, plutôt que de regrouper tous les pays en un seul résultat combiné. | Regrouper des marchés différents dans un seul test peut cacher un résultat qui n'est vrai que dans l'un d'eux. |
| Volume de trafic | Une page à fort trafic quotidien peut atteindre une répartition fiable en quelques jours. Une page de boutique d'usine à trafic plus faible, comme celle en second choix de Delta Garments, nécessite une période de test plus longue pour recueillir assez de visites par variante pour que cela ait un sens. | Un trafic plus faible ne rend pas un test à une variable incorrect ; il allonge la période de test nécessaire à un résultat fiable. |
| Nombre de variantes testées | Tester deux versions divise le trafic en deux ; tester trois ou quatre options de photo à la fois divise le même trafic davantage, si bien que chaque variante recueille moins de visites sur la même période. | Tester davantage de variantes à la fois nécessite proportionnellement plus de trafic total, ou une période plus longue, pour garder chaque comparaison fiable. |
Delta Garments gère une petite boutique d'usine en ligne vendant des T-shirts de type commande A en second choix qui ne répondent pas à la norme d'exportation de Northline Apparel mais restent assez solides pour être vendus localement à un prix inférieur. L'équipe numérique veut savoir si une nouvelle photo produit sur mannequin convertit mieux que la photo studio simple existante.
Tout le reste sur la page reste exactement identique entre les deux versions : le même prix, la même description produit, la même mise en page, et la même période de deux semaines, avec les visiteurs entrants répartis à environ 50/50 entre la photo studio existante (le contrôle) et la nouvelle photo sur mannequin (la variante de test).
Le chiffre calculéUne répartition égale, maintenue pendant les deux semaines entières sans ajuster le ratio en cours de route, est ce qui permet ensuite de comparer le propre taux de conversion de chaque variante sur un pied d'égalité ; changer la répartition en cours de test deviendrait lui-même un facteur confondant.
Une équipe qui corrige une faute d'orthographe qu'elle remarque par hasard sur la page de la variante de test, sans apporter la même correction sur la page de contrôle, a discrètement introduit une seconde variable dans ce qui devait être un test à une seule variable, même si le changement semblait petit et entièrement sans rapport avec la photo réellement testée. Le coût de cette erreur n'est pas la correction elle-même, inoffensive en soi ; c'est que le résultat entier du test devient inutilisable, puisque personne ne peut plus dire honnêtement si la photo, la correction, ou un mélange des deux, a produit le résultat, gaspillant les deux semaines complètes de trafic consommées par le test et forçant à refaire toute la comparaison depuis le début.
Si vous voulez savoir si une nouvelle photo se vend mieux qu'une ancienne, ne changez que la photo et laissez tout le reste sur la page exactement identique. Répartissez vos visiteurs également entre l'ancienne version et la nouvelle, et gardez cette répartition stable pour une période fixe convenue avant le début du test. Ne corrigez, n'ajustez ni n'améliorez rien d'autre sur l'une ou l'autre version pendant que le test s'exécute, même quelque chose de petit et sans rapport, car tout second changement ruine votre capacité à dire que la photo seule a causé le résultat.
En cours du test de deux semaines de la nouvelle photo sur mannequin contre la photo studio existante, un membre de l'équipe remarque que le fichier de la nouvelle photo est plus petit et se charge nettement plus vite sur une connexion mobile lente, purement à cause de la façon dont il a été exporté, non parce que quelqu'un avait voulu un changement de vitesse.
Delta Garments doit-elle traiter le résultat final du test comme la preuve que la photo sur mannequin elle-même convertit mieux ? Décidez avant d'ouvrir la réponse.
Non. La différence non intentionnelle de taille de fichier et de vitesse de chargement est un facteur confondant ; le test ne peut plus isoler l'effet visuel propre de la photo de sa vitesse de chargement plus rapide.
1. Un test à une seule variable exige que tout autre facteur soit maintenu égal, et la vitesse de chargement, surtout sur des connexions mobiles lentes, est elle-même un facteur pouvant changer la conversion indépendamment de ce que montre la photo. 2. Un tiers des visiteurs sont sur des connexions où cette différence est assez grande pour compter, ce n'est donc pas une erreur d'arrondi négligeable. 3. La réponse honnête est de noter le facteur confondant, de réexporter les deux images à une taille de fichier équivalente, et de relancer le test, plutôt que de rapporter un résultat qui mélange deux causes comme s'il en avait prouvé une.
Le T-shirt de la commande A porte un prix boutique de 19,90 USD par pièce, bien que la propre boutique d'usine en second choix de Delta Garments vende le même style remisé à environ 60 % de ce prix, 11,94 USD par pièce (docs/02 section 7 fixe le chiffre plein tarif). Si un test confondu créditait à tort la photo sur mannequin d'un résultat en réalité dû à la vitesse de chargement plus rapide, et que Delta Garments déployait la photo sans corriger l'écart de vitesse sous-jacent sur d'autres pages :
Un petit chiffre hebdomadaire s'accumule silencieusement chaque semaine où une leçon erronée continue d'être appliquée, un coût réel bien plus élevé que la seule semaine supplémentaire qu'aurait coûtée un nouveau test propre.
Utilisez la fiche T23-C02 d'analytique numérique et de tests, feuille « Journal de configuration de test ». Pour chaque test, consignez la seule variable changée, ce qui a été gardé fixe, la répartition du trafic, la période de test, et tout facteur confondant remarqué pendant l'exécution du test. Commencez par l'exemple de Delta Garments ci-dessus, puis ajoutez votre propre test.
[Télécharger la fiche d'analytique numérique et de tests](../../templates/T23-C02-digital-analytics-and-testing-worksheet.xlsx)
Télécharger Fiche d'analytique numérique et de tests (Excel)
1. Pourquoi changer la photo et le prix en même temps rend-il le résultat d'un test impossible à interpréter proprement ?
2. La photo de la variante de test de Delta Garments se charge par hasard plus vite que la photo de contrôle sur des connexions lentes, pour des raisons sans rapport avec le test. Que devrait faire l'équipe ?
3. Pourquoi la répartition du trafic et la période d'un test devraient-elles être fixées à l'avance, plutôt qu'ajustées une fois que des résultats précoces commencent à arriver ?
| FR | EN | AR | TR | Signification |
|---|---|---|---|---|
| Test à une seule variable | One-variable test | اختبار متغيّر واحد | Tek değişkenli test | Un test dans lequel exactement un élément d'une page change entre le contrôle et la variante de test, si bien que tout écart de résultat peut être attribué à cet élément seul. |
| Variante testée | Test variant | متغيّر الاختبار | Test varyantı | L'une des deux versions concurrentes ou plus d'une page comparées dans un test. |
| Condition de contrôle | Control condition | شرط الضبط | Kontrol koşulu | Garder tout facteur, sauf la seule variable testée, identique entre les deux versions, afin que la comparaison isole cette seule variable. |
| Facteur confondant | Confounding factor | عامل مربك | Karıştırıcı etken | Tout autre changement survenant en même temps qu'un test et qui pourrait aussi expliquer un changement dans le résultat. |
| Répartition du trafic | Traffic split | تقسيم الزيارات | Trafik bölünmesi | La façon dont les visiteurs entrants sont divisés entre la version de contrôle et la variante de test, généralement aussi près de l'égalité que possible. |
| Page en direct | Live page | الصفحة المباشرة | Canlı sayfa | La version d'une page réellement montrée à un visiteur pendant un test, que ce soit le contrôle ou la variante de test, décidée par la répartition du trafic. |
| Période de test | Test period | فترة الاختبار | Test dönemi | La durée fixe pendant laquelle un test s'exécute avant que son résultat ne soit lu, convenue à l'avance et non prolongée ni raccourcie en cours de route. |
Vous prendrez ensuite les deux résultats d'un test terminé et déciderez si l'écart entre eux est assez grand pour être digne de confiance, ou assez petit pour n'être que du bruit ordinaire. Retour à la carte du cours