A/B test

Un A/B test répartit au hasard le trafic entre une version de référence (A) et une version modifiée (B), au même moment, puis compare leurs résultats sur un indicateur décidé à l’avance. La simultanéité est la clé : comparer les ventes de mars (ancienne page) à celles d’avril (nouvelle page) n’est pas un A/B test, car la saisonnalité, les promotions ou la pression concurrentielle changent d’un mois à l’autre.

On teste le plus souvent une landing page, un formulaire, une fiche produit, ou une annonce via les expériences de campagne de Google Ads. L’enjeu business est simple : gagner des points de taux de conversion sans acheter un clic de plus.

Comment fonctionne un A/B test, et ce que veut dire « significatif »

Un outil (AB Tasty, Kameleoon, VWO…) affecte chaque visiteur à une version et l’y maintient lors de ses visites suivantes. À la fin, un test statistique estime si l’écart observé peut s’expliquer par le simple hasard. Le seuil courant est de 95 % de confiance : on accepte 5 % de risque de déclarer gagnante une version qui ne l’est pas.

Le paramètre le plus souvent oublié est la taille d’échantillon, calculée avant le lancement à partir du taux de conversion actuel et du plus petit gain à détecter. Avec un taux de 2 %, repérer une hausse relative de 10 % (de 2,0 % à 2,2 %) demande environ 80 000 visiteurs par version, pour une puissance statistique de 80 %. Peu de sites ont le trafic nécessaire pour tester la couleur d’un bouton.

Exemple concret : un formulaire de devis raccourci

Prenons une page de devis qui convertit à 3 % et reçoit 7 000 visiteurs par semaine. La version B réduit le formulaire de neuf à cinq champs. Pour détecter une hausse relative de 20 %, le calcul préalable donne environ 14 000 visiteurs par version, soit quatre semaines avec un partage 50/50.

Au bout de dix jours, B affiche 3,6 % contre 3,0 %, sur 5 000 visiteurs chacune. Tentant, mais l’écart n’est pas encore significatif (p ≈ 0,09). Le test va à son terme : A finit à 420 demandes sur 14 000 visiteurs (3,0 %), B à 490 (3,5 %). La hausse est d’environ 17 %, significative cette fois (p ≈ 0,02), et plus modeste que l’impression des premiers jours.

Les pièges qui faussent un A/B test

• Arrêter dès que l’outil affiche « gagnant » : consulter les résultats chaque jour et stopper au premier passage sous le seuil multiplie les faux positifs. La durée se fixe avant le lancement.
• Couper le test en milieu de semaine : le comportement du lundi n’est pas celui du samedi. On raisonne en semaines pleines, deux au minimum.
• Lancer cinq variantes avec un trafic prévu pour deux : chaque version supplémentaire divise l’échantillon et augmente le risque de trouver un gagnant par hasard.
• Mesurer le mauvais indicateur : un bouton plus voyant peut augmenter les ajouts au panier sans augmenter les commandes. Le KPI principal se choisit avant le lancement.

Lancer ses premiers tests sans pénaliser le SEO

Commencez par les pages qui concentrent trafic et enjeu : formulaire, panier, pages catégories. Écrivez une hypothèse (« afficher le délai de livraison près du bouton augmente l’ajout au panier »), un indicateur principal et une durée. Un test A/A, avec deux versions identiques, vérifie au préalable que l’outil répartit et mesure correctement.

Côté référencement, Google accepte les tests à condition qu’ils restent temporaires : balise canonical des variantes vers la page d’origine si elles ont leur propre URL, redirection 302 plutôt que 301, et aucun contenu spécifique servi à Googlebot. C’est la logique du SXO : améliorer l’expérience sans fragiliser la visibilité.