Hello ! Je suis en train de tester deux versions de formulaire (champs en une vs deux colonnes) sur une page B2B. J’ai environ 200 soumissions/mois. Vous pensez qu’un mois de test est suffisant pour valider une version ? J’ai peur de manquer de puissance statistique...
Avec 200 soumissions, un mois me semble short. La règle générale c’est minimum 500 conversions par variante pour un seuil de confiance à 95%. T’as calculé ta MDE (Minimum Detectable Effect) ?
Je suis d’accord avec @89. Sur nos tests B2B, on va souvent jusqu’à 3 mois. Et attention au « day of week effect » : si tu testes que 4 semaines, tu peux avoir des biais selon les jours. Utilisez-vous des outils comme VWO ou Optimizely pour suivre ça ?
Merci ! On utilise Google Optimize (gratuit). @89, ma MDE est à 15% car l’enjeu est important (lead qualifié). Du coup je vais probablement étendre à 2 mois. @34, tu penses que je dois exclure les week-ends ? Notre trafic baisse de 40% le samedi.
Oui, exclure les week-ends peut être malin dans ton cas. Pour Google Optimize, vérifie bien que ton échantillon est bien réparti (problème connu avec leur algorithme). Et avec une MDE à 15%, 2 mois devraient le faire si tu gardes un trafic stable.
Petit tips : ajoute un filtre « nouveaux visiteurs seulement » si tu veux éviter le biais des retours. Et surveille la variance : parfois les résultats se stabilisent après 3 semaines puis rebondissent. J’ai eu le cas sur un test de bouton CTA l’an dernier.
Top, merci pour tous ces conseils ! Je vais mettre en place ça et partager les résultats dans 2 mois. D’ailleurs, @152, tu utilises quel seuil de confiance pour décider ? Certains dans mon équipe veulent passer à 90% pour aller plus vite...