Hello la commu ! Je teste deux versions de formulaire (3 champs vs 5 champs) depuis 10 jours. Le variant à 3 champs a +8% de complétion mais p-value à 0,12. Je continue ou j'arrête ? Vous faites comment pour déterminer la durée idéale ?
8% c'est pas mal mais avec une p-value > 0.05 c'est risqué de conclure. La règle de base c'est minimum 2 semaines ET 100 conversions par variant. T'as combien de visites/jour ?
On est à ~200 visites/jour sur la page, donc ~20 complétions/jour par variant. Donc dans 5 jours j'aurais mes 100 conversions. Mais j'ai peur de perdre des leads pendant ce temps si le variant est vraiment meilleur...
J'ai été confronté au même dilemme ! Ce que je fais maintenant : si la tendance est claire après 7 jours ET que ça représente au moins 50 conversions/variant, je déploie le changement progressivement (10% du trafic d'abord). Comme ça tu minimises le risque.
Attention aux biais saisonniers aussi ! Si t'es dans un secteur cyclique, 2 semaines peuvent ne pas suffire. J'ai eu un cas où le variant gagnant en semaine 1 est devenu perdant en semaine 2 à cause d'un changement dans le comportement des utilisateurs (rentrée scolaire).
Merci pour vos conseils ! Je vais patienter jusqu'à 100 conversions et vérifier la stabilité des résultats. @45 j'aime bien l'idée du déploiement progressif, je note ça pour la prochaine fois !