Calculateur de significativité de test A/B

Vérifiez si les résultats de votre test A/B sont statistiquement significatifs.

Contrôle (A)
Variante (B)

—

Exemples d'utilisation

Décider de déployer une nouvelle variante

Vérifiez si le taux de conversion plus élevé de votre variante B est une réelle amélioration ou juste du bruit aléatoire avant de la déployer pour tous.

Vérifier si vous pouvez arrêter un test plus tôt

Voyez si vos résultats actuels ont déjà atteint la significativité statistique, ou si vous devez continuer à collecter des données.

Comparer deux designs de titre ou de bouton

Saisissez le nombre de visiteurs et de conversions de chaque version pour voir laquelle a réellement le mieux performé, pas seulement quel chiffre paraît plus grand.

Évaluer une expérience sur une page de tarifs

Saisissez le nombre de visiteurs et de conversions de deux mises en page de votre page de tarifs pour voir comment les données se répartissent avant de décider laquelle conserver.

Revoir un test passé avant d'en documenter les résultats

Saisissez à nouveau les nombres finaux de visiteurs et de conversions d'un test terminé pour revérifier la valeur P et les niveaux de confiance avant de rédiger le compte rendu.

Questions fréquentes

Que signifie réellement 'statistiquement significatif'?

Cela signifie que la différence observée est peu susceptible d'être due au seul hasard, au niveau de confiance choisi. Une valeur p inférieure à 0,05 est le seuil le plus courant pour une 'confiance à 95 %'. Cela ne signifie PAS que la différence est grande, importante, ou qu'elle durera toujours - seulement qu'elle est peu susceptible d'être du pur bruit compte tenu de la taille de votre échantillon.

Un résultat 'significatif' peut-il quand même être faux?

Oui. À 95 % de confiance, il existe par définition encore environ 1 chance sur 20 d'un faux positif. La significativité ne tient pas non plus compte du fait d'exécuter de nombreux tests à la fois, ou d'arrêter un test dès qu'il semble bon - ces deux facteurs gonflent le taux réel de faux positifs au-delà de ce que suggère la valeur p brute.

Ma taille d'échantillon est petite - puis-je m'y fier?

Les petits échantillons rendent beaucoup plus facile l'obtention d'un résultat 'significatif' qui ne se confirme pas avec plus de données, et rendent beaucoup plus difficile la détection d'une différence réelle mais modeste. Traitez les résultats issus de petits échantillons avec prudence et envisagez de prolonger le test.

Ce que je saisis est-il envoyé à un serveur?

Non. Tous les calculs s'effectuent entièrement dans votre navigateur et ne sont jamais envoyés à un serveur.

Quelle est la différence entre l'écart absolu et l'écart relatif ?

L'écart absolu est simplement la différence entre les deux taux de conversion (par exemple, 12 % moins 10 % donne un écart absolu de 2 points de pourcentage). L'écart relatif exprime cette même différence en pourcentage du taux d'origine (2 points de pourcentage sur une base de 10 % représentent un écart relatif de 20 %). Les titres mettent souvent en avant l'écart relatif parce que le chiffre paraît plus impressionnant : vérifiez donc lequel des deux est indiqué avant de tirer des conclusions.

Que représente réellement le score Z ?

Le score Z mesure de combien d'écarts-types la différence observée entre votre contrôle et votre variante s'éloigne de zéro (aucune différence), compte tenu des tailles d'échantillon. Un score Z plus élevé (dans un sens comme dans l'autre) correspond généralement à une valeur P plus faible et à une preuve plus solide d'une différence réelle, à condition que les hypothèses statistiques du test soient respectées.

Cet outil m'indique-t-il combien de temps poursuivre mon test ?

Non. Ce calculateur évalue uniquement les données que vous avez saisies jusqu'ici : il ne calcule pas à l'avance une taille d'échantillon requise ni une durée minimale de test. Pour planifier un test, il vaut mieux utiliser un calculateur de taille d'échantillon distinct, qui tient compte de votre taux de base, de l'effet minimal détectable et de la puissance souhaitée.

Mes données sont-elles envoyées à un serveur ?

Non. Tous les calculs s'effectuent entièrement dans votre navigateur et ne sont jamais envoyés à un serveur.