Calculadora de significancia de pruebas A/B
Comprueba si los resultados de tu prueba A/B son estadísticamente significativos.
—
Ejemplos de uso
Decidir si lanzar una nueva variante
Comprueba si la mayor tasa de conversión de tu variante B es una mejora real o solo ruido aleatorio antes de lanzarla a todos.
Comprobar si puedes terminar una prueba antes de tiempo
Verifica si tus resultados actuales ya han alcanzado significancia estadística, o si necesitas seguir recopilando datos.
Comparar dos diseños de titular o botón
Introduce los visitantes y conversiones de cada versión para ver cuál realmente funcionó mejor, no solo cuál número parece más grande.
Evaluar un experimento en la página de precios
Introduce el número de visitantes y conversiones de dos diseños de la página de precios para ver cómo se reparten los datos antes de decidir cuál conservar.
Revisar una prueba pasada antes de documentar los resultados
Vuelve a introducir las cifras finales de visitantes y conversiones de una prueba terminada para verificar el valor P y los niveles de confianza antes de redactar los resultados.
Preguntas frecuentes
¿Qué significa realmente 'estadísticamente significativo'?
Significa que es poco probable que la diferencia observada se deba solo al azar, al nivel de confianza elegido. Un valor p por debajo de 0,05 es el umbral más común para '95% de confianza'. NO significa que la diferencia sea grande, importante o que se mantendrá para siempre - solo que es poco probable que sea puro ruido dado tu tamaño de muestra.
¿Puede un resultado 'significativo' seguir siendo incorrecto?
Sí. Con un 95% de confianza, por definición hay aproximadamente 1 posibilidad entre 20 de un falso positivo. La significancia tampoco tiene en cuenta ejecutar muchas pruebas a la vez, o detener una prueba en cuanto se ve bien - ambas cosas inflan la tasa real de falsos positivos más allá de lo que sugiere el valor p bruto.
Mi tamaño de muestra es pequeño - ¿puedo confiar en esto?
Las muestras pequeñas facilitan mucho ver un resultado 'significativo' que no se sostiene con más datos, y dificultan detectar una diferencia real pero modesta. Trata con cautela los resultados de muestras pequeñas y considera ejecutar la prueba más tiempo.
¿Se envía lo que introduzco a un servidor?
No. Todos los cálculos ocurren por completo en tu navegador y nunca se envían a un servidor.
¿Cuál es la diferencia entre la diferencia absoluta y la diferencia relativa?
La diferencia absoluta es simplemente la resta entre las dos tasas de conversión (por ejemplo, 12% menos 10% es una diferencia absoluta de 2 puntos porcentuales). La diferencia relativa expresa esa misma diferencia como porcentaje de la tasa original (2 puntos porcentuales sobre una base del 10% es una diferencia relativa del 20%). Los titulares suelen citar la diferencia relativa porque la cifra parece mayor, así que comprueba cuál se está indicando antes de sacar conclusiones.
¿Qué representa realmente la puntuación Z?
La puntuación Z mide a cuántas desviaciones estándar de cero (ninguna diferencia) está la diferencia observada entre tu control y tu variante, teniendo en cuenta los tamaños de muestra. Una puntuación Z mayor (en cualquier dirección) suele corresponder a un valor P más pequeño y a una evidencia más sólida de una diferencia real, siempre que se cumplan los supuestos estadísticos de la prueba.
¿Esta herramienta me dice cuánto tiempo debo mantener la prueba?
No. Esta calculadora solo evalúa los datos que has introducido hasta el momento: no calcula de antemano un tamaño de muestra necesario ni una duración mínima de la prueba. Para planificar una prueba, normalmente conviene usar una calculadora de tamaño de muestra aparte que tenga en cuenta tu tasa base, el efecto mínimo detectable y la potencia deseada.
¿Se envían mis datos a un servidor?
No. Todos los cálculos se realizan por completo en tu navegador y nunca se envían a un servidor.