Saltar al contenido
Totalmente local

Calculadora de significancia de pruebas A/B

Calcula tasas de conversión, lift y significancia estadística de variantes en pruebas A/B.

Entrada
Salida

Calculadora de significancia de pruebas A/B

Introduce los datos de tu prueba en una línea por variante: nombre, número de visitantes y número de conversiones. La herramienta ejecuta una prueba z de dos proporciones comparando la primera línea (control) con cada variante. Calcula la tasa de conversión, el lift absoluto y relativo respecto al control, un intervalo de confianza y si la diferencia es estadísticamente significativa.

El nivel de confianza determina la severidad del test: 90%, 95% o 99%. Una prueba bilateral pregunta si una variante difiere del control en cualquier dirección; una unilateral pregunta solo si es mejor, llegando a significancia más rápido con los mismos datos. Activar el intervalo de confianza añade un rango para la verdadera tasa de conversión de cada variante, no solo el control. Elige tabla para una comparación compacta lado a lado, u oración para un resumen en lenguaje natural terminando con un ganador declarado.

El tráfico real es impredecible, así que la herramienta también verifica el tamaño de muestra: cuando el número esperado de conversiones o no-conversiones cae por debajo de cinco, añade una nota de que la aproximación normal podría ser poco fiable, en lugar de reportar un número que suene seguro pero no lo sea. Puedes comparar más de dos variantes a la vez: cada línea después del control se prueba independientemente contra él, y el ganador es la variante de mayor conversión que supera el control con margen estadísticamente significativo.

Todo se ejecuta localmente en tu navegador. Los números de tráfico y conversión pueden ser sensibles comercialmente, y nunca se suben: el cálculo ocurre en tu dispositivo y en ningún otro lugar. Copia el resultado, descárgalo como archivo .txt, o devuélvelo a la entrada para ajustar un número y ver la significancia actualizada.

Preguntas frecuentes

¿Cómo se calcula la significancia?
La herramienta ejecuta una prueba z de dos proporciones entre el control (primera línea) y cada otra variante, usando un error estándar agrupado, y compara el valor p resultante contra tu nivel de confianza elegido.
¿Cuál es la diferencia entre unilateral y bilateral?
Una prueba bilateral verifica si hay diferencia del control en cualquier dirección, mejor o peor. Una unilateral solo verifica si es mejor, así que necesita datos menos extremos para llamar significativo un resultado.
¿Por qué advierte sobre el tamaño de muestra?
La prueba z asume una distribución aproximadamente normal, que necesita al menos unos cinco conversiones esperadas y cinco no-conversiones esperadas por variante. Por debajo de eso, la herramienta marca el resultado como potencialmente poco fiable en lugar de ocultar la advertencia.
¿Puedo probar más de dos variantes?
Sí. Añade tantas líneas como quieras después del control: cada una se compara independientemente contra él, y el ganador es la mejor variante que supera tu umbral de significancia.
¿Se suben mis datos de tráfico y conversión a algún lugar?
No. El cálculo se ejecuta completamente en tu navegador, así que tus números de visitantes y conversiones nunca salen de tu dispositivo.