Calculadora de Significância de Teste A/B

Verifique se os resultados do seu teste A/B são estatisticamente significativos.

Controle (A)
Variante (B)

—

Exemplos de uso

Decidir se deve lançar uma nova variante

Verifique se a maior taxa de conversão da sua variante B é uma melhoria real ou apenas ruído aleatório antes de lançá-la para todos.

Verificar se você pode encerrar um teste antecipadamente

Veja se seus resultados atuais já atingiram significância estatística, ou se você precisa continuar coletando dados.

Comparar dois designs de título ou botão

Insira os visitantes e conversões de cada versão para ver qual realmente teve melhor desempenho, não apenas qual número parece maior.

Avaliar um experimento na página de preços

Insira o número de visitantes e de conversões de dois layouts da página de preços para ver como os dados se comportam antes de decidir qual manter.

Revisar um teste anterior antes de documentar os resultados

Insira novamente os números finais de visitantes e conversões de um teste concluído para conferir o valor p e os níveis de confiança antes de redigir os resultados.

Perguntas frequentes

O que 'estatisticamente significativo' realmente significa?

Significa que é improvável que a diferença observada se deva apenas ao acaso, no nível de confiança escolhido. Um valor-p abaixo de 0,05 é o limite mais comum para '95% de confiança'. NÃO significa que a diferença seja grande, importante ou que se manterá para sempre - apenas que é improvável que seja puro ruído dado o tamanho da sua amostra.

Um resultado 'significativo' ainda pode estar errado?

Sim. Com 95% de confiança, ainda há por definição cerca de 1 chance em 20 de um falso positivo. A significância também não leva em conta rodar muitos testes ao mesmo tempo, ou parar um teste assim que ele parece bom - ambos inflam a taxa real de falsos positivos além do que o valor-p bruto sugere.

Meu tamanho de amostra é pequeno - posso confiar nisso?

Amostras pequenas facilitam muito ver um resultado 'significativo' que não se sustenta com mais dados, e dificultam detectar uma diferença real mas modesta. Trate resultados de amostras pequenas com cautela e considere rodar o teste por mais tempo.

O que eu digito é enviado a um servidor?

Não. Todos os cálculos acontecem inteiramente no seu navegador e nunca são enviados a um servidor.

Qual é a diferença entre diferença absoluta e diferença relativa?

A diferença absoluta é simplesmente a diferença entre as duas taxas de conversão (por exemplo, 12% menos 10% é uma diferença absoluta de 2 pontos percentuais). A diferença relativa expressa essa mesma diferença como uma porcentagem da taxa original (2 pontos percentuais sobre uma base de 10% é uma diferença relativa de 20%). Manchetes costumam citar a diferença relativa porque o número parece maior, então verifique qual delas está sendo informada antes de tirar conclusões.

O que o escore Z realmente representa?

O escore Z mede a quantos desvios-padrão a diferença observada entre o controle e a variante está de zero (nenhuma diferença), considerando os tamanhos de amostra envolvidos. Um escore Z maior (em qualquer direção) geralmente corresponde a um valor p menor e a evidências mais fortes de uma diferença real, desde que as premissas estatísticas do teste sejam válidas.

Esta ferramenta diz por quanto tempo devo manter meu teste rodando?

Não. Esta calculadora apenas avalia os dados que você inseriu até agora — ela não calcula antecipadamente um tamanho de amostra necessário nem uma duração mínima do teste. Para planejar um teste, normalmente é melhor usar uma calculadora de tamanho de amostra separada que leve em conta sua taxa de base, o efeito mínimo detectável e o poder estatístico desejado.

Meus dados são enviados a um servidor?

Não. Todos os cálculos acontecem inteiramente no seu navegador e nunca são enviados a um servidor.