Documentação - A/B Test

O que é Teste A/B?

O Teste A/B é um método estatístico para comparar duas versões (A e B) e determinar qual performa melhor. É como fazer um experimento científico com seus usuários!

Você divide seu público em dois grupos: um vê a versão A (controle) e outro vê a versão B (variante). O sistema calcula se a diferença observada é estatisticamente significativa.

Exemplos de uso

Testar duas versões de uma página de vendas
Comparar eficácia de duas campanhas de marketing
Avaliar impacto de mudanças em design ou copy
Decidir entre duas estratégias de pricing

Início rápido

Prepare seus dados em formato CSV com grupo (A ou B) e métrica de resultado
Faça o upload do arquivo na página de upload
Configure os parâmetros (nível de confiança, tipo de teste)
Aguarde o processamento (normalmente 1-2 minutos)
Analise os resultados estatísticos e tome decisões baseadas em dados

Como organizar seus dados

Organize seus dados em uma planilha CSV com duas colunas:

Coluna 1

Grupo

Identifica qual versão foi mostrada. Use 'A' para controle e 'B' para variante.

Coluna 2

Conversão/Métrica

Resultado da ação (1 = converteu, 0 = não converteu) ou valor numérico (tempo, receita, etc)

Exemplo de planilha de teste A/B

group	converted
A	1
A	0
B	1
B	1

Dica: Cada linha representa um usuário ou observação. Use 1 para sucesso (conversão, clique, compra) e 0 para falha.

Configurações do teste

Nível de Confiança

Define o quão certo você quer estar de que a diferença é real (não é por acaso).

90% Boa confiança para testes rápidos

95% Padrão recomendado (balanceado)

99% Alta confiança para decisões críticas

Tipo de Teste

Escolha o teste estatístico adequado para seus dados:

Z-Test (proporções) Para dados binários (0 ou 1): conversões, cliques, compras

T-Test (médias) Para valores numéricos contínuos: tempo, receita, quantidade

Teste Unicaudal vs Bicaudal

Define a hipótese do teste:

Bicaudal (two-tailed) Testa se há diferença em qualquer direção (maior ou menor)

Unicaudal (one-tailed) Testa se B é especificamente melhor que A

Entendendo os resultados

O teste retorna estatísticas que ajudam a decidir se a versão B é realmente melhor que A ou se a diferença pode ser apenas sorte.

Métricas Principais

P-valor (p-value)

Probabilidade de observar essa diferença por acaso.

p < 0.05 = Diferença significativa! | p > 0.05 = Diferença não significativa

Taxa de Conversão

Percentual de sucesso em cada grupo (A e B).

Exemplo: Grupo A: 12%, Grupo B: 15% (B é 25% melhor)

Intervalo de Confiança

Faixa onde a verdadeira diferença provavelmente está.

Se não inclui zero, a diferença é estatisticamente significativa

Tamanho do Efeito (Effect Size)

Magnitude prática da diferença encontrada.

Pequeno (0.2), Médio (0.5), Grande (0.8)

Importante: Um resultado estatisticamente significativo (p < 0.05) não garante impacto no negócio. Sempre considere o tamanho do efeito e o contexto prático da decisão.

A/B Test