Calculadora de Teste A/B para Taxa de Conversão

O que esta calculadora de teste A/B resolve

Um teste A/B apresenta versões diferentes de uma página, anúncio, e-mail ou elemento de interface para grupos de usuários. A pergunta central não é apenas qual versão converteu mais: é saber se a diferença observada pode ser atribuída à alteração testada, em vez de resultar da variação aleatória normal de uma amostra.

A calculadora compara as taxas de conversão da variação A, usualmente o controle, e da variação B. Ela informa a diferença em pontos percentuais, o uplift relativo, a estatística z e o p-valor bilateral. Também aplica o nível de confiança selecionado para indicar se há evidência estatística suficiente para rejeitar a hipótese de que as duas versões têm a mesma taxa de conversão.

O resultado serve para experimentos com desfecho binário: converter ou não converter. Uma conversão pode ser uma compra, um cadastro, um clique em botão, o envio de formulário ou outro evento previamente definido. Para métricas contínuas, como receita média por usuário, tempo de navegação ou ticket médio, o método estatístico apropriado é outro.

Como usar a calculadora, campo a campo

Visitantes da variação A

Informe o número de pessoas, sessões ou unidades que efetivamente foram expostas à versão A. Escolha uma unidade de análise e mantenha-a nos dois grupos. Se usa usuários únicos na versão A, não use visualizações de página na versão B.

Conversões da variação A

Digite quantas unidades do grupo A realizaram a ação definida como conversão. Esse número não pode ser maior que o total de visitantes. Em testes de compra, por exemplo, cada usuário deve ser contado segundo a mesma regra de atribuição.

Visitantes e conversões da variação B

Preencha os mesmos dados para a alternativa B. A calculadora não exige grupos do mesmo tamanho, embora uma divisão equilibrada normalmente forneça melhor eficiência estatística quando o tráfego disponível é limitado.

Nível de confiança

O nível de 95% é uma convenção frequente em otimização de conversão. Ele corresponde a um limiar de significância de 5%, isto é, a decisão de considerar o resultado significativo quando o p-valor for menor que 0,05. Um nível de 99% é mais rigoroso; 90% aceita maior risco de falso positivo.

Fórmula do teste A/B e passo a passo

A taxa de conversão de cada grupo é a divisão das conversões pelo número de visitantes. Portanto, pA = cA/nA e pB = cB/nB. A diferença absoluta é pB − pA; quando positiva, B teve taxa maior. O uplift relativo é calculado por (pB − pA) / pA × 100. Ele é útil para comunicar impacto, mas deve ser lido junto com a diferença em pontos percentuais.

Para testar a hipótese nula de igualdade entre as taxas, o teste z usa a proporção combinada p = (cA + cB) / (nA + nB). O erro-padrão sob essa hipótese é a raiz quadrada de p × (1 − p) × (1/nA + 1/nB). Em seguida, z = (pB − pA) / erro-padrão. Quanto mais distante de zero estiver z, menos compatível é a diferença com a hipótese de taxas iguais.

O p-valor bilateral é a probabilidade, assumindo que não existe diferença real, de observar uma diferença tão extrema quanto a registrada, em qualquer direção. Ele não é a probabilidade de B ser melhor, nem mede o tamanho do efeito. A calculadora compara esse p-valor ao limiar escolhido: 0,10 para 90%, 0,05 para 95% e 0,01 para 99%.

Exemplos resolvidos

Exemplo 1: ganho estatisticamente significativo

A versão A recebeu 5.000 visitantes e gerou 250 conversões: taxa de 5,00%. A versão B recebeu 5.000 visitantes e gerou 300 conversões: taxa de 6,00%. A diferença é de 1,00 ponto percentual e o uplift é de 20,00%. O teste produz z próximo de 3,24 e p-valor perto de 0,0012; em 95%, há significância estatística e B apresenta desempenho superior na amostra.

Exemplo 2: diferença aparente, mas inconclusiva

Em A, 20 conversões ocorreram entre 500 visitantes, ou 4,00%. Em B, foram 27 conversões entre 500 visitantes, ou 5,40%. Apesar do uplift de 35,00%, o volume ainda é pequeno e o p-valor bilateral fica acima de 0,05. O resultado não autoriza concluir, no padrão de 95%, que a mudança causou melhora.

Exemplo 3: variação B pior

Suponha 800 conversões em 10.000 visitantes na versão A, taxa de 8,00%, e 700 conversões em 10.000 visitantes na B, taxa de 7,00%. A diferença é de −1,00 ponto percentual, equivalente a queda relativa de 12,50%. Se o p-valor for inferior ao limiar, há evidência de que B é pior; a ação prudente é manter A, salvo outra métrica relevante contrariar essa decisão.

Como interpretar significância sem confundir conceitos

Significância estatística não equivale automaticamente a relevância comercial. Uma alteração de 0,05 ponto percentual pode ser significativa em uma base enorme, mas irrelevante diante do custo de implementação. Ao mesmo tempo, uma diferença economicamente atraente pode não ser significativa se o experimento teve pouco tráfego. Avalie tamanho do efeito, impacto financeiro, risco operacional e consistência com outras métricas.

Não interrompa um teste apenas porque o painel mostrou significância em uma consulta intermediária. Repetir verificações e declarar vitória ao primeiro resultado favorável aumenta a chance de falso positivo. Defina antes do lançamento a métrica primária, o tamanho de amostra, a duração mínima e a regra de decisão. Em especial, cubra ciclos de comportamento relevantes, como dias úteis e fins de semana, quando isso fizer parte do negócio.

Base técnica aplicável

O cálculo adota o teste z para duas proporções independentes, com proporção agrupada sob a hipótese nula. É uma aproximação normal amplamente ensinada em estatística aplicada para comparar taxas binárias. Sua utilização pressupõe alocação independente ou adequadamente randomizada, uma definição estável da conversão e contagens esperadas suficientes para que a aproximação seja razoável.

Em marketing e experimentação digital, a disciplina também exige controle metodológico. O tráfego deve ser distribuído de maneira aleatória ou por mecanismo que não introduza viés sistemático. Mudanças simultâneas de preço, mídia, sazonalidade, estoque, segmentação ou funcionamento do site podem contaminar a leitura. A ferramenta calcula a associação estatística entre variação e conversão; ela não corrige falhas no desenho do experimento.

Erros comuns em testes A/B

• Comparar períodos distintos, em vez de distribuir as versões simultaneamente.
• Alterar público, orçamento de mídia ou objetivo de conversão enquanto o teste está em andamento.
• Contar uma mesma pessoa mais de uma vez sem uma regra consistente de deduplicação.
• Escolher a métrica vencedora depois de ver várias métricas, sem ajuste para múltiplas comparações.
• Declarar resultado com poucas conversões ou com contagens muito baixas em uma das células.
• Interpretar p-valor como probabilidade de a hipótese nula ser verdadeira.
• Ignorar queda em receita, margem, cancelamentos ou experiência do usuário porque a conversão primária subiu.

Limites do resultado apresentado

Esta calculadora considera somente duas variações e uma métrica binária. Ela não calcula poder estatístico, tamanho de amostra necessário, intervalos de confiança, correções para testes múltiplos, métodos bayesianos ou análises sequenciais. Também não identifica fraude, dependência entre observações, efeito novidade, sazonalidade nem desequilíbrio de amostra.

Quando a taxa é muito baixa, as amostras são pequenas ou há segmentações numerosas, consulte uma análise estatística apropriada. Antes de implantar uma versão vencedora, valide a implementação do rastreamento, a qualidade dos dados e o efeito em métricas de proteção, como receita, margem, devoluções e reclamações.