O jeito honesto de testar prova social é uma divisão por visitante, em que metade vê o widget e metade não, medida em pedidos concluídos, rodando por pelo menos dois ciclos semanais completos, com a métrica de sucesso e a regra de parada escritas antes de começar. Todo o resto deste post é detalhe sobre esses quatro requisitos e sobre as formas como um teste desse tipo costuma se autoelogiar.
Por que é fácil errar em testes de prova social
Widgets de prova social são pequenos, baratos de ativar, e o painel do fornecedor geralmente mostra um número lisonjeiro. É a receita para o raciocínio motivado. As armadilhas específicas:
- Medir cliques na notificação em vez de pedidos. Cliques são engajamento, não receita.
- Comparar antes e depois em vez de grupos simultâneos. Sazonalidade, um envio de newsletter ou uma mudança de preço vão engolir o efeito.
- Ler uma métrica "assistida" ou "influenciada" como ganho. Um comprador que viu uma notificação antes de comprar muitas vezes teria comprado de qualquer jeito.
- Parar quando parece bom. Espiar e parar cedo infla os falsos positivos.
- Mudar a frequência no meio do teste. Aí você está testando duas coisas.
O painel da Provedly mostra os pedidos assistidos pela prova, que é a contagem de pedidos em que o comprador viu uma notificação antes de comprar, cruzada pelo ID de visitante dentro de uma janela de 30 dias. Mostramos isso como contagem, nunca como ganho modelado ou estimado, justamente porque não é um número de ganho. Ele diz quantos compradores foram expostos. Não diz quantos compraram por causa disso. Para isso, você precisa de um grupo de controle. /pt/blog/measuring-proof-assisted-orders explica o que a métrica significa e o que não significa.
Desenhando o teste
Divida por visitante, não por página. Atribua cada visitante ao A ou ao B na primeira chegada e mantenha-o ali durante todo o teste, inclusive entre sessões dentro da janela de 30 dias. Divisões por página ou por sessão vazam: um visitante vê o widget na terça, cai no grupo de controle na quinta e compra.
A segmentação por dispositivo e por URL da Provedly serve para delimitar o widget, não para dividir tráfego. Use a sua ferramenta de experimentação, os testes nativos da sua plataforma ou uma flag simples baseada em cookie que decide se a tag de script carrega. Em lojas Shopify, o embed de app do tema pode ser condicionado a uma configuração do tema se a sua ferramenta de testes suportar variantes no nível do tema.
Decida a métrica primeiro. Escreva: taxa de conversão em pedido concluído, por visitante, durante o período do teste. Métricas secundárias podem incluir ticket médio e receita por visitante. Não use cliques na notificação, tempo na página ou profundidade de rolagem como métricas principais; elas mudam com facilidade e significam pouco.
Decida a regra de parada primeiro. Escolha a duração, ou o tamanho da amostra, antes de começar. Duas semanas completas é o mínimo para a maioria das lojas, porque o comportamento em dias úteis e no fim de semana é diferente. Quatro é melhor. Se você usar uma calculadora de tamanho de amostra, ela vai dizer de quantos visitantes por braço você precisa para detectar o efeito que interessa; para um efeito pequeno num site modesto, a resposta honesta muitas vezes é "mais do que você tem", e é melhor saber disso do que rodar um teste sem poder estatístico e interpretá-lo demais.
Mantenha todo o resto constante. Nada de mudanças de frequência, barras novas ou edições de texto durante o teste. Se precisar mudar algo, recomece.
O que testar
O teste liga/desliga é o primeiro a rodar. Depois disso, as perguntas interessantes são sobre moderação, não intensidade.
| Teste | A | B | O que você aprende |
|---|---|---|---|
| Liga/desliga | Sem widget | Notificações, limites padrão | Se a prova ajuda de alguma forma |
| Frequência | Limite de 5 por sessão | Limite de 2 por sessão | Se menos funciona igual |
| Escopo | Todas as páginas | Só páginas de produto | Onde a prova importa |
| Verificação | Notificações com link "Compra verificada" | Notificações sem (não é possível na Provedly) | Veja abaixo |
A última linha está aí para marcar uma posição. Você não consegue rodá-la na Provedly, porque a marca de verificado e o link dela para a página de verificação pública não são opcionais. Confiamos o bastante no valor de uma afirmação conferível para não tratá-la como variável, e a direção regulatória desde a regra da FTC do fim de 2024 sobre depoimentos falsos sugere que a alternativa não é uma opção de longo prazo de qualquer forma.
Lendo o resultado
Se o B vencer o A por uma margem que a sua regra de parada aceita, você tem um resultado. Informe as taxas de conversão absolutas, a diferença relativa e o intervalo de confiança, não só "12 por cento de ganho". Um número relativo sem taxa de base é como efeitos pequenos acabam exagerados.
Se o resultado for neutro, isso também é informação. Pode significar que o seu produto não precisa do empurrão, ou que o seu tráfego é na maior parte de compradores recorrentes que já confiam em você. Reduza o widget para um limite baixo só nas páginas de produto e siga em frente.
Se o B perder, acredite. Widgets podem incomodar, principalmente no mobile, e /pt/blog/mobile-social-proof-design traz as mudanças de layout para tentar antes de testar de novo.
Conferindo com os pedidos assistidos pela prova
Durante o teste, a contagem de pedidos assistidos pela prova no painel vale só para o braço B, já que o A não viu nada. Uma checagem de sanidade útil: se o teste mostra o B convertendo melhor, a contagem assistida pela prova deve ser uma fatia relevante dos pedidos do B. Se o B vence mas quase ninguém no B viu de fato uma notificação antes de comprar, alguma outra coisa está acontecendo, e você deve desconfiar da sua divisão.
Testando uma barra de contagem regressiva
Barras são mais difíceis de testar com honestidade porque uma contagem regressiva com data real de término está ligada a uma oferta, e a própria oferta mexe na conversão. Teste a presença da barra, não a oferta: os dois braços recebem a promoção, só o B recebe a barra. Rode durante todo o período da promoção. /pt/blog/honest-countdown-timers explica os tipos de barra e quais servem para isso.
Perguntas frequentes
A Provedly pode dividir o tráfego para mim?
Não. A Provedly delimita onde e para quem o widget aparece, mas a atribuição aleatória deve ficar numa ferramenta cujo trabalho é experimentação, para que a divisão seja independente daquilo que está sendo testado.
De quantos pedidos preciso para que um teste signifique algo?
Depende da sua taxa de base e do tamanho do efeito que interessa. Uma calculadora de tamanho de amostra vai dar um número; se for mais pedidos do que você espera em um mês, rode por mais tempo ou aceite que está procurando um sinal de direção, não uma prova.
"Pedidos assistidos pela prova" é o mesmo que o ganho do widget?
Não. É uma contagem de compradores que viram uma notificação antes. O ganho exige um grupo de controle, que é o que este post descreve.
Configure um widget com os limites padrão e rode um teste liga/desliga honesto; comece em /register.