Não tem certeza de qual linha de assunto levará à melhor taxa de cliques? Tentando decidir o texto do CTA mais atraente? Precisa de alguns dados para respaldar uma discussão sobre a melhor imagem principal?
O teste A/B elimina a suposição ao enviar campanhas.
Como funciona o teste A/B
Uma vez que você decidiu o que quer testar e como medirá o sucesso de sua campanha, você adicionará seu conteúdo e estabelecerá os parâmetros do teste.
Métrica vencedora
A métrica vencedora é o que medimos para determinar a variante 'vencedora'. Você selecionará isso durante a fase de configuração. As opções disponíveis para você dependerão do canal que está usando para executar seu teste.
Taxa de cliques: A porcentagem de destinatários que abrem sua mensagem e clicam em pelo menos um link dentro.
Taxa de leitura: (Apenas WhatsApp): A porcentagem de destinatários que abrem e leem sua mensagem.
Taxa de abertura: (Apenas Email): A porcentagem de destinatários que abrem sua mensagem.
A variante 'vencedora' será a variante com o melhor resultado para a métrica que você selecionar.
Tamanho do teste
Você deve ter 100 destinatários em uma lista ou audiência para poder enviar uma campanha testada em A/B.
Durante a fase de configuração, você escolherá qual porcentagem dos seus destinatários deseja testar suas variantes.
O tamanho mínimo para sua lista de teste é 100 destinatários, mas lembre-se de que quanto maior o tamanho do seu teste, mais precisos serão seus resultados.
Isso é especialmente importante se você estiver comparando mais de duas variantes. Oito variantes testadas em 10% de uma lista de 100 destinatários não levarão a resultados estatisticamente significativos!
Recomendamos que você teste suas variantes de campanha em um mínimo de 10% de seus destinatários.
Duração do teste
Por padrão, a duração do teste é definida para duas horas. Você pode aumentar isso conforme necessário.
Quanto mais tempo você testar suas variantes, mais precisos serão os resultados do seu teste A/B. No entanto, é importante lembrar que o comprimento da janela de teste afetará o momento em que a variante vencedora é enviada e levar isso em conta ao testar sua campanha.
Por exemplo, se você sabe que seu melhor horário de envio é às 11h às quintas-feiras, você pode decidir testar sua campanha em A/B por 24 horas às 10h de quarta-feira, para que a variante vencedora seja enviada no horário ideal.
Fallback do vencedor
Às vezes, os testes A/B simplesmente não são conclusivos. Isso pode acontecer por alguns motivos:
Não há dados suficientes para que o teste seja conclusivo. Por exemplo, se você selecionou a métrica 'Taxa de cliques', mas ninguém clicou em nenhuma de suas variantes. Isso pode acontecer se a duração do teste foi muito curta ou o tamanho da amostra do teste foi muito pequeno.
Diferenças negligenciáveis (menos de 1%) nos resultados. Por exemplo, se você selecionou a métrica 'Taxa de cliques', e sua primeira variante obteve uma taxa de cliques de 8,1%, enquanto sua segunda variante obteve uma taxa de cliques de 8,7%.
Durante a fase de configuração, você escolherá o que deseja que aconteça se seu teste não for conclusivo:
Selecionar manualmente o vencedor de fallback: Esta opção permite que você escolha qual variante prefere enviar.
Enviar todas as variações do teste igualmente para os destinatários restantes: Esta opção nos permite distribuir as variantes do teste igualmente entre os destinatários restantes.
FAQ
Quais canais posso testar em A/B?
SMS, WhatsApp, Push e Email.
Posso executar um teste A/B em vários canais?
Não, você só pode executar um teste A/B em um único canal de cada vez. Não é possível combinar vários canais dentro de uma única campanha de teste A/B.
Qual é o tamanho mínimo de público/lista para executar um teste A/B?
Seu público ou lista deve incluir pelo menos 100 contatos. O tamanho mínimo do teste é 10%.
Como as variantes são divididas entre os destinatários do teste?
Os destinatários do teste são escolhidos e divididos aleatoriamente com base na porcentagem selecionada.
O que acontece quando um teste A/B é inconclusivo?
Se um teste A/B for inconclusivo, o sistema enviará a variante de fallback selecionada durante a fase de configuração ou enviará ambas as variações igualmente para o restante do público. Isso se baseia na sua estratégia de fallback selecionada durante a criação do teste A/B.
Quantas variações de mensagem posso testar em uma única campanha?
Você pode testar um máximo de 8 variações de mensagem em um único teste A/B.
Posso usar o fuso horário local do destinatário para agendar campanhas de teste A/B?
Não, atualmente a programação para o fuso horário local do destinatário não é suportada para campanhas de teste A/B.
Posso usar a Limitação de Máximo de Destinatários para agendar campanhas de teste A/B?
Não, atualmente a opção de limitar o máximo de destinatários não é suportada para campanhas de teste A/B.
