‘O teste de e-mail que dá inverídico’

E-mail e teste andam juntos porquê manteiga de mendubi e chocolate. O que é seu público de e-mail, enfim, senão um microcosmo de sua base de clientes? Os testes de e-mail dão insights sobre seus clientes, quais mensagens ressoam com eles, o que os motiva a comprar e até mesmo o que os desanima.

O problema (e sempre há um problema!) é que você deve configurar seus testes corretamente. Quando você faz isso, você pode ter 95% de certeza, ou mais, de que uma versão de teste vencedora não é alguma coisa que aconteceu por contingência ou por fatores não considerados em sua hipótese de teste. Em outras palavras, é estatisticamente significativo.

Você pode até utilizar esses insights em todos os canais ou em toda a sua empresa, para que todos entendam melhor seus clientes. Por fim, esses são seus clientes opt-in reais, não exclusivamente aleatórios que visitam seu site e saem novamente.

Mas se você não seguir bons protocolos de teste, os resultados dos seus testes podem desviá-lo do caminho evidente, colocando em risco não exclusivamente uma única campanha de e-mail, mas todo o seu programa de e-mail.

Minha pilar MarTech 7 problemas comuns que prejudicam o sucesso dos testes de e-mail A/B/n lista Sua visita nos ajuda a continuar oferecendo o melhor para você! maneiras pelas quais programas de teste podem trespassar dos trilhos e porquê evitar que isso aconteça. Mas agora percebo que não levei em conta outro grande problema, portanto vou corrigi-lo cá:

8. Não seguir a hipótese à risca

Testar sem uma hipótese é meu erro número 1 que pode afetar o sucesso do teste de e-mail. Nascente novo problema é uma abordagem dissemelhante desse erro. Você pode seguir minhas instruções de teste à risca para edificar uma hipótese, mas se você não configurar os testes para alinhá-la, não pode ter certeza de que os resultados serão autênticos.

Por que isso importa? A hipótese define os parâmetros para seu teste. Entre outras funções, ela prevê o que provavelmente acontecerá quando você introduzir uma mudança na mensagem versão e especifica qual será essa mudança (ou essas mudanças). (Você descobrirá em um minuto por que enfatizei a última frase.)

Se você não configurar cada secção do seu teste de entendimento com os termos da sua hipótese, poderá terminar otimizando suas campanhas com base em resultados falsos.

Não seguindo a hipótese, tome 1

O teste é um vista precípuo do trabalho que faço para meus clientes. Zero é demudado, nenhuma campanha é lançada até que seja testada e, se provável, testada novamente para prometer que possamos replicar os resultados originais. Novamente, estamos tentando expelir elementos aleatórios para obter resultados mais confiáveis.

Apesar de tomar todas as precauções habituais, acabei descartando um teste recente porque descobri tardiamente que um membro da equipe de marketing do meu cliente fez uma diferença sutil no e-mail de controle (o e-mail original que a empresa enviava aos clientes).

Nós hipotetizamos que combinar um botão de call-to-action em uma cor contrastante com um segundo botão de CTA na secção subordinado do teor promocional geraria mais cliques do que a combinação atual — um botão na cor preponderante e um link de texto, também na cor preponderante, na secção subordinado da mensagem. Nossa meta era aumentar o número de pessoas clicando no botão para visualizar um resultado.

Os dois botões deveriam ser idênticos em todos os outros aspectos, incluindo tamanho, reprodução do botão e posicionamento na mensagem de e-mail. A única diferença seria a cor.

Vá mais fundo: Dominando a realização de campanhas de e-mail

Os resultados não mostraram diferença significativa entre as duas versões. Consideramos a hipótese não comprovada e recomendamos não mudar os designs.

Fiquei pasmo com os resultados, portanto comparei os dois e-mails e descobri que alguém tinha deixado de juntar um chevron, ou circunflexo, apontando para a direita, na versão. Esta é uma dica direcional sutil, mas visível, que pode incitar o leitor a clicar no controle. A versão não usou oriente dispositivo.

Pode parecer um pequeno imprevidência. Mas, introduziu um fator aleatório que poderia ter levado mais pessoas a clicar.

Não seguindo a hipótese, tome 2

Outro teste envolveu uma mensagem com vários elementos. Isso faz secção da minha Metodologia de Testes Holísticos, na qual cada elemento de uma mensagem — risco de tema, imagem e texto recíproco, CTA, corpo do texto — se alinha com um tema de mensagem. Essa mensagem de controle é testada porquê uma unidade em relação a uma versão cujos elementos se alinham com um tema contrastante para estabelecer qual mensagem é mais eficiente. No entanto, para esse teste, as mensagens de controle e versão usaram a mesma risco de tema.

Usamos esta hipótese: “Acreditamos que o corpo do e-mail que incorpora pelo menos um elemento especificamente ajustado para atrair cada um dos quatro tipos de personalidade — instintivo, metódico, humanístico e competitivo — gerará mais visitas na web em verificação à versão de controle do e-mail, que não tem essa abordagem personalizada.

“Nascente aumento nas visitas à web é esperado porque o teor personalizado provavelmente repercutirá mais efetivamente com uma gama mais ampla de destinatários, envolvendo seus interesses e motivações específicos, aumentando assim a verosimilhança de eles visitarem o site e converterem.”

Mais uma vez, no entanto, ao revisar o controle (reprodução universal) e a versão (reprodução direcionada às personalidades do comprador), descobri vários erros que introduziram aleatoriedade nas comparações e invalidaram o teste. Cá estão alguns:

1. O cabeçalho deveria ser personalizado com contextualização adicionada conforme o controle. No entanto, a versão só oferecia personalização sem contexto.

2. A versão Sua visita nos ajuda a continuar oferecendo o melhor para você! contém uma risco de teor precípuo destinada a aumentar o apelo do resultado.

3. O texto recíproco que descreve a imagem principal do e-mail era dissemelhante na versão B e não apoiava a hipótese.

Essas diferenças figuraram no sucesso desta campanha. Podemos ver isso porque a taxa de brecha da versão foi 3% menor do que a taxa de brecha do controle, embora as linhas de tema fossem as mesmas. Esses três fatores estavam todos visíveis na espaço superior do e-mail. Eles foram essenciais para motivar o destinatário a terebrar ou não.

3 lições para testes mais precisos

1. Sempre compare maçãs com maçãs: Uma vez que observei em cada exemplo, todos esses erros introduziram fatores aleatórios e resultaram de não seguir a hipótese de teste. Isso viola uma das regras de ouro de testes confiáveis ​​em qualquer empreendimento, seja marketing por e-mail, pesquisa médica ou ciência de foguetes: cada versão da mensagem deve ser idêntica, exceto pelos elementos que estão sendo testados.

Vá mais fundo: 4 maneiras de aumentar o engajamento por e-mail com seu ESP atual

Onde você encontra esses elementos especificados? Na hipótese.

2. Cada elemento importa: O texto Sua visita nos ajuda a continuar oferecendo o melhor para você! geralmente é ignorado, mas pode influenciar a decisão de clicar ou não. Para oriente cliente, o texto recíproco pode fazer ou quebrar o interesse de um destinatário em clicar para visualizar o resultado que está sendo promovido. Isso ocorre porque esta empresa envia e-mails frios para clientes em potencial (em conformidade com o CAN-SPAM), muitos dos quais bloqueiam imagens em e-mails de remetentes que não estão em suas listas de contato.

Portanto, eles não veriam um elemento altamente persuasivo — o mock-up personalizado de um resultado com seus nomes nele. A hipótese não especificou diferenças no texto recíproco entre as duas versões, e a versão versão não apoiou a hipótese, pois havia postergado ou demudado elementos que estavam no controle.

3. Verifique tudo antes de ratificar o teste: Embora eu tenha projetado o teste, a equipe queria gerenciar o processo, incluindo a geração e a implantação de e-mails. Eu não vi as versões finais até depois que o teste terminou.

A equipe provavelmente não entendeu porquê as diferenças entre as versões de controle e variantes poderiam invalidar seus testes. (Eles entendem agora!) Sempre faça uma verificação rigorosa de QA com imagens em e imagens para prometer que todos os elementos suportem a hipótese. Esta foi uma prelecção para mim também, solicitar provas de todos os e-mails antes de eles serem enviados, mesmo que a equipe queira gerenciar o processo.

Bons testes valem o esforço

Essas parecem falhas monumentais, mas são fáceis de evitar. A recompensa é que, ao continuar testando, ficará mais fácil, você cometerá menos erros de novato porquê esses e acabará com dados que podem ser sua chave para ocupar seus executivos para o e-mail.

Seu mantra deve ser: “Siga a hipótese!” Escreva em um post-it e cole no seu computador. Adicione ao protetor de tela do seu computador ou à tela de bloqueio do seu telefone. Coloque em qualquer lugar para lembrá-lo. Exclusivamente lembre-se: continue testando!