Aprimorar seu app realizando testes A/B no app

O teste A/B ajuda a comprovar a implementação de melhorias no seu app em um subconjunto de usuários, fornecendo dados que possibilitam escolher a melhor solução para toda a base de usuários.

Por que isso funciona

Com o teste A/B, você elimina os palpites na hora de determinar se uma alteração nos recursos ou no conteúdo do app será benéfica. E, como é possível testar alterações em um subconjunto de usuários, o teste A/B impede fatalidades (como o lançamento de uma atualização para todos os usuários) que terão, na prática, impacto inesperado ou negativo.

Como fazer

  • Selecione uma plataforma de teste A/B adequada, como a segmentação percentil aleatória do Firebase Remote Config com o Firebase Analytics ou Google Analytics e com o Gerenciador de tags do Google, e integre-a ao app.
  • Determine o recurso ou as variantes de conteúdo que deseja testar e como o sucesso será medido.
  • Configure os recursos ou os conteúdos a serem mostrados aos grupos de controle e teste da seguinte maneira:
Cenário Exemplo de alteração em teste Usuários excluídos do teste veem... Variante A Variante B Variante C, D etc. (opcional)
Nova implementação de um recurso existente Alternar para a navegação inferior a partir das guias aumentará o engajamento dos usuários a implementação existente.
Por exemplo, guias
Implementação existente
Por exemplo, guias
Implementação do novo recurso
Por exemplo, navegação inferior
Implementações de recursos adicionais
Por exemplo, gaveta de navegação
Novo recurso que cria uma nova métrica Listar itens comprados no app por popularidade, em vez de preço, gerará mais receita nenhum novo recurso.
Por exemplo, compras no app não foram ativadas
Implementação do novo recurso 1
Por exemplo, itens comprados no app listados por popularidade
Implementação do novo recurso 2
Por exemplo, itens comprados no app listados por preço
Implementações de recursos adicionais
Por exemplo, itens comprados no app ordenados alfabeticamente
Novo recurso avaliado com uma métrica existente Permitir que os usuários marquem itens aumentará o engajamento do usuário nenhum novo recurso.
Por exemplo, a marcação de itens não está ativada
Nenhum recurso novo
Por exemplo, a marcação de itens não está ativada
Implementação do novo recurso
Por exemplo, a marcação de itens está ativada e é sinalizada com um símbolo de coração
Implementações de recursos adicionais
Por exemplo, a marcação de itens está ativada e é sinalizada com um símbolo de estrela
  • Selecione o tamanho do grupo de teste ou a duração do teste de acordo com os recursos da plataforma de teste A/B, com o objetivo de atingir um grupo de teste com pelo menos mil usuários.
  • Execute o teste.
  • Revise os resultados do teste para determinar se eles são estatisticamente significativos e se alguma das variantes testadas melhorou o desempenho do app.
  • Lance a alteração "vencedora" para todos os seus usuários.

Práticas recomendadas

  • Selecione uma plataforma que permite dimensionar os testes. À medida que seu app e seus negócios crescerem, você precisará executar mais testes A/B e com mais frequência. Veja se a plataforma escolhida consegue executar vários testes em paralelo no mesmo grupo de usuários e idealmente usando um grupo compartilhado, para que um usuário possa estar em vários testes simultaneamente.
  • Experimente o maior número possível de variações para que o teste seja útil. Procure testar mais de duas variantes se houver várias alternativas úteis para o recurso ou conteúdo que poderiam trazer melhorias. Considere uma abordagem multivariada para definir as variantes. Por exemplo:
Texto do botão (aspecto 2)
Comprar Comprar
Cor do botão (aspecto 1) Azul Variante A Variante B
Verde Variante C Variante D
  • Execute o teste por um período suficiente para remover variações periódicas. O comportamento do usuário pode variar de acordo com horários, dias, semanas ou ciclos semelhantes. Leve tais ciclos em consideração ao definir a duração do teste. Quando se sabe que o comportamento varia ao longo de ciclos mais longos, pode ser necessário aplicar um período de teste mais curto e generalizar os resultados.
  • Certifique-se de que as variações conhecidas entre os segmentos de usuários não afetem o teste. Se você acha que o comportamento do usuário variará entre os segmentos de usuários, execute o teste em um segmento ou use uma amostra representativa de todos os usuários. Por exemplo, se você sabe que a receita por usuário varia de país para país, faça o teste com usuários de um só país ou com uma amostra de usuários de todos os países.
  • Teste em vários segmentos. Nos locais em que você tem segmentos úteis e conhecidos, como país, canal de aquisição ou semelhante, procure realizar o teste em diferentes segmentos para ver se os resultados variam entre eles. Em seguida, você pode lançar a alteração para apenas alguns segmentos ou, então, diferentes alterações para diferentes segmentos.
  • Ao definir a duração do teste, considere possíveis benefícios para o negócio. Ao definir a duração do teste ou o tamanho do grupo de teste (e, portanto, o tempo que levará para que as variantes sejam exibidas para os testadores), considere se um teste mais curto poderia trazer mais benefícios para o negócio, por gerar tais melhorias antes.
  • Monitore os testes em busca de resultados negativos inesperados e esteja preparado para interrompê-lo. Mesmo que o teste envolva apenas uma pequena porcentagem de seus usuários, um resultado muito ruim poderia afetar suas avaliações e resenhas ou causar um impacto negativo sobre outros usuários, por meio de informações compartilhadas nas mídias sociais.
  • Se a plataforma permitir, implemente as alterações de forma crescente. Mesmo que os testes indiquem estatisticamente que uma alteração trará benefícios, resultados inesperados ainda poderão ocorrer quando ela estiver disponível para os usuários. Ao liberar a alteração de forma crescente, você conseguirá monitorar os efeitos dela conforme o número de usuários contemplados for aumentando e poderá interromper o lançamento se os benefícios esperados não forem atingidos.
  • Exclua das suas métricas os usuários que aceitaram participar do teste. Se você fornecer aos usuários a opção de ativar a exibição ou o uso de um novo recurso que estiver em teste, lembre-se de excluir essas pessoas das métricas.