Aprimorar seu app realizando testes A/B no app

  • Desenvolvimento
  • Teste
  • Análise
  • Engajamento
  • Expansão

O teste A/B ajuda a comprovar a implementação de melhorias no seu app em um subconjunto de usuários, fornecendo dados que possibilitam escolher a melhor solução para toda a base de usuários.

Por que isso funciona

Com o teste A/B, você elimina os palpites na hora de determinar se uma alteração nos recursos ou no conteúdo do app será benéfica. Como é possível testar alterações em um subconjunto de usuários, o teste A/B impede o lançamento de uma atualização para todos os usuários que terá, na prática, impacto inesperado.

Como fazer

  1. Selecione uma plataforma de teste A/B adequada, como a segmentação percentil aleatória da Configuração remota do Firebase com o Google Analytics para Firebase e com o Gerenciador de tags do Google, e integre-a ao app.
  2. Determine o recurso ou as variantes de conteúdo que você quer testar e como o sucesso será medido.
  3. Configure os recursos ou os conteúdos a serem mostrados em cada variante de teste e para os usuários que não estão sendo testados, por exemplo:

    Cenário: nova implementação do recurso existente

    Exemplo: usar a navegação inferior em vez de guias para aumentar o engajamento do usuário.

    Grupo O que os usuários veem
    Usuários excluídos do teste Implementação existente (guias)
    Variante A Implementação existente (guias)
    Variante B Implementação de novos recursos (navegação inferior)
    Variante C, D etc. (opcional) Implementações de recursos adicionais (por exemplo, uma gaveta de navegação)

    Cenário: novo recurso que cria uma nova métrica

    Exemplo: listar itens comprados no app por popularidade, em vez de preço, para gerar mais receita.

    Grupo O que os usuários veem
    Usuários excluídos do teste Nenhum recurso novo (compras no aplicativo não estão ativadas)
    Variante A Implementação de novos recursos 1 (itens de compra no aplicativo listados por popularidade)
    Variante B Implementação de novos recursos 2 (itens de compra no aplicativo listados por preço)
    Variante C, D etc. (opcional) Implementações adicionais de recursos (por exemplo, itens de compra ordenados alfabeticamente)

    Cenário: novo recurso avaliado com uma métrica existente

    Exemplo: permitir que os usuários marquem itens para aumentar o engajamento do usuário.

    Grupo O que os usuários veem
    Usuários excluídos do teste Nenhum novo recurso (a marcação de itens está desativada)
    Variante A Nenhum novo recurso (a marcação de itens está desativada)
    Variante B Implementação de novos recursos (por exemplo, marcar itens usando um símbolo de coração)
    Variante C, D etc. (opcional) Implementações adicionais de recursos (por exemplo, marcar itens usando um símbolo de estrela)
  4. Selecione o tamanho do grupo de teste ou a duração do teste de acordo com os recursos da plataforma de teste A/B, com o objetivo de atingir um grupo de teste com pelo menos mil usuários.
  5. Faça o teste.
  6. Revise os resultados do teste para determinar se eles são estatisticamente significativos e se alguma das variantes testadas melhorou o desempenho do app.
  7. Libere a alteração "vencedora" para todos os seus usuários.

Práticas recomendadas

  • Selecione uma plataforma que permite dimensionar os testes. À medida que seu app e seus negócios crescerem, você precisará aumentar a quantidade e a frequência dos testes A/B. É preciso que a plataforma escolhida permita fazer vários testes em paralelo com o mesmo grupo de usuários, de preferência com um grupo compartilhado para que um usuário possa estar em vários testes ao mesmo tempo.
  • Experimente o maior número possível de variações para que o teste seja útil. Procure testar mais de duas variantes se houver várias alternativas úteis para o conteúdo que poderiam trazer melhorias.

    Considere uma abordagem multivariada para definir as variantes. Por exemplo:

Texto do botão (aspecto 2)
Comprar Comprar
Cor do botão (aspecto 1) Azul Variante A Variante B
Verde Variante C Variante D
  • Execute o teste por um período suficiente para remover variações periódicas. O comportamento do usuário pode variar de acordo com horários, dias, semanas ou ciclos semelhantes. Leve esse comportamento cíclico em consideração ao definir a duração do teste. Quando se sabe que o comportamento varia ao longo de ciclos mais longos, pode ser necessário aplicar um período de teste mais curto e generalizar os resultados.
  • Certifique-se de que as variações conhecidas entre os segmentos de usuários não afetem o teste. Se você acha que o comportamento do usuário variará entre os segmentos de usuários, faça o teste em um segmento ou use uma amostra representativa de todos os usuários. Por exemplo, se você sabe que a receita por usuário varia entre países, faça o teste com usuários de um só país ou com uma amostra de usuários de todos os países.
  • Teste em vários segmentos. Nos locais em que você tem segmentos úteis e conhecidos, como país ou canal de aquisição, procure realizar o teste em diferentes segmentos para ver se os resultados variam entre eles. Em seguida, você pode liberar a alteração para somente alguns segmentos ou, então, diferentes alterações para diferentes segmentos.
  • Ao definir a duração do teste, considere possíveis benefícios para o negócio. Ao definir a duração do teste ou o tamanho do grupo de teste e, portanto, o tempo que levará para que as variantes sejam exibidas para os testadores, considere se um teste mais curto poderia trazer mais benefícios para o negócio, como gerar essas melhorias mais rapidamente.
  • Monitore os testes em busca de resultados negativos inesperados e esteja preparado para interrompê-lo. Mesmo que o teste envolva apenas uma pequena porcentagem dos seus usuários, um resultado muito ruim poderia afetar suas avaliações e resenhas ou afetar negativamente outros usuários por meio de informações compartilhadas nas mídias sociais.
  • Se a plataforma permitir, implemente as alterações de forma crescente. Mesmo que os testes indiquem estatisticamente que uma alteração trará benefícios, resultados inesperados ainda poderão ocorrer quando ela estiver disponível para os usuários. Ao liberar a alteração de forma crescente, você conseguirá monitorar os efeitos dela conforme o número de usuários contemplados for aumentando e poderá interromper a implementação se os benefícios esperados não forem atingidos.
  • Exclua das suas métricas os usuários que aceitaram participar do teste. Se você fornecer aos usuários a opção de ativar a exibição ou o uso de um novo recurso que estiver em teste, lembre-se de excluir essas pessoas das métricas.