Register now for Android Dev Summit 2019!

Améliorer votre application grâce aux tests A/B

Les tests A/B vous permettent de tester les améliorations apportées à votre application sur un sous-groupe d'utilisateurs. Ainsi, vous pouvez choisir la solution la plus adaptée à l'ensemble de votre base d'utilisateurs en vous appuyant sur des données.

Pourquoi ça fonctionne

Les tests A/B ne laissent aucune place au hasard. Ils vous permettent de déterminer si un changement de fonctionnalité ou de contenu est utile. En outre, comme vous testez les modifications sur un sous-groupe d'utilisateurs, vous évitez de publier une version dont l'impact est potentiellement inattendu ou négatif auprès de tous vos utilisateurs.

Marche à suivre

  • Sélectionnez une plate-forme de tests A/B adaptée, telle que le ciblage de centile aléatoire de Firebase Remote Config avec Firebase Analytics ou Google Analytics avec Google Tag Manager. Une fois que votre choix est fait, intégrez la plate-forme à votre application.
  • Identifiez la fonctionnalité ou la variante de contenu que vous souhaitez tester et déterminez comment vous allez mesurer les résultats obtenus.
  • Présentez les fonctionnalités ou le contenu aux groupes de contrôle et de testeurs en procédant comme suit :
Scénario Exemple de modification à tester Les utilisateurs exclus du test voient… Variante A Variante B Variantes C, D, etc. (facultatif)
Nouvelle mise en œuvre d'une fonctionnalité existante Le passage d'une navigation par onglets à une barre de navigation inférieure augmente l'intérêt des utilisateurs. … la mise en œuvre existante.
Ex. : onglets
Mise en œuvre existante
Ex. : onglets
Mise en œuvre de la nouvelle fonctionnalité
Ex. : barre de navigation inférieure
Mise(s) en œuvre de fonctionnalités supplémentaires
Ex. : panneau de navigation
Nouvelle fonctionnalité générant une nouvelle statistique En répertoriant les articles pouvant être achetés via l'application en fonction de leur popularité plutôt que de leur prix, nous augmenterons nos revenus. … uniquement les fonctionnalités existantes.
Ex. : la fonctionnalité d'achat via l'application est désactivée
Mise en œuvre de la nouvelle fonctionnalité n° 1
Ex. : les articles pouvant être achetés via l'application sont répertoriés en fonction de leur popularité
Mise en œuvre de la nouvelle fonctionnalité n° 2
Ex. : les articles pouvant être achetés via l'application sont répertoriés en fonction de leur prix
Mise(s) en œuvre de fonctionnalités supplémentaires
Ex. : les articles pouvant être achetés via l'application sont classés par ordre alphabétique
Nouvelle fonctionnalité mesurée avec une statistique existante En permettant aux utilisateurs de marquer des articles, nous augmenterons leur intérêt. … uniquement les fonctionnalités existantes.
Ex. : impossible de marquer les articles
Aucune nouvelle fonctionnalité
Ex. : impossible de marquer les articles
Mise en œuvre de la nouvelle fonctionnalité
Ex. : il est possible de marquer les articles à l'aide d'une icône en forme de cœur
Mise(s) en œuvre de fonctionnalités supplémentaires
Ex. : il est possible de marquer les articles à l'aide d'une icône en forme d'étoile
  • Déterminez la taille de votre base de testeurs ou la durée du test en fonction des options offertes par votre plate-forme de tests A/B. L'objectif est de cibler une base de testeurs composée d'au moins 1 000 utilisateurs.
  • Exécutez le test.
  • Analysez les résultats du test pour déterminer s'ils sont significatifs d'un point de vue statistique, et si l'une des variantes testées a amélioré les performances de votre application.
  • Déployez les modifications qui ont généré des résultats positifs auprès de tous vos utilisateurs.

Bonnes pratiques

  • Sélectionnez une plate-forme qui permet d'exécuter des tests à grande échelle. Au fil du développement de votre application et de votre activité, vous souhaiterez effectuer plus de tests A/B, plus souvent. Assurez-vous que la plate-forme sélectionnée puisse exécuter plusieurs tests en parallèle auprès du même groupe d'utilisateurs. Dans l'idéal, vous utiliserez un groupe partagé (afin qu'un utilisateur puisse participer à plusieurs tests simultanément).
  • Testez autant de variantes que nécessaire pour que le test soit probant. Testez plus de deux variantes si vous pensez que plusieurs fonctionnalités ou contenus utiles peuvent améliorer votre application. Pensez à utiliser des tests à plusieurs variables pour définir les variantes adaptées. Exemple :
Libellé du bouton (critère 2)
Acheter Ajouter au panier
Couleur du bouton (critère 1) Bleu Variante A Variante B
Vert Variante C Variante D
  • Exécutez les tests sur une période suffisamment longue pour que les résultats ne soient pas influencés par des variations saisonnières. Le comportement des utilisateurs peut varier en fonction de l'heure, du jour, de la semaine ou de la saison. Tenez-en compte lorsque vous définissez la durée du test. Si vous savez que le comportement varie en fonction de cycles plus longs, il peut être nécessaire de définir une période plus courte et d'extrapoler les résultats à partir de cette base.
  • Assurez-vous que les différences identifiées entre les segments d'utilisateurs n'influencent pas les résultats de votre test. Si vous pensez que le comportement varie en fonction des segments d'utilisateurs, n'exécutez le test qu'auprès d'un seul segment ou utilisez un échantillon représentatif de tous les utilisateurs. Par exemple, si vous savez que les revenus par utilisateur varient en fonction du pays, exécutez le test auprès des utilisateurs d'un seul pays ou d'un échantillon d'utilisateurs de tous les pays.
  • Exécutez le test auprès de plusieurs segments. Lorsque vous avez identifié des segments utiles, tels que les pays ou les canaux d'acquisition, pensez à exécuter votre test auprès de plusieurs segments pour vérifier si vous obtenez des résultats différents. Vous pouvez ensuite décider de déployer une modification pour certains segments uniquement ou appliquer différentes modifications à différents segments.
  • Définissez la durée du test en prenant en compte les avantages potentiels pour votre entreprise. Lorsque vous définissez la durée ou la taille du test (et donc le temps nécessaire pour présenter les variantes aux testeurs), demandez-vous si un test plus court peut être avantageux pour votre entreprise (les améliorations étant mises en œuvre plus rapidement).
  • Suivez les tests de près pour détecter d'éventuels résultats indésirables et soyez prêt à les interrompre si nécessaire. Même si votre test n'implique qu'une petite proportion d'utilisateurs, un mauvais résultat peut avoir un impact négatif sur les notes et les avis ou influencer les autres utilisateurs en raison d'informations partagées sur les réseaux sociaux.
  • Si votre plate-forme le permet, déployez les modifications progressivement. Même si les résultats de votre test révèlent les avantages statistiques d'une modification, des résultats inattendus peuvent survenir lorsque cette dernière est déployée auprès de tous les utilisateurs. Un déploiement progressif vous permet de contrôler les effets de la modification au fur et à mesure qu'elle est présentée aux utilisateurs. En outre, cela vous permet d'interrompre le déploiement si vous ne bénéficiez pas des avantages prévus.
  • Excluez les utilisateurs qui ont déjà activé la fonctionnalité testée. Si vous autorisez des utilisateurs à activer la nouvelle fonctionnalité qui fait l'objet du test, n'oubliez pas d'exclure ces derniers des statistiques.