Mejora tu app con pruebas A/B

  • Desarrollo
  • Prueba
  • Análisis
  • Participación
  • Crecimiento

Las pruebas A/B te ayudan a revisar las mejoras de tu app con un conjunto de usuarios. De ese modo, podrás usar los datos para elegir la mejor solución para toda tu base de usuarios.

Por qué funciona

Las pruebas A/B eliminan las adivinanzas a la hora de determinar si un cambio en las funciones o el contenido de la app es beneficioso. Gracias a que puedes probar los cambios en un subconjunto de usuarios, las pruebas te ayudan a evitar que publiques una actualización para todos los usuarios y luego descubras que tiene un impacto inesperado.

Cómo hacerlo

  1. Selecciona una plataforma de pruebas A/B adecuada, como la orientación por percentil aleatorio de Firebase Remote Config con Google Analytics para Firebase y Google Tag Manager y, luego, intégrala a tu app.
  2. Determina las variantes de funciones o contenido que quieras probar y cómo medirás su éxito.
  3. Configura el contenido o las funciones que se mostrarán en cada una de las variantes de prueba y a los usuarios excluidos. Por ejemplo:

    Situación: Nueva implementación de una función existente

    Ejemplo: Usar una barra de navegación inferior en vez de pestañas para aumentar la participación de los usuarios.

    Grupo Qué ven los usuarios
    Usuarios excluidos de la prueba Implementación existente (pestañas)
    Variante A Implementación existente (pestañas)
    Variante B Implementación de la función nueva (navegación inferior)
    Variante C, D, etc. (opcional) Implementación de funciones adicionales (p. ej. un panel lateral de navegación)

    Situación: Función nueva que crea una métrica nueva

    Ejemplo: Organizar elementos de compras directas desde la aplicación según su popularidad en lugar del precio para generar más ingresos.

    Grupo Qué ven los usuarios
    Usuarios excluidos de la prueba Ninguna función nueva (las compras directas desde la aplicación no están habilitadas)
    Variante A Implementación de la nueva función 1 (organización de los elementos de compras directas desde la aplicación según su popularidad)
    Variante B Implementación de la nueva función 2 (organización de los elementos de compras directas desde la aplicación según su precio)
    Variante C, D, etc. (opcional) Implementación de funciones adicionales (p. ej. organización de los elementos por orden alfabético)

    Situación: Función nueva medida con una métrica existente

    Ejemplo: Permitir que los usuarios marquen los elementos con el fin de aumentar su participación.

    Grupo Qué ven los usuarios
    Usuarios excluidos de la prueba Ninguna función nueva (la opción de marcar los elementos no está habilitada)
    Variante A Ninguna función nueva (la opción de marcar los elementos no está habilitada)
    Variante B Implementación de la nueva función (p. ej. marcar los elementos con un símbolo de corazón)
    Variante C, D, etc. (opcional) Implementación de funciones adicionales (p. ej., marcar los elementos con un símbolo de estrella)
  4. Selecciona el tamaño de la población o la duración de la prueba según las funciones de tu plataforma de prueba A/B con el objetivo de alcanzar una población de prueba de al menos 1,000 usuarios.
  5. Ejecuta la prueba.
  6. Revisa los resultados de la prueba para determinar si son significativos con respecto a las estadísticas y si alguna de las variantes probadas mejoró el rendimiento de la app.
  7. Lanza para todos tus usuarios el cambio que haya resultado más exitoso.

Recomendaciones

  • Selecciona una plataforma que permita probar a escala. A medida que la app y tu negocio crezcan, querrás ejecutar más pruebas A/B con mayor frecuencia. Asegúrate de que tu plataforma elegida pueda ejecutar varias pruebas en paralelo en la misma población de usuarios, idealmente con una población compartida (para que un usuario pueda estar en varias pruebas al mismo tiempo).
  • Prueba la cantidad de variaciones que necesites para que la prueba sea útil. Considera probar más de dos variantes si hay varias funciones útiles alternativas o algunas opciones de contenido que creas que podrían ofrecer mejoras.

    Considera usar un enfoque multivariable para definir las variantes. Por ejemplo:

Texto del botón (aspecto 2)
Comprar Compra
Color del botón (aspecto 1) Azul Variante A Variante B
Verde Variante C Variante D
  • Ejecuta la prueba durante el tiempo suficiente para quitar variaciones periódicas. El comportamiento de los usuarios puede variar por hora, día, semana o ciclos similares. Ten en cuenta este comportamiento cíclico cuando configures la duración de la prueba. En los casos en que se sepa que el comportamiento varía en ciclos más largos, es posible que sea necesario usar un período de prueba más breve y extrapolar los resultados.
  • Asegúrate de que las variaciones entre los segmentos de usuarios no afecten tu prueba. Si crees que el comportamiento de los usuarios varía entre los segmentos, ejecuta la prueba dentro de un solo segmento o asegúrate de usar una muestra de usuarios representativa. Por ejemplo, si se sabe que los ingresos por usuario varían por país, realiza la prueba con usuarios de un país o toma una muestra de usuarios de todos los países.
  • Haz pruebas en varios segmentos. Cuando tengas segmentos útiles y conocidos, como un país o un canal de adquisición, considera ejecutar la prueba en diferentes segmentos para ver si los resultados varían entre sí. Puedes implementar el cambio para algunos segmentos únicamente o proporcionar diferentes cambios para distintos segmentos.
  • Considera los beneficios potenciales para el negocio cuando configures la duración de la prueba. Cuando configures la duración de la prueba o el tamaño del grupo de prueba y, por lo tanto, el tiempo que llevará que se muestren las variantes a los verificadores, considera si una prueba más breve podría ser beneficiosa para el negocio (por ejemplo, si permite obtener los beneficios más pronto).
  • Supervisa las pruebas para detectar cualquier resultado negativo inesperado y estar preparado para detenerlas. Aunque la prueba solo involucre un pequeño porcentaje de usuarios, un resultado deficiente podría afectar la calificación y las reseñas o tener un impacto negativo en otros usuarios a través de la información que se comparte en medios sociales.
  • Si tu plataforma lo permite, implementa los cambios de manera incremental. Aunque la prueba indique que implementar un cambio tendrá como resultado un beneficio estadístico, es posible que se produzcan resultados inesperados cuando todos los usuarios reciban el cambio. Si lo implementas de forma incremental, podrás supervisar su efecto a medida que lo reciben más usuarios y detener el proceso de implementación si el cambio no proporciona los beneficios esperados.
  • Excluye de tus métricas a los usuarios que habilitaron la función. Si permites que algunos usuarios habiliten la opción de ver o usar la nueva función que estás probando, recuerda excluirlos de las métricas.