Crea apps inteligentes para Android: Introducción a Jetpacker

Por lo general, crear funciones potenciadas por IA generativa en tu app implica navegar por varios modelos, APIs y opciones de arquitectura: 

• Ubicación de ejecución: ¿Dónde se ejecuta tu modelo? ¿En el dispositivo, en la nube o ambos?
• Complejidad: ¿Qué tan compleja es tu configuración? ¿Realizarás una sola llamada de inferencia o necesitas un flujo más agentivo?
• En la app o en el sistema Android: ¿Tu función debería integrarse en tu app para Android o se adapta mejor como una integración del sistema Android?

En esta serie de entradas de blog, te guiaremos por estas opciones. Te acompañaremos en un recorrido que comenzará con una app móvil básica y la transformará en una experiencia personalizada, inteligente y de agente.

Jetpacker: Una app de viajes de demostración

Jetpacker es una app de demostración técnica que nuestro equipo creó desde cero para el Google I/O de este año (se creó con Antigravity). En esencia, Jetpacker ayuda a los usuarios a planificar, explorar y disfrutar su próxima gran aventura. Muestra un resumen de tus viajes, el itinerario de cada uno y los detalles de cada evento en ese viaje. Por supuesto, seguirás todas las prácticas recomendadas del desarrollo para Android, incluido un diseño de IU de Material expresivo y atractivo.

¿Y lo mejor de todo? Es completamente de código abierto.

Hoy publicamos una serie de entradas de blog técnicas en las que analizamos en detalle cada una de estas funciones. Te proporcionaremos pasos de implementación detallados, fragmentos de código y estadísticas de arquitectura para ayudarte a crear tus propias aplicaciones inteligentes para Android.

Inteligencia integrada en el dispositivo

El uso de un modelo integrado en el dispositivo no genera costos adicionales de inferencia en la nube, lo que significa que no tienes que preocuparte por la conectividad a Internet y permite que los usuarios tengan la certeza de que la información privada se procesará de forma local, en el dispositivo, sin que se envíen sus datos a la nube.

En Jetpacker, elegimos la inferencia integrada en el dispositivo para tres de nuestras funciones:

• La función Resumen del viaje transforma un itinerario desordenado de varios días en un resumen conciso y práctico. Aprovecha Gemini Nano a través de las APIs de IA generativa de ML Kit para procesar datos de forma local en el dispositivo. Consideramos que esta es una función deseable en la que no queremos generar costos adicionales en la nube, por lo que la inferencia integrada en el dispositivo es la opción correcta.
• El registrador de gastos extrae automáticamente datos estructurados de las imágenes de los recibos para ayudar a los usuarios a hacer un seguimiento de sus gastos de viaje. Utiliza las capacidades multimodales de Gemini Nano 4 a través de las APIs de IA generativa de ML Kit. Elegimos una solución integrada en el dispositivo para que la información sensible a la privacidad que se encuentra en las imágenes de los recibos nunca salga del dispositivo del usuario.
• El diario de audio graba, transcribe y categoriza las notas de voz en actividades relevantes del viaje. Funciona con las APIs de Speech Recognition de ML Kit y GenAI Prompt. Elegimos una solución integrada en el dispositivo por motivos de privacidad y conectividad.

Inferencia híbrida y en la nube

A veces, tu caso de uso requiere modelos de IA con mayor conocimiento del mundo o una ventana de contexto mucho más grande y con mayor capacidad para manejar tareas complejas. En ese caso, podemos dejar de ejecutar un modelo en el dispositivo y, en su lugar, usar un modelo en la nube.

O bien, si quieres obtener lo mejor de ambos mundos, puedes usar la inferencia híbrida para elegir de forma dinámica un modelo en la nube o integrado en el dispositivo durante el tiempo de ejecución. Esto nos permite reducir los costos trasladando la inferencia al dispositivo cuando está disponible, pero, al mismo tiempo, admitir todos los dispositivos Android que ejecutan la app.

En Jetpacker, implementamos varias funciones con inferencia híbrida o en la nube:

• La función de preguntas y respuestas sobre lugares responde las preguntas de los usuarios sobre ubicaciones específicas basándose en datos del mundo real. Utiliza Firebase AI Logic integrado con Google Maps y el contexto web. Aquí es necesario usar un modelo en la nube por su mayor conocimiento del mundo.
• La función de borrador de opiniones ayuda a los usuarios a redactar opiniones detalladas sobre los lugares que visitaron. Aprovecha los modelos integrados en el dispositivo y en la nube a través de la nueva API de inferencia híbrida de Firebase AI Logic. Esta es una función que queríamos poner a disposición de todos los usuarios de la app, por lo que usamos un modelo en la nube como alternativa cuando no hay un modelo disponible en el dispositivo.
• La traducción automática del chat traduce de forma dinámica los mensajes del chat en tiempo real para facilitar la comunicación fluida, lo que demuestra una lógica de inferencia híbrida personalizada. Una vez más, queremos que esta función esté disponible para todos los usuarios de la app, pero, al mismo tiempo, tenemos algunas consideraciones específicas sobre cuándo elegir integrado en el dispositivo o la nube.

Integración del sistema

Si bien no es una función que se ve en la app, la integración del sistema Android abre las capacidades principales de la app directamente al sistema operativo Android. Utiliza la API de AppFunctions para integrarse con la inteligencia a nivel del sistema.

Flujos de trabajo de agentes integrados en la app (próximamente)

La capacidad de agente introduce un mayor nivel de autonomía, lo que permite que los modelos actúen como agentes. En lugar de una sola llamada de inferencia, un agente trabaja para alcanzar un objetivo específico a través de un bucle de orquestación que le permite razonar, usar herramientas y adaptar su ruta. Según tus requisitos, estos agentes inteligentes pueden ejecutarse en la nube, directamente integrado en el dispositivo o en una configuración híbrida.

En el caso de Jetpacker, agregamos un asistente de reservas que automatiza los flujos de trabajo de reservas de extremo a extremo directamente en la aplicación para optimizar las reservas. Se creó con A2UI y ADK que se ejecutan en la nube. La app para Android funciona como un frontend del sistema multiagente que se ejecuta en la nube.

Más información

Consulta las otras partes de esta serie de entradas de blog:

Parte 1 (esta publicación): Introducción a la app y descripción general.
Parte 2: Inteligencia integrada en el dispositivo. Analiza en detalle las APIs de IA generativa de ML Kit y Gemini Nano para crear funciones que prioricen la privacidad ante todo, como el resumen de itinerarios, el análisis de recibos y el procesamiento de audio local.
Parte 3: Razonamiento híbrido y en la nube. Explora cómo usar Firebase AI Logic para fundamentar las respuestas de LLM en datos del mundo real, como Google Maps y el contexto web.
Parte 4: Integración del sistema. Integración con el sistema de inteligencia de Android a través de AppFunctions.
Parte 5 (próximamente): Flujos de trabajo basados en agentes integrados en la app. Extiende la app con un asistente de reservas de extremo a extremo potenciado por A2UI y el ADK.

¿Te interesa obtener más información sobre el desarrollo para Android? Sigue a Android Developers en YouTube o LinkedIn.