Optimización automática de instrucciones (APO)

Para ayudarte aún más a llevar tus casos de uso de la API de Prompt de ML Kit a la producción, nos complace anunciar la Optimización automática de instrucciones (APO) para los modelos integrados en el dispositivo en Vertex AI. La Optimización automática de instrucciones es una herramienta que te ayuda a encontrar automáticamente la instrucción óptima para tus casos de uso.

La era de la IA en el dispositivo ya no es una promesa, sino una realidad de producción. Con el lanzamiento de Gemini Nano v3, ponemos capacidades multimodales y de comprensión del lenguaje sin precedentes directamente en las manos de los usuarios. A través de la familia de modelos de Gemini Nano, tenemos una amplia cobertura de dispositivos compatibles en todo el ecosistema de Android. Sin embargo, para los desarrolladores que crean la próxima generación de apps inteligentes, el acceso a un modelo potente es solo el primer paso. El verdadero desafío radica en la personalización: ¿Cómo adaptar un modelo básico para que tenga un rendimiento de nivel experto en tu caso de uso específico sin incumplir las limitaciones del hardware para dispositivos móviles?

En el mundo del servidor, los LLM más grandes suelen ser muy capaces y requieren menos adaptación al dominio. Incluso cuando es necesario, las opciones más avanzadas, como el ajuste de LoRA (Adaptación de bajo rango), pueden ser opciones factibles. Sin embargo, la arquitectura única de AICore de Android prioriza un modelo del sistema compartido y eficiente en cuanto a la memoria. Esto significa que implementar adaptadores LoRA personalizados para cada app individual presenta desafíos en estos servicios del sistema compartidos.

Sin embargo, existe una ruta alternativa que puede ser igual de impactante. Con Automated Prompt Optimization (APO) en Vertex AI, los desarrolladores pueden lograr una calidad cercana a la optimización, todo mientras trabajan sin problemas en el entorno de ejecución nativo de Android. Al enfocarse en instrucciones superiores del sistema, la APO permite que los desarrolladores adapten el comportamiento del modelo con mayor solidez y escalabilidad que las soluciones de ajuste tradicionales.

Nota: Gemini Nano V3 es una versión optimizada en cuanto a calidad del aclamado modelo Gemma 3N. Las optimizaciones de instrucciones que se realicen en el modelo abierto Gemma 3N también se aplicarán a Gemini Nano V3. En los dispositivos compatibles, las APIs de IA generativa de ML Kit aprovechan el modelo nano-v3 para maximizar la calidad para los desarrolladores de Android.

La APO trata la instrucción no como un texto estático, sino como una superficie programable que se puede optimizar. Aprovecha los modelos del servidor (como Gemini Pro y Flash) para proponer instrucciones, evaluar variaciones y encontrar la óptima para tu tarea específica. Este proceso emplea tres mecanismos técnicos específicos para maximizar el rendimiento:

1. Análisis de errores automatizado: La APO analiza los patrones de error de los datos de entrenamiento para identificar automáticamente las debilidades específicas en la instrucción inicial.
2. Destilación de instrucciones semánticas: Analiza enormes ejemplos de entrenamiento para destilar la "verdadera intención" de una tarea, y crea instrucciones que reflejan con mayor precisión la distribución real de los datos.
3. Pruebas paralelas de candidatos: En lugar de probar una idea a la vez, la APO genera y prueba numerosos candidatos de instrucciones de forma paralela para identificar el máximo global de calidad.

Por qué la APO puede acercarse a la calidad del ajuste

Es un error común creer que el ajuste fino siempre produce una mejor calidad que las instrucciones. En el caso de los modelos de base modernos, como Gemini Nano v3, la ingeniería de instrucciones puede ser eficaz por sí sola:

• Preservación de las capacidades generales: El ajuste ( PEFT/LoRA) obliga a los pesos de un modelo a indexarse en exceso en una distribución específica de datos. Esto suele provocar un "olvido catastrófico", en el que el modelo mejora en tu sintaxis específica, pero empeora en la lógica y la seguridad generales. El APO no modifica los pesos, por lo que se conservan las capacidades del modelo base.
• Seguimiento de instrucciones y descubrimiento de estrategias: Gemini Nano v3 se entrenó rigurosamente para seguir instrucciones complejas del sistema. La APO aprovecha esto buscando la estructura de instrucciones exacta que desbloquea las capacidades latentes del modelo y, a menudo, descubre estrategias que podrían ser difíciles de encontrar para los ingenieros humanos. 

Para validar este enfoque, evaluamos el APO en diversas cargas de trabajo de producción. Nuestra validación mostró aumentos de precisión constantes del 5% al 8% en varios casos de uso.En varias funciones implementadas integrado en el dispositivo, APO proporcionó mejoras significativas en la calidad.

Un flujo de trabajo del desarrollador integral y sin interrupciones

Es un error común creer que el ajuste fino siempre produce una mejor calidad que las instrucciones. En el caso de los modelos de base modernos, como Gemini Nano v3, la ingeniería de instrucciones puede ser eficaz por sí sola:

• Preservación de las capacidades generales: El ajuste ( PEFT/LoRA) obliga a los pesos de un modelo a indexarse en exceso en una distribución específica de datos. Esto suele provocar un "olvido catastrófico", en el que el modelo mejora en tu sintaxis específica, pero empeora en la lógica y la seguridad generales. El APO no modifica los pesos, por lo que se conservan las capacidades del modelo base.
• Seguimiento de instrucciones y descubrimiento de estrategias: Gemini Nano v3 se entrenó rigurosamente para seguir instrucciones complejas del sistema. La APO aprovecha esto buscando la estructura de instrucciones exacta que desbloquea las capacidades latentes del modelo y, a menudo, descubre estrategias que podrían ser difíciles de encontrar para los ingenieros humanos. 

Para validar este enfoque, evaluamos el APO en diversas cargas de trabajo de producción. Nuestra validación mostró aumentos de precisión constantes del 5% al 8% en varios casos de uso.En varias funciones implementadas integrado en el dispositivo, APO proporcionó mejoras significativas en la calidad.

Conclusión

El lanzamiento de la Optimización automática de instrucciones (APO) marca un punto de inflexión para la IA generativa en el dispositivo. Al acortar la brecha entre los modelos de base y el rendimiento a nivel de expertos, les brindamos a los desarrolladores las herramientas para crear aplicaciones para dispositivos móviles más sólidas. Ya sea que estés comenzando a usar la optimización sin ejemplos o que estés ampliando tu producción con el perfeccionamiento basado en datos, el camino hacia la inteligencia de alta calidad en el dispositivo ahora es más claro.Lanza hoy mismo tus casos de uso integrados en el dispositivo a producción con la API de Prompt de ML Kit y la Optimización automática de instrucciones de Vertex AI. 

Vínculos relevantes: 

• API de Prompt de ML Kit
• Documentación del optimizador de instrucciones de Vertex AI
• Anuncio en el blog de Gemma 3N