Comment l'optimisation automatisée des prompts améliore la qualité de l'API Prompt de ML Kit

Optimisation automatisée des prompts (APO)

Pour vous aider à déployer vos cas d'utilisation de l'API Prompt de ML Kit en production, nous sommes heureux d'annoncer l'optimisation automatisée des prompts (APO) ciblant les modèles sur l'appareil sur Vertex AI. L'optimisation automatisée des prompts est un outil qui vous aide à trouver automatiquement le prompt optimal pour vos cas d'utilisation.

L'ère de l'IA sur l'appareil n'est plus une promesse, mais une réalité de production. Avec la sortie de Gemini Nano v3, nous mettons des capacités de compréhension du langage et multimodales sans précédent directement entre les mains des utilisateurs. Grâce à la famille de modèles Gemini Nano, nous bénéficions d'une large couverture des appareils compatibles dans l'écosystème Android. Mais pour les développeurs qui créent la prochaine génération d'applications intelligentes, l'accès à un modèle puissant n'est que la première étape. Le véritable défi réside dans la personnalisation : comment adapter un modèle de base pour obtenir des performances de niveau expert pour votre cas d'utilisation spécifique sans enfreindre les contraintes du matériel mobile ?

Dans le monde côté serveur, les LLM plus volumineux ont tendance à être très performants et nécessitent moins d'adaptation au domaine. Même lorsque cela est nécessaire, des options plus avancées telles que le réglage fin LoRA (adaptation à faible rang) peuvent être des options viables. Toutefois, l'architecture unique d'Android AICore donne la priorité à un modèle système partagé et économe en mémoire. Cela signifie que le déploiement d'adaptateurs LoRA personnalisés pour chaque application individuelle présente des défis sur ces services système partagés.

Mais il existe une autre voie qui peut avoir un impact tout aussi important. En tirant parti de l'optimisation automatisée des prompts (APO) sur Vertex AI, les développeurs peuvent atteindre une qualité proche du réglage fin, tout en travaillant de manière transparente dans l'environnement d'exécution Android natif. En se concentrant sur des instructions système de qualité supérieure, l'APO permet aux développeurs d'adapter le comportement du modèle avec une plus grande robustesse et une meilleure évolutivité que les solutions de réglage fin traditionnelles.

Remarque :  Gemini Nano V3 est une version optimisée en termes de qualité du modèle Gemma 3N très acclamé. Toutes les optimisations de prompt effectuées sur le modèle open source Gemma 3N s'appliqueront également à Gemini Nano V3. Sur les appareils compatibles, les API d'IA générative ML Kit exploitent le modèle nano-v3 pour maximiser la qualité pour les développeurs Android.

L'APO traite le prompt non pas comme un texte statique, mais comme une surface programmable qui peut être optimisée. Il exploite des modèles côté serveur (comme Gemini Pro et Flash) pour proposer des prompts, évaluer les variations et trouver celui qui est optimal pour votre tâche spécifique. Ce processus utilise trois mécanismes techniques spécifiques pour maximiser les performances :

1. Analyse automatisée des erreurs : l'APO analyse les schémas d'erreur à partir des données d'entraînement pour identifier automatiquement les faiblesses spécifiques du prompt initial.
2. Distillation sémantique des instructions : elle analyse des exemples d'entraînement massifs pour distiller la "véritable intention" d'une tâche, en créant des instructions qui reflètent plus précisément la distribution réelle des données.
3. Test parallèle des candidats : au lieu de tester une idée à la fois, l'APO génère et teste de nombreux candidats de prompt en parallèle pour identifier le maximum global de qualité.

Pourquoi l'APO peut approcher la qualité du réglage fin

Il est courant de penser que le réglage fin offre toujours une meilleure qualité que le prompting. Pour les modèles de base modernes comme Gemini Nano v3, l'ingénierie des prompts peut avoir un impact en soi :

• Préservation des capacités générales : le réglage fin ( PEFT/LoRA) force les pondérations d'un modèle à sur-indexer une distribution spécifique de données. Cela entraîne souvent un "oubli catastrophique", où le modèle s'améliore dans votre syntaxe spécifique, mais se dégrade en termes de logique générale et de sécurité. L'APO laisse les pondérations intactes, ce qui préserve les capacités du modèle de base.
• Suivi des instructions et découverte de stratégies : Gemini Nano v3 a été rigoureusement entraîné pour suivre des instructions système complexes. L'APO exploite cela en trouvant la structure d'instruction exacte qui débloque les capacités latentes du modèle, en découvrant souvent des stratégies que les ingénieurs humains pourraient avoir du mal à trouver. 

Pour valider cette approche, nous avons évalué l'APO sur diverses charges de travail de production. Notre validation a montré des gains de précision constants de 5 à 8% dans différents cas d'utilisation.Sur plusieurs fonctionnalités déployées sur l'appareil, l'APO a permis d'améliorer considérablement la qualité.

Un workflow de développement de bout en bout fluide

Il est courant de penser que le réglage fin offre toujours une meilleure qualité que le prompting. Pour les modèles de base modernes comme Gemini Nano v3, l'ingénierie des prompts peut avoir un impact en soi :

• Préservation des capacités générales : le réglage fin ( PEFT/LoRA) force les pondérations d'un modèle à sur-indexer une distribution spécifique de données. Cela entraîne souvent un "oubli catastrophique", où le modèle s'améliore dans votre syntaxe spécifique, mais se dégrade en termes de logique générale et de sécurité. L'APO laisse les pondérations intactes, ce qui préserve les capacités du modèle de base.
• Suivi des instructions et découverte de stratégies : Gemini Nano v3 a été rigoureusement entraîné pour suivre des instructions système complexes. L'APO exploite cela en trouvant la structure d'instruction exacte qui débloque les capacités latentes du modèle, en découvrant souvent des stratégies que les ingénieurs humains pourraient avoir du mal à trouver. 

Pour valider cette approche, nous avons évalué l'APO sur diverses charges de travail de production. Notre validation a montré des gains de précision constants de 5 à 8% dans différents cas d'utilisation.Sur plusieurs fonctionnalités déployées sur l'appareil, l'APO a permis d'améliorer considérablement la qualité.

Conclusion

La sortie de l'optimisation automatisée des prompts (APO) marque un tournant pour l'IA générative sur l'appareil. En comblant le fossé entre les modèles de base et les performances de niveau expert, nous fournissons aux développeurs les outils nécessaires pour créer des applications mobiles plus robustes. Que vous débutiez avec l'optimisation zéro-shot ou que vous passiez à l'échelle en production avec le raffinement basé sur les données, la voie vers une intelligence sur l'appareil de haute qualité est désormais plus claire. Déployez vos cas d'utilisation sur l'appareil en production dès aujourd'hui avec l'API Prompt de ML Kit et l'optimisation automatisée des prompts de Vertex AI. 

Liens utiles :

• API Prompt de ML Kit,
• Documentation sur l'optimiseur de prompts Vertex AI
• Article de blog sur l'annonce de Gemma 3N