Comment l'optimisation automatisée des prompts améliore la qualité de l'API GenAI Prompt de ML Kit

Optimisation automatisée des prompts (APO)

Pour vous aider à mettre en production vos cas d'utilisation de l'API Prompt de ML Kit, nous sommes ravis d'annoncer l'optimisation automatisée des prompts (APO) ciblant les modèles on-device sur Vertex AI. L'optimisation automatisée des prompts est un outil qui vous aide à trouver automatiquement le prompt optimal pour vos cas d'utilisation.

L'ère de l'IA on-device n'est plus une promesse, mais une réalité en production. Avec le lancement de Gemini Nano v3, nous mettons des capacités de compréhension du langage et des fonctionnalités multimodales sans précédent directement entre les mains des utilisateurs. Grâce à la famille de modèles Gemini Nano, nous couvrons un large éventail d'appareils compatibles dans l'écosystème Android. Mais pour les développeurs qui créent la nouvelle génération d'applications intelligentes, l'accès à un modèle puissant n'est que la première étape. Le véritable défi réside dans la personnalisation : comment adapter un modèle de fondation pour qu'il atteigne un niveau de performance d'expert pour votre cas d'utilisation spécifique, sans dépasser les limites du matériel mobile ?

Dans le monde côté serveur, les LLM plus volumineux ont tendance à être très performants et nécessitent moins d'adaptation au domaine. Même lorsque cela est nécessaire, des options plus avancées telles que l'ajustement LoRA (adaptation à faible rang) peuvent être des options envisageables. Cependant, l'architecture unique d'Android AICore privilégie un modèle système partagé et économe en mémoire. Cela signifie que le déploiement d'adaptateurs LoRA personnalisés pour chaque application individuelle présente des difficultés sur ces services système partagés.

Mais il existe une autre voie qui peut être tout aussi efficace. En exploitant l'optimisation automatisée des prompts sur Vertex AI, les développeurs peuvent obtenir une qualité proche de l'affinage, tout en travaillant de manière fluide dans l'environnement d'exécution Android natif. En se concentrant sur des instructions système de qualité supérieure, l'APO permet aux développeurs d'adapter le comportement du modèle avec une plus grande robustesse et une meilleure évolutivité que les solutions de réglage traditionnelles.

Remarque  : Gemini Nano V3 est une version optimisée en termes de qualité du modèle Gemma 3N, qui a été très bien accueilli. Toutes les optimisations de requêtes effectuées sur le modèle Open Source Gemma 3N s'appliqueront également à Gemini Nano V3. Sur les appareils compatibles, les API d'IA générative ML Kit exploitent le modèle nano-v3 pour maximiser la qualité pour les développeurs Android.

L'APO ne traite pas la requête comme un texte statique, mais comme une surface programmable qui peut être optimisée. Il exploite des modèles côté serveur (comme Gemini Pro et Flash) pour proposer des requêtes, évaluer les variantes et trouver celle qui convient le mieux à votre tâche spécifique. Ce processus utilise trois mécanismes techniques spécifiques pour maximiser les performances :

1. Analyse automatisée des erreurs : l'APO analyse les schémas d'erreur à partir des données d'entraînement pour identifier automatiquement les points faibles spécifiques de la requête initiale.
2. Distillation des instructions sémantiques : elle analyse d'immenses exemples d'entraînement pour distiller l'"intention réelle" d'une tâche, en créant des instructions qui reflètent plus précisément la distribution réelle des données.
3. Tests de candidats en parallèle : au lieu de tester une idée à la fois, l'APO génère et teste de nombreux candidats de prompt en parallèle pour identifier le maximum global de qualité.

Pourquoi l'APO peut-elle approcher la qualité du réglage ?

On pense souvent à tort que l'affinage donne toujours de meilleurs résultats que le prompting. Pour les modèles de fondation modernes comme Gemini Nano v3, le prompt engineering peut être efficace à lui seul :

• Préserver les capacités générales : l'ajustement ( PEFT/LoRA) force les pondérations d'un modèle à surindexer une distribution spécifique de données. Cela entraîne souvent un "oubli catastrophique", où le modèle s'améliore pour votre syntaxe spécifique, mais se dégrade pour la logique générale et la sécurité. L'APO ne modifie pas les pondérations, ce qui préserve les capacités du modèle de base.
• Suivi des instructions et découverte de stratégies : Gemini Nano v3 a été rigoureusement entraîné à suivre des instructions système complexes. L'APO exploite cette caractéristique en trouvant la structure d'instruction exacte qui débloque les capacités latentes du modèle, découvrant souvent des stratégies qui pourraient être difficiles à trouver pour des ingénieurs humains. 

Pour valider cette approche, nous avons évalué l'APO sur différentes charges de travail de production. Notre validation a montré des gains de précision constants de 5 à 8% dans divers cas d'utilisation.Sur plusieurs fonctionnalités on-device déployées, l'APO a permis d'améliorer considérablement la qualité.

Un workflow de développement fluide de bout en bout

On pense souvent à tort que l'affinage donne toujours de meilleurs résultats que le prompting. Pour les modèles de fondation modernes comme Gemini Nano v3, le prompt engineering peut être efficace à lui seul :

• Préserver les capacités générales : l'ajustement ( PEFT/LoRA) force les pondérations d'un modèle à surindexer une distribution spécifique de données. Cela entraîne souvent un "oubli catastrophique", où le modèle s'améliore pour votre syntaxe spécifique, mais se dégrade pour la logique générale et la sécurité. L'APO ne modifie pas les pondérations, ce qui préserve les capacités du modèle de base.
• Suivi des instructions et découverte de stratégies : Gemini Nano v3 a été rigoureusement entraîné à suivre des instructions système complexes. L'APO exploite cette caractéristique en trouvant la structure d'instruction exacte qui débloque les capacités latentes du modèle, découvrant souvent des stratégies qui pourraient être difficiles à trouver pour des ingénieurs humains. 

Pour valider cette approche, nous avons évalué l'APO sur différentes charges de travail de production. Notre validation a montré des gains de précision constants de 5 à 8% dans divers cas d'utilisation.Sur plusieurs fonctionnalités on-device déployées, l'APO a permis d'améliorer considérablement la qualité.

Conclusion

Le lancement de l'optimisation automatisée des prompts marque un tournant pour l'IA générative sur l'appareil. En comblant l'écart entre les modèles de fondation et les performances de niveau expert, nous fournissons aux développeurs les outils nécessaires pour créer des applications mobiles plus robustes. Que vous débutiez avec l'optimisation zero-shot ou que vous passiez à la production avec l'affinage basé sur les données, le chemin vers une intelligence on-device de haute qualité est désormais plus clair. Lancez vos cas d'utilisation sur l'appareil en production dès aujourd'hui avec l'API Prompt de ML Kit et l'optimisation automatisée des prompts de Vertex AI. 

Liens utiles : 

• API Prompt de ML Kit,
• Documentation sur l'optimiseur de prompts Vertex AI
• Article de blog annonçant Gemma 3N