Gemini Nano avec le SDK Google AI Edge

Sur les appareils Android compatibles, vous pouvez proposer des expériences d'IA générative riches sans avoir besoin d'une connexion réseau ni d'envoyer de données dans le cloud. L'IA sur l'appareil est une excellente solution pour les cas d'utilisation où la faible latence, le faible coût et les mesures de protection de la confidentialité sont vos principales préoccupations.

Pour les cas d'utilisation sur l'appareil, vous pouvez exploiter le modèle de base Gemini Nano de Google. Bien qu'il soit plus petit que les autres modèles Gemini exécutant l'inférence dans le cloud, vous pouvez affiner Gemini Nano pour effectuer des tâches spécialisées, tout comme ses homologues plus grands. Gemini Nano s'exécute dans le service système AICore d'Android, qui exploite le matériel de l'appareil pour permettre une faible latence d'inférence et maintenir le modèle à jour.

Le SDK Google AI Edge permet d'accéder à l'API Gemini Nano et à AICore. Google AI Edge est une suite complète d'outils pour le ML sur l'appareil. En savoir plus sur l'IA de Google

Architecture

En tant que module au niveau du système, vous accédez à AICore via une série d'API pour exécuter l'inférence sur l'appareil. De plus, AICore dispose de plusieurs fonctionnalités de sécurité intégrées, qui garantissent une évaluation approfondie par rapport à nos filtres de sécurité. Le schéma suivant décrit comment une application accède à AICore pour exécuter Gemini Nano sur l'appareil.

Protéger la confidentialité et la sécurité des données utilisateur

L'IA générative sur l'appareil exécute les requêtes localement, ce qui élimine les appels au serveur. Cette approche renforce la confidentialité en conservant les données sensibles sur l'appareil, en activant les fonctionnalités hors connexion et en réduisant les coûts d'inférence.

AICore respecte les principes de Private Compute Core, avec les caractéristiques clés suivantes:

Liaison de paquets limitée: AICore est isolé de la plupart des autres paquets, avec des exceptions limitées pour des paquets système spécifiques. Toute modification de cette liste d'autorisations ne peut se produire que lors d'une mise à jour OTA complète d'Android.

Accès indirect à Internet: AICore n'a pas d'accès direct à Internet. Toutes les requêtes Internet, y compris les téléchargements de modèles, sont acheminées via l'APK associé Private Compute Services Open Source. Les API des services de calcul privé doivent démontrer explicitement leur nature axée sur la confidentialité.

De plus, AICore est conçu pour isoler chaque requête et ne stocke aucun enregistrement des données d'entrée ni des résultats obtenus après leur traitement afin de protéger la confidentialité des utilisateurs. Pour en savoir plus, consultez l'article de blog Présentation de la confidentialité et de la sécurité pour Gemini Nano.

Avantages de l'accès aux modèles de fondation de l'IA avec AICore

AICore permet à l'OS Android de fournir et de gérer des modèles de base d'IA. Cela réduit considérablement le coût d'utilisation de ces grands modèles dans votre application, principalement pour les raisons suivantes:

Simplicité de déploiement: AICore gère la distribution de Gemini Nano et les futures mises à jour. Vous n'avez pas à vous soucier de télécharger ou de mettre à jour de grands modèles sur le réseau, ni de l'impact sur le budget de mémoire de disque et d'exécution de votre application.

Inférence accélérée: AICore exploite le matériel de l'appareil pour accélérer l'inférence. Votre application bénéficie des meilleures performances sur chaque appareil, et vous n'avez pas à vous soucier des interfaces matérielles sous-jacentes.

Fonctionnalités compatibles

AICore est compatible avec les appareils et modalités suivants:

• Appareils compatibles: AICore est actuellement disponible sur les appareils de la série Pixel 9, les appareils de la série Google Pixel 8, y compris le Pixel 8¹ et le Pixel 8a², les appareils de la série Samsung S24, le Samsung Z Fold6, le Samsung Z Flip6, le Realme GT 6, le Motorola Edge 50 Ultra, le Motorola Razr 50 Ultra, le Xiaomi 14T/Pro et le Xiaomi MIX Flip.
• Modalités compatibles: AICore est actuellement compatible avec la modalité texte pour Gemini Nano.

La prise en charge d'autres appareils et modalités est un domaine dans lequel nous investissons activement.

Cas d'utilisation

En raison des contraintes de ressources des appareils mobiles par rapport aux serveurs cloud, les modèles d'IA générative sur l'appareil sont conçus en mettant l'accent sur l'efficacité et la taille. Cette optimisation donne la priorité aux tâches spécifiques et bien définies par rapport aux applications plus générales. Voici quelques cas d'utilisation appropriés:

• Reformulation du texte: modifiez le ton et le style du texte (par exemple, de familier à formel).
• Réponse suggérée: génère des réponses contextuelles pertinentes dans un fil de discussion.
• Correction: identifiez et corrigez les fautes d'orthographe et de grammaire.
• Synthèse: condensez des documents longs en résumés concis (paragraphe ou liste à puces).

Pour optimiser les performances, consultez la documentation sur les stratégies d'invite. Pour découvrir ces cas d'utilisation par vous-même, téléchargez notre application exemple et commencez à tester Gemini Nano.

Gemini Nano est utilisé par plusieurs applications Google. Voici quelques exemples :

• TalkBack:l'application d'accessibilité d'Android TalkBack exploite les fonctionnalités d'entrée multimodale de Gemini Nano pour améliorer les descriptions d'images pour les utilisateurs malvoyants.
• Enregistreur vocal Pixel:l'application Enregistreur vocal Pixel utilise Gemini Nano et AICore pour alimenter une fonctionnalité de résumé sur l'appareil. L'équipe Enregistreur a adopté le dernier modèle Gemini Nano pour prendre en charge les enregistrements plus longs et fournir des résumés de meilleure qualité.
• Gboard:la fonctionnalité Réponse suggérée de Gboard exploite Gemini Nano sur l'appareil avec AICore pour fournir des réponses suggérées précises.