Le SDK Google AI Edge permet aux développeurs d'accéder à des fonctionnalités expérimentales pour tester l'amélioration de leurs applications grâce aux capacités d'IA sur l'appareil via Gemini Nano.
Architecture via AICore
En tant que module au niveau du système, vous accédez à AICore via une série d'API pour exécuter l'inférence sur l'appareil. De plus, AICore dispose de plusieurs fonctionnalités de sécurité intégrées, ce qui garantit une évaluation approfondie par rapport à nos filtres de sécurité. Le schéma suivant décrit comment une application accède à AICore pour exécuter Gemini Nano sur l'appareil.
Préserver la confidentialité et la sécurité des données utilisateur
L'IA générative sur l'appareil exécute les requêtes localement, ce qui élimine les appels au serveur. Cette approche améliore la confidentialité en conservant les données sensibles sur l'appareil, permet d'utiliser la fonctionnalité hors connexion et réduit les coûts d'inférence.
AICore respecte les principes de Private Compute Core, avec les caractéristiques clés suivantes :
- Liaison de package restreinte : AICore est isolé de la plupart des autres packages, à quelques exceptions près pour certains packages système spécifiques. Toute modification de cette liste autorisée ne peut avoir lieu que lors d'une mise à jour OTA complète d'Android.
- Accès indirect à Internet : AICore n'a pas d'accès direct à Internet. Toutes les requêtes Internet, y compris les téléchargements de modèles, sont acheminées via l'APK Private Compute Services open source. Les API des services de calcul confidentiel doivent explicitement démontrer leur nature axée sur la confidentialité.
De plus, AICore est conçu pour isoler chaque requête et ne stocke aucun enregistrement des données d'entrée ni des sorties résultantes après leur traitement afin de protéger la confidentialité des utilisateurs. Pour en savoir plus, consultez l'article de blog Présentation de la confidentialité et de la sécurité pour Gemini Nano.
Avantages de l'accès aux modèles de fondation d'IA avec AICore
AICore permet au système d'exploitation Android de fournir et de gérer des modèles de fondation d'IA. Cela réduit considérablement le coût d'utilisation de ces grands modèles dans votre application, principalement en raison des éléments suivants :
- Facilité de déploiement : AICore gère la distribution de Gemini Nano et les futures mises à jour. Vous n'avez pas à vous soucier du téléchargement ni de la mise à jour de grands modèles sur le réseau, ni de l'impact sur le budget de mémoire de disque et d'exécution de votre application.
- Inférence accélérée : AICore s'appuie sur le matériel de l'appareil pour accélérer l'inférence. Votre application bénéficie des meilleures performances sur chaque appareil, et vous n'avez pas à vous soucier des interfaces matérielles sous-jacentes.
Fonctionnalités compatibles
- Appareils compatibles : Gemini Nano avec le SDK Google AI Edge est disponible pour test sur les appareils de la gamme Pixel 9.
- Modalités compatibles : AICore est compatible avec la modalité texte pour Gemini Nano.
Nous investissons activement dans la prise en charge d'appareils et de modalités supplémentaires.
Cas d'utilisation
En raison des contraintes de ressources des appareils mobiles par rapport aux serveurs cloud, les modèles d'IA générative sur l'appareil sont conçus en mettant l'accent sur l'efficacité et la taille. Cette optimisation privilégie les tâches spécifiques et bien définies par rapport aux applications plus générales. Voici quelques cas d'utilisation appropriés :
- Reformulation de texte : modifiez le ton et le style d'un texte (par exemple, en passant d'un style décontracté à un style formel).
- Réponse suggérée : générez des réponses contextuelles dans un fil de discussion.
- Relecture : identifiez et corrigez les fautes d'orthographe et de grammaire.
- Rédaction de résumés : condensez de longs documents en résumés concis (paragraphes ou points).
Pour optimiser les performances, consultez la documentation sur les stratégies de requête. Pour explorer ces cas d'utilisation par vous-même, téléchargez notre application exemple et commencez à expérimenter avec Gemini Nano.
Gemini Nano est utilisé par plusieurs applications Google. Voici quelques exemples :
- TalkBack : l'application d'accessibilité Android TalkBack exploite les capacités d'entrée multimodale de Gemini Nano pour améliorer les descriptions d'images destinées aux utilisateurs malvoyants.
- Enregistreur vocal Pixel : l'application Enregistreur vocal Pixel utilise Gemini Nano et AICore pour alimenter une fonctionnalité de résumé sur l'appareil. L'équipe Enregistreur a adopté le dernier modèle Gemini Nano pour prendre en charge les enregistrements plus longs et fournir des résumés de meilleure qualité.
- Gboard : la fonctionnalité Réponse suggérée de Gboard utilise Gemini Nano sur l'appareil avec AICore pour fournir des réponses suggérées précises.