Des agents intégrés aux applications au système d'intelligence Android : nouveautés des applications intelligentes au Sommet des développeurs Android

À l'ère de l'intelligence, les utilisateurs ne se contentent plus de naviguer dans les applications. Ils expriment des objectifs de haut niveau et s'attendent à ce que des agents IA comme Gemini effectuent des workflows en plusieurs étapes, parfois sur plusieurs applications de leurs appareils. Pour vous aider à toucher les utilisateurs là où ils se trouvent, nous proposons de nouvelles façons de créer des expériences intelligentes et agentiques dans vos applications Android :

• Connectez-vous au système d'intelligence Android : partagez les fonctionnalités de votre application avec l'agent système grâce au MCP Android. Pour permettre aux utilisateurs d'interagir directement avec votre application via l'appli Gemini et la recherche Google sur Android, rejoignez le programme preview de la Connected Apps Platform.
• Intégrez l'intelligence à votre application : créez des fonctionnalités et des agents intelligents sur l'appareil avec les API ML Kit GenAI, et intégrez votre modèle de ML personnalisé avec LiteRT dans les services Google Play. Exploitez les modèles Gemini sur le cloud avec Firebase AI Logic et permettez à votre agent de créer une UI Compose native avec le moteur de rendu A2UI Compose.

Vous avez déjà découvert certaines de ces nouvelles API et certains de ces nouveaux outils pour les développeurs lors de la présentation du Sommet des développeurs Android. Découvrez nos nouvelles ressources détaillées pour vous aider à créer des applications intelligentes, y compris 10 nouvelles sessions à la demande sur les nouvelles expériences intelligentes.

Se connecter au système d'intelligence Android

Le système d'intelligence Android est la base du système conçue pour protéger les utilisateurs tout en connectant les agents IA aux applications sur les appareils Android. Il fournit aux utilisateurs une assistance proactive et sur demande dans l'écosystème d'appareils Android, qui comprend les téléphones, les accessoires connectés, les lunettes XR, les téléviseurs et les voitures. 

• Assistance sur demande : lorsque l'utilisateur demande activement à un agent d'atteindre un objectif (par exemple, "vérifie mon agenda, réserve un trajet et envoie un message à Jingyu avec mon heure d'arrivée prévue"), l'agent orchestre les outils dans les applications pour y parvenir. Pour une exécution plus rapide et plus fiable, vous pouvez utiliser un serveur MCP distant ou un MCP Android local. Les agents peuvent également utiliser le framework de contrôle de l'ordinateur d'Android pour effectuer des actions sans nécessiter d'intégration côté application.
• Assistance proactive : le système anticipe les besoins de l'utilisateur et affiche des chips de suggestion contextuels directement sur les écrans de verrouillage, les notifications, les claviers virtuels et dans les applications. 

Nous vous permettons de contrôler la façon dont vos applications s'intègrent au système d'intelligence Android en fournissant des API et des outils basés sur la norme MCP que vous connaissez déjà. Android MCP, optimisé par la bibliothèque Jetpack AppFunctions, est notre framework d'appel d'outils unifié. Il vous permet de vous connecter à des agents IA qualifiés directement sur l'appareil, qu'il s'agisse de l'agent système ou de votre propre agent intégré à l'application sur l'appareil. Le serveur MCP distant vous offre une couverture multiplateforme. 

Android MCP complète le MCP distant en tant que solution Android native. Il s'agit de la méthode d'intégration recommandée lorsque le parcours utilisateur utilise le chiffrement de bout en bout ou des données sensibles de l'appareil local, nécessite des capteurs et du matériel de l'appareil, doit s'exécuter localement ou lorsqu'aucun point de terminaison de serveur n'est disponible. 

Pour en savoir plus sur le système d'intelligence Android et l'intégration de Gemini en tant qu'agent système, regardez cette présentation : 

Intégrez l'intelligence dans vos applications : de l'agent sur l'appareil au moteur de rendu A2UI Compose

Grâce aux nouvelles fonctionnalités disponibles dans Gemini Nano 4, comme l'appel de fonction, nous étendons les API d'IA générative ML Kit pour créer des workflows agentiques entièrement sur l'appareil. Nous vous fournissons les composants directement avec l'accès direct au modèle de ML Kit avec l'API Prompt et la nouvelle API Agentic qui exécute automatiquement les fonctions pour vous, enregistre l'historique des conversations, gère la boucle d'orchestration et inclut des garde-fous automatiques. Consultez l'exemple de code Jetpacker sur GitHub et regardez cette vidéo pour une présentation détaillée de la façon dont vous pouvez débloquer des capacités agentiques dans votre application avec les API ML Kit GenAI : 

En plus des nouvelles API agentiques, nous proposons une suite de nouvelles fonctionnalités sur l'appareil :

• Découvrez les API GenAI de ML Kit sur l'appareil, des fonctionnalités de l'API Prompt telles que le mode de réflexion et les instructions système aux nouvelles API alpha telles que l'API Embeddings, optimisée par EmbeddingGemma 2. Vous découvrirez également les optimisations du système Android en arrière-plan et des cas d'utilisation courants de l'IA générative sur l'appareil déjà en production.
• Découvrez en détail l'architecture du modèle Gemini Nano 4, basé sur Gemma 4. Grâce aux embeddings par couche, à l'entraînement basé sur la quantification et à la prédiction multitoken, Gemini Nano 4 offre une vitesse d'inférence jusqu'à trois fois plus rapide, tout en réduisant l'utilisation de la mémoire jusqu'à quatre fois par rapport à la version précédente du modèle Gemini Nano lors de tests d'analyse comparative internes.
• Vous pouvez exécuter vos modèles de ML personnalisés avec des performances de GPU plus rapides à l'aide de LiteRT dans les services Google Play, qui supprime l'environnement d'exécution de votre APK, ce qui réduit la taille de votre APK d'environ 8 Mo. Désormais disponible sur Wear OS et Android Automotive OS. Que vous utilisiez les API ML Kit clés en main ou que vous apportiez votre propre modèle de périphérie personnalisé, lisez l'annonce et regardez cette présentation.
• Découvrez comment ces API sont utilisées dans des applications réelles, qu'il s'agisse d'un professeur de langue XR utilisant les API de reconnaissance vocale, de traduction vocale et de synthèse vocale de ML Kit sur des téléphones et des lunettes connectées, ou d'un copilote IA de Formule E conçu avec Gemini Nano, l'accès direct aux modèles de ML Kit et l'Agent Development Kit (ADK). 

Pour les workflows qui couvrent le traitement cloud et local, Firebase AI Logic offre une solution hybride simple. Vous pouvez appeler des modèles cloud avancés comme Gemini 4 tout en utilisant l'inférence sur l'appareil avec Gemini Nano lorsqu'il est disponible. Pour protéger votre application et gérer les coûts en production, utilisez Firebase App Check, les nouveaux modèles de prompts côté serveur et les plafonds de dépenses Firebase. 

Comme l'a montré la démonstration de l'assistant de réservation en direct de Jetpacker lors de la conférence, le moteur de rendu A2UI de Jetpack Compose est désormais disponible en version alpha pour aider vos agents à s'exprimer en langage d'interface. Vos agents peuvent diffuser des UI Compose natives riches et interactives directement à partir d'un protocole JSON. Faites vos premiers pas avec le moteur de rendu A2UI Compose et donnez-nous votre avis. Regardez cette présentation pour découvrir comment l'implémenter dans votre application. 

Touchez les utilisateurs de Gemini et de la recherche avec Connected Apps Platform

Sur les surfaces Google, les utilisateurs ne se contentent plus de poser des questions, ils passent à l'action. Nous avons lancé la Connected Apps Platform pour vous permettre de toucher des utilisateurs à forte intention dans Gemini et la Recherche, en combinant le MCP Android pour l'exécution native sur l'appareil avec des serveurs MCP distants pour une couverture multiplate-forme. Vous pouvez commencer à créer et à tester localement dès aujourd'hui avec le mode développeur des applications Gemini. Lorsque vous êtes prêt pour la production, rejoignez la liste d'attente de la version preview. Le nombre de places pour la version preview est actuellement limité à certaines applications prêtes pour la production dans les catégories compatibles. Un accès en libre-service plus large sera disponible ultérieurement. 

Pour découvrir comment créer, tester et publier votre première application connectée, regardez la vidéo "Étendre votre application à Gemini et à la Recherche avec la plate-forme d'applications connectées".

Commencez à créer des applications intelligentes avec les dernières mises à jour

Pour commencer à développer, créez des agents sur l'appareil avec les workflows agentiques de ML Kit, ainsi qu'un accès direct au modèle avec les nouvelles compétences Android. Assurez-vous d'activer le programme Preview développeur AIcore lorsque vous testez de nouvelles fonctionnalités dans les modèles en preview. Ajoutez des fonctionnalités intelligentes à votre application avec les API ML Kit et exécutez des modèles de ML personnalisés avec LiteRT dans les services Google Play. Exécutez l'inférence avec les modèles Gemini dans le cloud directement avec Firebase AI Logic et diffusez des UI Compose natives à partir de JSON à l'aide du moteur de rendu Jetpack Compose A2UI. Enfin, intégrez le système d'intelligence Android, créez un prototype avec Android MCP à l'aide de la compétence et de l'exemple d'agent AppFunctions, et inscrivez-vous à la preview développeur de la Connected Apps Platform.

Nous avons hâte de découvrir vos créations !