Actualités sur les produits

L'OS intelligent : rendre les agents IA plus utiles pour les applications Android

Temps de lecture : 3 min
Voir le profil de Matthew McCullough
Matthew McCullough Vice-président, Product Management, Android Developer

Les attentes des utilisateurs concernant l'IA sur leurs appareils modifient fondamentalement la façon dont ils interagissent avec leurs applications. Au lieu d'ouvrir des applications pour effectuer des tâches étape par étape, ils demandent à l'IA de faire le gros du travail à leur place. Dans ce nouveau modèle d'interaction, le succès ne consiste plus à inciter les utilisateurs à ouvrir votre application, mais à les aider à accomplir leurs tâches plus rapidement. 

Pour vous aider à faire évoluer vos applications vers cet avenir agentique, nous lançons des fonctionnalités de développement en phase de test qui comblent le fossé entre vos applications et les applications agentiques et les assistants personnalisés, comme Google Gemini. Bien que nous n'en soyons qu'aux premières étapes de la version bêta, nous concevons ces fonctionnalités en plaçant la confidentialité et la sécurité au cœur de nos préoccupations. Il s'agit de notre première étape pour explorer ce changement de paradigme en tant qu'écosystème d'applications.

Améliorer les applications avec AppFunctions

AppFunctions d'Android permet aux applications d'exposer des données et des fonctionnalités directement aux agents et assistants IA. Grâce à la bibliothèque Jetpack AppFunctions et aux API de la plate-forme, les développeurs peuvent créer des fonctions auto-descriptives que les applications agentives peuvent découvrir et exécuter en langage naturel. À l'instar de la façon dont les fonctionnalités de backend sont déclarées via les serveurs cloud MCP, AppFunctions fournit une solution sur l'appareil pour les applications Android. Comme WebMCP, il exécute ces fonctions localement sur l'appareil plutôt que sur un serveur.

L'intégration de Samsung Gallery à Gemini sur la gamme Galaxy S26 illustre le fonctionnement d'AppFunctions. Au lieu de faire défiler manuellement vos albums photo, vous pouvez désormais simplement demander à Gemini : "Montre-moi des photos de mon chat dans Samsung Gallery". Gemini prend la requête de l'utilisateur, identifie et déclenche intelligemment la fonction appropriée, et présente les photos renvoyées par Samsung Gallery directement dans l'application Gemini, de sorte que les utilisateurs n'ont jamais besoin de la quitter. Cette expérience est multimodale et peut être réalisée par commande vocale ou par écrit. Les utilisateurs peuvent même utiliser les photos renvoyées dans des conversations de suivi, par exemple en les envoyant à des amis dans un message.

photos.gif

Cette intégration est actuellement disponible sur la gamme Galaxy S26 et sera bientôt étendue aux appareils Samsung fonctionnant sous OneUI 8.5 et versions ultérieures. Grâce à AppFunctions, Gemini peut déjà automatiser des tâches dans des catégories d'applications telles que Agenda, Notes et Tâches, sur des appareils de plusieurs fabricants. Qu'il s'agisse de coordonner des événements d'agenda, d'organiser des notes ou de définir des rappels de tâches, les utilisateurs peuvent simplifier leurs activités quotidiennes au même endroit.

Activer les applications agentiques avec l'automatisation intelligente de l'UI

Bien qu'AppFunctions fournisse un framework structuré et un meilleur contrôle pour que les applications communiquent avec les agents et assistants IA, nous savons que toutes les interactions ne disposent pas encore d'une intégration dédiée. Nous développons également un framework d'automatisation de l'interface utilisateur pour les agents et assistants IA afin d'exécuter intelligemment des tâches génériques sur les applications installées des utilisateurs, avec une transparence et un contrôle intégrés pour l'utilisateur. C'est la plate-forme qui fait le gros du travail, ce qui permet aux développeurs d'obtenir une portée agentique sans code. C'est un moyen simple d'élargir leur couverture sans nécessiter d'effort d'ingénierie majeur pour le moment. 
 

Pour recueillir des commentaires pendant que nous affinons ce framework, nous commençons par une preview anticipée sur la série Galaxy S26 et certains appareils Pixel 10. Les utilisateurs pourront déléguer des tâches en plusieurs étapes à Gemini en appuyant de manière prolongée sur le bouton Marche/Arrêt. Lancée en tant que fonctionnalité bêta dans l'application Gemini, elle sera d'abord compatible avec une sélection d'applications de livraison de repas, de courses et de covoiturage aux États-Unis et en Corée. Qu'il s'agisse de commander une pizza avec des ingrédients spécifiques pour chaque membre de la famille, de coordonner un trajet en covoiturage avec plusieurs arrêts pour des collègues ou de renouveler une commande de courses, Gemini peut aider à effectuer des tâches en utilisant le contexte déjà disponible dans vos applications, sans que les développeurs aient à intervenir.

photos2.gif

Les utilisateurs gardent le contrôle pendant qu'une tâche est exécutée en arrière-plan via l'automatisation de l'interface utilisateur. Pour toute action d'automatisation, les utilisateurs peuvent suivre la progression d'une tâche via des notifications ou une "vue en direct", et peuvent passer au contrôle manuel à tout moment pour prendre le relais. Gemini est également conçu pour alerter les utilisateurs avant d'effectuer des tâches sensibles, comme un achat. 

Perspectives d'avenir

Dans Android 17, nous souhaitons étendre ces fonctionnalités pour toucher encore plus d'utilisateurs, de développeurs et de fabricants d'appareils.

Nous développons actuellement des expériences avec un petit groupe de développeurs d'applications, en nous concentrant sur des expériences utilisateur de haute qualité à mesure que l'écosystème évolue. Nous prévoyons de vous donner plus de détails dans le courant de l'année sur la façon dont vous pouvez utiliser AppFunctions et l'automatisation de l'UI pour activer les intégrations d'agents pour votre application. Restez à l'écoute pour en savoir plus.

Écrit par :
Continuer la lecture