Le framework Android Computer Control permet aux assistants IA préchargés par les OEM d'automatiser des tâches dans certaines applications installées sur l'appareil ("applications cibles"). Ce guide présente le framework Computer Control et les considérations techniques concernant les applications cibles et les applications d'assistant IA.
Présentation d'Android Computer Control
Les fonctionnalités Computer Control d'Android permettent à une application d'assistant préchargée par un OEM de lancer des applications cibles installées localement et d'interagir avec elles dans un environnement contrôlé.
Lorsque le framework Computer Control tente d'interagir avec une application cible pour la première fois, le système affiche automatiquement une boîte de dialogue d'autorisation. Une fois l'autorisation obtenue, l'application d'assistant peut effectuer des tâches en plusieurs étapes dans l'application cible, ce qui lui permet de répondre à la demande d'un utilisateur à l'aide de l'application cible.
Exemples de cas d'utilisation
Pour automatiser des tâches dans un ensemble d'applications cibles installées sur l'appareil, un assistant préchargé par un OEM peut capturer de manière itérative des captures d'écran de ces applications, prendre des décisions intelligentes pour déduire des actions et appliquer des actions pour contrôler l'interface utilisateur des applications. Les interactions avec les applications cibles sont basées sur leurs données et leur contexte locaux existants.
Une application d'assistant peut être conçue pour effectuer des tâches en plusieurs étapes au nom des utilisateurs. Voici quelques exemples d'utilisation de ces applications par les utilisateurs :
- Commande de nourriture : "Commande un petit thé à emporter dans mon café préféré."
- Covoiturage : "Réserve un trajet pour l'aéroport."
- Livraison de courses : "Recommande les courses que j'ai achetées la semaine dernière."
Fonctionnement de Computer Control
Le framework Computer Control permet aux assistants préchargés par les OEM de lancer des applications cibles sur un écran virtuel sécurisé en arrière-plan et de les utiliser.
Généralement, le parcours est le suivant :
- Demander une session : une application d'assistant doit disposer de l'autorisation privilégiée
ACCESS_COMPUTER_CONTROL. L'application peut demander une session Computer Control pour un ensemble de six applications cibles au maximum pour une exécution séquentielle. Le système n'autorise qu'une seule session active à la fois. - Obtenir l'autorisation de l'utilisateur : lorsqu'une application d'assistant demande une session, le framework déclenche implicitement une boîte de dialogue système. Cette boîte de dialogue demande à l'utilisateur l'autorisation d'autoriser l'assistant à automatiser les applications cibles demandées.
- Automatiser : si l'utilisateur accorde l'autorisation, le système exécute les applications cibles sur un appareil virtuel, comme pour la diffusion. L'application d'assistant utilise la session pour lancer l'application cible, capturer le contenu de l'écran et simuler des événements d'entrée utilisateur, y compris des appuis, des balayages et des entrées de texte, afin de répondre à la demande de l'utilisateur.
- Transférer le contrôle : l'assistant peut transférer le contrôle à l'utilisateur pour une intervention manuelle ou laisser l'utilisateur demander manuellement à prendre le contrôle. Par exemple, cela est utile pour la confirmation de transactions ou les contenus qui nécessitent des accusés de réception.
Devenir une application cible pour Computer Control
Vous n'avez pas besoin d'apporter de modifications supplémentaires pour intégrer une application cible à l'automatisation des tâches de l'assistant via le framework Computer Control. Tant que l'utilisateur a accordé l'autorisation, l'application d'assistant détermine comment naviguer en analysant les captures d'écran de l'interface utilisateur de l'application cible. Votre application cible doit suivre les bonnes pratiques existantes, telles que la conception adaptative et la gestion du cycle de vie.
Un assistant IA peut choisir de limiter l'ensemble des applications cibles qu'il automatise.
À propos de la création d'une application d'assistant IA
Une application d'assistant IA préchargée par un OEM peut s'intégrer à Computer Control. L' intégration suivra le flux décrit dans la section "Fonctionnement de Computer Control" .