El framework de Computer Control de Android permite que los asistentes de IA precargados por el OEM realicen la automatización de tareas en las apps seleccionadas instaladas en el dispositivo ("apps de destino"). En esta guía, se proporciona una descripción general del framework de Computer Control y las consideraciones técnicas para las apps de destino y las apps de asistente de IA.
Descripción general de Computer Control de Android
Las capacidades de Computer Control de Android permiten que una app de asistente precargada por el OEM se inicie y pueda interactuar con las apps de destino instaladas de forma local en un entorno controlado.
Cuando el framework de Computer Control intenta interactuar con una app de destino por primera vez, el sistema muestra automáticamente un diálogo de permisos. Una vez que se obtiene el permiso, la app de asistente puede realizar tareas de varios pasos en la app de destino, lo que le permite cumplir con la solicitud de un usuario mediante la app de destino.
Ejemplos de casos de uso
Para realizar la automatización de tareas en un conjunto de apps de destino instaladas en el dispositivo, un asistente precargado por el OEM puede capturar de forma iterativa capturas de pantalla de estas apps, tomar decisiones inteligentes para inferir acciones y aplicar acciones para controlar la IU de las apps. Las interacciones con las apps de destino se basan en sus datos y contexto locales existentes.
Una app de asistente puede diseñarse para completar tareas de varios pasos en nombre de los usuarios. Estos son algunos ejemplos de cómo los usuarios podrían usar esas apps:
- Pedidos de comida: "Pide un té pequeño para llevar en mi cafetería favorita."
- Viajes compartidos: "Reserva un viaje al aeropuerto".
- Entrega de comestibles: "Vuelve a pedir los comestibles que compré la semana pasada".
Cómo funciona Computer Control
El framework de Computer Control permite que los asistentes precargados por el OEM inicien apps de destino en una pantalla virtual segura en segundo plano y las operen.
El flujo típico es el siguiente:
- Solicita una sesión: Una app de asistente debe tener el permiso privilegiado
ACCESS_COMPUTER_CONTROL. La app puede solicitar una sesión de Computer Control para un conjunto de hasta seis apps de destino para la ejecución secuencial. El sistema permite una sesión activa a la vez. - Obtén el permiso del usuario: Cuando una app de asistente solicita una sesión, el framework activa implícitamente un diálogo del sistema. Este diálogo solicita el permiso del usuario para permitir que el asistente automatice las apps de destino solicitadas.
- Automatiza: Si el usuario otorga permiso, el sistema ejecuta apps de destino en un dispositivo virtual, de manera similar a la transmisión. La app de asistente usa la sesión para iniciar la app de destino, capturar contenido de la pantalla y simular eventos de entrada del usuario, incluidos toques, deslizamientos y entrada de texto, para cumplir con la solicitud del usuario.
- Entrega el control: El asistente puede entregar el control al usuario para que intervenga de forma manual o permitir que el usuario solicite tomar el control de forma manual. Por ejemplo, esto es útil para la confirmación de transacciones o el contenido que requiere confirmaciones.
Conviértete en una app de destino para Computer Control
No es necesario que realices ningún cambio adicional para integrar una app de destino con la automatización de tareas del asistente a través del framework de Computer Control. Siempre que el usuario haya otorgado permiso, la app de asistente determinará cómo navegar analizando las capturas de pantalla de la IU de la app de destino. Tu app de destino debe seguir las prácticas recomendadas existentes, como el diseño adaptable y la administración del ciclo de vida.
Un asistente de IA puede optar por limitar el conjunto de apps de destino que automatiza.
Acerca de la creación de una app de asistente de IA
La app de asistente de IA precargada por el OEM se puede integrar con Computer Control. La integración seguirá el flujo documentado en la sección "Cómo funciona Computer Control" .