A estrutura de controle de computador do Android permite que assistentes de IA pré-carregados pelo OEM realizem a automação de tarefas em apps selecionados instalados no dispositivo ("apps de destino"). Este guia oferece uma visão geral da estrutura de controle de computador e considerações técnicas para apps de destino e assistentes de IA.
Visão geral do controle de computador do Android
Os recursos de controle de computador do Android permitem que um app assistente pré-carregado pelo OEM seja iniciado e interaja com apps de destino instalados localmente em um ambiente controlado.
Quando a estrutura de controle de computador tenta interagir com um app de destino pela primeira vez, o sistema mostra automaticamente uma caixa de diálogo de permissão. Depois de receber a permissão, o app assistente pode realizar tarefas de várias etapas no app de destino, permitindo que ele atenda à solicitação de um usuário usando o app de destino.
Exemplos de casos de uso
Para realizar a automação de tarefas em um conjunto de apps de destino instalados no dispositivo, um assistente pré-carregado pelo OEM pode capturar iterativamente capturas de tela desses apps, tomar decisões inteligentes para inferir ações e aplicar ações para controlar a interface deles. As interações com os apps de destino são baseadas nos dados locais e no contexto existentes.
Um app assistente pode ser projetado para concluir tarefas de várias etapas em nome dos usuários. Confira alguns exemplos de como os usuários podem usar esses apps:
- Pedido de comida: "Peça um chá pequeno para retirada no meu café favorito."
- Transporte por aplicativo: "Reserve uma viagem para o aeroporto."
- Entrega de supermercado: "Peça de novo as compras que fiz na semana passada."
Como o controle de computador funciona
A estrutura de controle de computador permite que assistentes pré-carregados pelo OEM iniciem apps de destino em uma tela virtual segura em segundo plano e os operem.
O fluxo típico é o seguinte:
- Solicitar uma sessão: um app assistente precisa ter a permissão privilegiada
ACCESS_COMPUTER_CONTROL. O app pode solicitar uma sessão de controle de computador para um conjunto de até seis apps de destino para execução sequencial. O sistema permite uma sessão ativa por vez. - Receber a permissão do usuário: quando um app assistente solicita uma sessão, a estrutura aciona implicitamente uma caixa de diálogo do sistema. Essa caixa de diálogo solicita a permissão do usuário para permitir que o assistente automatize os apps de destino solicitados.
- Automatizar: se o usuário conceder permissão, o sistema vai executar os apps de destino em um dispositivo virtual, semelhante à transmissão. O app assistente usa a sessão para iniciar o app de destino, capturar o conteúdo da tela e simular eventos de entrada do usuário, incluindo toques, deslizes e entrada de texto, para atender à solicitação do usuário.
- Entregar o controle: o assistente pode entregar o controle ao usuário para intervenção manual ou permitir que o usuário solicite manualmente a retomada. Por exemplo, isso é útil para confirmação de transações ou conteúdos que exigem confirmações.
Se tornar um app de destino para controle de computador
Não é necessário fazer outras mudanças para integrar um app de destino à automação de tarefas do assistente pela estrutura de controle de computador. Desde que o usuário tenha concedido permissão, o app assistente determina como navegar analisando capturas de tela da interface do app de destino. O app de destino precisa seguir as práticas recomendadas atuais, como design adaptável e gerenciamento de ciclo de vida.
Um assistente de IA pode limitar o conjunto de apps de destino que ele automatiza.
Sobre a criação de um app assistente de IA
O app assistente de IA pré-carregado pelo OEM pode ser integrado ao controle de computador. A integração vai seguir o fluxo documentado na seção "Como o controle de computador funciona" .