Il framework Android Computer Control consente agli assistenti AI precaricati dall'OEM di eseguire l'automazione delle attività su app selezionate installate sul dispositivo ("app di destinazione"). Questa guida fornisce una panoramica del framework Computer Control e delle considerazioni tecniche per le app di destinazione e le app di assistenti AI.
Panoramica di Android Computer Control
Le funzionalità di Computer Control di Android consentono a un'app di assistenza precaricata dall'OEM di avviare e interagire con le app di destinazione installate localmente in un ambiente controllato.
Quando il framework Computer Control tenta di interagire con un'app di destinazione per la prima volta, il sistema visualizza automaticamente una finestra di dialogo di autorizzazione. Una volta ottenuta l'autorizzazione, l'app di assistenza può eseguire attività in più passaggi sull'app di destinazione, consentendole di soddisfare la richiesta di un utente utilizzando l'app di destinazione.
Esempi di casi d'uso
Per eseguire l'automazione delle attività su un insieme di app di destinazione installate sul dispositivo, un assistente precaricato dall'OEM può acquisire in modo iterativo screenshot di queste app, prendere decisioni intelligenti per dedurre le azioni e applicare le azioni per controllare l'interfaccia utente delle app. Le interazioni con le app di destinazione si basano sui dati e sul contesto locali esistenti.
Un'app di assistenza può essere progettata per completare attività in più passaggi per conto degli utenti. Ecco alcuni esempi di come gli utenti potrebbero utilizzare queste app:
- Ordinazione di cibo: "Ordina un tè piccolo da ritirare al mio bar preferito".
- Ride sharing: "Prenota una corsa per l'aeroporto."
- Consegna di generi alimentari: "Riordina i generi alimentari che ho acquistato la settimana scorsa".
Come funziona Computer Control
Il framework Computer Control consente agli assistenti precaricati dall'OEM di avviare le app di destinazione in un display virtuale di sfondo sicuro e di utilizzarle.
Il flusso tipico è il seguente:
- Richiedi una sessione: un'app di assistenza deve disporre dell'autorizzazione con privilegi
ACCESS_COMPUTER_CONTROL. L'app può richiedere una sessione di Computer Control per un insieme di massimo sei app di destinazione per l'esecuzione sequenziale. Il sistema consente una sessione attiva alla volta. - Ottieni l'autorizzazione dell'utente: quando un'app di assistenza richiede una sessione, il framework attiva implicitamente una finestra di dialogo di sistema. Questa finestra di dialogo richiede l'autorizzazione dell'utente per consentire all'assistente di automatizzare le app di destinazione richieste.
- Automatizza: se l'utente concede l'autorizzazione, il sistema esegue le app di destinazione su un dispositivo virtuale, in modo simile al casting. L'app di assistenza utilizza la sessione per avviare l'app di destinazione, acquisire i contenuti dello schermo e simulare gli eventi di input dell'utente, inclusi tocchi, scorrimenti e input di testo, per soddisfare la richiesta dell'utente.
- Trasferisci il controllo: l'assistente può trasferire il controllo all'utente per un intervento manuale o consentire all'utente di richiedere manualmente di assumere il controllo. Ad esempio, questa opzione è utile per la conferma delle transazioni o per i contenuti che richiedono riconoscimenti.
Diventa un'app di destinazione per Computer Control
Non è necessario apportare modifiche aggiuntive per integrare un'app di destinazione con l'automazione delle attività dell'assistente tramite il framework Computer Control. A condizione che l'utente abbia concesso l'autorizzazione, l'app di assistenza determina come navigare analizzando gli screenshot dell'interfaccia utente dell'app di destinazione. L'app di destinazione deve seguire le best practice esistenti, come la progettazione adattiva e la gestione del ciclo di vita.
Un assistente AI può scegliere di limitare l'insieme di app di destinazione che automatizza.
Informazioni sulla creazione di un'app di assistente AI
L'app di assistente AI precaricata dall'OEM può essere integrata con Computer Control. L' integrazione seguirà il flusso documentato nella sezione "Come funziona Computer Control" .