Framework Kontrol Komputer Android memungkinkan asisten AI yang telah diinstal oleh OEM untuk melakukan otomatisasi tugas pada aplikasi tertentu yang diinstal di perangkat ("aplikasi target"). Panduan ini memberikan ringkasan tentang framework Kontrol Komputer dan pertimbangan teknis untuk aplikasi target dan aplikasi asisten AI.
Ringkasan Kontrol Komputer Android
Kemampuan Kontrol Komputer Android memungkinkan aplikasi asisten yang telah diinstal oleh OEM untuk meluncurkan dan berinteraksi dengan aplikasi target yang diinstal secara lokal di lingkungan yang terkontrol.
Saat framework Kontrol Komputer mencoba berinteraksi dengan aplikasi target untuk pertama kalinya, sistem akan otomatis menampilkan dialog izin. Setelah mendapatkan izin, aplikasi asisten dapat melakukan tugas multi-langkah pada aplikasi target, sehingga aplikasi asisten dapat memenuhi permintaan pengguna menggunakan aplikasi target.
Contoh kasus penggunaan
Untuk melakukan otomatisasi tugas pada serangkaian aplikasi target yang diinstal di perangkat, asisten yang telah diinstal oleh OEM dapat mengambil screenshot aplikasi ini secara berulang, membuat keputusan cerdas untuk menyimpulkan tindakan, dan menerapkan tindakan untuk mengontrol UI aplikasi. Interaksi dengan aplikasi target didasarkan pada data dan konteks lokal yang ada.
Aplikasi asisten dapat didesain untuk menyelesaikan tugas multi-langkah atas nama pengguna. Contoh penggunaan aplikasi tersebut oleh pengguna mencakup hal berikut:
- Pemesanan makanan: "Pesan teh kecil untuk diambil di kafe favorit saya."
- Ride sharing: "Pesan kendaraan ke bandara."
- Pengiriman bahan makanan: "Pesan ulang bahan makanan yang saya beli minggu lalu."
Cara kerja Kontrol Komputer
Framework Kontrol Komputer memungkinkan asisten yang telah diinstal oleh OEM untuk meluncurkan aplikasi target di layar virtual latar belakang yang aman dan mengoperasikannya.
Alur umumnya adalah sebagai berikut:
- Meminta sesi: Aplikasi asisten harus memiliki izin hak istimewa
ACCESS_COMPUTER_CONTROL. Aplikasi dapat meminta sesi Kontrol Komputer untuk serangkaian hingga enam aplikasi target untuk eksekusi berurutan. Sistem hanya mengizinkan satu sesi aktif dalam satu waktu. - Mendapatkan izin pengguna: Saat aplikasi asisten meminta sesi, framework akan memicu dialog sistem secara implisit. Dialog ini meminta izin pengguna untuk mengizinkan asisten mengotomatiskan aplikasi target yang diminta.
- Mengotomatiskan: Jika pengguna memberikan izin, sistem akan menjalankan aplikasi target di perangkat virtual, mirip dengan casting. Aplikasi asisten menggunakan sesi untuk meluncurkan aplikasi target, mengambil konten layar, dan menyimulasikan peristiwa input pengguna termasuk ketukan, geser, dan input teks, untuk memenuhi permintaan pengguna.
- Menyerahkan kontrol: Asisten dapat menyerahkan kontrol kepada pengguna untuk intervensi manual atau mengizinkan pengguna meminta untuk mengambil alih secara manual. Misalnya, hal ini berguna untuk konfirmasi transaksi atau konten yang memerlukan konfirmasi.
Menjadi aplikasi target untuk Kontrol Komputer
Anda tidak perlu melakukan perubahan tambahan untuk mengintegrasikan aplikasi target dengan otomatisasi tugas asisten melalui framework Kontrol Komputer. Selama pengguna telah memberikan izin, aplikasi asisten akan menentukan cara melakukan navigasi dengan menganalisis screenshot UI aplikasi target. Aplikasi target Anda harus mengikuti praktik terbaik yang ada seperti desain adaptif dan pengelolaan siklus proses.
Asisten AI dapat memilih untuk membatasi serangkaian aplikasi target yang diotomatiskan.
Tentang pembuatan aplikasi asisten AI
Aplikasi asisten AI yang telah diinstal oleh OEM dapat berintegrasi dengan Kontrol Komputer. Integrasi akan mengikuti alur yang didokumentasikan di bagian "Cara kerja Kontrol Komputer" .