Khung Kiểm soát máy tính Android cho phép các trợ lý AI được OEM (Nhà sản xuất thiết bị gốc) tải sẵn thực hiện tính năng tự động hoá tác vụ trên các ứng dụng đã chọn được cài đặt trên thiết bị ("ứng dụng mục tiêu"). Hướng dẫn này cung cấp thông tin tổng quan về khung Kiểm soát máy tính và các yếu tố kỹ thuật cần cân nhắc đối với các ứng dụng mục tiêu và các ứng dụng trợ lý AI.
Tổng quan về tính năng Điều khiển máy tính Android
Các chức năng Điều khiển máy tính của Android cho phép một ứng dụng trợ lý được tải sẵn của OEM khởi chạy và tương tác với các ứng dụng mục tiêu được cài đặt cục bộ trong một môi trường được kiểm soát.
Khi khung Computer Control (Điều khiển máy tính) cố gắng tương tác với một ứng dụng mục tiêu lần đầu tiên, hệ thống sẽ tự động hiển thị một hộp thoại cấp quyền. Sau khi nhận được quyền này, ứng dụng trợ lý có thể thực hiện các tác vụ nhiều bước trên ứng dụng mục tiêu, cho phép ứng dụng trợ lý thực hiện yêu cầu của người dùng bằng ứng dụng mục tiêu.
Ví dụ về các trường hợp sử dụng
Để thực hiện tự động hoá tác vụ trên một nhóm ứng dụng mục tiêu được cài đặt trên thiết bị, một trợ lý được OEM (Nhà sản xuất thiết bị gốc) tải sẵn có thể lặp lại việc chụp ảnh màn hình của các ứng dụng này, đưa ra quyết định thông minh để suy luận các hành động và áp dụng các hành động để kiểm soát giao diện người dùng của ứng dụng. Các lượt tương tác với ứng dụng mục tiêu dựa trên dữ liệu và bối cảnh hiện có của ứng dụng đó.
Ứng dụng trợ lý có thể được thiết kế để hoàn thành các tác vụ nhiều bước thay cho người dùng. Sau đây là một số ví dụ về cách người dùng có thể sử dụng những ứng dụng như vậy:
- Đặt món ăn: "Đặt một ly trà nhỏ để tự đến lấy tại quán cà phê tôi yêu thích."
- Đi chung xe: "Đặt chuyến xe đến sân bay".
- Giao hàng tạp hoá: "Đặt lại đơn hàng tạp hoá tôi đã mua tuần trước."
Cách hoạt động của tính năng Điều khiển máy tính
Khung Kiểm soát máy tính cho phép các trợ lý được OEM tải sẵn khởi chạy các ứng dụng mục tiêu trong một màn hình ảo nền an toàn và vận hành các ứng dụng đó.
Quy trình thông thường như sau:
- Yêu cầu một phiên: Ứng dụng trợ lý phải có quyền
ACCESS_COMPUTER_CONTROLđặc quyền. Ứng dụng có thể yêu cầu một phiên Kiểm soát máy tính cho một nhóm tối đa 6 ứng dụng mục tiêu để thực thi tuần tự. Hệ thống cho phép một phiên hoạt động tại một thời điểm nhất định. - Lấy sự cho phép của người dùng: Khi một ứng dụng trợ lý yêu cầu một phiên, khung sẽ kích hoạt ngầm một hộp thoại hệ thống. Hộp thoại này yêu cầu người dùng cấp quyền cho trợ lý tự động hoá các ứng dụng mục tiêu được yêu cầu.
- Tự động hoá: Nếu người dùng cấp quyền, hệ thống sẽ chạy các ứng dụng mục tiêu trên một thiết bị ảo, tương tự như truyền. Ứng dụng trợ lý sử dụng phiên này để khởi chạy ứng dụng mục tiêu, ghi lại nội dung trên màn hình và mô phỏng các hoạt động đầu vào của người dùng, bao gồm cả thao tác nhấn, vuốt và nhập văn bản, nhằm đáp ứng yêu cầu của người dùng.
- Trao quyền kiểm soát: Trợ lý có thể trao quyền kiểm soát cho người dùng để họ can thiệp theo cách thủ công hoặc cho phép người dùng yêu cầu tiếp quản theo cách thủ công. Ví dụ: điều này rất hữu ích cho việc xác nhận giao dịch hoặc nội dung yêu cầu xác nhận.
Trở thành ứng dụng mục tiêu cho tính năng Điều khiển máy tính
Bạn không cần thực hiện bất kỳ thay đổi nào khác để tích hợp một ứng dụng mục tiêu với tính năng tự động hoá tác vụ của trợ lý thông qua khung Computer Control. Miễn là người dùng đã cấp quyền, ứng dụng trợ lý sẽ xác định cách điều hướng bằng cách phân tích ảnh chụp màn hình giao diện người dùng của ứng dụng mục tiêu. Ứng dụng mục tiêu của bạn phải tuân theo các phương pháp hay nhất hiện có, chẳng hạn như thiết kế thích ứng và quản lý vòng đời.
Trợ lý AI có thể chọn giới hạn tập hợp các ứng dụng mục tiêu mà trợ lý này tự động hoá.
Giới thiệu về cách tạo ứng dụng trợ lý AI
Ứng dụng trợ lý AI được tải sẵn của OEM có thể tích hợp với tính năng Điều khiển máy tính. Quy trình tích hợp sẽ tuân theo quy trình được ghi lại trong phần "Cách hoạt động của tính năng Điều khiển máy tính" .