Платформа Android Computer Control позволяет предустановленным производителями устройств ИИ-помощникам автоматизировать задачи в выбранных приложениях, установленных на устройстве («целевые приложения»). В этом руководстве представлен обзор платформы Computer Control и технические аспекты, касающиеся целевых приложений и приложений ИИ-помощников .
Обзор управления компьютером с помощью Android
Функция управления компьютером в Android позволяет предустановленному производителем вспомогательному приложению запускать и взаимодействовать с локально установленными целевыми приложениями в контролируемой среде.
Когда платформа управления компьютером впервые пытается взаимодействовать с целевым приложением, система автоматически отображает диалоговое окно запроса разрешения. Получив разрешение, приложение-помощник может выполнять многоэтапные задачи над целевым приложением, что позволяет ему выполнять запрос пользователя с помощью целевого приложения.
Примеры вариантов использования
Для автоматизации задач в наборе целевых приложений, установленных на устройстве, предустановленный производителем помощник может итеративно делать снимки экрана этих приложений, принимать интеллектуальные решения для определения действий и применять эти действия для управления пользовательским интерфейсом приложений. Взаимодействие с целевыми приложениями основано на их существующих локальных данных и контексте.
Приложение-помощник может быть разработано для выполнения многоэтапных задач от имени пользователей. Примеры использования таких приложений включают следующее:
- Заказ еды : «Заказать небольшой чай с собой в моём любимом кафе».
- Сервис совместных поездок : «Закажите поездку в аэропорт».
- Доставка продуктов : «Заказать повторно продукты, которые я купил на прошлой неделе».
Как работает компьютерное управление
Платформа Computer Control позволяет предустановленным OEM-устройствам запускать целевые приложения в защищенном фоновом режиме на виртуальном экране и управлять ими.
Типичный алгоритм работы выглядит следующим образом:
- Запрос сессии : Приложение-помощник должно обладать привилегированным разрешением
ACCESS_COMPUTER_CONTROL. Приложение может запросить сессию управления компьютером для набора до шести целевых приложений для последовательного выполнения. Система допускает одну активную сессию одновременно. - Получение разрешения пользователя : Когда приложение-помощник запрашивает сессию, платформа неявно запускает системный диалог. Этот диалог запрашивает у пользователя разрешение на то, чтобы помощник мог автоматизировать работу запрошенных целевых приложений.
- Автоматизация : Если пользователь предоставит разрешение, система запустит целевые приложения на виртуальном устройстве, аналогично трансляции экрана. Приложение-помощник использует сессию для запуска целевого приложения, захвата содержимого экрана и имитации действий пользователя, включая касания, свайпы и ввод текста, для выполнения запроса пользователя.
- Передача управления : Ассистент может передать управление пользователю для ручного вмешательства или позволить пользователю вручную запросить его передачу. Например, это полезно для подтверждения транзакций или контента, требующего подтверждения.
Станьте целевым приложением для компьютерного управления.
Для интеграции целевого приложения с системой автоматизации задач через платформу управления компьютером не требуется вносить никаких дополнительных изменений. Если пользователь предоставил необходимые разрешения, приложение-помощник определяет способ навигации, анализируя скриншоты пользовательского интерфейса целевого приложения. Ваше целевое приложение должно соответствовать существующим передовым практикам, таким как адаптивный дизайн и управление жизненным циклом .
Искусственный интеллект-помощник может ограничить набор целевых приложений, которые он автоматизирует.
О создании приложения-помощника на основе искусственного интеллекта.
Предустановленное производителем OEM-приложение-помощник на основе ИИ может интегрироваться с системой управления компьютером. Интеграция будет осуществляться в соответствии с процедурой, описанной в разделе «Как работает система управления компьютером». раздел.