Android 컴퓨터 제어 프레임워크를 사용하면 OEM에서 미리 로드한 AI 어시스턴트가 기기에 설치된 선택된 앱('타겟 앱')에서 작업 자동화를 실행할 수 있습니다. 이 가이드에서는 컴퓨터 제어 프레임워크와 기술적 고려사항(타겟 앱 및 AI 어시스턴트 앱)을 간략히 설명합니다.
Android 컴퓨터 제어 개요
Android의 컴퓨터 제어 기능을 사용하면 OEM에서 미리 로드한 어시스턴트 앱이 제어된 환경에서 로컬로 설치된 타겟 앱을 실행하고 상호작용할 수 있습니다.
컴퓨터 제어 프레임워크가 처음으로 타겟 앱과 상호작용하려고 하면 시스템에서 권한 대화상자를 자동으로 표시합니다. 권한을 획득하면 어시스턴트 앱이 타겟 앱에서 여러 단계로 구성된 작업을 실행할 수 있으므로 어시스턴트 앱이 타겟 앱을 사용하여 사용자의 요청을 처리할 수 있습니다.
사용 사례
기기에 설치된 타겟 앱 집합에서 작업 자동화를 실행하기 위해 OEM에서 미리 로드한 어시스턴트는 이러한 앱의 스크린샷을 반복적으로 캡처하고, 지능적인 결정을 내려 작업을 추론하고, 작업을 적용하여 앱의 UI를 제어할 수 있습니다. 타겟 앱과의 상호작용은 기존 로컬 데이터와 컨텍스트를 기반으로 합니다.
어시스턴트 앱은 사용자를 대신하여 여러 단계로 구성된 작업을 완료하도록 설계될 수 있습니다. 사용자가 이러한 앱을 사용하는 방법의 예는 다음과 같습니다.
- 음식 주문: "내가 좋아하는 카페에서 가져갈 작은 차를 주문해 줘."
- 카풀: "공항까지 가는 차량을 예약해 줘."
- 식료품 배달: "지난주에 구매한 식료품을 다시 주문해 줘."
컴퓨터 제어 작동 방식
컴퓨터 제어 프레임워크를 사용하면 OEM에서 미리 로드한 어시스턴트가 보안 백그라운드 가상 디스플레이에서 타겟 앱을 실행하고 작동할 수 있습니다.
일반적인 흐름은 다음과 같습니다.
- 세션 요청: 어시스턴트 앱에 권한이 있는
ACCESS_COMPUTER_CONTROL권한이 있어야 합니다. 앱은 순차적 실행을 위해 최대 6개의 타겟 앱 집합에 대한 컴퓨터 제어 세션을 요청할 수 있습니다. 시스템은 지정된 시간에 하나의 활성 세션을 허용합니다. - 사용자 권한 획득: 어시스턴트 앱이 세션을 요청하면 프레임워크에서 시스템 대화상자를 암시적으로 트리거합니다. 이 대화상자는 어시스턴트가 요청된 타겟 앱을 자동화하도록 허용하는 사용자 권한을 요청합니다.
- 자동화: 사용자가 권한을 부여하면 시스템에서 캐스팅과 유사하게 가상 기기에서 타겟 앱을 실행합니다. 어시스턴트 앱은 세션을 사용하여 타겟 앱을 실행하고, 화면 콘텐츠를 캡처하고, 탭, 스와이프, 텍스트 입력을 비롯한 사용자 입력 이벤트를 시뮬레이션하여 사용자의 요청을 처리합니다.
- 제어권 넘기기: 어시스턴트는 수동 개입을 위해 사용자에게 제어권을 넘기거나 사용자가 수동으로 제어권을 가져오도록 요청할 수 있습니다. 예를 들어 이는 트랜잭션 확인 또는 승인이 필요한 콘텐츠에 유용합니다.
컴퓨터 제어의 타겟 앱 되기
컴퓨터 제어 프레임워크를 통해 타겟 앱을 어시스턴트 작업 자동화와 통합하기 위해 추가로 변경할 필요는 없습니다. 사용자가 권한을 부여한 경우 어시스턴트 앱은 타겟 앱 UI의 스크린샷을 분석하여 탐색 방법을 결정합니다. 타겟 앱은 적응형 디자인 및 수명 주기 관리와 같은 기존 권장사항을 따라야 합니다.
AI 어시스턴트는 자동화하는 타겟 앱 집합을 제한하도록 선택할 수 있습니다.
AI 어시스턴트 앱 만들기 정보
OEM에서 미리 로드한 AI 어시스턴트 앱은 컴퓨터 제어와 통합될 수 있습니다. 통합은 "컴퓨터 제어 작동 방식" 섹션에 설명된 흐름을 따릅니다.