Android コンピュータ制御フレームワークを使用すると、OEM プリロードの AI アシスタントは、デバイスにインストールされている選択したアプリ（「ターゲット アプリ」）でタスクの自動化を実行できます。 このガイドでは、コンピュータ制御フレームワークの概要と、 ターゲット アプリとAI アシスタント アプリに関する技術的な考慮事項について説明します。
Android コンピュータ制御の概要
Android のコンピュータ制御機能を使用すると、OEM プリロードのアシスタント アプリは、管理された環境でローカルにインストールされたターゲット アプリを起動して操作できます。
コンピュータ制御フレームワークがターゲット アプリを初めて操作しようとすると、システムによって権限ダイアログが自動的に表示されます。権限を取得すると、アシスタント アプリはターゲット アプリでマルチステップ タスクを実行できるようになり、ターゲット アプリを使用してユーザーのリクエストに応えることができます。
サンプル ユースケース
デバイスにインストールされている一連のターゲット アプリでタスク自動化を実行するために、OEM プリロードのアシスタントは、これらのアプリのスクリーンショットを繰り返しキャプチャし、インテリジェントな判断を下してアクションを推測し、アクションを適用してアプリの UI を制御できます。ターゲット アプリとのやり取りは、既存のローカルデータとコンテキストに基づいています。
アシスタント アプリは、ユーザーに代わってマルチステップ タスクを完了するように設計できます。ユーザーがこのようなアプリを使用する例を以下に示します。
- 食品の注文: "お気に入りのカフェで受け取る小さな紅茶を注文して"
- ライドシェア: "空港までの乗車を予約して"
- 食料品の配達: "先週購入した食料品を再注文して"
コンピュータ制御の仕組み
コンピュータ制御フレームワークを使用すると、OEM プリロードのアシスタントは、安全なバックグラウンド仮想ディスプレイでターゲット アプリを起動して操作できます。
一般的なフローは次のとおりです。
- セッションをリクエストする: アシスタント アプリには、特権付きの
ACCESS_COMPUTER_CONTROL権限が必要です。アプリは、最大 6 つのターゲット アプリのセットに対して、順次実行するためのコンピュータ制御セッションをリクエストできます。システムでは、一度に 1 つのアクティブなセッションが許可されます。 - ユーザー権限を取得する: アシスタント アプリがセッションをリクエストすると、 フレームワークによってシステム ダイアログが暗黙的にトリガーされます。このダイアログでは、リクエストされたターゲット アプリを自動化することをアシスタントに許可するようユーザーにリクエストします。
- 自動化する: ユーザーが権限を付与すると、システムはキャストと同様に 仮想デバイスでターゲット アプリを実行します。アシスタント アプリはセッションを使用してターゲット アプリを起動し、画面コンテンツをキャプチャし、タップ、スワイプ、テキスト入力などのユーザー入力イベントをシミュレートして、ユーザーのリクエストに応えます。
- 制御を譲渡する: アシスタントは、 手動で介入するために制御をユーザーに譲渡したり、ユーザーが手動で引き継ぎをリクエストしたりできます。これは、トランザクションの確認や、確認が必要なコンテンツに便利です。
コンピュータ制御のターゲット アプリにする
コンピュータ制御フレームワークを介してターゲット アプリをアシスタント タスク自動化と統合するために、追加の変更を行う必要はありません。ユーザーが権限を付与している限り、アシスタント アプリはターゲット アプリの UI のスクリーンショットを分析してナビゲーション方法を決定します。ターゲット アプリは、 アダプティブ デザインやライフサイクル 管理などの既存のベスト プラクティスに従う必要があります。
AI アシスタントは、自動化するターゲット アプリのセットを制限することを選択できます。
AI アシスタント アプリの作成について
OEM プリロードの AI アシスタント アプリは、コンピュータ制御と統合できます。統合は、「コンピュータ制御の仕組み」 セクションで説明されているフローに従います。