Google AI Edge SDK を使用すると、Gemini Nano を通じてオンデバイス AI 機能でアプリの強化をテストしようとしているデベロッパーが試験運用版にアクセスできます。
AICore を介したアーキテクチャ
システムレベルのモジュールとして、一連の API を介して AICore にアクセスし、デバイス上で推論を実行します。また、AICore にはいくつかの安全機能が組み込まれており、安全フィルタに対する徹底的な評価が保証されています。次の図は、アプリが AICore にアクセスして Gemini Nano をオンデバイスで実行する方法の概要を示しています。
ユーザーのデータのプライバシーとセキュリティを保持する
オンデバイス生成 AI はプロンプトをローカルで実行するため、サーバー呼び出しが不要になります。このアプローチでは、機密データをデバイス上に保持することでプライバシーを強化し、オフライン機能を有効にして、推論コストを削減します。
AICore は Private Compute Core の原則に準拠しており、次の主な特徴があります。
- 制限付きパッケージ バインディング: AICore は、ほとんどの他のパッケージから分離されています。ただし、特定のシステム パッケージについては例外が認められています。この許可リストの変更は、Android の完全な OTA アップデートでのみ行えます。
- 間接的なインターネット アクセス: AICore はインターネットに直接アクセスしません。モデルのダウンロードを含むすべてのインターネット リクエストは、オープンソースの Private Compute Services コンパニオン APK を介してルーティングされます。Private Compute Services 内の API は、プライバシー重視の性質を明示的に示す必要があります。
また、AICore は各リクエストを分離するように構築されており、ユーザーのプライバシーを保護するために、入力データや処理後の出力の結果の記録は保存されません。詳しくは、ブログ投稿「Gemini Nano のプライバシーと安全性について」をご覧ください。
AICore を使用して AI 基盤モデルにアクセスするメリット
AICore により、Android OS は AI 基盤モデルを提供し、管理できるようになります。これにより、主に次の理由から、アプリでこれらの大規模モデルを使用する費用が大幅に削減されます。
- 導入の容易さ: AICore は Gemini Nano の配布を管理し、今後のアップデートを処理します。ネットワーク経由で大規模なモデルをダウンロードしたり更新したりする必要がなく、アプリのディスクとランタイム メモリの予算に影響することもありません。
- 推論の高速化: AICore はデバイス上のハードウェアを活用して推論を高速化します。アプリは各デバイスで最高のパフォーマンスを発揮し、基盤となるハードウェア インターフェースを気にする必要はありません。
サポートされている機能
- サポート対象デバイス: Google AI Edge SDK を搭載した Gemini Nano は、Google Pixel 9 シリーズ デバイスで試験運用できます。
- サポートされているモダリティ: AICore は Gemini Nano のテキスト モダリティをサポートしています。
デバイスとモダリティのサポートの追加は、積極的に投資している分野です。
ユースケース
クラウド サーバーと比較してモバイル デバイスのリソースには制約があるため、オンデバイスの生成 AI モデルは効率とサイズに重点を置いて設計されています。この最適化では、より一般的なアプリケーションよりも、明確に定義された特定のタスクが優先されます。適切なユースケースは次のとおりです。
- テキストの言い換え: テキストのトーンやスタイルを変更します（カジュアルからフォーマルなど）。
- スマート リプライ: チャット スレッド内で文脈に沿った返信を生成します。
- 校正: スペルミスや文法の間違いを特定して修正します。
- 要約: 長いドキュメントを簡潔な要約（段落または箇条書き）にまとめます。
最適なパフォーマンスを実現するには、プロンプト戦略のドキュメントをご覧ください。これらのユースケースを実際に試すには、サンプルアプリをダウンロードして、Gemini Nano のテストを開始してください。
Gemini Nano は、複数の Google アプリで使用されています。以下にいくつか例を示します。
- TalkBack: Android のユーザー補助アプリ TalkBack は、Gemini Nano のマルチモーダル入力機能を活用して、視覚障がいのあるユーザー向けの画像の説明を改善します。
- Google Pixel レコーダー: Google Pixel レコーダー アプリは、Gemini Nano と AICore を使用して、オンデバイスの要約機能を強化しています。レコーダー チームは、最新の Gemini Nano モデルを採用して、より長い録音をサポートし、より高品質な要約を提供しています。
- Gboard: Gboard のスマート リプライは、AICore を搭載したオンデバイスの Gemini Nano を活用して、正確なスマート リプライを提供します。