Google AI Edge SDK を使用した Gemini Nano

サポートされている Android デバイスでは、ネットワーク接続やクラウドへのデータ送信を必要とせずに、豊富な生成 AI エクスペリエンスを提供できます。オンデバイス AI は、低レイテンシ、低コスト、プライバシー保護を主に重視するユースケースに最適なソリューションです。

デバイス上のユースケースでは、Google の Gemini Nano 基盤モデルを利用できます。クラウドで推論を実行する他の Gemini モデルよりも小さいですが、Gemini Nano をファインチューニングして、大規模なモデルと同様に特殊なタスクを実行できます。Gemini Nano は Android の AICore システム サービスで実行されます。このサービスは、デバイスのハードウェアを活用して推論レイテンシを低くし、モデルを最新の状態に保ちます。

Gemini Nano API と AICore へのアクセスは、Google AI Edge SDK によって提供されます。Google AI Edge は、オンデバイス ML 向けの包括的なツールスイートです。Google AI Edge の詳細

アーキテクチャ

システムレベルのモジュールとして、一連の API を介して AICore にアクセスして、デバイス上で推論を実行します。また、AICore にはいくつかの安全機能が組み込まれており、安全フィルタに対する徹底的な評価が可能です。次の図は、アプリが AICore にアクセスしてデバイス上で Gemini Nano を実行する方法を示しています。

ユーザーデータのプライバシーとセキュリティを確保する

デバイス上の生成 AI がプロンプトをローカルで実行するため、サーバー呼び出しは不要です。このアプローチでは、機密データをデバイスに保持し、オフライン機能を有効にして、推論コストを削減することで、プライバシーを強化します。

AICore は Private Compute Core の原則に準拠しており、次の主な特性があります。

制限付きパッケージ バインディング: AICore は、特定のシステム パッケージを除き、他のほとんどのパッケージから分離されています。この許可リストの変更は、完全な Android OTA アップデート中にのみ行えます。

間接的なインターネット アクセス: AICore は直接インターネットにアクセスできません。モデルのダウンロードを含むすべてのインターネット リクエストは、オープンソースの Private Compute Services コンパニオン APK を介してルーティングされます。Private Compute Services 内の API は、プライバシー重視の性質を明示的に示している必要があります。

また、AICore は各リクエストを分離するように構築されており、ユーザーのプライバシーを保護するために、入力データや処理後の出力の記録は保存されません。詳しくは、ブログ投稿「Gemini Nano のプライバシーと安全性に関する概要」をご覧ください。

AICore を使用して AI 基盤モデルにアクセスするメリット

AICore により、Android OS は AI 基盤モデルを提供して管理できます。これにより、主に次の理由で、アプリでこれらの大規模モデルを使用するコストが大幅に削減されます。

導入の容易さ: AICore は Gemini Nano の配布を管理し、今後のアップデートを処理します。ネットワーク経由での大規模なモデルのダウンロードや更新、アプリのディスクとランタイムのメモリ予算への影響について心配する必要はありません。

推論の高速化: AICore はデバイス上のハードウェアを活用して推論を高速化します。アプリは各デバイスで最適なパフォーマンスを発揮し、基盤となるハードウェア インターフェースを気にする必要はありません。

サポートされている機能

AICore は、次のデバイスとモダリティをサポートしています。

• 対応デバイス: AICore は現在、Google Pixel 9 シリーズのデバイス、Google Pixel 8 シリーズのデバイス（Google Pixel 8¹、Google Pixel 8a² を含む）、Samsung S24 シリーズのデバイス、Samsung Z Fold6、Samsung Z Flip6、Realme GT 6、Motorola Edge 50 Ultra、Motorola Razr 50 Ultra、Xiaomi 14T/Pro、Xiaomi MIX Flip で利用できます。
• サポートされているモダリティ: AICore は現在、Gemini Nano のテキスト モダリティをサポートしています。

デバイスとモダリティのサポートの拡充は、積極的に投資している分野です。

ユースケース

クラウド サーバーとは異なり、モバイル デバイスではリソースが制限されているため、オンデバイス生成 AI モデルは効率とサイズに重点を置いて設計されています。この最適化では、一般的なアプリケーションよりも、明確に定義された特定のタスクが優先されます。適したユースケースには次のものがあります。

• テキストの言い換え: テキストのトーンとスタイルを変更します（カジュアルからフォーマルなど）。
• スマート リプライ: チャット スレッド内で文脈に沿った返信を生成します。
• 校正: スペルミスや文法の誤りを特定して修正します。
• 要約: 長いドキュメントを簡潔な要約（段落または箇条書き）にまとめます。

パフォーマンスを最適化するには、プロンプト戦略のドキュメントをご覧ください。これらのユースケースを実際に試すには、サンプルアプリをダウンロードして Gemini Nano を試してみてください。

Gemini Nano は、複数の Google アプリで使用されています。以下にいくつか例を示します。

• TalkBack: Android のユーザー補助アプリ TalkBack は、Gemini Nano のマルチモーダル入力機能を活用して、視覚障がいのあるユーザー向けの画像の説明を改善します。
• Google Pixel ボイスレコーダー: Google Pixel ボイスレコーダー アプリは、Gemini Nano と AICore を使用して、オンデバイスの要約機能を実現しています。レコーダー チームは、最新の Gemini Nano モデルを採用して、より長い録音をサポートし、より質の高い要約を提供しています。
• Gboard: Gboard のスマート リプライは、AICore を搭載したオンデバイス Gemini Nano を活用して、正確なスマート リプライを提供します。