Gemini Nano

Gemini Nano を使用すると、ネットワーク接続やクラウドへのデータ送信を必要とせずに、充実した生成 AI 体験を提供できます。オンデバイス AI は、低コストとプライバシー保護が主な懸念事項であるユースケースに最適なソリューションです。

デバイス上のユースケースでは、Google の Gemini Nano 基盤モデルを活用できます。Gemini Nano は Android の AICore システム サービスで実行されます。このサービスはデバイスのハードウェアを活用して推論のレイテンシを低く抑え、モデルを最新の状態に保ちます。

ML Kit GenAI API

ML Kit の GenAI API は Gemini Nano の能力を活用して、アプリがタスクを実行できるようにします。これらの API は、高レベルのインターフェースを通じて、一般的なユースケースにすぐに使用できる品質を提供します。ML Kit GenAI API は、AICore をベースに構築されています。AICore は、生成 AI 基盤モデルのオンデバイス実行を可能にする Android システム サービスで、データをローカルで処理することで、アプリの機能強化やユーザーのプライバシーの向上などの機能を実現します。詳細

主な機能

ML Kit GenAI API は、次の機能をサポートしています。

  • プロンプト: カスタムのテキストのみのプロンプトまたはマルチモーダル プロンプトに基づいてテキスト コンテンツを生成します。
  • 要約: 記事や会話を箇条書きで要約します。
  • 校正: 短いチャット メッセージを校正します。
  • 書き換え: 短いチャット メッセージをさまざまなトーンやスタイルで書き換えます。
  • 画像の説明: 指定された画像の簡単な説明を生成します。
  • 音声認識: 音声をテキストに変換します。

AICore を介したアーキテクチャ

システムレベルのモジュールとして、AICore には一連の API を介してアクセスし、デバイス上で推論を実行します。また、AICore にはいくつかの安全機能が組み込まれており、安全フィルタに対する徹底的な評価が保証されます。次の図は、アプリが AICore にアクセスして Gemini Nano をオンデバイスで実行する方法の概要を示しています。

Android アプリが Google AI Edge SDK を使用して AICore にアクセスし、Gemini Nano、LoRA、安全機能がハードウェア アクセラレータで管理および実行される仕組みを示す図。
図 1. AICore は、アプリと Gemini Nano モデル間のインターフェースとして機能し、オンデバイス ハードウェアを活用しながら、モデルの更新と安全性を管理します。

ユーザーのデータのプライバシーとセキュリティを保持する

オンデバイスの生成 AI はプロンプトをローカルで実行するため、サーバー呼び出しが不要になります。これによりネットワーク レイテンシは解消されますが、推論速度はデバイスのハードウェアに依存します。このアプローチでは、機密データをデバイス上に保持することでプライバシーを強化し、オフライン機能を有効にし、推論コストを削減します。

AICore は Private Compute Core の原則に準拠しており、次の主な特徴があります。

  • 制限付きパッケージ バインディング: AICore は、特定のシステム パッケージに対する限定的な例外を除き、他のほとんどのパッケージから分離されています。この許可リストの変更は、完全な Android OTA アップデートの実行中にのみ行えます。
  • 間接的なインターネット アクセス: AICore はインターネットに直接アクセスできません。モデルのダウンロードを含むすべてのインターネット リクエストは、オープンソースの Private Compute Services コンパニオン APK を介してルーティングされます。Private Compute Services 内の API は、プライバシー重視の性質を明示的に示す必要があります。

また、AICore は各リクエストを分離するように構築されており、ユーザーのプライバシーを保護するために、入力データや処理後の出力の結果を保存しません。詳しくは、ブログ投稿「Gemini Nano のプライバシーと安全性について」をご覧ください。

AICore の詳細なアーキテクチャ図。リクエスト フロー（API サーフェス、安全性シグナルによる入力処理、特徴構成、モデルの重みと LoRA を含むランタイム、安全性シグナルによる出力処理）を示しています。また、Private Compute Services を介したモデルのダウンロードも表示されます。
図 2. AICore アーキテクチャは、入力と出力の安全性、リクエスト処理、モデルの重みを管理し、オンデバイス AI の安全な環境を提供します。

AICore を使用して AI 基盤モデルにアクセスするメリット

AICore により、Android OS は AI 基盤モデルを提供し、管理できるようになります。これにより、主に次の理由から、アプリでこれらの大規模モデルを使用する費用が大幅に削減されます。

  • デプロイの容易さ: AICore は Gemini Nano の配布を管理し、今後のアップデートを処理します。ネットワーク経由で大規模なモデルをダウンロードしたり更新したりする必要がなく、アプリのディスクとランタイム メモリの予算に影響することもありません。
  • 高速推論: AICore はデバイス上のハードウェアを活用して推論を高速化します。アプリは各デバイスで最高のパフォーマンスを発揮し、基盤となるハードウェア インターフェースを気にする必要はありません。

ハイブリッド推論を使用する場合

Gemini Nano はオフライン タスクやプライバシーに配慮したタスクに最適ですが、トークン上限、デバイス ハードウェアの制限、モデル機能の境界などのオンデバイスの制約があります。このようなシナリオでは、ハイブリッド推論を使用して、ローカル デバイスとクラウド間で AI ワークロードのバランスを取ることができます。

すべてのデバイスで一貫したユーザー エクスペリエンスを確保し、複雑なクエリを処理するには、Firebase AI Logic Hybrid API を使用します。これにより、アプリで次のことが可能になります。

  • グレースフル フォールバック: Gemini Nano が利用できない場合や、ユーザーのデバイスでサポートされていない場合に、リクエストをクラウド内の Gemini Flash モデルまたは Gemini Pro モデルに自動的にルーティングします。
  • セキュリティを適用する: Firebase App Check（および Play Integrity などのサポートされている証明書プロバイダ）でクラウド推論を保護し、機密性の高いシステム プロンプトをサーバーサイドに保持します。