Gemini Nano

Gemini Nano 可讓您提供豐富的生成式 AI 體驗，不需網路連線，也不必將資料傳送至雲端。如果您的主要考量是低成本和隱私權保護，裝置端 AI 就是絕佳的解決方案。

如需在裝置端執行，可以使用 Google 的 Gemini Nano 基礎模型。Gemini Nano 在 Android 的 AICore 系統服務中執行，該服務會運用裝置硬體，縮短推論延遲時間，並確保模型保持在最新狀態。

ML Kit GenAI API

ML Kit 的 GenAI API 運用 Gemini Nano 的強大功能，協助應用程式執行裝置端生成式 AI 工作。這些 API 建構於 AICore 之上，AICore 是一項 Android 系統服務，可在裝置端執行生成式 AI 基礎模型，透過在本機處理資料，提升應用程式功能和使用者隱私。瞭解詳情。

主要功能與特色

ML Kit 將生成式 AI 功能分為下列類別：

自訂生成和代理

直接使用 Gemini Nano 基礎模型，處理自訂用途：

  • 直接存取模型 (使用 GenerativeModel 類別)：透過自訂純文字或多模態提示詞，生成文字或類型化結構化輸出內容，或使用具有 USER 和 MODEL 角色和 sessionId 值的 List<Content> 物件，直接管理自己的多輪對話記錄。
  • Agentic Workflows (使用 AgentRunner 類別)：以 GenerativeModel 類別為基礎建構，可自動管理多輪對話工作階段 (包括記憶體中的對話記錄) 和多步驟工具呼叫迴圈。

語音和音訊

在裝置端轉錄、翻譯及合成語音音訊：

  • 語音辨識：將語音音訊內容轉錄為相同語言的文字。
  • 語音翻譯：即時將語音音訊翻譯成其他語言的文字。
  • Text-to-Speech：從文字合成自然流暢的語音音訊。

文字和圖片工作

透過高階介面，使用針對常見視覺、寫作和搜尋任務最佳化的特定任務 API：

  • 圖片說明：生成指定圖片的簡短說明。
  • 重點摘要：以項目符號清單的形式總結文章或對話。
  • 校對：校對簡短的即時通訊訊息。
  • 改寫：以不同語氣或風格改寫簡短的即時通訊訊息。
  • 語意搜尋：使用 Embedding API 生成文字和圖片的向量嵌入，並與 AndroidX AppSearch 搭配使用，根據含義尋找內容。

透過 AICore 建立架構

AICore 是系統層級模組，您可以透過一系列 API 存取 AICore，在裝置端執行推論。此外，AICore 內建多項安全功能，可確保系統根據安全篩選器進行全面評估。下圖概述應用程式如何存取 AICore，在裝置上執行 Gemini Nano。

圖表：Android 應用程式如何使用 Google AI Edge SDK 存取 AICore，其中 Gemini Nano、LoRA 和安全功能會在硬體加速器上管理及執行。
圖 1. AICore 是應用程式與 Gemini Nano 模型之間的介面，可管理模型更新和安全性，同時運用裝置端硬體。

保護使用者資料的私密性與安全性

裝置端生成式 AI 會在本機執行提示，不需呼叫伺服器。雖然這會解決網路延遲的問題，但推論速度取決於裝置硬體。這種做法可將機密資料保留在裝置上，提升隱私權、啟用離線功能，並降低推論成本。

AICore 遵循 Private Compute Core 原則，並具備下列主要特性：

  • 受限的套件繫結：AICore 與大多數其他套件隔離，僅有少數例外情況，例如特定系統套件。只有在完整的 Android OTA 更新期間，才能修改這份許可清單。
  • 間接網路連線能力：AICore 無法直接存取網際網路。所有網際網路要求 (包括模型下載) 都會透過開放原始碼 Private Compute Services 隨附 APK 轉送。Private Compute Services 中的 API 必須明確展現以隱私權為核心的特性。

此外，AICore 會隔離每項要求，且不會儲存輸入資料或處理後的輸出內容記錄，以保護使用者隱私。詳情請參閱網誌文章「Gemini Nano 隱私權與安全性簡介」。

AICore 的詳細架構圖，顯示要求流程：API 介面、使用安全信號處理輸入內容、功能設定、使用模型權重和 LoRA 的執行階段，以及使用安全信號處理輸出內容。此外，也會顯示透過 Private Compute Services 下載的模型。
圖 2. AICore 架構會管理輸入和輸出內容安全性、要求處理和模型權重，為裝置端 AI 提供安全環境。

透過 AICore 存取 AI 基礎模型的優點

AICore 可讓 Android 作業系統提供及管理 AI 基礎模型。這能大幅降低在應用程式中使用這些大型模型的成本，主要原因如下：

  • 輕鬆部署：AICore 會管理 Gemini Nano 的發布作業，並處理日後的更新。您不必擔心透過網路下載或更新大型模型，也不會影響應用程式的磁碟和執行階段記憶體預算。
  • 加速推論：AICore 會運用裝置端硬體加速推論。您的應用程式在每部裝置上都能發揮最佳效能，您也不必擔心底層硬體介面。

混合式推論的使用時機

雖然 Gemini Nano 非常適合用於離線和隱私權敏感的工作，但仍有裝置端限制，例如權杖限制、裝置硬體限制和模型功能界限。在這些情況下，您可以使用混合推論，在本機裝置和雲端之間平衡 AI 工作負載。

如要確保所有裝置的使用者體驗一致，並處理複雜的查詢，可以使用 Firebase AI Logic Hybrid API。這可讓應用程式執行下列操作：

  • 順暢切換：如果使用者的裝置不支援或無法使用 Gemini Nano，系統會自動將要求轉送至雲端的 Gemini Flash 或 Gemini Pro 模型。
  • 強化安全性：使用 Firebase App Check (及其支援的認證供應商，例如 Play Integrity) 保護雲端推論，並將機密系統提示保留在伺服器端。