有了 Gemini Nano，您就能提供豐富的生成式 AI 體驗，不必連上網路或將資料傳送至雲端。如果您主要關心低延遲、低成本和隱私權保護，裝置端 AI 就是絕佳的解決方案。
針對裝置端用途，您可以利用 Google 的 Gemini Nano 基礎模型。Gemini Nano 會在 Android 的 AICore 系統服務中執行，該服務會運用裝置硬體，提供低推論延遲時間，並維持模型的最新狀態。
目前可透過以下方式存取 Gemini Nano：
- ML Kit GenAI API：提供摘要、校對、重寫和圖片說明等功能的高階介面。
- Google AI Edge SDK：開發人員如要透過裝置端 AI 功能測試應用程式強化功能，可使用這項 SDK 進行實驗。
建築
作為系統層級模組，您必須透過一系列 API 存取 AICore，才能在裝置上執行推論。此外，AICore 也提供多項內建安全功能，確保安全濾鏡能徹底評估內容。下圖概略說明應用程式如何存取 AICore，以便在裝置上執行 Gemini Nano。
保護使用者資料的隱私和安全
裝置端生成式 AI 會在本機執行提示，因此不必進行伺服器呼叫。這項做法可在裝置上保留敏感資料，啟用離線功能，並降低推論成本，進而提升隱私權。
AICore 遵循 Private Compute Core 原則，具有下列主要特徵：
受限的套件繫結：AICore 與大多數其他套件隔離，但可與特定系統套件進行有限的繫結。您只能在完整的 Android OTA 更新期間修改此許可清單。
間接連線到網際網路：AICore 無法直接連線到網際網路。所有網際網路要求 (包括模型下載作業) 都會透過開源 Private Compute Services 隨附 APK 轉送。Private Compute Services 中的 API 必須明確展示以隱私權為重視的特性。
此外，AICore 的設計可隔離每項要求，並在處理完輸入資料或產生輸出結果後，不會儲存任何記錄，以保護使用者隱私。詳情請參閱網誌文章「Gemini Nano 隱私權和安全性簡介」。
使用 AICore 存取 AI 基礎模型的優點
AICore 可讓 Android 作業系統提供及管理 AI 基礎模型。這可大幅降低在應用程式中使用這些大型模型的成本，主要原因如下：
輕鬆部署：AICore 會管理 Gemini Nano 的發布作業，並處理日後的更新。您不必擔心透過網路下載或更新大型模型，也不必擔心會影響應用程式的磁碟和執行階段記憶體預算。
加速推論：AICore 會利用裝置端硬體加速推論。應用程式可在每部裝置上獲得最佳效能，您不必擔心底層硬體介面。
支援的功能
- 支援的裝置：Pixel 9 系列裝置目前可使用搭載 Google AI Edge SDK 的 Gemini Nano 進行實驗。
- 支援的模式：AICore 目前支援 Gemini Nano 的文字模式。
我們正積極投資其他裝置和模式支援功能。
用途
由於行動裝置的資源有限，與雲端伺服器相比，裝置端生成式 AI 模型的設計重點是效率和大小。這項最佳化功能會優先處理明確定義的特定工作，而非較通用的應用程式。適合的用途包括：
- 文字改寫：修改文字的語氣和樣式 (例如從輕鬆改為正式)。
- 智慧回覆：在即時通訊串中產生與情境相關的回覆。
- 校對：找出並修正拼字和文法錯誤。
- 重點摘要：將冗長文件壓縮為精簡摘要 (段落或項目符號)。
如要獲得最佳效能，請參閱提示策略說明文件。如要親自探索這些用途，請下載範例應用程式，並開始試用 Gemini Nano。
多個 Google 應用程式都會使用 Gemini Nano。例如：
- Talkback：Android 的無障礙應用程式 Talkback 可運用 Gemini Nano 的多模態輸入功能，為視障使用者改善圖片說明。
- Pixel 錄音工具：Pixel 錄音工具應用程式採用 Gemini Nano 和 AICore，提供裝置端摘要功能。錄音機團隊採用最新的 Gemini Nano 模型，以支援更長的錄音時間，並提供更高品質的摘要。
- Gboard：Gboard 智慧回覆功能會利用裝置端的 Gemini Nano 和 AICore，提供準確的智慧回覆。