在支援的 Android 裝置上，您可以提供豐富的生成式 AI 體驗，而無需連上網路或將資料傳送至雲端。如果您主要關心低延遲、低成本和隱私權保護，裝置端 AI 就是絕佳的解決方案。
針對裝置端用途，您可以利用 Google 的 Gemini Nano 基礎模型。雖然 Gemini Nano 的體積比在雲端執行推論的其他 Gemini 模型小，但您可以微調 Gemini Nano，讓它執行專門任務，以及執行大型對應項目。Gemini Nano 會在 Android 的 AICore 系統服務中執行，該服務會運用裝置硬體，提供低推論延遲時間，並維持模型的最新狀態。
Google AI Edge SDK 提供 Gemini Nano API 和 AICore 的存取權。Google AI Edge 是一套完整的裝置端機器學習工具，進一步瞭解 Google AI Edge。
建築
作為系統層級模組，您必須透過一系列 API 存取 AICore，才能在裝置上執行推論。此外，AICore 也提供多項內建安全功能，確保安全濾鏡能徹底評估內容。下圖概略說明應用程式如何存取 AICore，以便在裝置上執行 Gemini Nano。
保護使用者資料的隱私和安全
裝置端生成式 AI 會在本機執行提示，因此不必進行伺服器呼叫。這項做法可將敏感資料保留在裝置上，啟用離線功能，並降低推論成本，進而提升隱私權。
AICore 遵循 Private Compute Core 原則，具有下列主要特徵：
受限的套件繫結：AICore 與大多數其他套件隔離，但可與特定系統套件進行有限的繫結。您只能在完整的 Android OTA 更新期間修改此許可清單。
間接連線到網際網路：AICore 無法直接連線到網際網路。所有網際網路要求 (包括模型下載作業) 都會透過開源 Private Compute Services 隨附 APK 轉送。Private Compute Services 中的 API 必須明確展示以隱私權為重視的特性。
此外，AICore 的設計可隔離每項要求，並不會儲存輸入資料或處理後的輸出結果記錄，以保護使用者隱私。詳情請參閱網誌文章「Gemini Nano 隱私權和安全性簡介」。
使用 AICore 存取 AI 基礎模型的優點
AICore 可讓 Android 作業系統提供及管理 AI 基礎模型。這項功能可大幅降低在應用程式中使用這些大型模型的成本，主要原因如下：
輕鬆部署：AICore 會管理 Gemini Nano 的發布作業，並處理日後的更新作業。您不必擔心透過網路下載或更新大型模型，也不必擔心會影響應用程式的磁碟和執行階段記憶體預算。
加速推論：AICore 會利用裝置端硬體加速推論。應用程式可在每部裝置上獲得最佳效能，您不必擔心底層硬體介面。
支援的功能
AICore 支援下列裝置和模式：
- 支援的裝置：AICore 目前適用於 Pixel 9 系列裝置、Google Pixel 8 系列裝置 (包括 Pixel 81 和 Pixel 8a2)、Samsung S24 系列裝置、Samsung Z Fold6、Samsung Z Flip6、Realme GT 6、Motorola Edge 50 Ultra、Motorola Razr 50 Ultra、Xiaomi 14T/Pro 和 Xiaomi MIX Flip。
- 支援的模式：AICore 目前支援 Gemini Nano 的文字模式。
我們正積極投資其他裝置和模式支援功能。
用途
由於行動裝置的資源比雲端伺服器有限，因此在裝置端設計生成式 AI 模型時，會著重於效率和大小。這項最佳化功能會優先處理特定且明確的任務，而非更通用的應用程式。適合的用途包括：
- 文字重述：修改文字的語氣和風格 (例如從口語改為正式用語)。
- 智慧回覆：在即時通訊串中產生與內容相關的回覆。
- 校對：找出並修正拼字和文法錯誤。
- 摘要產生器：將冗長文件濃縮為精簡摘要 (段落或大綱)。
如要獲得最佳效能，請參閱提示策略說明文件。如要親自探索這些用途，請下載範例應用程式，並開始試用 Gemini Nano。
多個 Google 應用程式都會使用 Gemini Nano。例如：
- Talkback：Android 的無障礙應用程式 Talkback 可運用 Gemini Nano 的多模態輸入功能，為視障使用者提供更完善的圖片說明。
- Pixel 錄音工具：Pixel 錄音工具應用程式採用 Gemini Nano 和 AICore，提供裝置端摘要功能。錄音機團隊採用最新的 Gemini Nano 模型，以支援更長的錄音時間，並提供更高品質的摘要。
- Gboard：Gboard 智慧回覆功能會利用裝置端的 Gemini Nano 和 AICore，提供準確的智慧回覆。