Google AI Edge SDK

開發人員可透過 Google AI Edge SDK 進行實驗性存取，藉由 Gemini Nano 測試裝置端 AI 功能，進一步提升應用程式效能。

透過 AICore 進行架構設計

AICore 是系統層級的模組，您可透過一系列 API 存取 AICore，在裝置上執行推論。此外，AICore 內建多項安全功能，可確保系統根據安全篩選器進行全面評估。下圖說明應用程式如何存取 AICore，在裝置上執行 Gemini Nano。

保護使用者資料的私密性與安全性

裝置端生成式 AI 會在本機執行提示，因此不會呼叫伺服器。這項做法可將敏感資料保留在裝置上，提升隱私權，並支援離線功能，還能降低推論成本。

AICore 遵循 Private Compute Core 原則，主要特點如下：

• 受限的套件繫結：AICore 與大多數其他套件隔離，但特定系統套件除外。只有在 Android 完整 OTA 更新期間，才能修改這份允許清單。
• 間接存取網際網路：AICore 無法直接存取網際網路。 所有網際網路要求 (包括模型下載) 都會透過開放原始碼的 Private Compute Services 隨附 APK 轉送。Private Compute Services 中的 API 必須明確展現以隱私權為中心的特性。

此外，AICore 的設計可隔離每個要求，且處理輸入資料或產生的輸出內容後，不會儲存任何記錄，以保護使用者隱私。詳情請參閱「Gemini Nano 隱私權和安全性簡介」網誌文章。

透過 AICore 存取 AI 基礎模型的好處

Android OS 可透過 AICore 提供及管理 AI 基礎模型。 這項功能主要透過下列方式，大幅降低在應用程式中使用這些大型模型的成本：

• 輕鬆部署：AICore 會管理 Gemini Nano 的發布作業，並處理日後的更新。您不必擔心透過網路下載或更新大型模型，也不會影響應用程式的磁碟和執行階段記憶體預算。
• 加速推論：AICore 會運用裝置端硬體加速推論。應用程式在每部裝置上都能發揮最佳效能，您也不必擔心底層硬體介面。

支援的功能

• 支援的裝置：Google AI Edge SDK 搭配 Gemini Nano 可在 Pixel 9 系列裝置上實驗。
• 支援的模態：AICore 支援 Gemini Nano 的文字模態。

我們正積極投入資源，支援更多裝置和模式。

用途

相較於雲端伺服器，行動裝置的資源有限，因此裝置端生成式 AI 模型的設計重點在於效率和大小。這項最佳化功能會優先處理明確定義的特定工作，而非較為廣泛的應用程式。適用用途包括：

• 文字改寫：修改文字的語氣和風格 (例如從輕鬆改為正式)。
• 智慧回覆：在即時通訊討論串中生成符合情境的回覆。
• 校對：找出並修正拼字和文法錯誤。
• 摘要：將長篇文件濃縮成簡潔的摘要 (段落或條列式)。

如要獲得最佳成效，請參閱提示策略說明文件。如要親自探索這些用途，請下載範例應用程式，開始試用 Gemini Nano。

多個 Google 應用程式都會使用 Gemini Nano，例如：

• Talkback：Android 無障礙應用程式 Talkback 運用 Gemini Nano 的多模態輸入功能，為視障使用者提供更完善的圖片說明。
• Pixel 錄音工具：Pixel 錄音工具應用程式會使用 Gemini Nano 和 AICore，提供裝置端摘要功能。錄音工具團隊採用最新的 Gemini Nano 模型，支援錄製時間更長的錄音檔，並提供品質更高的摘要。
• Gboard：Gboard 智慧回覆功能會運用 AICore 搭配裝置端 Gemini Nano，提供準確的智慧回覆。