Google AI Edge SDK

Google AI Edge SDK 允许开发者进行实验性访问，以便通过 Gemini Nano 测试设备端 AI 功能来增强其应用。

通过 AICore 实现的架构

作为系统级模块，您可以通过一系列 API 访问 AICore，以便在设备上运行推理。此外，AICore 还具有多项内置安全功能，可确保针对我们的安全过滤器进行全面评估。下图概述了应用如何访问 AICore 以在设备上运行 Gemini Nano。

确保用户数据的私密性和安全性

设备端生成式 AI 在本地执行提示，无需调用服务器。这种方法可将敏感数据保留在设备上，从而增强隐私保护，同时还可实现离线功能并降低推理成本。

AICore 遵循 Private Compute Core 原则，具有以下主要特征：

• 受限的软件包绑定：AICore 与大多数其他软件包隔离，仅对特定系统软件包有少数例外情况。对该许可名单的任何修改只能在完整的 Android OTA 更新期间进行。
• 间接互联网访问：AICore 不具备直接互联网访问权限。 所有互联网请求（包括模型下载）都通过开源 Private Compute Services 随附 APK 进行路由。Private Compute Services 中的 API 必须明确展示其以隐私保护为中心的设计理念。

此外，AICore 在设计时就考虑到了隔离每个请求，并且在处理输入数据或生成输出结果后不会存储任何相关记录，以保护用户隐私。如需了解详情，请参阅博文 Gemini Nano 隐私权和安全简介。

通过 AICore 访问 AI 基础模型的优势

AICore 使 Android 操作系统能够提供和管理 AI 基础模型。这可显著降低在应用中使用这些大型模型的成本，主要原因如下：

• 易于部署：AICore 可管理 Gemini Nano 的分发并处理未来的更新。您无需担心通过网络下载或更新大型模型，也不会影响应用的磁盘和运行时内存预算。
• 加速推理：AICore 利用设备端硬件来加速推理。您的应用可在每台设备上获得最佳性能，并且您无需担心底层硬件接口。

支持的功能

• 支持的设备：Google AI Edge SDK 搭配 Gemini Nano 可在 Pixel 9 系列设备上进行实验。
• 支持的模态：AICore 支持 Gemini Nano 的文本模态。

我们正在积极投资，以支持更多设备和模态。

用例

与云服务器相比，移动设备的资源有限，因此设备端生成式 AI 模型在设计时侧重于效率和大小。此优化会优先处理特定且明确定义的任务，而不是更通用的应用。适用用例包括：

• 文本改写：修改文本的语气和风格（例如从轻松改为正式）。
• 智能回复：在聊天串中生成与上下文相关的回复。
• 校对：识别并更正拼写和语法错误。
• 摘要：将长篇文档浓缩为简明的摘要（段落或要点）。

如需获得最佳性能，请参阅提示策略文档。如需亲身体验这些应用场景，请下载我们的示例应用，然后开始试用 Gemini Nano。

多款 Google 应用使用 Gemini Nano。部分示例如下：

• Talkback：Android 无障碍应用 Talkback 利用 Gemini Nano 的多模态输入功能，为有视觉障碍的用户改进图片说明。
• Pixel 语音录音机：Pixel 语音录音机应用使用 Gemini Nano 和 AICore 来支持设备端总结功能。“录音机”团队采用了最新的 Gemini Nano 模型，以支持更长的录音并提供更高质量的摘要。
• Gboard：Gboard 智能回复功能利用搭载 AICore 的设备端 Gemini Nano 来提供准确的智能回复。