在受支持的 Android 设备上，您无需连接到网络或将数据发送到云端，即可提供丰富的生成式 AI 体验。对于将低延迟、低成本和隐私保护作为主要考虑因素的用例，设备端 AI 是一个绝佳的解决方案。
对于设备端用例，您可以利用 Google 的 Gemini Nano 基础模型。虽然它比在云端运行推理的其他 Gemini 模型小，但您可以对 Gemini Nano 进行微调，使其能够执行与其更大的同类模型一样的专门任务。Gemini Nano 在 Android 的 AICore 系统服务中运行，该服务利用设备硬件实现低推理延迟并确保模型保持最新状态。
Google AI Edge SDK 提供对 Gemini Nano API 和 AICore 的访问权限。 Google AI Edge 是一套适用于设备端机器学习的全面工具。详细了解 Google AI Edge。
架构
作为系统级模块，您可以通过一系列 API 访问 AICore，以便在设备端运行推理。此外，AICore 还具有多项内置安全功能，可确保根据我们的安全过滤器进行全面评估。下图概述了应用如何访问 AICore 以在设备端运行 Gemini Nano。
确保用户数据的私密性和安全性
设备端生成式 AI 会在本地执行提示，从而消除服务器调用。这种方法通过在设备上保留敏感数据、启用离线功能并降低推理费用来增强隐私保护。
AICore 遵循 Private Compute Core 原则，具有以下主要特点：
受限软件包绑定：AICore 与大多数其他软件包隔离，仅对特定系统软件包存在有限的例外情况。对此许可名单的任何修改只能在完整的 Android OTA 更新期间进行。
间接互联网访问：AICore 没有直接互联网访问权限。所有互联网请求（包括模型下载）都通过开源 Private Compute Services 配套 APK 进行路由。Private Compute Services 中的 API 必须明确表明其以隐私保护为中心的特性。
此外，AICore 旨在隔离每个请求，并且不会存储输入数据的任何记录，也不会存储处理后生成的输出，以保护用户隐私。如需了解详情，请参阅博文Gemini Nano 隐私和安全简介。
使用 AICore 访问 AI 基础模型的好处
AICore 可让 Android OS 提供和管理 AI 基础模型。这可显著降低在应用中使用这些大型模型的费用，主要原因如下：
易于部署：AICore 会管理 Gemini Nano 的分发，并处理未来的更新。您无需担心通过网络下载或更新大型模型，也不必担心会影响应用的磁盘和运行时内存预算。
加速推理：AICore 利用设备端硬件加速推理。您的应用在每部设备上都能获得最佳性能，而您无需担心底层硬件接口。
支持的功能
AICore 支持以下设备和模态：
- 受支持的设备：AICore 目前适用于 Pixel 9 系列设备、Google Pixel 8 系列设备（包括 Pixel 81 和 Pixel 8a2）、Samsung S24 系列设备、Samsung Z Fold6、Samsung Z Flip6、Realme GT 6、Motorola Edge 50 Ultra、Motorola Razr 50 Ultra、Xiaomi 14T/Pro 和 Xiaomi MIX Flip。
- 支持的模态：AICore 目前支持 Gemini Nano 的文本模态。
我们正在积极投资于其他设备和模式支持。
用例
与云服务器相比，移动设备的资源有限，因此在设计设备端生成式 AI 模型时，我们会重点考虑效率和大小。此优化会优先处理定义明确的特定任务，而不是更通用的应用。适合的用例包括：
- 文本重述：修改文本的语气和风格（例如，将随意风格改为正式风格）。
- 智能回复：在聊天会话中生成与上下文相关的回复。
- 校对：找出并更正拼写和语法错误。
- 总结：将冗长文档浓缩为简洁的摘要（段落或项目符号）。
如需获得最佳效果，请参阅提示策略文档。如需亲自探索这些用例，请下载我们的示例应用，然后开始试用 Gemini Nano。
多款 Google 应用都使用 Gemini Nano。部分示例如下：
- Talkback：Android 的无障碍应用 Talkback 利用 Gemini Nano 的多模式输入功能，为视障用户改进图片描述。
- Pixel 语音录音机：Pixel 语音录音机应用使用 Gemini Nano 和 AICore 来实现设备端总结功能。录音机团队采用了最新的 Gemini Nano 模型，以支持更长时间的录音，并提供更高质量的摘要。
- Gboard：Gboard 智能回复功能结合使用设备端 Gemini Nano 和 AICore，提供准确的智能回复。