Gemini Nano

借助 Gemini Nano，您无需连接网络或将数据发送到云端，即可提供丰富的生成式 AI 体验。对于您主要关注低成本和隐私保护的应用场景，设备端 AI 是一项出色的解决方案。

对于设备端应用场景，您可以利用 Google 的 Gemini Nano 基础模型。Gemini Nano 在 Android 的 AICore 系统服务中运行，该服务利用设备硬件来实现低推理延迟，并使模型保持最新状态。

机器学习套件生成式 AI API

机器学习套件的生成式 AI API 可利用 Gemini Nano 的强大功能来帮助您的应用执行任务。这些 API 通过高级接口为热门使用场景提供开箱即用的优质服务。ML Kit GenAI API 基于 AICore 构建，AICore 是一项 Android 系统服务，可实现 GenAI 基础模型的设备端执行，从而通过在本地处理数据来增强应用功能并提升用户隐私保护。了解详情。

主要特性

机器学习套件生成式 AI API 支持以下功能：

• 提示：根据自定义的纯文本提示或多模态提示生成文本内容。
• 总结：以项目符号列表的形式总结文章或对话。
• 校对：校对简短的聊天消息。
• 重写：以不同语气或风格重写简短的聊天消息。
• 图片说明：生成指定图片的简短说明。
• 语音识别：将口头音频转写为文本。

android skills add ml-kit-genai-prompt-api

通过 AICore 实现的架构

作为系统级模块，您可以通过一系列 API 访问 AICore，以便在设备上运行推理。此外，AICore 还具有多项内置安全功能，可确保针对我们的安全过滤器进行全面评估。下图概述了应用如何访问 AICore 以在设备上运行 Gemini Nano。

确保用户数据的私密性和安全性

设备端生成式 AI 在本地执行提示，无需调用服务器。 虽然这样可以消除网络延迟，但推理速度取决于设备硬件。 这种方法可将敏感数据保留在设备上，从而加强隐私保护，同时还可实现离线功能并降低推理成本。

AICore 遵循 Private Compute Core 原则，具有以下主要特征：

• 受限的软件包绑定：AICore 与大多数其他软件包隔离，但特定系统软件包除外。对该许可名单的任何修改只能在完整的 Android OTA 更新期间进行。
• 间接互联网访问：AICore 不具备直接互联网访问权限。 所有互联网请求（包括模型下载）都会通过开源的 Private Compute Services 随附 APK 进行路由。Private Compute Services 中的 API 必须明确展示其以隐私保护为中心的设计理念。

此外，AICore 旨在隔离每个请求，并且在处理输入数据和生成输出结果后，不会存储任何输入数据记录或输出结果，以保护用户隐私。如需了解详情，请参阅博文 Gemini Nano 隐私权和安全简介。

通过 AICore 访问 AI 基础模型的优势

AICore 使 Android 操作系统能够提供和管理 AI 基础模型。这可显著降低在应用中使用这些大型模型的成本，主要原因如下：

• 易于部署：AICore 可管理 Gemini Nano 的分发并处理未来的更新。您无需担心通过网络下载或更新大型模型，也不会影响应用的磁盘和运行时内存预算。
• 加速推理：AICore 利用设备端硬件来加速推理。您的应用可在每台设备上获得最佳性能，而您无需担心底层硬件接口。

何时使用混合推理

虽然 Gemini Nano 非常适合离线任务和对隐私保护要求较高的任务，但它存在设备端限制，例如令牌限制、设备硬件限制和模型功能边界。在这些场景中，您可以使用混合推理在本地设备和云端之间平衡 AI 工作负载。

为了确保在所有设备上获得一致的用户体验并处理复杂的查询，您可以使用 Firebase AI Logic Hybrid API。这样一来，您的应用便可以执行以下操作：

• 优雅回退：当 Gemini Nano 在用户设备上不可用或不受支持时，自动将请求路由到云端中的 Gemini Flash 或 Gemini Pro 模型。
• 强制执行安全措施：使用 Firebase App Check（及其支持的证明提供方，例如 Play Integrity）保护云端推理，并将敏感的系统提示保留在服务器端。