产品动态

智能操作系统:让 AI 智能体在 Android 应用中发挥更大作用

阅读时间:3 分钟
Matthew McCullough
Android 开发者产品管理副总裁

用户对设备上 AI 的期望从根本上改变了他们与应用的互动方式。他们不再打开应用来逐步完成任务,而是要求 AI 为他们完成繁重的工作。在这种新的互动模式下,成功不再是让用户打开您的应用,而是成功完成用户的任务并帮助他们更快地完成更多工作。

为了帮助您为这个智能体时代发展应用,我们推出了早期开发者功能,以弥合您的应用与智能体应用和个性化助理(例如 Google Gemini)之间的差距。虽然我们还处于此历程的早期 Beta 版阶段,但我们设计这些功能时以隐私和安全为核心,这是我们探索作为应用生态系统的这种范式转变的第一步。

通过 AppFunctions 为应用赋能

Android AppFunctions 允许应用直接向 AI 智能体和助理公开数据和功能。借助 AppFunctions Jetpack 库和 平台 API,开发者可以创建自描述函数,智能体应用可以通过自然语言发现和执行这些函数。AppFunctions 镜像了通过 MCP 云服务器声明后端功能的方式,为 Android 应用提供设备端解决方案。与 WebMCP 非常相似,它在设备本地执行这些函数,而不是在服务器上执行。

Galaxy S26 系列上的三星相册与 Gemini 的集成 展示了 AppFunctions 的实际应用。您现在只需问问 Gemini 执行“Show me pictures of my cat from Samsung Gallery”(在三星相册中显示我的猫的照片),而无需手动滚动浏览相册。Gemini 会接收用户查询,智能地识别并触发正确的函数,并在 Gemini 应用中直接显示从三星相册返回的照片,因此用户无需离开 Gemini 应用。这种体验是多模态的,可以通过语音或文本完成。用户甚至可以在后续对话中使用返回的照片,例如通过短信将照片发送给朋友。

photos.gif

此集成目前在 Galaxy S26 系列上提供,并将很快扩展到运行 OneUI 8.5 及更高版本的三星设备。通过 AppFunctions,Gemini 已经可以在多个制造商的设备上自动执行 日历记事任务等应用类别中的任务。无论是协调日历活动、整理记事,还是设置待办事项提醒,用户都可以在一个地方简化日常活动。

通过智能界面自动化启用智能体应用

虽然 AppFunctions 为应用与 AI 智能体和助理通信提供了结构化框架和更多控制权,但我们知道,并非每种互动都有专门的集成。我们还在为 AI 智能体和助理开发界面自动化框架,以便在用户安装的应用上智能地执行通用任务,并内置用户知情权和控制权。这是平台在完成繁重的工作,因此开发者无需编写任何代码即可实现智能体覆盖。这是一种低成本的方式,可以在目前无需进行重大工程的情况下扩展覆盖面。 
 

为了在完善此框架时获得反馈,我们首先在 Galaxy S26 系列和部分 Pixel 10 设备上提供早期预览版,用户只需长按电源按钮即可将多步骤任务委托给 Gemini。此功能将在 Gemini 应用中以 Beta 版功能的形式推出,首先在美国和韩国支持精选的食品配送、杂货和网约车类应用。无论是用户需要为有特殊口味的家人下复杂的披萨订单、与同事协调多站网约车,还是重新订购上次购买的杂货,Gemini 都可以使用应用中已有的上下文帮助完成任务,而无需任何开发者工作。

photos2.gif

通过界面自动化在后台执行任务时,用户可以进行控制。对于任何自动化操作,用户都可以选择通过通知或“实时视图”监控任务进度,并随时切换到手动控制来接管体验。Gemini 还旨在完成敏感任务(例如购物)之前提醒用户。

未来计划

在 Android 17 中,我们希望扩大这些功能,以覆盖更多用户、开发者和设备制造商。

我们目前正在与一小部分应用开发者构建体验,随着生态系统的发展,我们将重点关注高质量的用户体验。我们计划在今年晚些时候分享更多详细信息,介绍如何使用 AppFunctions 和界面自动化为您的应用启用智能体集成。请继续关注更新。

作者:

继续阅读