产品资讯

智能操作系统:让 AI 智能体在 Android 应用中发挥更大作用

阅读用时:3 分钟
查看 Matthew McCullough 的个人资料
Matthew McCullough Android 开发者产品管理副总裁

用户对设备上 AI 的期望正在从根本上改变他们与应用的互动方式。他们不再需要打开应用来逐步完成任务,而是让 AI 代为完成繁琐的工作。在这种新的互动模式下,成功不再仅仅是让用户打开您的应用,而是成功完成用户的任务并帮助他们更快地完成更多工作。

为了帮助您为这个智能体时代打造应用,我们推出了早期阶段的开发者功能,可弥合您的应用与智能体应用和个性化助理(例如 Google Gemini)之间的差距。虽然我们还处于此探索之旅的早期 Beta 阶段,但我们正在设计这些功能,并以隐私保护和安全性为核心,作为应用生态系统探索这一范式转变的第一步。

利用 AppFunctions 增强应用功能

Android AppFunctions 允许应用直接向 AI 智能体和助理公开数据和功能。借助 AppFunctions Jetpack 库和 平台 API,开发者可以创建自描述函数,让智能体应用能够通过自然语言发现和执行这些函数。与通过 MCP 云服务器声明后端功能的方式类似,AppFunctions 为 Android 应用提供了一种设备端解决方案。与 WebMCP 非常相似,它在设备本地执行这些函数,而不是在服务器上执行。

Galaxy S26 系列上 Gemini 与 Samsung Gallery 的集成展示了 AppFunctions 的实际应用。现在,您只需让 Gemini“显示三星相册中我猫的照片”,即可轻松找到所需照片,而无需手动滚动浏览相册。Gemini 会接收用户查询,智能识别并触发相应的功能,然后直接在 Gemini 应用中显示从三星相册返回的照片,因此用户无需离开该应用。此体验是多模态的,可通过语音或文本进行。用户甚至可以在后续对话中使用返回的照片,例如通过短信将照片发送给朋友。

photos.gif

此集成功能目前仅适用于 Galaxy S26 系列,很快将扩展到搭载 OneUI 8.5 及更高版本的 Samsung 设备。借助 AppFunctions,Gemini 已经可以在多个制造商的设备上自动执行日历记事任务等应用类别的任务。无论是协调日历活动、整理笔记,还是设置待办事项提醒,用户都可以在一个地方简化日常活动。

通过智能界面自动化技术赋能智能体应用

虽然 AppFunctions 为应用与 AI 智能体和助理之间的通信提供了结构化框架和更精细的控制,但我们知道,并非每次互动都有专门的集成。我们还在开发一个界面自动化框架,以便 AI 代理和助理能够智能地在用户已安装的应用中执行通用任务,同时始终确保透明度与用户的掌控权。该平台负责处理繁重的工作,因此开发者无需编写任何代码即可获得代理触达范围。这是一种无需立即进行重大工程改造即可扩大覆盖面的简便方法。 
 

为了在完善此框架的过程中获得反馈,我们首先在 Galaxy S26 系列和部分 Pixel 10 设备上推出了早期预览版,用户只需长按电源按钮即可将多步任务委托给 Gemini。这项功能将以 Beta 版的形式在 Gemini 应用中推出,初期将支持美国和韩国精选的送餐、杂货和网约车类应用。无论是需要为口味各异的家人下复杂的披萨订单,还是需要与同事协调多站拼车,亦或是需要重新订购上次购买的杂货,Gemini 都能利用应用中已有的上下文信息来帮助用户完成任务,而无需开发者进行任何工作。

photos2.gif

通过界面自动化在后台执行任务时,用户可以进行控制。对于任何自动化操作,用户都可以选择通过通知或“实时视图”监控任务进度,并且可以随时切换到手动控制来接管体验。Gemini 还会在完成敏感任务(例如进行购买交易)之前提醒用户。

未来计划

在 Android 17 中,我们希望扩大这些功能,以便覆盖更多用户、开发者和设备制造商。

我们目前正在与少数应用开发者合作打造相关体验,随着生态系统的发展,我们将侧重于提供优质的用户体验。我们计划在今年晚些时候分享更多详细信息,说明如何使用 AppFunctions 和界面自动化为应用启用智能体集成。敬请关注最新动态。

编剧:
继续阅读