От агентов в приложениях до интеллектуальной системы Android: что нового в умных приложениях на Саммите для разработчиков Android

В эпоху искусственного интеллекта пользователи больше не просто нажимают на кнопки в приложениях. Они ставят перед собой глобальные цели и ожидают, что ИИ-агенты, такие как Gemini, будут выполнять многоэтапные рабочие процессы, иногда в нескольких приложениях на их устройствах. Чтобы помочь вам удовлетворять потребности пользователей, мы предлагаем новые способы создания интеллектуальных агентных функций в приложениях для Android:

• Подключитесь к интеллектуальной системе Android. Поделитесь возможностями своего приложения с системным агентом, используя Android MCP. Чтобы пользователи могли взаимодействовать с вашим приложением через приложение Gemini и Google Поиск на Android, присоединитесь к программе предварительного доступа к Connected Apps Platform.
• Добавьте в приложение искусственный интеллект. Создавайте умные функции и агентов на устройстве с помощью ML Kit GenAI API и добавляйте собственные модели машинного обучения с помощью LiteRT в сервисах Google Play. Используйте модели Gemini в облаке с помощью Firebase AI Logic и позвольте агенту создавать нативный интерфейс Compose с помощью средства визуализации A2UI Compose.

Некоторые из этих API и инструментов разработчика уже были представлены на Саммите для разработчиков Android. Теперь вы можете изучить наши новые подробные ресурсы, которые помогут вам создавать умные приложения, включая 10 новых сеансов по запросу, посвященных новым интеллектуальным возможностям.

Подключитесь к интеллектуальной системе Android

Android Intelligence System – это системная основа, которая защищает пользователей и связывает ИИ-агентов с приложениями на устройствах Android. Он предоставляет пользователям помощь по запросу и проактивную помощь в экосистеме Android, которая включает телефоны, носимые устройства, XR-очки, телевизоры и автомобили. 

• Помощь по запросу. Когда пользователь просит агента выполнить задачу, например проверить календарь, заказать такси и отправить сообщение с расчетным временем прибытия, агент использует инструменты в разных приложениях, чтобы сделать это. Для максимально быстрого и надежного выполнения можно использовать удаленный MCP-сервер или локальный MCP-сервер Android. Агенты также могут использовать фреймворк Computer Control в Android, чтобы выполнять действия без интеграции на стороне приложения.
• Проактивная помощь. Система предугадывает потребности пользователя и показывает контекстные рекомендации в виде вариантов запроса/действия на заблокированном экране, в уведомлениях, на виртуальной клавиатуре и в приложениях.

Вы можете управлять тем, как ваши приложения интегрируются с Android Intelligence System, используя API и инструменты на основе знакомого стандарта MCP. Android MCP на основе библиотеки AppFunctions Jetpack – это наша унифицированная платформа для вызова инструментов. Вы можете подключаться к подходящим ИИ-агентам прямо на устройстве, будь то системный агент или ваш собственный агент в приложении на устройстве. Удаленный сервер MCP обеспечивает кроссплатформенный охват. 

Android MCP дополняет удаленный MCP как нативное решение Android и рекомендуется для интеграции, если путь пользователя включает сквозное шифрование или конфиденциальные локальные данные устройства, требует датчиков и аппаратного обеспечения устройства, должен выполняться локально или если конечная точка сервера недоступна. 

Чтобы узнать больше об Android Intelligence System и интеграции с Gemini в качестве системного агента, посмотрите это видео: 

Как добавить ИИ в приложения: от агента на устройстве до рендерера A2UI Compose

Благодаря новым возможностям Gemini Nano 4, таким как вызов функций, мы расширяем API GenAI в ML Kit, чтобы создавать агентные рабочие процессы полностью на устройстве. Мы предоставляем вам готовые компоненты, такие как прямой доступ к модели в ML Kit с помощью Prompt API и новый Agentic API, который автоматически выполняет функции, сохраняет историю чата, управляет циклом оркестрации и включает автоматические ограничения. Посмотрите пример кода Jetpacker на GitHub и это видео, чтобы узнать, как добавить агентные возможности в приложение с помощью ML Kit GenAI API.

Помимо новых Agentic API, мы добавляем на устройства ряд новых возможностей:

• Узнайте больше о локальных API генеративного ИИ в ML Kit, от функций Prompt API, таких как режим размышления и системные инструкции, до новых альфа-версий API, например Embeddings API на базе EmbeddingGemma 2. Вы также узнаете о внутренних оптимизациях системы Android и увидите распространенные примеры использования генеративного ИИ на устройстве, которые уже применяются на практике.
• Узнайте больше об архитектуре модели Gemini Nano 4, созданной на базе Gemma 4. Благодаря послойным эмбеддингам, обучению с учетом квантования и прогнозированию нескольких токенов Gemini Nano 4 обеспечивает трехкратное ускорение инференса и четырехкратное сокращение использования памяти по сравнению с предыдущей версией модели Gemini Nano в тестах производительности.
• Вы можете запускать собственные модели машинного обучения с более высокой производительностью графического процессора, используя LiteRT в сервисах Google Play. Это позволяет удалить среду выполнения из APK-файла, уменьшив его размер примерно на 8 МБ. Теперь также доступно на Wear OS и Android Automotive OS. Используете ли вы готовые API ML Kit или создаете собственную модель, прочитайте анонс и посмотрите видео.
• Посмотрите, как эти API работают в реальных приложениях, например в XR-учителе языков, который использует API ML Kit для распознавания речи, перевода речи и синтеза речи на телефонах и умных очках, или в ИИ-штурмане Формулы E, созданном с помощью Gemini Nano, прямого доступа к моделям ML Kit и Agent Development Kit (ADK). 

Для рабочих процессов, охватывающих облачную и локальную обработку, Firebase AI Logic предлагает простое гибридное решение. Вы можете вызывать продвинутые облачные модели, такие как Gemini 4, и одновременно использовать Gemini Nano для локального вывода, когда это возможно. Чтобы защитить приложение и управлять расходами в рабочей среде, используйте Проверку приложений Firebase, новые шаблоны запросов к серверу и лимиты расходов Firebase. 

Как было показано в демонстрации на основном докладе с помощником по бронированию Jetpacker, теперь доступна альфа-версия средства визуализации Jetpack Compose A2UI, которое помогает агентам "говорить на языке интерфейса". Ваши агенты могут транслировать интерактивные нативные интерфейсы Compose прямо из протокола JSON. Начните работу с рендерером A2UI Compose и поделитесь с нами своим мнением. Посмотрите видео о том, как реализовать эту функцию в приложении. 

Как использовать платформу Connected Apps Platform в Gemini и Поиске

На платформах Google пользователи все чаще переходят от вопросов к действиям. Мы представили Connected Apps Platform, которая позволяет охватить пользователей с ярко выраженным намерением в Gemini и Поиске. Она сочетает MCP для Android, выполняющий задачи на устройстве, и удаленные MCP-серверы, обеспечивающие кросс-платформенный охват. Вы можете начать разработку и тестирование локально уже сегодня, используя режим разработчика в приложениях Gemini. Когда вы будете готовы к выпуску рабочей версии, присоединитесь к списку ожидания. Сейчас доступ к предварительной версии ограничен и предоставляется только для некоторых готовых к выпуску приложений в поддерживаемых категориях. Позже мы расширим доступ.

Чтобы узнать, как создать, протестировать и опубликовать свое первое подключенное приложение, посмотрите видео "Расширьте возможности своего приложения в Gemini и Поиске с помощью Connected Apps Platform".

Начните создавать умные приложения с помощью последних обновлений

Чтобы начать, создайте агентов на устройстве с помощью рабочих процессов ML Kit и прямого доступа к модели с новыми навыками Android. При тестировании новых возможностей в предварительных версиях моделей обязательно зарегистрируйтесь в программе предварительного доступа разработчиков к AICore. Добавляйте в приложение умные функции с помощью API ML Kit и запускайте собственные модели машинного обучения с помощью LiteRT в сервисах Google Play. Выполняйте логический вывод с помощью моделей Gemini в облаке, используя Firebase AI Logic, и транслируйте нативные интерфейсы Compose из JSON с помощью рендерера Jetpack Compose A2UI. Наконец, интегрируйте приложение с интеллектуальной системой Android, создайте прототип с Android MCP, используя навык AppFunctions и пример агента, и зарегистрируйтесь в программе предварительного доступа к Connected Apps Platform для разработчиков.

Нам не терпится посмотреть, что у вас получится!