Это руководство поможет вам найти подходящее решение на основе ИИ или машинного обучения для вашего сценария использования. В нем вы найдете рекомендации, которые помогут вам сориентироваться в доступных решениях и выбрать наиболее подходящее с учетом требований к функции, которую вы хотите реализовать.
В целом, выбирая инструменты и модели для реализации функции ИИ/ML, вы должны использовать самую простую модель, которая соответствует вашим потребностям. Чтобы определить оптимальное решение, вам нужно продумать следующее:
- Нужно ли генерировать новый контент (генеративный ИИ) или прогнозировать и классифицировать детерминированным способом (традиционное машинное обучение)?
- Область применения функции. Можно ли выполнить задачу полностью в вашем приложении (ИИ в приложении) или для этого требуется несколько приложений (ИИ на уровне системы)?
- Расположение модели. Можно ли выполнить задачу офлайн (модель на устройстве) или требуется взаимодействие с сервером (облачная модель)?
- Версия набора инструментов или модели. Насколько сложна задача? Это может быть как задача с одним выводом, так и мультиагентная оркестрация.
На следующей блок-схеме показан процесс принятия решений на высоком уровне:
Чтобы принять решение на каждом этапе, обратитесь к разделам в оставшейся части этого документа.
Генеративный ИИ и традиционное машинное обучение
Модели генеративного ИИ создают новый контент, тогда как традиционные модели машинного обучения прогнозируют результаты или классифицируют данные полностью детерминированным образом. Если ваша функция не предполагает генерацию нового контента, то традиционных решений машинного обучения может быть достаточно. В таблице ниже приведены некоторые традиционные решения машинного обучения.
| Набор инструментов/решение | Тип | Основной пример использования | Примеры |
|---|---|---|---|
| ML Kit SDK | Только с устройства | Готовые задачи для обработки изображений и естественного языка |
|
| LiteRT | Только с устройства | Среды выполнения пользовательских моделей |
|
| MediaPipe | Только с устройства | Задачи по распознаванию видео- или аудиопотока в реальном времени. |
|
| Google Cloud API, включая Cloud Vision API и Cloud Natural Language API. | Облачные | Готовые задачи для обработки изображений и естественного языка |
|
| Платформа агента | Облачные | Обучение и развертывание пользовательской модели |
|
Остальная часть этого документа посвящена решениям на основе генеративного искусственного интеллекта.
Умные функции в приложении и на уровне системы
Чтобы выбрать оптимальное решение на основе генеративного искусственного интеллекта, определите, работает ли ваша ИИ-функция полностью в приложении или ей требуется взаимодействовать с другими приложениями или ОС Android. Если функция запускается системой, а не приложением, она считается ИИ-функцией на уровне системы. В таблице ниже приведены различия между функциями искусственного интеллекта в приложении и на уровне системы.
| Умные функции в приложении | Системный искусственный интеллект | |
|---|---|---|
| Область действия задачи | Приложения | В разных приложениях (или запущенные системой, вне приложений) |
| Инструменты | ML Kit SDK, LiteRT, Firebase AI Logic или собственный сервер | AppFunctions |
| Примеры использования |
|
|
Умные функции в приложении
Функции искусственного интеллекта в приложении не должны взаимодействовать с другими приложениями или системой за пределами приложения. Если вы решили, что ваша ИИ-функция будет работать только в приложении, вам нужно решить, будет ли она работать полностью на устройстве, использовать облачную модель или гибридный подход, сочетающий оба варианта.
Если вам нужно работать с видео или выполнять задачи, в которых задействовано несколько агентов, используйте облачную модель. В таблице ниже сравниваются возможности локальных и облачных моделей.
| Только с устройства | Cloud | |
|---|---|---|
| Инструменты | ML Kit SDK или LiteRT | Firebase AI Logic или собственный сервер |
| Тип исходных материалов |
|
|
| Тип выходных данных |
|
|
| Конфиденциальность пользовательских данных | Более высокое | Низкий |
| Модели |
|
|
| Примеры использования |
|
|
Локальные модели
Модели на устройстве предпочтительны, если:
- Ограничения по расходам
- Функция должна работать в офлайн-режиме.
- Требования конфиденциальности
- Задача относительно проста и не требует координации нескольких агентов.
Учтите, что устройства пользователей должны поддерживать локальные модели. Для работы моделей на устройстве обычно требуются более мощные устройства, которые могут поддерживать локальную обработку.
Если вы определили, что для вашей функции достаточно моделей на устройстве, оптимальный набор инструментов или решение зависит в первую очередь от сложности задачи. В таблице ниже перечислены инструменты генеративного ИИ, которые можно использовать на устройстве и в приложении.
| Сложность задачи | Характеристики объектов | Пример | Набор инструментов/решение |
|---|---|---|---|
| Низкий |
|
Краткий пересказ текста |
|
| Средний |
|
Запрос и ответ | |
| Высокий |
|
Отзывы клиентов или сортировка ошибок |
Используйте ML Kit Prompt API для простой генерации текста в один или несколько шагов. Если для работы функции требуется автономное многоэтапное выполнение на устройстве, используйте ML Kit GenAI Agent API. Agent API поддерживает циклы рассуждений на устройстве, которые могут планировать, вызывать типизированные инструменты, объявленные с помощью @AppFunctionDeclaration, сохранять контекст сеанса между взаимодействиями и применять ограничения на количество ходов с помощью maxTurns.
Облачные модели
Если функция не может работать полностью на устройстве, вам нужно использовать облачную модель. Есть два основных способа использования облачной модели:
Управляемый бэкенд с помощью Firebase AI Logic. Если вы уже используете Firebase или хотите быстро создать прототип, Firebase AI Logic – вероятно, лучшее решение.
Собственный сервер. Если вы хотите использовать модели, отличные от моделей Gemini, у вас строгие требования защиты персональных данных или вам нужно выполнить очень сложную задачу, вам, вероятно, потребуется использовать собственный бэкенд. Для настройки собственного бэкенда мы рекомендуем следующие инструменты:
- Запустите на своем сервере фреймворк для агентов, например Agent Development Kit.
- Подключите интерфейс приложения к серверному коду агента с помощью AG-UI.
- Разрешите агентам генерировать интерактивные интерфейсы с помощью A2UI.
В таблице ниже указано, когда следует использовать Firebase AI Logic, а когда – собственный бэкенд для облачных генеративных ИИ-инструментов в приложении.
| Сложность задачи | Характеристики объектов | Пример | Набор инструментов/решение |
|---|---|---|---|
| Низкий |
|
Краткий пересказ текста |
|
| Средний |
|
Запрос и ответ |
|
| Высокий |
|
Отзывы клиентов или сортировка ошибок |
|
| Очень много |
|
Создайте команду агентов для управления разными аспектами поездки |
|
Гибридный подход
Используйте гибридный подход, если функция может работать локально, но не у всех пользователей есть устройства, поддерживающие модели на устройстве, и вам необходимо использовать облачные модели в качестве резервного варианта. Подробнее о гибридном выводе…
Системный искусственный интеллект
Благодаря ИИ на уровне системы платформа Android может выступать в качестве оркестратора задач, чтобы ИИ-агенты, такие как Gemini, могли выполнять запросы пользователей в нескольких приложениях и веб-сервисах.
Чтобы подключить приложение к системе Android Intelligence, выберите метод интеграции в зависимости от того, хотите ли вы использовать программное управление или автоматические действия на основе пользовательского интерфейса:
| Вариант интеграции | Пример использования |
|---|---|
| AppFunctions | Предоставьте агентам доступ к определенным функциям вашего приложения, чтобы они могли находить и выполнять их на устройстве. |
| Удаленный MCP-сервер | Интегрируйте определенные функции приложения непосредственно с серверной частью агента. Подходит для кросс-платформенной разработки. |
| Управление компьютером | Позволяет предустановленному помощнику автоматизировать задачи, напрямую взаимодействуя с интерфейсом приложения. |
Дополнительную информацию об инструментах искусственного интеллекта на уровне системы можно найти в статье Как подключить приложение к системе искусственного интеллекта Android.