Как найти подходящее решение на основе ИИ или машинного обучения для вашей функции

Это руководство поможет вам найти подходящее решение на основе ИИ или машинного обучения для вашего сценария использования. В нем вы найдете рекомендации, которые помогут вам сориентироваться в доступных решениях и выбрать наиболее подходящее с учетом требований к функции, которую вы хотите реализовать.

В целом, выбирая инструменты и модели для реализации функции ИИ/ML, вы должны использовать самую простую модель, которая соответствует вашим потребностям. Чтобы определить оптимальное решение, вам нужно продумать следующее:

  • Нужно ли генерировать новый контент (генеративный ИИ) или прогнозировать и классифицировать детерминированным способом (традиционное машинное обучение)?
  • Область применения функции. Можно ли выполнить задачу полностью в вашем приложении (ИИ в приложении) или для этого требуется несколько приложений (ИИ на уровне системы)?
  • Расположение модели. Можно ли выполнить задачу офлайн (модель на устройстве) или требуется взаимодействие с сервером (облачная модель)?
  • Версия набора инструментов или модели. Насколько сложна задача? Это может быть как задача с одним выводом, так и мультиагентная оркестрация.

На следующей блок-схеме показан процесс принятия решений на высоком уровне:

Да Нет Да Нет Да Нет Да Не все Да Нет Функция Нужно ли вам генерировать новый контент (а не прогнозировать или классифицировать данные)? Генеративный искусственный интеллект Задача требует нескольких приложений? Традиционное машинное обучение Системный ИИ Используйте AppFunctions ИИ в приложении Может ли функция работать офлайн или у вас есть ограничения по стоимости? Поддерживают ли целевые устройства встроенные модели? Должна ли функция продолжать работать (сохранять состояние), когда приложение закрыто, или требуется ли доступ к частной базе данных? Модель на устройстве Используйте Gemini Nano через ML Kit или LiteRT Гибридный подход Используйте модели на устройстве, но в качестве резервных применяйте облачные модели Облачная модель Используйте собственный сервер Облачная модель Используйте управляемый сервер через Firebase AI Logic
Рисунок 1. Процесс принятия решений высокого уровня для выбора решения ИИ/ML.

Чтобы принять решение на каждом этапе, обратитесь к разделам в оставшейся части этого документа.

Генеративный ИИ и традиционное машинное обучение

Модели генеративного ИИ создают новый контент, тогда как традиционные модели машинного обучения прогнозируют результаты или классифицируют данные полностью детерминированным образом. Если ваша функция не предполагает генерацию нового контента, то традиционных решений машинного обучения может быть достаточно. В таблице ниже приведены некоторые традиционные решения машинного обучения.

Набор инструментов/решение Тип Основной пример использования Примеры
ML Kit SDK Только с устройства Готовые задачи для обработки изображений и естественного языка
  • Сканер чеков с OCR
  • Быстрая регистрация на мероприятия по QR-коду
  • Перевод меню офлайн
LiteRT Только с устройства Среды выполнения пользовательских моделей
  • Классификация медицинских изображений
  • Умная клавиатура с подсказками слов для узкоспециализированных тем
MediaPipe Только с устройства Задачи по распознаванию видео- или аудиопотока в реальном времени.
  • Подсказки по позам во время тренировок в реальном времени
  • Фильтры и эффекты для лица
  • Распознавание жестов рукой
Google Cloud API, включая Cloud Vision API и Cloud Natural Language API. Облачные Готовые задачи для обработки изображений и естественного языка
  • Автоматические субтитры к видео
  • Контроль качества изображений и соответствие требованиям
Платформа агента Облачные Обучение и развертывание пользовательской модели
  • Специализированное распознавание изображений в больших масштабах
  • Поиск снимков из фотобанков

Остальная часть этого документа посвящена решениям на основе генеративного искусственного интеллекта.

Умные функции в приложении и на уровне системы

Чтобы выбрать оптимальное решение на основе генеративного искусственного интеллекта, определите, работает ли ваша ИИ-функция полностью в приложении или ей требуется взаимодействовать с другими приложениями или ОС Android. Если функция запускается системой, а не приложением, она считается ИИ-функцией на уровне системы. В таблице ниже приведены различия между функциями искусственного интеллекта в приложении и на уровне системы.

Умные функции в приложении Системный искусственный интеллект
Область действия задачи Приложения В разных приложениях (или запущенные системой, вне приложений)
Инструменты ML Kit SDK, LiteRT, Firebase AI Logic или собственный сервер AppFunctions
Примеры использования
  • Как обобщить, проверить или расшифровать текст
  • Описание изображений
  • Создайте чат-бота для приложения
  • Создать изображения
  • Составить список покупок в приложении доставки на основе того, что вы написали в заметках.
  • Закажите поездку до офиса и отправьте коллеге сообщение с расчетным временем прибытия.
  • Найдите в почте рекомендацию ресторана и забронируйте столик

Умные функции в приложении

Функции искусственного интеллекта в приложении не должны взаимодействовать с другими приложениями или системой за пределами приложения. Если вы решили, что ваша ИИ-функция будет работать только в приложении, вам нужно решить, будет ли она работать полностью на устройстве, использовать облачную модель или гибридный подход, сочетающий оба варианта.

Если вам нужно работать с видео или выполнять задачи, в которых задействовано несколько агентов, используйте облачную модель. В таблице ниже сравниваются возможности локальных и облачных моделей.

Только с устройства Cloud
Инструменты ML Kit SDK или LiteRT Firebase AI Logic или собственный сервер
Тип исходных материалов
  • Текст
  • Изображение
  • Аудио
  • Текст
  • Изображение
  • Аудио
  • Видео
Тип выходных данных
  • Текст
  • Текст
  • Изображение
  • Аудио
Конфиденциальность пользовательских данных Более высокое Низкий
Модели
  • Гемма
  • Gemini Nano
  • Gemini Flash
  • Gemini Flash Lite
  • Gemini Pro
Примеры использования
  • Обработка короткого контента, например краткий пересказ, проверка правописания или переписывание короткого сообщения в чате или электронного письма.
  • Описание изображений
  • Персонализация результатов для пользователей на основе их интересов
  • Обработка конфиденциальных пользовательских данных
  • Расшифруйте короткую аудиозапись
  • Создать чат-бота
  • Создать изображения
  • Переводите разговоры в реальном времени
  • Редактирование фото в приложении
  • Задачи для нескольких агентов

Локальные модели

Модели на устройстве предпочтительны, если:

  • Ограничения по расходам
  • Функция должна работать в офлайн-режиме.
  • Требования конфиденциальности
  • Задача относительно проста и не требует координации нескольких агентов.

Учтите, что устройства пользователей должны поддерживать локальные модели. Для работы моделей на устройстве обычно требуются более мощные устройства, которые могут поддерживать локальную обработку.

Если вы определили, что для вашей функции достаточно моделей на устройстве, оптимальный набор инструментов или решение зависит в первую очередь от сложности задачи. В таблице ниже перечислены инструменты генеративного ИИ, которые можно использовать на устройстве и в приложении.

Сложность задачи Характеристики объектов Пример Набор инструментов/решение
Низкий
  • Одиночный вывод
  • Только генерация
Краткий пересказ текста
  • ML Kit SDK
  • LiteRT для оптимизированных моделей (узкие домены).
Средний
  • Дополненная LLM
  • Вызов функций
  • История чата
Запрос и ответ
Высокий
  • Цикл с одним агентом, который повторяется до выполнения задачи
Отзывы клиентов или сортировка ошибок

Используйте ML Kit Prompt API для простой генерации текста в один или несколько шагов. Если для работы функции требуется автономное многоэтапное выполнение на устройстве, используйте ML Kit GenAI Agent API. Agent API поддерживает циклы рассуждений на устройстве, которые могут планировать, вызывать типизированные инструменты, объявленные с помощью @AppFunctionDeclaration, сохранять контекст сеанса между взаимодействиями и применять ограничения на количество ходов с помощью maxTurns.

Облачные модели

Если функция не может работать полностью на устройстве, вам нужно использовать облачную модель. Есть два основных способа использования облачной модели:

  • Управляемый бэкенд с помощью Firebase AI Logic. Если вы уже используете Firebase или хотите быстро создать прототип, Firebase AI Logic – вероятно, лучшее решение.

  • Собственный сервер. Если вы хотите использовать модели, отличные от моделей Gemini, у вас строгие требования защиты персональных данных или вам нужно выполнить очень сложную задачу, вам, вероятно, потребуется использовать собственный бэкенд. Для настройки собственного бэкенда мы рекомендуем следующие инструменты:

    • Запустите на своем сервере фреймворк для агентов, например Agent Development Kit.
    • Подключите интерфейс приложения к серверному коду агента с помощью AG-UI.
    • Разрешите агентам генерировать интерактивные интерфейсы с помощью A2UI.

В таблице ниже указано, когда следует использовать Firebase AI Logic, а когда – собственный бэкенд для облачных генеративных ИИ-инструментов в приложении.

Сложность задачи Характеристики объектов Пример Набор инструментов/решение
Низкий
  • Одиночный вывод
  • Только генерация
Краткий пересказ текста
  • Firebase AI Logic
  • Собственный бэкенд
Средний
  • Дополненная LLM
  • Вызов функций
  • История чата
Запрос и ответ
  • Firebase AI Logic
  • Собственный бэкенд
Высокий
  • Цикл с одним агентом, который повторяется до выполнения задачи
Отзывы клиентов или сортировка ошибок
  • Собственный бэкенд
Очень много
  • Оркестрация нескольких агентов
Создайте команду агентов для управления разными аспектами поездки
  • Собственный бэкенд

Гибридный подход

Используйте гибридный подход, если функция может работать локально, но не у всех пользователей есть устройства, поддерживающие модели на устройстве, и вам необходимо использовать облачные модели в качестве резервного варианта. Подробнее о гибридном выводе…

Системный искусственный интеллект

Благодаря ИИ на уровне системы платформа Android может выступать в качестве оркестратора задач, чтобы ИИ-агенты, такие как Gemini, могли выполнять запросы пользователей в нескольких приложениях и веб-сервисах.

Чтобы подключить приложение к системе Android Intelligence, выберите метод интеграции в зависимости от того, хотите ли вы использовать программное управление или автоматические действия на основе пользовательского интерфейса:

Вариант интеграции Пример использования
AppFunctions Предоставьте агентам доступ к определенным функциям вашего приложения, чтобы они могли находить и выполнять их на устройстве.
Удаленный MCP-сервер Интегрируйте определенные функции приложения непосредственно с серверной частью агента. Подходит для кросс-платформенной разработки.
Управление компьютером Позволяет предустановленному помощнику автоматизировать задачи, напрямую взаимодействуя с интерфейсом приложения.

Дополнительную информацию об инструментах искусственного интеллекта на уровне системы можно найти в статье Как подключить приложение к системе искусственного интеллекта Android.