Google предлагает широкий выбор ведущих в отрасли моделей ИИ и API для облачного и локального инференса. Гибридный вывод позволяет без проблем распределять рабочие нагрузки ИИ между локальным устройством и облаком, оптимизируя производительность, стоимость и доступность.
Гибридный вывод предоставляет два основных преимущества для вашего приложения Android:
- Максимальный охват. Облачные модели служат важным резервным вариантом, когда встроенные модели, такие как Gemini Nano, недоступны из-за ограничений оборудования или ОС устройства. Это поможет обеспечить работу функций ИИ на максимально возможном количестве устройств пользователей.
- Стоимость и работа в офлайн-режиме. Модели на устройстве обеспечивают бесперебойную работу функций ИИ, когда пользователь не подключен к интернету. Кроме того, перенос рутинных задач на локальное устройство помогает снизить затраты на облачные выводы.
Ниже перечислены преимущества умозаключений на устройстве и в облаке.
| Вывод на устройстве | Облачный инференс |
|---|---|
| Офлайн-доступ | Совместимость с любым устройством |
| Нет расходов на вывод | Расширенные возможности модели |
Варианты реализации
Вы можете реализовать гибридный вывод, используя следующие подходы:
Firebase AI Logic Hybrid API
Гибридный API логики ИИ Firebase предоставляет единый унифицированный интерфейс для маршрутизации логических выводов между облачными и локальными моделями.
- Автоматическое переключение. Вы можете настроить приложение так, чтобы оно выполняло ИИ-задачи на устройстве, когда это возможно. Это означает, что функция приложения работает в офлайн-режиме, обеспечивает повышенную конфиденциальность и не требует облачных вычислений. Если модель на устройстве недоступна, SDK может автоматически перенаправить запрос в облачную модель Gemini.
- Защита от злоупотреблений. Прямой вызов Cloud APIs из мобильного приложения может привести к раскрытию учетных данных и нежелательным расходам. Однако при использовании Firebase AI Logic вы также применяете Проверка приложений Firebase, который помогает предотвратить злоупотребления, проверяя, что доступ к облачному Gemini API может получить только ваше оригинальное приложение без изменений.
- Лимиты расходов. При маршрутизации запросов к моделям, размещенным в облаке, можно настроить пределы расходов, чтобы защитить облачный бюджет и избежать неожиданных расходов.
В приложении вы задаете параметр onDeviceConfig, чтобы управлять режимом логического вывода и маршрутизацией:
PREFER_ON_DEVICE– попытка использовать локальную модель; если она недоступна или не поддерживает запрос, автоматически используется облачная модель.PREFER_IN_CLOUD– попытка использовать облачную модель, когда устройство подключено к интернету и модель доступна; переход на модель на устройстве только в том случае, если устройство не подключено к интернету.ONLY_ON_DEVICE: попытка использовать локальную модель; исключение, если локальная модель недоступна или не поддерживается для запроса.ONLY_IN_CLOUD– пытается использовать облачную модель, когда устройство подключено к интернету и модель доступна; в остальных случаях выдает исключение.
val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI()) .generativeModel( modelName = "gemini-3.5-flash", onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE) ) val response = model.generateContent("Write a story about a green robot.") print(response.text)
Подробную информацию о реализации можно найти в документации Firebase. Также рекомендуем изучить пример гибридного ИИ в каталоге ИИ.
При переносе рабочих нагрузок в облако могут стать доступны конечные точки облачных API. Используя Firebase AI Logic, вы можете безопасно получать доступ к облачным моделям Gemini непосредственно из клиентских приложений, применяя Проверку приложений Firebase, которая помогает защитить облачный инференс от несанкционированного доступа и злоупотребления оплатой. Это позволяет обеспечить доступность и безопасность гибридного резервного механизма.
Специальная маршрутизация
Если у вашего приложения есть особые требования к бизнесу или UX, вы также можете реализовать собственную логику маршрутизации. Это позволяет динамически определять путь вывода на основе факторов в реальном времени, таких как:
- Задержка в сети
- Состояние системы устройства (например, уровень заряда батареи и загрузка процессора).
- Сложность запроса пользователя
Этот гибридный подход к выводу данных используется в ведущих приложениях, в которых реализована собственная маршрутизация для обеспечения надежной работы ИИ, в том числе:
Gboard. Gboard использует специальный гибридный вывод для работы инструментов редактора, например проверки правописания и перефразирования.
Kakao Mobility. Компания Kakao Mobility создала инструмент извлечения объектов с использованием гибридного вывода для своей службы доставки посылок. Он автоматически извлекает имена получателей, адреса и номера телефонов из сообщений на естественном языке, чтобы упростить заполнение форм заказов.