Google предлагает широкий выбор ведущих в отрасли моделей ИИ и API для облачного и локального инференса. Гибридный вывод позволяет без проблем распределять рабочие нагрузки ИИ между локальным устройством и облаком, оптимизируя производительность, стоимость и доступность.
Гибридный вывод предоставляет два основных преимущества для вашего приложения Android:
- Максимальный охват. Облачные модели служат важным резервным вариантом, когда встроенные модели, такие как Gemini Nano, недоступны из-за ограничений оборудования или ОС устройства. Это поможет обеспечить работу функций ИИ на максимально возможном количестве устройств пользователей.
- Стоимость и работа в офлайн-режиме. Модели на устройстве обеспечивают бесперебойную работу функций ИИ, когда пользователь не подключен к интернету. Кроме того, перенос рутинных задач на локальное устройство помогает снизить затраты на облачные выводы.
Ниже перечислены преимущества умозаключений на устройстве и в облаке.
| Вывод на устройстве | Облачный инференс |
|---|---|
| Офлайн-доступ | Совместимость с любым устройством |
| Нет расходов на вывод | Расширенные возможности модели |
Варианты реализации
Вы можете реализовать гибридный вывод, используя следующие подходы:
Firebase AI Logic Hybrid API
Гибридный API Firebase AI Logic предоставляет единый интерфейс для разделения логического вывода между облачной и локальной средами.
Он включает параметр onDeviceConfig, который позволяет задать режим логического вывода и управлять маршрутизацией:
PREFER_ON_DEVICE– попытка использовать локальную модель с автоматическим переходом на облачную модель, если локальная модель недоступна или не поддерживается для запроса.PREFER_IN_CLOUD– попытки использовать модель, размещенную в облаке, когда устройство подключено к интернету и модель доступна, и переход к модели на устройстве, только если устройство офлайн.ONLY_ON_DEVICE: попытка использовать модель на устройстве, но при ее недоступности или неподдержке для запроса возникает исключение.ONLY_IN_CLOUD– попытка использовать модель, размещенную в облаке, если устройство подключено к интернету и модель доступна. В остальных случаях возникает исключение.
val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI()) .generativeModel( modelName = "gemini-3.5-flash", onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE) ) val response = model.generateContent("Write a story about a green robot.") print(response.text)
Подробную информацию о реализации можно найти в документации Firebase. Также рекомендуем изучить пример гибридного ИИ в каталоге ИИ.
Специальная маршрутизация
Если у вашего приложения есть особые требования к бизнесу или UX, вы также можете реализовать собственную логику маршрутизации. Это позволяет динамически определять путь вывода на основе факторов в реальном времени, таких как:
- Задержка в сети
- Состояние системы устройства (например, уровень заряда батареи и загрузка процессора).
- Сложность запроса пользователя
Этот гибридный подход к выводу данных используется в ведущих приложениях, в которых реализована собственная маршрутизация для обеспечения надежной работы ИИ, в том числе:
Клавиатура Gboard использует гибридный вывод, чтобы предлагать варианты правописания и перефразирования.
Kakao Mobility: Компания Kakao Mobility создала инструмент извлечения объектов с использованием гибридного вывода для своей службы доставки посылок, который автоматически извлекает имена получателей, адреса и номера телефонов из сообщений на естественном языке, чтобы упростить заполнение форм заказов.