Как автоматическая оптимизация запросов повышает качество ответов GenAI Prompt API в ML Kit

Автоматическая оптимизация запросов (APO)

Чтобы вам было проще внедрять сценарии использования ML Kit Prompt API, мы добавили автоматическую оптимизацию запросов для моделей на устройстве в Vertex AI. Автоматическая оптимизация запросов – это инструмент, который помогает автоматически находить оптимальные запросы для ваших сценариев использования.

Эра ИИ на устройстве уже наступила. С выпуском Gemini Nano v3 мы предоставляем пользователям беспрецедентные возможности понимания языка и мультимодальные функции. Модели Gemini Nano поддерживаются на многих устройствах в экосистеме Android. Но для разработчиков, создающих следующее поколение интеллектуальных приложений, доступ к мощной модели – это только первый шаг. Основная сложность заключается в настройке. Как адаптировать базовую модель для достижения экспертного уровня производительности в конкретном сценарии использования, не выходя за рамки ограничений мобильного оборудования?

На стороне сервера большие языковые модели, как правило, обладают широкими возможностями и требуют меньшей адаптации к предметной области. Даже если это необходимо, можно использовать более продвинутые варианты, такие как LoRA (Low-Rank Adaptation). Однако уникальная архитектура Android AICore отдает приоритет общей системной модели, которая эффективно использует память. Это означает, что развертывание пользовательских адаптеров LoRA для каждого отдельного приложения сопряжено с трудностями в этих общих системных службах.

Но есть и другой путь, который может быть не менее эффективным. Используя автоматическую оптимизацию запросов в Vertex AI, разработчики могут добиться качества, близкого к тонкой настройке, и при этом работать в нативной среде выполнения Android. Благодаря улучшенным системным инструкциям APO позволяет разработчикам настраивать поведение модели с большей надежностью и масштабируемостью, чем традиционные решения для тонкой настройки.

Примечание.  Gemini Nano V3 – это оптимизированная по качеству версия высоко оцененной модели Gemma 3N. Любые оптимизации запросов, выполненные в модели Gemma 3N с открытым исходным кодом, будут также применяться к Gemini Nano V3. На поддерживаемых устройствах API ML Kit GenAI используют модель nano-v3, чтобы обеспечить максимальное качество для разработчиков Android.

APO рассматривает запрос не как статический текст, а как программируемую поверхность, которую можно оптимизировать. Он использует серверные модели (например, Gemini Pro и Flash), чтобы предлагать запросы, оценивать варианты и находить оптимальный для вашей задачи. Для повышения эффективности используются три технических механизма:

1. Автоматический анализ ошибок. APO анализирует закономерности ошибок в данных для обучения, чтобы автоматически выявлять слабые места в исходном запросе.
2. Семантическая дистилляция инструкций. Модель анализирует множество примеров, чтобы понять истинную цель задачи, и создает инструкции, которые точнее отражают реальное распределение данных.
3. Параллельное тестирование кандидатов. Вместо того чтобы тестировать по одной идее за раз, APO генерирует и тестирует множество вариантов запросов параллельно, чтобы определить глобальный максимум качества.

Почему APO может приблизиться к качеству тонкой настройки

Распространенное заблуждение заключается в том, что тонкая настройка всегда дает лучшее качество, чем подсказки. Для современных базовых моделей, таких как Gemini Nano v3, составление запросов может быть эффективным само по себе:

• Сохранение общих возможностей. Тонкая настройка ( PEFT/LoRA) заставляет веса модели чрезмерно индексироваться по определенному распределению данных. Это часто приводит к "катастрофическому забыванию", когда модель лучше понимает ваш синтаксис, но хуже справляется с общей логикой и безопасностью. APO не затрагивает веса, сохраняя возможности базовой модели.
• Следование инструкциям и поиск стратегий. Gemini Nano v3 тщательно обучена следовать сложным системным инструкциям. APO использует это, находя точную структуру инструкций, которая раскрывает скрытые возможности модели, часто обнаруживая стратегии, которые инженерам-людям было бы трудно найти. 

Чтобы проверить этот подход, мы оценили APO на различных рабочих нагрузках. Наши проверки показали, что точность стабильно повышается на 5–8 % в различных сценариях использования.APO значительно улучшает качество работы многих функций на устройстве.

Удобный и комплексный рабочий процесс для разработчиков

Распространенное заблуждение заключается в том, что тонкая настройка всегда дает лучшее качество, чем подсказки. Для современных базовых моделей, таких как Gemini Nano v3, проектирование запросов может быть эффективным само по себе:

• Сохранение общих возможностей. Тонкая настройка ( PEFT/LoRA) заставляет веса модели чрезмерно индексироваться по определенному распределению данных. Это часто приводит к "катастрофическому забыванию", когда модель лучше понимает ваш синтаксис, но хуже справляется с общей логикой и безопасностью. APO не затрагивает веса, сохраняя возможности базовой модели.
• Следование инструкциям и поиск стратегий. Gemini Nano v3 тщательно обучена следовать сложным системным инструкциям. APO использует это, находя точную структуру инструкций, которая раскрывает скрытые возможности модели, часто обнаруживая стратегии, которые инженерам-людям было бы трудно найти. 

Чтобы проверить этот подход, мы оценили APO на различных рабочих нагрузках. Наши проверки показали, что точность стабильно повышается на 5–8 % в различных сценариях использования.APO значительно улучшает качество работы многих функций на устройстве.

Заключение

Выпуск автоматической оптимизации запросов (APO) – это поворотный момент для локального генеративного искусственного интеллекта. Мы помогаем разработчикам создавать более надежные мобильные приложения, устраняя разрыв между базовыми моделями и производительностью на уровне эксперта. Теперь у вас есть четкий план, как создать качественный ИИ на устройстве, будь то оптимизация без примеров или улучшение на основе данных. Запустите свои сценарии использования на устройстве в производство уже сегодня с помощью Prompt API в ML Kit и автоматической оптимизации запросов в Vertex AI. 

Полезные ссылки: 

• ML Kit Prompt API,
• Документация по Vertex AI Prompt Optimizer
• Запись в блоге о Gemma 3N