Как автоматическая оптимизация запросов повышает качество ответов GenAI Prompt API в ML Kit

Автоматическая оптимизация запросов (APO)

Чтобы вам было проще перевести в рабочую среду варианты использования ML Kit Prompt API, мы добавили автоматическую оптимизацию запросов (APO) для моделей на устройстве в Vertex AI. Автоматическая оптимизация запросов – это инструмент, который помогает автоматически находить оптимальные запросы для ваших вариантов использования.

Эпоха ИИ на устройстве уже наступила. С выпуском Gemini Nano v3 мы предоставляем пользователям беспрецедентные возможности понимания языка и мультимодальные функции. Семейство моделей Gemini Nano обеспечивает широкую поддержку устройств в экосистеме Android. Однако для разработчиков, создающих следующее поколение интеллектуальных приложений, доступ к мощной модели – это только первый шаг. Основная проблема заключается в кастомизации: как адаптировать базовую модель для достижения экспертного уровня производительности в вашем конкретном случае использования, не нарушая ограничений мобильного оборудования?

Большие языковые модели на стороне сервера, как правило, обладают широкими возможностями и требуют меньше адаптации к предметной области. Даже если это необходимо, можно использовать более продвинутые варианты, такие как LoRA (Low-Rank Adaptation). Однако уникальная архитектура Android AICore отдает приоритет общей системной модели, которая эффективно использует память. Это означает, что развертывание пользовательских адаптеров LoRA для каждого отдельного приложения сопряжено с проблемами в этих общих системных сервисах.

Но есть и другой путь, который может быть не менее эффективным. Используя автоматическую оптимизацию запросов в Vertex AI, разработчики могут добиться качества, близкого к тонкой настройке, работая в нативной среде выполнения Android. Благодаря улучшенным системным инструкциям APO позволяет разработчикам настраивать поведение модели с большей надежностью и масштабируемостью, чем традиционные решения для тонкой настройки.

Примечание.  Gemini Nano V3 – это оптимизированная по качеству версия популярной модели Gemma 3N. Все оптимизации запросов, выполненные в открытой модели Gemma 3N, также будут применены к Gemini Nano V3. На поддерживаемых устройствах API ML Kit GenAI используют модель nano-v3, чтобы обеспечить максимальное качество для разработчиков Android.

APO рассматривает запрос не как статический текст, а как программируемую поверхность, которую можно оптимизировать. Он использует серверные модели (например, Gemini Pro и Flash), чтобы предлагать запросы, оценивать варианты и находить оптимальный для вашей задачи. Для повышения эффективности используются три технических механизма:

1. Автоматический анализ ошибок. APO анализирует закономерности ошибок в данных для обучения, чтобы автоматически выявлять слабые места в исходном запросе.
2. Дистилляция семантических инструкций. Анализирует множество примеров обучения, чтобы определить истинное намерение задачи, и создает инструкции, которые более точно отражают реальное распределение данных.
3. Параллельное тестирование вариантов. Вместо того чтобы тестировать по одной идее за раз, APO генерирует и тестирует множество вариантов запросов параллельно, чтобы определить глобальный максимум качества.

Почему APO может приближаться к точно настроенному качеству

Распространено заблуждение, что тонкая настройка всегда дает более качественный результат, чем запросы. Для современных базовых моделей, таких как Gemini Nano v3, эффективным может быть только составление запросов:

• Сохранение общих возможностей. Тонкая настройка ( PEFT/LoRA) заставляет веса модели чрезмерно индексироваться по определенному распределению данных. Это часто приводит к "катастрофическому забыванию", когда модель лучше справляется с вашим конкретным синтаксисом, но хуже – с общей логикой и безопасностью. APO не изменяет веса, сохраняя возможности базовой модели.
• Следование инструкциям и обнаружение стратегий. Gemini Nano v3 тщательно обучена следовать сложным системным инструкциям. APO использует это, находя точную структуру инструкций, которая раскрывает скрытые возможности модели. Часто обнаруживаются стратегии, которые сложно найти инженерам.

Чтобы проверить этот подход, мы протестировали APO на разных рабочих нагрузках. Проверка показала, что в различных сценариях использования точность стабильно повышается на 5–8%.APO значительно улучшает качество работы многих функций на устройстве.

Удобный и комплексный рабочий процесс для разработчиков

Распространено заблуждение, что тонкая настройка всегда дает более качественный результат, чем запросы. Для современных базовых моделей, таких как Gemini Nano v3, эффективным может быть только составление запросов:

• Сохранение общих возможностей. Тонкая настройка ( PEFT/LoRA) заставляет веса модели чрезмерно индексироваться по определенному распределению данных. Это часто приводит к "катастрофическому забыванию", когда модель лучше справляется с вашим конкретным синтаксисом, но хуже – с общей логикой и безопасностью. APO не изменяет веса, сохраняя возможности базовой модели.
• Следование инструкциям и обнаружение стратегий. Gemini Nano v3 тщательно обучена следовать сложным системным инструкциям. APO использует это, находя точную структуру инструкций, которая раскрывает скрытые возможности модели. Часто обнаруживаются стратегии, которые сложно найти инженерам.

Чтобы проверить этот подход, мы протестировали APO на разных рабочих нагрузках. Наши проверки показали стабильное повышение точности на 5–8% в разных сценариях использования.Во многих развернутых на устройстве функциях APO значительно повышает качество.

Заключение

Выпуск автоматической оптимизации запросов (APO) – это поворотный момент для генеративного искусственного интеллекта на устройстве. Мы устраняем разрыв между базовыми моделями и производительностью экспертного уровня, чтобы разработчики могли создавать более надежные мобильные приложения. Независимо от того, начинаете ли вы с оптимизации без примеров или переходите к улучшению на основе данных, путь к высококачественному ИИ на устройстве теперь стал понятнее. Запустите свои варианты использования на устройстве в производство уже сегодня с помощью Prompt API в ML Kit и автоматической оптимизации запросов в Vertex AI. 

Полезные ссылки: 

• ML Kit Prompt API;
• Документация по Vertex AI Prompt Optimizer
• Блог с анонсом Gemma 3N