Prompt API в ML Kit: персонализированные возможности Gemini Nano на устройстве

ИИ упрощает создание персонализированных приложений, которые преобразуют контент в нужный пользователям формат. Ранее мы разрешили разработчикам интегрировать Gemini Nano с помощью API GenAI ML Kit, предназначенных для определенных вариантов использования, таких как создание краткого пересказа и описания изображений.

Сегодня важный день для генеративного ИИ на устройствах Android. Мы выпускаем альфа-версию ML Kit GenAI Prompt API. Этот API позволяет отправлять в Gemini Nano запросы на естественном языке и мультимодальные запросы, что дает больше контроля и гибкости при работе с генеративными моделями.

Наши партнеры, например Kakao, уже используют Prompt API, чтобы создавать уникальные и полезные функции. Вы можете поэкспериментировать с мощными функциями Prompt API уже сегодня, написав минимум кода.

Переход от готовых моделей генеративного ИИ на устройстве к собственным

Prompt API позволяет не только использовать встроенные функции, но и создавать собственные решения на основе генеративного ИИ для конкретных приложений, а также уникальные функции со сложной обработкой данных. Prompt API использует Gemini Nano на устройстве для локальной обработки данных, что позволяет работать офлайн и повышает конфиденциальность пользователей.

Основные варианты использования Prompt API

Prompt API позволяет создавать собственные решения на основе генеративного ИИ. Вот несколько примеров: 

• Распознавание изображений: анализ фотографий для классификации (например, создание черновика публикации в социальной сети или определение тегов, таких как "домашние животные", "еда" или "путешествия").
• Умное сканирование документов. Использование традиционной модели машинного обучения для извлечения текста из чека и последующая классификация каждого элемента с помощью Prompt API.
• Преобразование данных для интерфейса: анализ длинного контента для создания короткого и привлекательного заголовка уведомления.
• Подсказки для контента. Предложение тем для новых записей в дневнике на основе предпочтений пользователя.
• Анализ контента: классификация отзывов клиентов на положительные, нейтральные и отрицательные.
• Извлечение информации: извлечение важных деталей о предстоящем мероприятии из цепочки писем.

Реализация
Prompt API позволяет создавать собственные запросы и задавать необязательные параметры генерации с помощью всего нескольких строк кода:

Generation.getClient().generateContent(
   generateContentRequest(
       ImagePart(bitmapImage),
       TextPart("Categorize this image as one of the following: car, motorcycle, bike, scooter, other. Return only the category as the response."),
   ) {
       // Optional parameters
       temperature = 0.2f
       topK = 10
       candidateCount = 1
       maxOutputTokens = 10
   },
)

Более подробные примеры реализации Prompt API можно найти в официальной документации и примере на GitHub.

Gemini Nano, производительность и прототипирование

Сейчас API запросов лучше всего работает на устройствах серии Pixel 10, на которых установлена последняя версия Gemini Nano (nano-v3). Эта версия Gemini Nano построена на той же архитектуре, что и Gemma 3n – модель, которую мы впервые представили сообществу разработчиков открытых моделей на конференции I/O.

Общая основа Gemma 3n и nano-v3 позволяет разработчикам легко создавать прототипы функций. Если у вас нет устройства Pixel 10, вы можете начать экспериментировать с запросами уже сегодня, создав прототип с помощью локальной модели Gemma 3n.

Полный список устройств, поддерживающих API GenAI, можно найти в документации по поддержке устройств.

Подробнее…

Начните внедрять Prompt API в свои приложения для Android уже сегодня, используя официальную документацию и пример на GitHub.