Gemini Nano позволяет вам предоставлять богатые возможности генеративного ИИ без необходимости подключения к сети или отправки данных в облако. ИИ на устройстве — это отличное решение для случаев использования, где низкая задержка, низкая стоимость и защита конфиденциальности являются вашими основными требованиями.
Для случаев использования на устройстве вы можете воспользоваться базовой моделью Gemini Nano от Google. Gemini Nano работает в системной службе Android AICore , которая использует аппаратное обеспечение устройства для обеспечения низкой задержки вывода и поддержания модели в актуальном состоянии.
Доступ к Gemini Nano в настоящее время возможен через:
- API-интерфейсы GenAI ML Kit , которые предоставляют высокоуровневый интерфейс для таких функций, как: реферирование, корректура, переписывание и описание изображений.
- Google AI Edge SDK , который предоставляет экспериментальный доступ разработчикам, желающим протестировать усовершенствования своих приложений с помощью возможностей искусственного интеллекта на устройстве.
Архитектура
Как системный модуль, вы получаете доступ к AICore через ряд API для запуска вывода на устройстве. Кроме того, AICore имеет несколько встроенных функций безопасности, обеспечивающих тщательную оценку по нашим фильтрам безопасности. На следующей схеме показано, как приложение получает доступ к AICore для запуска Gemini Nano на устройстве.
Обеспечьте конфиденциальность и безопасность пользовательских данных
Генеративный ИИ на устройстве выполняет запросы локально, исключая вызовы сервера. Такой подход повышает конфиденциальность, сохраняя конфиденциальные данные на устройстве, обеспечивает офлайн-функциональность и снижает затраты на вывод.
AICore придерживается принципов Private Compute Core со следующими ключевыми характеристиками:
Ограниченная привязка пакетов : AICore изолирован от большинства других пакетов, с ограниченными исключениями для определенных системных пакетов. Любые изменения в этом разрешенном списке могут происходить только во время полного обновления Android OTA.
Непрямой доступ в Интернет : AICore не имеет прямого доступа в Интернет. Все интернет-запросы, включая загрузку моделей, направляются через открытый исходный код сопутствующего APK Private Compute Services . API в Private Compute Services должны явно демонстрировать свою ориентированную на конфиденциальность природу.
Кроме того, AICore создан для изоляции каждого запроса и не сохраняет никаких записей входных данных или полученных выходов после их обработки для защиты конфиденциальности пользователя. Прочитайте публикацию в блоге Введение в конфиденциальность и безопасность для Gemini Nano, чтобы узнать больше.
Преимущества доступа к базовым моделям ИИ с помощью AICore
AICore позволяет ОС Android предоставлять и управлять моделями AI-основ. Это значительно снижает стоимость использования этих больших моделей в вашем приложении, в основном за счет следующего:
Простота развертывания : AICore управляет распространением Gemini Nano и обрабатывает будущие обновления. Вам не нужно беспокоиться о загрузке или обновлении больших моделей по сети, а также о влиянии на диск вашего приложения и бюджет памяти времени выполнения.
Ускоренный вывод : AICore использует аппаратное обеспечение на устройстве для ускорения вывода. Ваше приложение получает наилучшую производительность на каждом устройстве, и вам не нужно беспокоиться о базовых аппаратных интерфейсах.
Поддерживаемые функции
- Поддерживаемые устройства : Gemini Nano с Google AI Edge SDK в настоящее время доступен для экспериментов на устройствах серии Pixel 9.
- Поддерживаемые модальности : В настоящее время AICore поддерживает текстовую модальность для Gemini Nano.
Поддержка дополнительных устройств и модальностей является сферой активных инвестиций.
Варианты использования
Из-за ограничений ресурсов мобильных устройств по сравнению с облачными серверами, генеративные модели ИИ на устройстве разрабатываются с упором на эффективность и размер. Эта оптимизация отдает приоритет конкретным, четко определенным задачам по сравнению с более общими приложениями. Подходящие варианты использования включают:
- Перефразирование текста : изменение тона и стиля текста (например, с неформального на официальный).
- Умный ответ : генерация контекстно-релевантных ответов в чате.
- Корректура : выявление и исправление орфографических и грамматических ошибок.
- Резюмирование : сжимайте длинные документы в краткие резюме (абзацы или маркированные списки).
Для оптимальной производительности обратитесь к документации по стратегиям подсказок . Чтобы изучить эти варианты использования из первых рук, загрузите наше приложение-образец и начните экспериментировать с Gemini Nano.
Gemini Nano используется несколькими приложениями Google. Вот некоторые примеры:
- Talkback: приложение Talkback для Android с поддержкой специальных возможностей использует возможности многомодального ввода Gemini Nano для улучшения описания изображений для пользователей с нарушениями зрения.
- Pixel Voice Recorder: приложение Pixel Voice Recorder использует Gemini Nano и AICore для поддержки функции реферирования на устройстве. Команда Recorder приняла последнюю модель Gemini Nano для поддержки более длительных записей и предоставления более качественных рефератов.
- Gboard: функция интеллектуальных ответов Gboard использует встроенную в устройство технологию Gemini Nano с AICore для предоставления точных интеллектуальных ответов.