Gemini Nano

Gemini Nano позволяет использовать генеративный искусственный интеллект без сетевого подключения и отправки данных в облако. ИИ на устройстве – отличное решение для случаев, когда низкая стоимость и защита конфиденциальности являются основными требованиями.

Для использования на устройстве можно воспользоваться базовой моделью Gemini Nano от Google. Gemini Nano работает в системной службе AICore Android, которая использует аппаратное обеспечение устройства, чтобы обеспечить низкую задержку при инференсе и поддерживать модель в актуальном состоянии.

API GenAI в ML Kit

API GenAI из ML Kit используют возможности Gemini Nano, чтобы помочь вашим приложениям выполнять задачи. Эти API обеспечивают высокое качество для популярных сценариев использования благодаря высокоуровневому интерфейсу. API генеративного ИИ ML Kit созданы на основе AICore, системного сервиса Android, который позволяет выполнять базовые модели генеративного ИИ на устройстве. Это помогает улучшить функциональность приложений и повысить конфиденциальность пользователей за счет локальной обработки данных. Подробнее…

Основные функции

API GenAI в ML Kit поддерживают следующие функции:

Архитектура AICore

Как системный модуль, AICore доступен через ряд API, которые позволяют выполнять на устройстве логический вывод. Кроме того, в AICore встроены функции безопасности, которые позволяют тщательно проверять контент на соответствие нашим фильтрам. На схеме ниже показано, как приложение получает доступ к AICore, чтобы запустить Gemini Nano на устройстве.

Схема, на которой показано, как приложение Android использует Google AI Edge SDK для доступа к AICore, где Gemini Nano, LoRA и функции безопасности управляются и выполняются на аппаратных ускорителях.
Рисунок 1. AICore служит интерфейсом между вашим приложением и моделью Gemini Nano, управляя обновлениями модели и безопасностью, а также используя локальное оборудование.

Как обеспечить конфиденциальность и безопасность пользовательских данных

Генеративный искусственный интеллект на устройстве выполняет запросы локально, без обращения к серверу. Это позволяет устранить задержку в сети, но скорость обработки данных зависит от аппаратного обеспечения устройства. Этот подход повышает конфиденциальность, поскольку конфиденциальные данные хранятся на устройстве, позволяет использовать функции офлайн и снижает затраты на вывод.

AICore соответствует принципам Private Compute Core и обладает следующими ключевыми характеристиками:

  • Ограниченная привязка пакетов. AICore изолирован от большинства других пакетов, за исключением некоторых системных. Изменения в этом белом списке можно вносить только при полном беспроводном обновлении ОС Android.
  • Косвенный доступ к интернету. У AICore нет прямого доступа к интернету. Все запросы в интернете, в том числе на скачивание моделей, направляются через APK-файл сервисов конфиденциальных вычислений с открытым исходным кодом. API в сервисах конфиденциальных вычислений должны явно демонстрировать свою ориентированность на конфиденциальность.

Кроме того, AICore изолирует каждый запрос и не сохраняет входные данные или результаты их обработки, чтобы защитить конфиденциальность пользователей. Чтобы узнать больше, прочитайте запись в блоге Введение в конфиденциальность и безопасность Gemini Nano.

Подробная архитектурная диаграмма AICore, на которой показан поток запросов: поверхность API, обработка входных данных с сигналами безопасности, конфигурация функций, среда выполнения с весами модели и LoRA, а также обработка выходных данных с сигналами безопасности. Также в нем показываются скачивания моделей через сервисы конфиденциальных вычислений.
Рисунок 2. Архитектура AICore управляет безопасностью входных и выходных данных, обработкой запросов и весами моделей, чтобы обеспечить безопасную среду для ИИ на устройстве.

Преимущества доступа к базовым моделям ИИ с помощью AICore

AICore позволяет ОС Android предоставлять и управлять базовыми моделями ИИ. Это значительно снижает стоимость использования больших моделей в приложении, в основном по следующим причинам:

  • Простота развертывания. AICore управляет распространением Gemini Nano и будущими обновлениями. Вам не нужно скачивать или обновлять большие модели по сети, а также беспокоиться о том, как это повлияет на объем памяти, занимаемый приложением на диске и во время выполнения.
  • Ускоренный вывод. AICore использует аппаратное обеспечение устройства, чтобы ускорить вывод. Приложение будет работать на каждом устройстве с максимальной эффективностью, и вам не нужно будет беспокоиться об аппаратных интерфейсах.

Когда использовать гибридный вывод

Gemini Nano идеально подходит для задач, выполняемых локально и требующих конфиденциальности, но у него есть ограничения на устройстве, например лимиты на количество токенов, аппаратные ограничения и возможности модели. В таких случаях можно использовать гибридный вывод, чтобы распределить рабочие нагрузки ИИ между локальным устройством и облаком.

Чтобы обеспечить единообразный интерфейс на всех устройствах и обрабатывать сложные запросы, можно использовать гибридный API Firebase AI Logic. Это позволит приложению выполнять следующие действия:

  • Надежный переход на резервную модель. Автоматически перенаправляйте запросы к моделям Gemini Flash или Gemini Pro в облаке, если Gemini Nano недоступна или не поддерживается на устройстве пользователя.
  • Обеспечьте безопасность. Защитите облачные выводы с помощью Firebase App Check (и поддерживаемых поставщиков подтверждения, таких как Play Integrity) и храните конфиденциальные системные запросы на стороне сервера.