Gemini Nano

Gemini Nano te permite ofrecer experiencias de IA generativa enriquecidas sin necesidad de conexión de red ni de enviar datos a la nube. La IA integrada en el dispositivo es una excelente solución para los casos de uso en los que el bajo costo y las protecciones de privacidad son tus principales preocupaciones.

Para los casos de uso integrados en el dispositivo, puedes aprovechar el modelo fundamental Gemini Nano de Google. Gemini Nano se ejecuta en el servicio del sistema AICore de Android, que aprovecha el hardware del dispositivo para permitir una baja latencia de inferencia y mantener el modelo actualizado.

APIs de IA generativa de ML Kit

Las APIs de IA generativa de ML Kit aprovechan la potencia de Gemini Nano para ayudar a tus apps a realizar tareas. Estas APIs proporcionan calidad lista para usar en casos de uso populares a través de una interfaz de alto nivel. Las APIs de IA generativa de ML Kit se compilan sobre AICore, un servicio del sistema Android que permite la ejecución en el dispositivo de modelos básicos de IA generativa para facilitar funciones como la funcionalidad mejorada de las apps y la privacidad del usuario mejorada a través del procesamiento local de datos. Obtén más información.

Los desarrolladores son los únicos responsables de la seguridad de su cliente de API y de la experiencia del usuario de su app.

Características clave

Las APIs de IA generativa de ML Kit admiten las siguientes funciones:

Arquitectura a través de AICore

Como módulo a nivel del sistema, se accede a AICore a través de una serie de APIs para ejecutar la inferencia integrado en el dispositivo. Además, AICore tiene varias funciones de seguridad integradas, lo que garantiza una evaluación exhaustiva en relación con nuestros filtros de seguridad. En el siguiente diagrama, se describe cómo una app accede a AICore para ejecutar Gemini Nano integrado en el dispositivo.

Un diagrama que muestra cómo una app para Android usa el SDK de Google AI Edge para acceder a AICore, donde se administran y ejecutan Gemini Nano, LoRA y las funciones de seguridad con aceleración de hardware.
Figura 1: AICore sirve como interfaz entre tu app y el modelo de Gemini Nano, ya que administra las actualizaciones y la seguridad del modelo, a la vez que aprovecha el hardware integrado en el dispositivo.

Mantener la seguridad y privacidad de los datos del usuario

La IA generativa integrado en el dispositivo ejecuta instrucciones de forma local, lo que elimina las llamadas al servidor. Si bien esto elimina la latencia de red, la velocidad de inferencia depende del hardware del dispositivo. Este enfoque mejora la privacidad, ya que mantiene los datos sensibles en el dispositivo, habilita la funcionalidad sin conexión y reduce los costos de inferencia.

AICore se adhiere a los principios de Private Compute Core, con las siguientes características clave:

  • Vinculación de paquetes restringida: AICore está aislado de la mayoría de los otros paquetes, con excepciones limitadas para paquetes específicos del sistema. Las modificaciones en esta lista de entidades permitidas solo pueden realizarse durante una actualización OTA completa de Android.
  • Acceso indirecto a Internet: AICore no tiene acceso directo a Internet. Todas las solicitudes de Internet, incluidas las descargas de modelos, se enrutan a través del APK complementario de Private Compute Services de código abierto. Las APIs dentro de los Servicios de computación privada deben demostrar explícitamente su naturaleza centrada en la privacidad.

Además, AICore se diseñó para aislar cada solicitud y no almacena ningún registro de los datos de entrada ni de los resultados después de procesarlos para proteger la privacidad del usuario. Lee la entrada de blog An Introduction to Privacy and Safety for Gemini Nano para obtener más información.

Un diagrama de arquitectura detallado de AICore que muestra el flujo de solicitudes: Superficie de la API, procesamiento de entrada con indicadores de seguridad, configuración de funciones, tiempo de ejecución con pesos del modelo y LoRAs, y procesamiento de salida con indicadores de seguridad. También muestra las descargas de modelos a través de Private Compute Services.
Figura 2: La arquitectura de AICore administra la seguridad de la entrada y la salida, el procesamiento de solicitudes y los pesos del modelo para proporcionar un entorno seguro para la IA integrada en el dispositivo.

Beneficios de acceder a modelos de base de IA con AICore

AICore permite que el SO Android proporcione y administre modelos de base de IA. Esto reduce significativamente el costo de usar estos modelos grandes en tu app, principalmente por los siguientes motivos:

  • Facilidad de implementación: AICore administra la distribución de Gemini Nano y controla las actualizaciones futuras. No tienes que preocuparte por descargar ni actualizar modelos grandes a través de la red, ni por el impacto en el presupuesto de memoria de disco y de tiempo de ejecución de tu app.
  • Inferencia acelerada: AICore aprovecha el hardware integrado en el dispositivo para acelerar la inferencia. Tu app obtiene el mejor rendimiento en cada dispositivo, y no tienes que preocuparte por las interfaces de hardware subyacentes.

Cuándo usar la inferencia híbrida

Si bien Gemini Nano es ideal para tareas sin conexión y sensibles a la privacidad, tiene limitaciones integradas en el dispositivo, como límites de tokens, limitaciones de hardware del dispositivo y límites de capacidad del modelo. En estos casos, puedes usar la inferencia híbrida para equilibrar las cargas de trabajo de AA entre el dispositivo local y la nube.

Para garantizar una experiencia del usuario coherente en todos los dispositivos y controlar consultas complejas, puedes usar la API híbrida de Firebase AI Logic. Esto permite que tu app haga lo siguiente:

  • Respaldo correcto: Las solicitudes se enrutan automáticamente a los modelos de Gemini Flash o Gemini Pro en la nube cuando Gemini Nano no está disponible o no es compatible con el dispositivo del usuario.
  • Aplica la seguridad: Protege la inferencia en la nube con la Verificación de aplicaciones de Firebase (y sus proveedores de certificación compatibles, como Play Integrity) y mantén las instrucciones sensibles del sistema en el servidor.