Gemini Nano con el SDK de Google AI Edge

En los dispositivos compatibles con Android, puedes ofrecer experiencias enriquecidas de IA generativa sin necesidad de una conexión de red ni de enviar datos a la nube. La IA integrada en el dispositivo es una excelente solución para casos de uso en los que la baja latencia, el bajo costo y las protecciones de la privacidad son tus principales preocupaciones.

Para casos de uso integrados en el dispositivo, puedes aprovechar el modelo de base Gemini Nano de Google. Si bien es más pequeño que otros modelos de Gemini que ejecutan la inferencia en la nube, puedes ajustar Gemini Nano para realizar tareas especializadas, al igual que sus contrapartes más grandes. Gemini Nano se ejecuta en el servicio del sistema AICore de Android, que aprovecha el hardware del dispositivo para habilitar una latencia de inferencia baja y mantener el modelo actualizado.

El SDK de Google AI Edge proporciona acceso a la API de Gemini Nano y AICore. Google AI Edge es un paquete integral de herramientas para el AA integrado en el dispositivo. Obtén más información sobre Google AI Edge.

Arquitectura

Como módulo a nivel del sistema, accedes a AICore a través de una serie de APIs para ejecutar la inferencia en el dispositivo. Además, AICore tiene varias funciones de seguridad integradas, lo que garantiza una evaluación exhaustiva en función de nuestros filtros de seguridad. En el siguiente diagrama, se describe cómo una app accede a AICore para ejecutar Gemini Nano integrado en el dispositivo.

Mantén la privacidad y la seguridad de los datos del usuario

La IA generativa integrada en el dispositivo ejecuta instrucciones de forma local, lo que elimina las llamadas al servidor. Este enfoque mejora la privacidad, ya que mantiene los datos sensibles en el dispositivo, habilita la funcionalidad sin conexión y reduce los costos de inferencia.

AICore cumple con los principios de Private Compute Core, con las siguientes características clave:

Vinculación de paquetes restringida: AICore está aislado de la mayoría de los otros paquetes, con excepciones limitadas para paquetes de sistema específicos. Cualquier modificación de esta lista solo se puede realizar durante una actualización OTA completa de Android.

Acceso indirecto a Internet: AICore no tiene acceso directo a Internet. Todas las solicitudes de Internet, incluidas las descargas de modelos, se enrutan a través del APK complementario de Private Compute Services de código abierto. Las APIs de los servicios de procesamiento privado deben demostrar explícitamente su naturaleza centrada en la privacidad.

Además, AICore se creó para aislar cada solicitud y no almacenar ningún registro de los datos de entrada ni de los resultados obtenidos después de procesarlos para proteger la privacidad del usuario. Lee la entrada de blog Introducción a la privacidad y la seguridad de Gemini Nano para obtener más información.

Beneficios de acceder a los modelos de base de IA con AICore

AICore permite que el SO Android proporcione y administre modelos de base de IA. Esto reduce significativamente el costo de usar estos modelos grandes en tu app, principalmente por los siguientes motivos:

Facilidad de implementación: AICore administra la distribución de Gemini Nano y controla las actualizaciones futuras. No tienes que preocuparte por descargar o actualizar modelos grandes a través de la red, ni por el impacto en el presupuesto de memoria del disco y del entorno de ejecución de tu app.

Inferencia acelerada: AICore aprovecha el hardware integrado en el dispositivo para acelerar la inferencia. Tu app obtiene el mejor rendimiento en cada dispositivo y no necesitas preocuparte por las interfaces de hardware subyacentes.

Funcionalidad compatible

AICore admite los siguientes dispositivos y modalidades:

• Dispositivos compatibles: Actualmente, AICore está disponible en dispositivos de la serie Pixel 9, dispositivos de la serie Google Pixel 8, incluidos Pixel 8¹ y Pixel 8a², dispositivos de la serie Samsung S24, Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro y Xiaomi MIX Flip.
• Modalidades admitidas: Actualmente, AICore admite la modalidad de texto para Gemini Nano.

La compatibilidad con dispositivos y modalidades adicionales son áreas de inversión activa.

Casos de uso

Debido a las restricciones de recursos de los dispositivos móviles en comparación con los servidores en la nube, los modelos de IA generativa integrados en el dispositivo se diseñaron con un enfoque en la eficiencia y el tamaño. Esta optimización prioriza las tareas específicas y bien definidas sobre las aplicaciones más generalizadas. Entre los casos de uso adecuados, se incluyen los siguientes:

• Reformulación de texto: Modifica el tono y el estilo del texto (p.ej., de informal a formal).
• Respuesta inteligente: Genera respuestas contextualmente relevantes dentro de una conversación de chat.
• Corrección de pruebas: Identifica y corrige errores ortográficos y gramaticales.
• Resumen: Condensa documentos extensos en resúmenes concisos (párrafos o viñetas).

Para obtener un rendimiento óptimo, consulta la documentación sobre las estrategias de indicaciones. Para explorar estos casos de uso de primera mano, descarga nuestra app de ejemplo y comienza a experimentar con Gemini Nano.

Varias apps de Google usan Gemini Nano. Los siguientes son algunos ejemplos:

• TalkBack: La app de accesibilidad de Android TalkBack aprovecha las capacidades de entrada multimodal de Gemini Nano para mejorar las descripciones de imágenes para usuarios con discapacidad visual.
• Grabadora de voz de Pixel: La app de Grabadora de voz de Pixel usa Gemini Nano y AICore para potenciar una función de resumen integrado en el dispositivo. El equipo de la grabadora adoptó el modelo Gemini Nano más reciente para admitir grabaciones más largas y brindar resúmenes de mayor calidad.
• Gboard: La respuesta inteligente de Gboard aprovecha Gemini Nano integrado en el dispositivo con AICore para proporcionar respuestas inteligentes precisas.