Gemini Nano

Gemini Nano ti consente di offrire esperienze di AI generativa avanzate senza aver bisogno di una connessione di rete o di inviare dati al cloud. L'AI sul dispositivo è un'ottima soluzione per i casi d'uso in cui i costi contenuti e le misure di protezione della privacy sono le tue principali preoccupazioni.

Per i casi d'uso sul dispositivo, puoi sfruttare il modello di base Gemini Nano di Google. Gemini Nano viene eseguito nel servizio di sistema AICore di Android, che sfrutta l'hardware del dispositivo per consentire una bassa latenza di inferenza e mantiene il modello aggiornato.

API GenAI di ML Kit

Le API GenAI di ML Kit sfruttano la potenza di Gemini Nano per aiutare le tue app a svolgere attività. Queste API forniscono una qualità predefinita per i casi d'uso più comuni tramite un'interfaccia di alto livello. Le API GenAI di ML Kit sono basate su AICore, un servizio di sistema Android che consente l'esecuzione on-device di modelli di base di AI generativa per facilitare funzionalità come la funzionalità avanzata delle app e una migliore privacy degli utenti tramite l'elaborazione locale dei dati. Ulteriori informazioni.

Funzionalità principali

Le API GenAI di ML Kit supportano le seguenti funzionalità:

  • Prompt: genera contenuti di testo in base a un prompt personalizzato solo di testo o multimodale.
  • Riassunto: riassumi articoli o conversazioni come un elenco puntato.
  • Correzione bozza: correggi la bozza di brevi messaggi chat.
  • Riscrivere: riscrivi brevi messaggi chat in toni o stili diversi.
  • Descrizione immagine: genera una breve descrizione di un'immagine specifica.
  • Riconoscimento vocale: trascrivi l'audio parlato in testo.

Architettura tramite AICore

In quanto modulo a livello di sistema, accedi ad AICore tramite una serie di API per eseguire l'inferenza sul dispositivo. Inoltre, AICore dispone di diverse funzionalità di sicurezza integrate, garantendo una valutazione approfondita rispetto ai nostri filtri di sicurezza. Il seguente diagramma mostra come un'app accede ad AICore per eseguire Gemini Nano sul dispositivo.

Un diagramma che mostra come un'app per Android utilizza l'SDK Google AI Edge per accedere ad AICore, dove vengono gestiti ed eseguiti Gemini Nano, LoRA e le funzionalità di sicurezza sugli acceleratori hardware.
Figura 1. AICore funge da interfaccia tra la tua app e il modello Gemini Nano, gestendo gli aggiornamenti e la sicurezza del modello sfruttando l'hardware on-device.

Mantenere i dati degli utenti privati e al sicuro

L'AI generativa sul dispositivo esegue i prompt in locale, eliminando le chiamate al server. Sebbene in questo modo venga eliminata la latenza di rete, la velocità di inferenza dipende dall'hardware del dispositivo. Questo approccio migliora la privacy mantenendo i dati sensibili sul dispositivo, consente la funzionalità offline e riduce i costi di inferenza.

AICore rispetta i principi di Private Compute Core, con le seguenti caratteristiche chiave:

  • Associazione di pacchetti limitata: AICore è isolato dalla maggior parte degli altri pacchetti, con eccezioni limitate per pacchetti di sistema specifici. Eventuali modifiche a questo elenco consentito possono essere apportate solo durante un aggiornamento OTA completo di Android.
  • Accesso a internet indiretto: AICore non ha accesso diretto a internet. Tutte le richieste internet, inclusi i download di modelli, vengono indirizzate tramite l'APK complementare Private Compute Services open source. Le API all'interno di Private Compute Services devono dimostrare esplicitamente la loro natura incentrata sulla privacy.

Inoltre, AICore è progettato per isolare ogni richiesta e non memorizza alcun record dei dati di input o degli output risultanti dopo l'elaborazione per proteggere la privacy degli utenti. Per saperne di più, leggi il post del blog An Introduction to Privacy and Safety for Gemini Nano.

Un diagramma dell'architettura dettagliato di AICore che mostra il flusso delle richieste: superficie API, elaborazione dell'input con indicatori di sicurezza, configurazione delle funzionalità, runtime con pesi del modello e LoRA ed elaborazione dell'output con indicatori di sicurezza. Mostra anche i download dei modelli tramite Private Compute Services.
Figura 2. L'architettura di AICore gestisce la sicurezza di input e output, l'elaborazione delle richieste e i pesi del modello per fornire un ambiente sicuro per l'AI on-device.

Vantaggi dell'accesso ai modelli di base di AI con AICore

AICore consente al sistema operativo Android di fornire e gestire i foundation model di AI. Ciò riduce significativamente il costo dell'utilizzo di questi modelli di grandi dimensioni nella tua app, principalmente per i seguenti motivi:

  • Facilità di deployment: AICore gestisce la distribuzione di Gemini Nano e gestisce gli aggiornamenti futuri. Non devi preoccuparti di scaricare o aggiornare modelli di grandi dimensioni sulla rete, né dell'impatto sul budget di memoria e sul disco della tua app.
  • Inferenza accelerata: AICore sfrutta l'hardware on-device per accelerare l'inferenza. La tua app offre le migliori prestazioni su ogni dispositivo e non devi preoccuparti delle interfacce hardware sottostanti.

Quando utilizzare l'inferenza ibrida

Sebbene Gemini Nano sia ideale per attività offline e sensibili alla privacy, presenta vincoli sul dispositivo, come limiti di token, limitazioni dell'hardware del dispositivo e confini delle funzionalità del modello. In questi scenari, puoi utilizzare l'inferenza ibrida per bilanciare i carichi di lavoro di AI tra il dispositivo locale e il cloud.

Per garantire un'esperienza utente coerente su tutti i dispositivi e gestire query complesse, puoi utilizzare l'API ibrida Firebase AI Logic. In questo modo, la tua app può:

  • Esegui il fallback in modo controllato: indirizza automaticamente le richieste ai modelli Gemini Flash o Gemini Pro nel cloud quando Gemini Nano non è disponibile o non è supportato sul dispositivo dell'utente.
  • Applica la sicurezza: proteggi l'inferenza sul cloud con Firebase App Check (e i relativi provider di attestazione supportati, come Play Integrity) e mantieni i prompt di sistema sensibili lato server.