Gemini Nano con l'SDK Google AI Edge

Sui dispositivi Android supportati, puoi offrire esperienze IA generativa complete senza bisogno di una connessione di rete o di inviare dati al cloud. L'AI on-device è un'ottima soluzione per i casi d'uso in cui la latenza ridotta, il costo contenuto e le misure di salvaguardia della privacy sono le tue principali preoccupazioni.

Per i casi d'uso on-device, puoi sfruttare il modello di base Gemini Nano di Google. Anche se è più piccolo di altri modelli Gemini che eseguono l'inferenza nel cloud, puoi ottimizzare Gemini Nano per eseguire attività specializzate, così come le sue controparti più grandi. Gemini Nano viene eseguito nel servizio di sistema AICore di Android, che sfrutta l'hardware del dispositivo per consentire una bassa latenza di inferenza e mantenere aggiornato il modello.

L'accesso all'API Gemini Nano e ad AICore è fornito dall'SDK Google AI Edge. Google AI Edge è una suite completa di strumenti per l'ML on-device. Scopri di più su Google AI Edge.

Architettura

In qualità di modulo a livello di sistema, accedi ad AICore tramite una serie di API per eseguire l'inferenza sul dispositivo. Inoltre, AICore dispone di diverse funzionalità di sicurezza integrate, che garantiscono una valutazione approfondita in base ai nostri filtri di sicurezza. Il seguente diagramma illustra in che modo un'app accede ad AICore per eseguire Gemini Nano sul dispositivo.

Mantieni i dati utente privati e al sicuro

L'AI generativa on-device esegue i prompt localmente, eliminando le chiamate al server. Questo approccio migliora la privacy mantenendo i dati sensibili sul dispositivo, abilita la funzionalità offline e riduce i costi di inferenza.

AICore rispetta i principi di Private Compute Core, con le seguenti caratteristiche chiave:

Associazione di pacchetti con limitazioni: AICore è isolato dalla maggior parte degli altri pacchetti, con alcune eccezioni per pacchetti di sistema specifici. Eventuali modifiche a questo elenco consentito possono essere apportate solo durante un aggiornamento OTA completo di Android.

Accesso a internet indiretto: AICore non ha accesso diretto a internet. Tutte le richieste di internet, inclusi i download dei modelli, vengono inoltrate tramite l'APK companion Private Compute Services open source. Le API all'interno di Private Compute Services devono dimostrare esplicitamente la loro natura incentrata sulla privacy.

Inoltre, AICore è progettato per isolare ogni richiesta e non memorizza alcun record dei dati di input o degli output risultanti dopo l'elaborazione per proteggere la privacy degli utenti. Per saperne di più, leggi il post del blog Introduzione alla privacy e alla sicurezza per Gemini Nano.

Vantaggi dell'accesso ai modelli di base dell'IA con AICore

AICore consente al sistema operativo Android di fornire e gestire modelli di base dell'IA. Ciò riduce notevolmente il costo dell'utilizzo di questi modelli di grandi dimensioni nella tua app, principalmente per i seguenti motivi:

Facilità di implementazione: AICore gestisce la distribuzione di Gemini Nano e gli aggiornamenti futuri. Non devi preoccuparti di scaricare o aggiornare modelli di grandi dimensioni sulla rete né di influire sul budget di memoria di runtime e del disco dell'app.

Inferenza accelerata: AICore sfrutta l'hardware on-device per accelerare l'inferenza. La tua app ottiene le migliori prestazioni su ogni dispositivo e non devi preoccuparti delle interfacce hardware sottostanti.

Funzionalità supportate

AICore supporta i seguenti dispositivi e modalità:

• Dispositivi supportati: AICore è attualmente disponibile sui dispositivi della serie Pixel 9, sui dispositivi della serie Google Pixel 8, inclusi Pixel 8¹ e Pixel 8a², sui dispositivi della serie Samsung S24, su Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro e Xiaomi MIX Flip.
• Modalità supportate: al momento AICore supporta la modalità di testo per Gemini Nano.

Il supporto di dispositivi e modalità aggiuntivi sono aree di investimento attive.

Casi d'uso

A causa delle limitazioni delle risorse dei dispositivi mobili rispetto ai server cloud, i modelli di IA generativa on-device sono progettati con un'attenzione particolare all'efficienza e alle dimensioni. Questa ottimizzazione dà la priorità a attività specifiche e ben definite rispetto a applicazioni più generalizzate. I casi d'uso adatti includono:

• Riformulazione del testo: modifica il tono e lo stile del testo (ad es. da informale a formale).
• Risposta rapida: genera risposte contestualmente pertinenti all'interno di un thread di chat.
• Correzione bozza: identifica e correggi gli errori ortografici e grammaticali.
• Riassumi: condensa lunghi documenti in riepiloghi concisi (paragrafi o elenchi puntati).

Per un rendimento ottimale, consulta la documentazione relativa alle strategie di prompt. Per esplorare questi casi d'uso direttamente, scarica la nostra app di esempio e inizia a sperimentare con Gemini Nano.

Gemini Nano viene utilizzato da diverse app Google. Ecco alcuni esempi:

• TalkBack: l'app di accessibilità di Android TalkBack sfrutta le funzionalità di input multimodale di Gemini Nano per migliorare le descrizioni delle immagini per gli utenti con disturbi visivi.
• Registratore vocale di Pixel: l'app Registratore vocale di Pixel utilizza Gemini Nano e AICore per supportare una funzionalità di riassunto sul dispositivo. Il team di Registratore ha adottato il modello Gemini Nano più recente per supportare registrazioni più lunghe e fornire riassunti di qualità superiore.
• Gboard: la funzionalità Risposta rapida di Gboard sfrutta Gemini Nano on-device con AICore per fornire risposte rapide accurate.