Gemini Nano

Mit Gemini Nano können Sie auf generativer KI basierende Funktionen nutzen, ohne dass eine Netzwerkverbindung erforderlich ist oder Daten in die Cloud gesendet werden. On-Device-KI ist eine hervorragende Lösung für Anwendungsfälle, bei denen niedrige Kosten und Datenschutzmaßnahmen im Vordergrund stehen.

Für On-Device-Anwendungsfälle können Sie das Fundierungsmodell Gemini Nano von Google nutzen. Gemini Nano wird im AICore-Systemdienst von Android ausgeführt. Dabei wird die Gerätehardware genutzt, um eine niedrige Inferenzlatenz zu ermöglichen und das Modell auf dem neuesten Stand zu halten.

ML Kit GenAI APIs

Die GenAI-APIs von ML Kit nutzen die Leistungsfähigkeit von Gemini Nano, um Ihre Apps bei der Ausführung von Aufgaben zu unterstützen. Diese APIs bieten sofort einsatzbereite Qualität für beliebte Anwendungsfälle über eine übergeordnete Schnittstelle. Die ML Kit GenAI-APIs basieren auf AICore, einem Android-Systemdienst, der die Ausführung von Foundation Models für generative KI auf dem Gerät ermöglicht. So können Funktionen wie verbesserte App-Funktionen und ein besserer Datenschutz für Nutzer durch die lokale Verarbeitung von Daten bereitgestellt werden. Weitere Informationen

Wichtige Features

Die GenAI-APIs von ML Kit unterstützen die folgenden Funktionen:

  • Prompt: Textinhalte basierend auf einem benutzerdefinierten reinen Text- oder multimodalen Prompt generieren.
  • Zusammenfassung: Artikel oder Unterhaltungen als Aufzählungsliste zusammenfassen.
  • Korrekturlesen: Kurze Chatnachrichten Korrektur lesen.
  • Umformulieren: Kurze Chatnachrichten in verschiedenen Tonfällen oder Stilen umformulieren lassen.
  • Bildbeschreibung: Generieren Sie eine kurze Beschreibung eines bestimmten Bildes.
  • Spracherkennung: Gesprochene Audioinhalte in Text transkribieren.

Architektur über AICore

Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um Inferenz auf dem Gerät auszuführen. Außerdem verfügt AICore über mehrere integrierte Sicherheitsfunktionen, die eine gründliche Überprüfung anhand unserer Sicherheitsfilter ermöglichen. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.

Ein Diagramm, das zeigt, wie eine Android-App das Google AI Edge SDK verwendet, um auf AICore zuzugreifen. Dort werden Gemini Nano, LoRA und Sicherheitsfunktionen verwaltet und auf Hardwarebeschleunigern ausgeführt.
Abbildung 1. AICore dient als Schnittstelle zwischen Ihrer App und dem Gemini Nano-Modell. Es verwaltet Modellupdates und Sicherheit und nutzt gleichzeitig die On-Device-Hardware.

Nutzerdaten schützen und sichern

Bei der generativen KI auf dem Gerät werden Prompts lokal ausgeführt, sodass keine Serveraufrufe erforderlich sind. Dadurch wird Netzwerklatenz vermieden, die Geschwindigkeit der Inferenz hängt jedoch von der Gerätehardware ab. Dieser Ansatz verbessert den Datenschutz, da sensible Daten auf dem Gerät verbleiben, ermöglicht Offline-Funktionen und senkt die Kosten für die Inferenz.

AICore entspricht den Grundsätzen von Private Compute Core und hat die folgenden wichtigen Merkmale:

  • Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert. Es gibt nur wenige Ausnahmen für bestimmte Systempakete. Änderungen an dieser Zulassungsliste können nur während eines vollständigen Android-Over-the-air-Updates erfolgen.
  • Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Begleit-APK Private Compute Services weitergeleitet. APIs in Private Compute Services müssen explizit auf Datenschutz ausgerichtet sein.

Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Zum Schutz der Privatsphäre der Nutzer werden nach der Verarbeitung keine Aufzeichnungen der Eingabedaten oder der resultierenden Ausgaben gespeichert. Weitere Informationen finden Sie im Blogpost An Introduction to Privacy and Safety for Gemini Nano.

Ein detailliertes Architekturdiagramm von AICore, das den Anfragefluss zeigt: API-Oberfläche, Eingabeverarbeitung mit Sicherheitssignalen, Funktionskonfiguration, Laufzeit mit Modellgewichten und LoRAs sowie Ausgabeverarbeitung mit Sicherheitssignalen. Außerdem werden Modelldownloads über Private Compute Services angezeigt.
Abbildung 2: Die AICore-Architektur verwaltet die Sicherheit von Ein- und Ausgaben, die Verarbeitung von Anfragen und die Modellgewichte, um eine sichere Umgebung für On-Device-KI zu bieten.

Vorteile des Zugriffs auf KI-Foundation Models mit AICore

Mit AICore kann das Android-Betriebssystem KI-Foundation Models bereitstellen und verwalten. Dadurch werden die Kosten für die Verwendung dieser großen Modelle in Ihrer App erheblich gesenkt, hauptsächlich aus folgenden Gründen:

  • Einfache Bereitstellung: AICore verwaltet die Verteilung von Gemini Nano und zukünftige Updates. Sie müssen sich keine Gedanken über das Herunterladen oder Aktualisieren großer Modelle über das Netzwerk machen und auch nicht über die Auswirkungen auf das Speicher- und Laufzeitspeicherbudget Ihrer App.
  • Beschleunigte Inferenz: AICore nutzt On-Device-Hardware, um die Inferenz zu beschleunigen. Ihre App bietet auf jedem Gerät die beste Leistung und Sie müssen sich nicht um die zugrunde liegenden Hardwareschnittstellen kümmern.

Wann sollte die hybride Inferenz verwendet werden?

Gemini Nano ist zwar ideal für Offline- und datenschutzrelevante Aufgaben, es gibt jedoch Einschränkungen auf dem Gerät, z. B. Tokenlimits, Hardwarebeschränkungen des Geräts und Grenzen der Modellfunktionen. In diesen Szenarien können Sie Hybrid Inference verwenden, um KI-Arbeitslasten zwischen dem lokalen Gerät und der Cloud auszugleichen.

Mit der Firebase AI Logic Hybrid API können Sie für eine einheitliche Nutzererfahrung auf allen Geräten sorgen und komplexe Anfragen verarbeiten. Dadurch kann Ihre App Folgendes tun:

  • Graceful Fallback: Anfragen werden automatisch an Gemini Flash- oder Gemini Pro-Modelle in der Cloud weitergeleitet, wenn Gemini Nano auf dem Gerät des Nutzers nicht verfügbar oder nicht unterstützt wird.
  • Sicherheit erzwingen: Schützen Sie die Cloud-Inferenz mit Firebase App Check (und den unterstützten Attestierungsanbietern wie Play Integrity) und bewahren Sie vertrauliche Systemprompts serverseitig auf.