Gemini Nano

Mit Gemini Nano kannst du auf generativer KI basierende Funktionen nutzen, ohne dass eine Netzwerkverbindung erforderlich ist oder Daten in die Cloud gesendet werden. On‑Device-KI ist eine gute Lösung für Anwendungsfälle, bei denen niedrige Kosten und Datenschutzmaßnahmen im Vordergrund stehen.

Für On‑Device-Anwendungsfälle kannst du das Foundation Model Gemini Nano von Google nutzen. Gemini Nano wird im AICore-Systemdienst von Android ausgeführt, der die Gerätehardware nutzt, um eine geringe Latenz bei der Inferenz zu ermöglichen und das Modell auf dem neuesten Stand zu halten.

GenAI APIs von ML Kit

Die GenAI APIs von ML Kit nutzen die Leistungsfähigkeit von Gemini Nano, um deine Apps bei der Ausführung von Aufgaben zu unterstützen. Diese APIs bieten über eine Schnittstelle auf hoher Ebene sofort einsatzbereite Qualität für gängige Anwendungsfälle. Die GenAI APIs von ML Kit basieren auf AICore, einem Android-Systemdienst, der die On‑Device-Ausführung von GenAI-Foundation Models ermöglicht, um Funktionen wie verbesserte App-Funktionen und einen besseren Datenschutz für Nutzer zu ermöglichen, indem Daten lokal verarbeitet werden. Weitere Informationen.

Wichtige Features

Die GenAI APIs von ML Kit unterstützen die folgenden Funktionen:

  • Prompt: Textinhalte basierend auf einem benutzerdefinierten reinen Text-Prompt oder einem multimodalen Prompt generieren.
  • Zusammenfassung: Artikel oder Unterhaltungen als Aufzählungsliste zusammenfassen.
  • Korrekturlesen: Kurze Chatnachrichten korrekturlesen.
  • Umformulieren: Kurze Chatnachrichten in verschiedenen Tonfällen oder Stilen umformulieren.
  • Bildbeschreibung: Eine kurze Beschreibung eines bestimmten Bilds generieren.
  • Spracherkennung: Gesprochene Audioinhalte in Text transkribieren.

Architektur über AICore

Als Modul auf Systemebene greifst du über eine Reihe von APIs auf AICore zu, um die Inferenz auf dem Gerät auszuführen. Außerdem verfügt AICore über mehrere integrierte Sicherheitsfunktionen, die eine gründliche Überprüfung anhand unserer Sicherheitsfilter gewährleisten. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.

Ein Diagramm, das zeigt, wie eine Android-App das Google AI Edge SDK verwendet, um auf AICore zuzugreifen. Dort werden Gemini Nano, LoRA und Sicherheitsfunktionen verwaltet und auf Hardwarebeschleunigern ausgeführt.
Abbildung 1. AICore dient als Schnittstelle zwischen deiner App und dem Gemini Nano-Modell. Es verwaltet Modellupdates und die Sicherheit und nutzt gleichzeitig die On‑Device-Hardware.

Nutzerdaten privat und sicher aufbewahren

Bei der generativen On‑Device-KI werden Prompts lokal ausgeführt, sodass keine Serveraufrufe erforderlich sind. Dadurch wird die Netzwerklatenz reduziert, die Inferenzgeschwindigkeit hängt jedoch von der Gerätehardware ab. Dieser Ansatz verbessert den Datenschutz, da sensible Daten auf dem Gerät verbleiben. Außerdem werden Offline-Funktionen ermöglicht und die Inferenzkosten gesenkt.

AICore entspricht den Prinzipien von Private Compute Core und hat die folgenden Hauptmerkmale:

  • Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert. Es gibt nur wenige Ausnahmen für bestimmte Systempakete. Änderungen an dieser Liste sind nur während eines vollständigen Android-OTA-Updates möglich.
  • Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open‑Source-Begleit-APKPrivate Compute Services weitergeleitet. APIs in Private Compute Services müssen explizit ihre datenschutzorientierte Natur nachweisen.

Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Es werden keine Aufzeichnungen der Eingabedaten oder der resultierenden Ausgaben gespeichert, nachdem sie verarbeitet wurden, um den Datenschutz der Nutzer zu gewährleisten. Weitere Informationen findest du im Blogpost An Introduction to Privacy and Safety for Gemini Nano.

Ein detailliertes Architekturdiagramm von AICore, das den Anfragefluss zeigt: API-Oberfläche, Eingabeverarbeitung mit Sicherheitssignalen, Funktionskonfiguration, Laufzeit mit Modellgewichten und LoRAs sowie Ausgabeverarbeitung mit Sicherheitssignalen. Außerdem werden Modelldownloads über Private Compute Services angezeigt.
Abbildung 2 Die AICore-Architektur verwaltet die Sicherheit von Eingaben und Ausgaben, die Verarbeitung von Anfragen und die Modellgewichte, um eine sichere Umgebung für On‑Device-KI zu bieten.

Vorteile des Zugriffs auf KI-Foundation Models mit AICore

AICore ermöglicht es dem Android-Betriebssystem, KI-Foundation Models bereitzustellen und zu verwalten. Dadurch werden die Kosten für die Verwendung dieser großen Modelle in deiner App erheblich gesenkt, hauptsächlich aus folgenden Gründen:

  • Einfache Bereitstellung: AICore verwaltet die Verteilung von Gemini Nano und kümmert sich um zukünftige Updates. Du musst dir keine Sorgen um das Herunterladen oder Aktualisieren großer Modelle über das Netzwerk machen und auch nicht um die Auswirkungen auf das Festplatten- und Laufzeitspeicherbudget deiner App.
  • Beschleunigte Inferenz: AICore nutzt die On‑Device-Hardware, um die Inferenz zu beschleunigen. Deine App bietet auf jedem Gerät die beste Leistung und du musst dich nicht um die zugrunde liegenden Hardwareschnittstellen kümmern.