Gemini Nano

Mit Gemini Nano können Sie umfangreiche generative KI-Funktionen bereitstellen, ohne eine Netzwerkverbindung zu benötigen oder Daten an die Cloud zu senden. On-Device-KI ist eine gute Lösung für Anwendungsfälle, bei denen niedrige Kosten und Datenschutzmaßnahmen im Vordergrund stehen.

Für On-Device-Anwendungsfälle können Sie das Foundation Model Gemini Nano von Google nutzen. Gemini Nano wird im AICore-Systemdienst von Android ausgeführt, der die Gerätehardware nutzt, um eine niedrige Inferenzlatenz zu ermöglichen und das Modell auf dem neuesten Stand zu halten.

GenAI APIs von ML Kit

Die GenAI APIs von ML Kit nutzen die Leistungsfähigkeit von Gemini Nano, um Ihre Apps bei der Ausführung von Aufgaben zu unterstützen. Diese APIs bieten über eine Schnittstelle auf hoher Ebene sofort einsatzbereite Qualität für gängige Anwendungsfälle. Die GenAI APIs von ML Kit basieren auf AICore, einem Android-Systemdienst, der die On-Device-Ausführung von GenAI Foundation Models ermöglicht, um Funktionen wie verbesserte App-Funktionalität und verbesserter Datenschutz durch die lokale Verarbeitung von Daten zu ermöglichen. Weitere Informationen.

Wichtige Funktionen

Die GenAI APIs von ML Kit unterstützen die folgenden Funktionen:

  • Prompt: Generieren Sie Textinhalte basierend auf einem benutzerdefinierten Text- oder multimodalen Prompt.
  • Zusammenfassung: Fassen Sie Artikel oder Unterhaltungen als eine Aufzählungsliste zusammen.
  • Korrekturlesen: Lesen Sie kurze Chatnachrichten Korrektur.
  • **Umformulieren**: Formulieren Sie kurze Chatnachrichten in verschiedenen Tonfällen oder Stilen um.
  • **Bildbeschreibung**: Generieren Sie eine kurze Beschreibung eines bestimmten Bildes.
  • **Spracherkennung**: Transkribieren Sie gesprochene Audioinhalte in Text.

Architektur über AICore

Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um On-Device-Inferenz auszuführen. Außerdem verfügt AICore über mehrere integrierte Sicherheitsfunktionen, die eine gründliche Überprüfung anhand unserer Sicherheitsfilter gewährleisten. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.

Ein Diagramm, das zeigt, wie eine Android-App das Google AI Edge SDK verwendet, um auf AICore zuzugreifen. Dort werden Gemini Nano, LoRA und Sicherheitsfunktionen verwaltet und auf Hardwarebeschleunigern ausgeführt.
Abbildung 1. AICore dient als Schnittstelle zwischen Ihrer App und dem Gemini Nano-Modell und verwaltet Modellupdates und Sicherheit, während die On-Device-Hardware genutzt wird.

Nutzerdaten schützen und sichern

Bei der generativen KI auf dem Gerät werden Prompts lokal ausgeführt, sodass keine Serveraufrufe erforderlich sind. Dadurch wird die Netzwerklatenz beseitigt, die Inferenzgeschwindigkeit hängt jedoch von der Gerätehardware ab. Dieser Ansatz verbessert den Datenschutz, da sensible Daten auf dem Gerät verbleiben, ermöglicht Offline-Funktionen und senkt die Inferenzkosten.

AICore entspricht den Prinzipien von Private Compute Core und hat die folgenden Hauptmerkmale:

  • Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert, mit begrenzten Ausnahmen für bestimmte Systempakete. Änderungen an dieser Liste zulässiger Pakete können nur während eines vollständigen Android-OTA-Updates erfolgen.
  • Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Begleit-APK für Private Compute Services weitergeleitet. APIs in Private Compute Services müssen explizit ihre datenschutzorientierte Natur nachweisen.

Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Es werden keine Aufzeichnungen der Eingabedaten oder der resultierenden Ausgaben gespeichert, nachdem sie verarbeitet wurden, um den Datenschutz der Nutzer zu gewährleisten. Weitere Informationen finden Sie im Blogpost An Introduction to Privacy and Safety for Gemini Nano.

Ein detailliertes Architekturdiagramm von AICore, das den Anfragefluss zeigt: API-Oberfläche, Eingabeverarbeitung mit Sicherheitssignalen, Funktionskonfiguration, Laufzeit mit Modellgewichten und LoRAs sowie Ausgabeverarbeitung mit Sicherheitssignalen. Außerdem werden Modelldownloads über Private Compute Services angezeigt.
Abbildung 2 Die AICore-Architektur verwaltet die Sicherheit von Eingaben und Ausgaben, die Verarbeitung von Anfragen und die Modellgewichte, um eine sichere Umgebung für On-Device-KI zu bieten.

Vorteile des Zugriffs auf KI-Foundation Models mit AICore

Mit AICore kann das Android-Betriebssystem KI-Foundation Models bereitstellen und verwalten. Dadurch werden die Kosten für die Verwendung dieser großen Modelle in Ihrer App erheblich gesenkt, hauptsächlich aus folgenden Gründen:

  • Einfache Bereitstellung: AICore verwaltet die Verteilung von Gemini Nano und kümmert sich um zukünftige Updates. Sie müssen sich keine Gedanken über das Herunterladen oder Aktualisieren großer Modelle über das Netzwerk machen und auch nicht über die Auswirkungen auf das Festplatten- und Laufzeitspeicherbudget Ihrer App.
  • Beschleunigte Inferenz: AICore nutzt die On-Device-Hardware, um die Inferenz zu beschleunigen. Ihre App bietet auf jedem Gerät die beste Leistung und Sie müssen sich nicht um die zugrunde liegenden Hardwareschnittstellen kümmern.