Gemini Nano mit dem Google AI Edge SDK

Auf unterstützten Android-Geräten können Sie generative KI-Funktionen nutzen, ohne eine Netzwerkverbindung herzustellen oder Daten in die Cloud zu senden. On-Device-KI ist eine hervorragende Lösung für Anwendungsfälle, bei denen niedrige Latenz, geringe Kosten und Datenschutzvorkehrungen im Vordergrund stehen.

Für On-Device-Anwendungsfälle können Sie das Gemini Nano-Grundlagenmodell von Google verwenden. Gemini Nano ist zwar kleiner als andere Gemini-Modelle, die Inferenzen in der Cloud ausführen, lässt sich aber ebenso wie seine größeren Pendants für spezielle Aufgaben optimieren. Gemini Nano wird im AICore-Systemdienst von Android ausgeführt, der die Gerätehardware nutzt, um eine geringe Inferenzlatenz zu ermöglichen und das Modell auf dem neuesten Stand zu halten.

Der Zugriff auf die Gemini Nano API und AICore wird über das Google AI Edge SDK bereitgestellt. Google AI Edge ist eine umfassende Suite von Tools für die On-Device-ML. Weitere Informationen zu Google AI Edge

Architektur

Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um die Inferenz auf dem Gerät auszuführen. Außerdem bietet AICore mehrere integrierte Sicherheitsfunktionen, die eine gründliche Prüfung anhand unserer Sicherheitsfilter ermöglichen. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.

Nutzerdaten schützen und sichern

Mit der On-Device-generativen KI werden Prompts lokal ausgeführt, sodass keine Serveraufrufe erforderlich sind. Dieser Ansatz verbessert den Datenschutz, da vertrauliche Daten auf dem Gerät verbleiben, Offlinefunktionen ermöglicht und Inferenzkosten reduziert werden.

AICore hält die Grundsätze von Private Compute Core ein und hat die folgenden Hauptmerkmale:

Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert, mit wenigen Ausnahmen für bestimmte Systempakete. Änderungen an dieser Zulassungsliste können nur während eines vollständigen Android-Over-the-air-Updates vorgenommen werden.

Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Begleit-APK Private Compute Services weitergeleitet. APIs in privaten Rechendiensten müssen explizit ihre datenschutzfreundliche Natur nachweisen.

Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Nach der Verarbeitung werden keine Datensätze der Eingabedaten oder der resultierenden Ausgaben gespeichert, um die Privatsphäre der Nutzer zu schützen. Weitere Informationen finden Sie im Blogpost Einführung in Datenschutz und Sicherheit für Gemini Nano.

Vorteile des Zugriffs auf KI-Grundlagenmodelle mit AICore

Mit AICore kann das Android-Betriebssystem KI-Grundlagenmodelle bereitstellen und verwalten. Dadurch sinken die Kosten für die Verwendung dieser großen Modelle in Ihrer App erheblich. Das liegt vor allem an folgenden Faktoren:

Einfache Bereitstellung: AICore verwaltet die Bereitstellung von Gemini Nano und zukünftige Updates. Sie müssen sich nicht um das Herunterladen oder Aktualisieren großer Modelle über das Netzwerk kümmern und auch nicht um Auswirkungen auf das Speicherplatz- und Laufzeitspeicherbudget Ihrer App.

Beschleunigte Inferenz: AICore nutzt die On-Device-Hardware, um die Inferenz zu beschleunigen. Ihre App erzielt auf jedem Gerät die beste Leistung und Sie müssen sich keine Gedanken über die zugrunde liegenden Hardwareschnittstellen machen.

Unterstützte Funktionen

AICore unterstützt die folgenden Geräte und Modalitäten:

• Unterstützte Geräte: AICore ist derzeit auf Geräten der Google Pixel 9-Serie, der Google Pixel 8-Serie, einschließlich Google Pixel 8¹ und Google Pixel 8a², der Samsung S24-Serie, Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro und Xiaomi MIX Flip verfügbar.
• Unterstützte Modalitäten: AICore unterstützt derzeit die Textmodalität für Gemini Nano.

Wir investieren aktiv in die Unterstützung weiterer Geräte und Modalitäten.

Anwendungsfälle

Aufgrund der Ressourceneinschränkungen von Mobilgeräten im Vergleich zu Cloud-Servern werden On-Device-Modelle der generativen KI mit Schwerpunkt auf Effizienz und Größe entwickelt. Bei dieser Optimierung werden bestimmte, klar definierte Aufgaben gegenüber allgemeineren Anwendungen priorisiert. Geeignete Anwendungsfälle:

• Text umformulieren: Ändern Sie den Ton und Stil des Texts (z.B. von lässig zu formell).
• Intelligente Antwort: Sie können kontextbezogene Antworten in einem Chat-Thread generieren.
• Korrekturlesen: Rechtschreib- und Grammatikfehler erkennen und korrigieren.
• Zusammenfassung: Umfangreiche Dokumente in prägnante Zusammenfassungen (Absätze oder Aufzählungslisten) verdichten.

Weitere Informationen zur optimalen Leistung finden Sie in der Dokumentation zu Prompting-Strategien. Wenn Sie diese Anwendungsfälle selbst ausprobieren möchten, laden Sie unsere Beispiel-App herunter und beginnen Sie mit Gemini Nano zu experimentieren.

Gemini Nano wird von mehreren Google-Apps verwendet. Beispiele:

• TalkBack:Die Android-App für Barrierefreiheit TalkBack nutzt die multimodalen Eingabefunktionen von Gemini Nano, um Bildbeschreibungen für sehbehinderte Nutzer zu verbessern.
• Pixel-Rekorder:Die Pixel-Rekorder App nutzt Gemini Nano und AICore für eine On-Device-Zusammenfassungsfunktion. Das Rekorder-Team hat das neueste Gemini Nano-Modell eingeführt, um längere Aufnahmen zu unterstützen und Zusammenfassungen in höherer Qualität zu liefern.
• Gboard:Die Funktion „Intelligente Antworten“ in Gboard nutzt Gemini Nano auf dem Gerät mit AICore, um präzise intelligente Antworten zu liefern.