Das Google AI Edge SDK ermöglicht Entwicklern, die ihre Apps mit On‑Device-KI-Funktionen durch Gemini Nano verbessern möchten, experimentellen Zugriff.
Architektur über AICore
Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um die Inferenz auf dem Gerät auszuführen. Außerdem verfügt AICore über mehrere integrierte Sicherheitsfunktionen, die eine gründliche Überprüfung anhand unserer Sicherheitsfilter ermöglichen. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.
Nutzerdaten schützen und sichern
Bei der generativen KI auf dem Gerät werden Prompts lokal ausgeführt, sodass keine Serveraufrufe erforderlich sind. Dieser Ansatz verbessert den Datenschutz, da sensible Daten auf dem Gerät verbleiben. Außerdem werden Offlinefunktionen ermöglicht und die Kosten für die Inferenz gesenkt.
AICore hält sich an die Grundsätze des Private Compute Core und hat die folgenden wichtigen Merkmale:
- Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert. Es gibt nur wenige Ausnahmen für bestimmte Systempakete. Änderungen an dieser Zulassungsliste können nur während eines vollständigen Android-OTA-Updates erfolgen.
- Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Begleit-APK Private Compute Services weitergeleitet. APIs in Private Compute Services müssen explizit ihre datenschutzorientierte Natur demonstrieren.
Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Es werden keine Aufzeichnungen der Eingabedaten oder der resultierenden Ausgaben gespeichert, nachdem sie verarbeitet wurden, um die Privatsphäre der Nutzer zu schützen. Weitere Informationen finden Sie im Blogpost An Introduction to Privacy and Safety for Gemini Nano.
Vorteile des Zugriffs auf KI-Foundation Models mit AICore
Mit AICore kann das Android-Betriebssystem KI-Foundation Models bereitstellen und verwalten. Dadurch werden die Kosten für die Verwendung dieser großen Modelle in Ihrer App erheblich gesenkt, hauptsächlich aus folgenden Gründen:
- Einfache Bereitstellung: AICore verwaltet die Verteilung von Gemini Nano und zukünftige Updates. Sie müssen sich keine Sorgen machen, dass große Modelle über das Netzwerk heruntergeladen oder aktualisiert werden, und es gibt auch keine Auswirkungen auf das Speicher- und Laufzeitspeicherbudget Ihrer App.
- Beschleunigte Inferenz: AICore nutzt die Hardware auf dem Gerät, um die Inferenz zu beschleunigen. Ihre App bietet auf jedem Gerät die beste Leistung und Sie müssen sich nicht um die zugrunde liegenden Hardwareschnittstellen kümmern.
Unterstützte Funktionen
- Unterstützte Geräte: Gemini Nano mit dem Google AI Edge SDK ist auf Geräten der Pixel 9-Serie zum Testen verfügbar.
- Unterstützte Modalitäten: AICore unterstützt die Textmodalität für Gemini Nano.
Wir arbeiten daran, weitere Geräte und Modalitäten zu unterstützen.
Anwendungsfälle
Aufgrund der Ressourcenbeschränkungen von Mobilgeräten im Vergleich zu Cloud-Servern werden generative KI-Modelle auf dem Gerät mit einem Fokus auf Effizienz und Größe entwickelt. Bei dieser Optimierung werden spezifische, genau definierte Aufgaben gegenüber allgemeineren Anwendungen priorisiert. Geeignete Anwendungsfälle:
- Text umformulieren: Ändern Sie den Ton und Stil von Text (z.B. von informell zu formell).
- Intelligente Antwort: Kontextbezogene Antworten in einem Chatthread generieren.
- Korrekturlesen: Rechtschreib- und Grammatikfehler erkennen und korrigieren
- Zusammenfassen: Lange Dokumente in prägnante Zusammenfassungen (Absatz oder Aufzählungspunkte) umwandeln.
Informationen zur optimalen Leistung finden Sie in der Dokumentation zu Prompting-Strategien.
Gemini Nano wird von mehreren Google-Apps verwendet. Beispiele:
- TalkBack:Die Android-App für Barrierefreiheit TalkBack nutzt die multimodalen Eingabefunktionen von Gemini Nano, um Bildbeschreibungen für sehbehinderte Nutzer zu verbessern.
- Pixel-App „Rekorder“:Die Pixel-App „Rekorder“ nutzt Gemini Nano und AICore für eine On-Device-Zusammenfassungsfunktion. Das Rekorder-Team hat das neueste Gemini Nano-Modell eingeführt, um längere Aufnahmen zu unterstützen und Zusammenfassungen in höherer Qualität zu liefern.
- Gboard:Bei intelligenten Antworten in Gboard wird Gemini Nano mit AICore auf dem Gerät verwendet, um präzise intelligente Antworten zu liefern.