Das Google AI Edge SDK ermöglicht Entwicklern, die ihre Apps mit On‑Device-KI-Funktionen durch Gemini Nano verbessern möchten, experimentellen Zugriff.
Architektur über AICore
Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um die Inferenz auf dem Gerät auszuführen. Außerdem verfügt AICore über mehrere integrierte Sicherheitsfunktionen, die eine gründliche Überprüfung anhand unserer Sicherheitsfilter ermöglichen. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.
Nutzerdaten schützen und sichern
Bei der generativen KI auf dem Gerät werden Prompts lokal ausgeführt, sodass keine Serveraufrufe erforderlich sind. Dieser Ansatz verbessert den Datenschutz, da sensible Daten auf dem Gerät verbleiben. Außerdem werden Offlinefunktionen ermöglicht und die Kosten für die Inferenz gesenkt.
AICore hält sich an die Grundsätze des Private Compute Core und hat die folgenden wichtigen Eigenschaften:
- Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert. Es gibt nur wenige Ausnahmen für bestimmte Systempakete. Änderungen an dieser Zulassungsliste können nur während eines vollständigen Android-OTA-Updates erfolgen.
- Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Begleit-APK Private Compute Services weitergeleitet. APIs in Private Compute Services müssen explizit ihren datenschutzorientierten Charakter demonstrieren.
Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Es werden keine Aufzeichnungen der Eingabedaten oder der resultierenden Ausgaben gespeichert, nachdem sie verarbeitet wurden, um die Privatsphäre der Nutzer zu schützen. Weitere Informationen finden Sie im Blogpost An Introduction to Privacy and Safety for Gemini Nano.
Vorteile des Zugriffs auf KI-Foundation Models mit AICore
AICore ermöglicht es dem Android-Betriebssystem, KI-Foundation Models bereitzustellen und zu verwalten. Dadurch werden die Kosten für die Verwendung dieser großen Modelle in Ihrer App erheblich gesenkt, hauptsächlich aus folgenden Gründen:
- Einfache Bereitstellung: AICore verwaltet die Verteilung von Gemini Nano und zukünftige Updates. Sie müssen sich keine Sorgen machen, dass große Modelle über das Netzwerk heruntergeladen oder aktualisiert werden, und es gibt auch keine Auswirkungen auf das Speicher- und Laufzeitspeicherbudget Ihrer App.
- Beschleunigte Inferenz: AICore nutzt On-Device-Hardware, um die Inferenz zu beschleunigen. Ihre App erzielt auf jedem Gerät die bestmögliche Leistung und Sie müssen sich nicht um die zugrunde liegenden Hardwareschnittstellen kümmern.
Unterstützte Funktionen
- Unterstützte Geräte: Gemini Nano mit dem Google AI Edge SDK ist für Tests auf Geräten der Pixel 9-Serie verfügbar.
- Unterstützte Modalitäten: AICore unterstützt die Textmodalität für Gemini Nano.
Wir arbeiten daran, weitere Geräte und Modalitäten zu unterstützen.
Anwendungsfälle
Aufgrund der Ressourcenbeschränkungen von Mobilgeräten im Vergleich zu Cloud-Servern sind generative KI-Modelle auf dem Gerät auf Effizienz und Größe ausgelegt. Bei dieser Optimierung werden bestimmte, genau definierte Aufgaben gegenüber allgemeineren Anwendungen priorisiert. Geeignete Anwendungsfälle:
- Text umformulieren: Ändern Sie den Ton und Stil von Text (z.B. von informell zu formell).
- Intelligente Antwort: Kontextbezogene Antworten in einem Chatthread generieren.
- Korrekturlesen: Rechtschreib- und Grammatikfehler erkennen und korrigieren.
- Zusammenfassungen: Fassen Sie umfangreiche Dokumente in prägnanten Zusammenfassungen (Absatz oder Stichpunkte) zusammen.
Informationen zur optimalen Leistung finden Sie in der Dokumentation zu Prompting-Strategien. Wenn Sie diese Anwendungsfälle selbst ausprobieren möchten, laden Sie unsere Beispiel-App herunter und beginnen Sie mit Gemini Nano zu experimentieren.
Gemini Nano wird von mehreren Google-Apps verwendet. Beispiele:
- TalkBack:Die Android-App für Barrierefreiheit TalkBack nutzt die multimodalen Eingabefunktionen von Gemini Nano, um Bildbeschreibungen für sehbehinderte Nutzer zu verbessern.
- Pixel-App „Rekorder“:Die Pixel-App „Rekorder“ nutzt Gemini Nano und AICore für eine On-Device-Zusammenfassungsfunktion. Das Rekorder-Team hat das neueste Gemini Nano-Modell eingeführt, um längere Aufnahmen zu unterstützen und Zusammenfassungen in höherer Qualität zu erstellen.
- Gboard:Bei der Funktion „Intelligente Antworten“ in Gboard wird das On-Device-Modell Gemini Nano mit AICore verwendet, um präzise intelligente Antworten zu liefern.