Das Google AI Edge SDK bietet Entwicklern experimentellen Zugriff, um die Verbesserung ihrer Apps mit On-Device-KI-Funktionen über Gemini Nano zu testen.
Architektur mit AICore
Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um die Inferenz auf dem Gerät auszuführen. Außerdem bietet AICore mehrere integrierte Sicherheitsfunktionen, die eine gründliche Prüfung anhand unserer Sicherheitsfilter ermöglichen. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.
Nutzerdaten schützen und sichern
Die On-Device-generative KI führt Prompts lokal aus, sodass keine Serveraufrufe erforderlich sind. Dieser Ansatz verbessert den Datenschutz, da vertrauliche Daten auf dem Gerät verbleiben, Offlinefunktionen aktiviert werden und die Inferenzkosten gesenkt werden.
AICore hält die Grundsätze von Private Compute Core ein und hat folgende Hauptmerkmale:
- Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert, mit wenigen Ausnahmen für bestimmte Systempakete. Änderungen an dieser Zulassungsliste können nur während eines vollständigen Android-Over-the-air-Updates vorgenommen werden.
- Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Begleit-APK Private Compute Services weitergeleitet. APIs in privaten Rechendiensten müssen explizit ihre datenschutzfreundliche Natur nachweisen.
Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Nach der Verarbeitung werden keine Datensätze der Eingabedaten oder der resultierenden Ausgaben gespeichert, um die Privatsphäre der Nutzer zu schützen. Weitere Informationen finden Sie im Blogpost Einführung in Datenschutz und Sicherheit für Gemini Nano.
Vorteile des Zugriffs auf KI-Grundlagenmodelle mit AICore
Mit AICore kann das Android-Betriebssystem KI-Grundlagenmodelle bereitstellen und verwalten. Dadurch sinken die Kosten für die Verwendung dieser großen Modelle in Ihrer App erheblich. Das liegt vor allem an folgenden Faktoren:
- Einfache Bereitstellung: AICore verwaltet die Bereitstellung von Gemini Nano und zukünftige Updates. Sie müssen sich nicht um das Herunterladen oder Aktualisieren großer Modelle über das Netzwerk kümmern und auch keine Auswirkungen auf das Speicherplatz- und Laufzeitspeicherbudget Ihrer App befürchten.
- Beschleunigte Inferenz: AICore nutzt die On-Device-Hardware, um die Inferenz zu beschleunigen. Ihre App erzielt auf jedem Gerät die beste Leistung und Sie müssen sich keine Gedanken über die zugrunde liegenden Hardwareschnittstellen machen.
Unterstützte Funktionen
- Unterstützte Geräte: Gemini Nano mit dem Google AI Edge SDK kann auf Geräten der Pixel 9-Serie zum Testen verwendet werden.
- Unterstützte Modalitäten: AICore unterstützt die Textmodalität für Gemini Nano.
Wir investieren aktiv in die Unterstützung weiterer Geräte und Modalitäten.
Anwendungsfälle
Aufgrund der Ressourceneinschränkungen von Mobilgeräten im Vergleich zu Cloud-Servern werden On-Device-Modelle der generativen KI mit Schwerpunkt auf Effizienz und Größe entwickelt. Bei dieser Optimierung werden bestimmte, klar definierte Aufgaben gegenüber allgemeineren Anwendungen priorisiert. Geeignete Anwendungsfälle:
- Text umformulieren: Sie können den Ton und Stil des Textes ändern (z.B. von informell zu formell).
- Intelligente Antwort: Sie können kontextbezogene Antworten in einem Chat-Thread generieren.
- Korrekturlesen: Rechtschreib- und Grammatikfehler erkennen und korrigieren.
- Zusammenfassung: Umfangreiche Dokumente in prägnante Zusammenfassungen (Absätze oder Aufzählungspunkten) verdichten.
Weitere Informationen zur optimalen Leistung finden Sie in der Dokumentation zu Prompting-Strategien. Wenn Sie diese Anwendungsfälle selbst ausprobieren möchten, laden Sie unsere Beispiel-App herunter und beginnen Sie mit Gemini Nano zu experimentieren.
Gemini Nano wird von mehreren Google-Apps verwendet. Beispiele:
- TalkBack:Die Android-App für Barrierefreiheit TalkBack nutzt die multimodalen Eingabefunktionen von Gemini Nano, um Bildbeschreibungen für sehbehinderte Nutzer zu verbessern.
- Pixel-Rekorder:Die Pixel-Rekorder App nutzt Gemini Nano und AICore für eine On-Device-Zusammenfassungsfunktion. Das Rekorder-Team hat das neueste Gemini Nano-Modell eingeführt, um längere Aufnahmen zu unterstützen und Zusammenfassungen in höherer Qualität zu liefern.
- Gboard:Die Funktion „Intelligente Antworten“ in Gboard nutzt Gemini Nano auf dem Gerät mit AICore, um präzise intelligente Antworten zu liefern.