Intelligente Android-Apps entwickeln: Einführung in Jetpacker

Wenn Sie generative KI-Funktionen in Ihre App einbauen, müssen Sie in der Regel verschiedene Modelle, APIs und Architekturoptionen berücksichtigen: 

• Ausführungsort:Wo wird Ihr Modell ausgeführt? Auf dem Gerät, in der Cloud oder beides?
• Komplexität:Wie komplex ist Ihre Einrichtung? Führen Sie einen einzelnen Inferenzaufruf aus oder benötigen Sie einen agentischeren Ablauf?
• In-App oder Android-System:Sollte Ihre Funktion in Ihre Android-App eingebaut werden oder passt sie besser als Android-Systemintegration?

In dieser Blogpost-Reihe werden wir diese Entscheidungen gemeinsam mit Ihnen durchgehen. Wir begleiten Sie auf einer Reise, die mit einer einfachen mobilen App beginnt und sie in eine personalisierte, intelligente und agentische Lösung verwandelt.

Jetpacker: eine Demo-Reise-App

Jetpacker ist eine technische Demo-App , die unser Team für die Google I/O dieses Jahres von Grund auf entwickelt hat (mit Antigravity). Im Grunde hilft Jetpacker Nutzern, ihr nächstes großes Abenteuer zu planen, zu erkunden und zu genießen. Die App bietet eine Übersicht über Ihre Reisen, den Reiseplan für jede Reise und Details zu jedem Ereignis auf dieser Reise. Dabei werden natürlich alle Best Practices der Android-Entwicklung berücksichtigt, einschließlich eines ausdrucksstarken Material UI-Designs.

Und das Beste? Die App ist vollständig Open Source.

Heute veröffentlichen wir eine Reihe von technischen Blogposts , in denen wir uns ausführlich mit den einzelnen Funktionen befassen. Wir bieten detaillierte Implementierungsschritte, Code-Snippets und architektonische Einblicke, damit Sie Ihre eigenen intelligenten Android-Anwendungen entwickeln können.

On-Device-Technologie

Die Verwendung eines On-Device-Modells verursacht keine zusätzlichen Kosten für die Cloud-Inferenz, Sie müssen sich keine Gedanken über die Internetverbindung machen und Nutzer können sich darauf verlassen, dass private Informationen lokal auf dem Gerät verarbeitet werden, ohne dass ihre Daten an die Cloud gesendet werden.

In Jetpacker haben wir uns für die On-Device-Inferenz für drei unserer Funktionen entschieden:

• Die Funktion Reiseübersicht wandelt einen unübersichtlichen, mehrtägigen Reiseplan in eine prägnante, umsetzbare Zusammenfassung um. Dabei wird Gemini Nano über die ML Kit GenAI APIs verwendet, um Daten lokal auf dem Gerät zu verarbeiten. Wir betrachten diese Funktion als „Nice-to-have“, bei der wir keine zusätzlichen Cloud-Kosten verursachen möchten. Daher ist die On-Device-Inferenz die richtige Wahl.
• Mit dem Ausgaben-Tracker werden automatisch strukturierte Daten aus Bildern von Belegen extrahiert, damit Nutzer ihre Reiseausgaben im Blick behalten können. Dabei werden die multimodalen Funktionen von Gemini Nano 4 über die ML Kit GenAI APIs genutzt. Wir haben uns für eine On-Device-Lösung entschieden, damit alle datenschutzrelevanten Informationen auf den Belegbildern das Gerät des Nutzers nicht verlassen.
• Das Audio-Tagebuch zeichnet Sprachnotizen auf, transkribiert sie und kategorisiert sie in relevante Reiseaktivitäten. Es basiert auf den ML Kit Speech Recognition und GenAI Prompt APIs. Wir haben uns aus Datenschutz- und Konnektivitätsgründen für eine On-Device-Lösung entschieden.

Cloud- und Hybrid-Inferenz

Manchmal erfordert Ihr Anwendungsfall KI-Modelle mit mehr Weltwissen oder einem viel größeren Kontextfenster und mit mehr Möglichkeiten zur Bewältigung komplexer Aufgaben. In diesem Fall können wir von der Ausführung eines On-Device-Modells zur Verwendung eines Cloud-Modells wechseln.

Wenn Sie das Beste aus beiden Welten nutzen möchten, können Sie die Hybrid-Inferenz verwenden, um zur Laufzeit dynamisch ein Cloud- oder On-Device-Modell auszuwählen. So können wir die Kosten senken , indem wir die Inferenz auf das Gerät verlagern, wenn es verfügbar ist, aber gleichzeitig alle Android-Geräte unterstützen, auf denen die App ausgeführt wird.

In Jetpacker haben wir mehrere Funktionen mit Cloud- oder Hybrid-Inferenz implementiert:

• Die Funktion Fragen und Antworten zu Orten beantwortet Nutzerfragen zu bestimmten Orten, indem Antworten mit realen Daten fundiert werden. Dabei wird Firebase AI Logic verwendet, das in Google Maps und Web-Kontext integriert ist. Hier ist ein Cloud-Modell aufgrund seines größeren Weltwissens erforderlich.
• Die Funktion Rezensionsentwurf hilft Nutzern, detaillierte Rezensionen für die Orte zu verfassen, die sie besucht haben. Dabei werden sowohl On-Device- als auch Cloud-Modelle über die neue Hybrid-Inferenz-API von Firebase AI Logic verwendet. Diese Funktion soll allen App-Nutzern zur Verfügung stehen. Daher verwenden wir ein Cloud-Modell als Fallback, wenn kein On-Device-Modell verfügbar ist.
• Die automatische Chatübersetzung übersetzt Chatnachrichten dynamisch in Echtzeit, um eine nahtlose Kommunikation zu ermöglichen. Dabei wird eine benutzerdefinierte Hybrid-Inferenzlogik verwendet. Auch diese Funktion soll allen App-Nutzern zur Verfügung stehen. Gleichzeitig gibt es jedoch einige spezifische Überlegungen, wann On-Device- und wann Cloud-Modelle verwendet werden sollten.

System integration

Die Android-Systemintegration ist zwar keine Funktion, die Sie in der App selbst sehen, aber sie stellt die Kernfunktionen der App direkt dem Android-Betriebssystem zur Verfügung. Dabei wird die AppFunctions API verwendet, um eine Integration mit der Systemintelligenz zu ermöglichen.

Agentische Workflows in der App (bald verfügbar)

Agenticness führt zu einem höheren Grad an Autonomie, sodass Modelle als Agenten agieren können. Anstelle eines einzelnen Inferenzaufrufs arbeitet ein Agent über eine Orchestrierungsschleife auf ein bestimmtes Ziel hin, die es ihm ermöglicht, zu argumentieren, Tools zu verwenden und seinen Weg anzupassen . Je nach Ihren Anforderungen können diese intelligenten Agenten entweder in der Cloud, direkt auf dem Gerät oder in einer Hybrid-Einrichtung ausgeführt werden.

Für Jetpacker haben wir einen Buchungsassistenten hinzugefügt, der End-to-End-Buchungsworkflows direkt in der Anwendung automatisiert, um Reservierungen zu optimieren. Er wurde mit A2UI und ADK in der Cloud entwickelt. Die Android-App fungiert als Frontend für das Multi-Agenten-System, das in der Cloud ausgeführt wird.

Weitere Informationen

Weitere Teile dieser Blogpost-Reihe:

**Teil 1 (dieser Beitrag)** : Einführung in die App und allgemeine Übersicht.
Teil 2: On-Device-Technologie. Ausführliche Informationen zu den GenAI APIs von ML Kit und Gemini Nano, um datenschutzfreundliche Funktionen wie die Zusammenfassung von Reiseplänen, die Analyse von Belegen und die lokale Audioverarbeitung zu entwickeln.
Teil 3: Hybrid- und Cloud-Argumentation. Erfahren Sie, wie Sie mit Firebase AI Logic LLM-Antworten mit realen Daten wie Google Maps und Web-Kontext fundieren können.
Teil 4: Systemintegration. Integration in das Android-Intelligenzsystem mit AppFunctions.
Teil 5 (bald verfügbar): Agentische Workflows in der App. Erweitern Sie die App mit einem End-to-End-Buchungsassistenten, der auf A2UI und ADK basiert.

Möchten Sie mehr über die Android-Entwicklung erfahren? Folgen Sie Android Developers auf YouTube oder LinkedIn.