Von In-App-Agents bis zum Android-Intelligenzsystem: Neuigkeiten zu intelligenten Apps auf dem Android Developer Summit

Im Zeitalter der künstlichen Intelligenz tippen Nutzer nicht mehr nur auf Apps, sondern formulieren übergeordnete Ziele und erwarten, dass KI-Agenten wie Gemini mehrstufige Workflows ausführen, manchmal sogar über mehrere Apps auf ihren Geräten hinweg. Damit Sie Nutzer dort abholen können, wo sie sind, bieten wir Ihnen neue Möglichkeiten, intelligente, agentische Funktionen in Ihre Android-Apps einzubinden:

• Mit dem Android-Intelligenzsystem verbinden: Mit Android MCP können Sie die Funktionen Ihrer App mit dem System-Agenten teilen. Wenn Sie Nutzern die Möglichkeit geben möchten, über die Gemini App und die Google Suche auf Android-Geräten direkt mit Ihrer App zu interagieren, können Sie am Vorschauprogramm für die Connected Apps Platform teilnehmen.
• Intelligente Funktionen in deine App einbinden: Mit den GenAI APIs des ML Kits kannst du intelligente Funktionen und Agenten auf dem Gerät erstellen und dein benutzerdefiniertes ML-Modell mit LiteRT in die Google Play-Dienste einbinden. Mit Firebase AI Logic können Sie Gemini-Modelle in der Cloud nutzen und Ihren Agenten mit dem A2UI Compose-Renderer native Compose-UIs erstellen lassen.

Einige dieser neuen APIs und Entwicklertools wurden bereits in der Keynote des Android Developer Summit vorgestellt. Mit unseren neuen, detaillierten Ressourcen können Sie jetzt lernen, wie Sie intelligente Apps entwickeln. Dazu gehören 10 neue On-Demand-Sitzungen zu neuen intelligenten Funktionen.

Mit dem Android-Intelligenzsystem verbinden

Das Android Intelligence System ist die Systemgrundlage, die Nutzer schützt und gleichzeitig KI-Agenten mit Apps auf Android-Geräten verbindet. Sie bietet Nutzern sowohl auf Anfrage als auch proaktiv Unterstützung auf allen Geräten im Android-Ökosystem, darunter Smartphones, Wearables, XR-Datenbrillen, Fernseher und Autos. 

• Unterstützung auf Anfrage: Wenn der Nutzer einen Agenten aktiv bittet, ein Ziel zu erreichen (z. B. „Prüfe meinen Kalender, buche eine Fahrt und sende Jingyu meine voraussichtliche Ankunftszeit“), koordiniert der Agent Tools in verschiedenen Apps, um die Aufgabe zu erledigen. Für die schnellste und zuverlässigste Ausführung können Sie einen Remote-MCP-Server oder einen lokalen Android-MCP-Server verwenden. KI-Agenten können auch auf das Computer Control Framework von Android zurückgreifen, um Aktionen auszuführen, ohne dass eine Integration auf App-Seite erforderlich ist.
• Proaktive Unterstützung: Das System antizipiert die Bedürfnisse des Nutzers und zeigt kontextbezogene Vorschlags-Chips direkt auf Sperrbildschirmen, in Benachrichtigungen, auf Bildschirmtastaturen und in Apps an. 

Wir geben Ihnen die Kontrolle darüber, wie Ihre Apps in das Android Intelligence-System eingebunden werden. Dazu stellen wir APIs und Tools bereit, die auf dem bekannten MCP-Standard basieren. Android MCP, das auf der AppFunctions Jetpack-Bibliothek basiert, ist unser einheitliches Framework für Toolaufrufe. Sie können direkt auf dem Gerät mit qualifizierten KI-Agenten interagieren, egal ob es sich um den System-Agenten oder Ihren eigenen On-Device-In-App-Agenten handelt. Remote-MCP-Server bieten plattformübergreifende Reichweite. 

Android MCP ergänzt Remote-MCP als native Android-Lösung und ist der empfohlene Integrationspfad, wenn Ihre User Journey Ende-zu-Ende-Verschlüsselung oder vertrauliche lokale Gerätedaten verwendet, Gerätesensoren und ‑hardware erfordert, lokal ausgeführt werden muss oder kein Serverendpunkt verfügbar ist. 

Weitere Informationen zum Android-Intelligenzsystem und zur Einbindung von Gemini als System-Agent finden Sie in diesem Vortrag: 

Intelligente Funktionen in Ihre Apps einbinden: vom On-Device-Agenten bis zum A2UI Compose-Renderer

Mit den neuen Funktionen in Gemini Nano 4, wie z. B. Funktionsaufrufen, erweitern wir die GenAI APIs des ML Kit, um agentische Workflows vollständig auf dem Gerät zu erstellen. Wir stellen Ihnen die Bausteine direkt mit dem direkten Modellzugriff von ML Kit mit der Prompt API und der neuen Agentic API zur Verfügung, die Funktionen automatisch für Sie ausführt, den Unterhaltungsverlauf speichert, die Orchestrierungsschleife verwaltet und automatische Schutzmaßnahmen enthält. Sehen Sie sich das Jetpacker-Codebeispiel auf GitHub an und sehen Sie sich dieses Video an, um mehr darüber zu erfahren, wie Sie mit den ML Kit GenAI APIs agentische Funktionen in Ihrer App freischalten können: 

Neben den neuen Agentic APIs führen wir eine Reihe neuer On-Device-Funktionen ein:

• Hier erhalten Sie einen Überblick über die On-Device-ML Kit-GenAI-APIs, von Prompt API-Funktionen wie dem Thinking Mode und Systemanweisungen bis hin zu neuen Alpha-APIs wie der Embeddings API, die auf EmbeddingGemma 2 basiert. Außerdem erfährst du mehr über die Optimierungen des Android-Systems im Hintergrund und siehst gängige Anwendungsfälle für On-Device-Generative-KI, die bereits in der Produktion sind.
• Hier finden Sie detaillierte Informationen zur Modellarchitektur von Gemini Nano 4, das auf Gemma 4 basiert. Dank Einbettungen pro Ebene, quantisierungsbewusstem Training und Multi-Token-Vorhersage bietet Gemini Nano 4 eine bis zu dreimal schnellere Inferenzgeschwindigkeit und reduziert die Speichernutzung im Vergleich zur vorherigen Version des Gemini Nano-Modells in internen Benchmark-Tests um das Vierfache.
• Sie können Ihre benutzerdefinierten ML-Modelle mit schnellerer GPU-Leistung ausführen, indem Sie LiteRT in Google Play-Diensten verwenden. Dadurch wird die Laufzeit aus Ihrem APK entfernt und Ihr APK wird um etwa 8 MB kleiner. Jetzt auch für Wear OS und Android Automotive OS verfügbar. Unabhängig davon, ob Sie die sofort einsatzbereiten ML Kit APIs verwenden oder Ihr eigenes benutzerdefiniertes Edge-Modell mitbringen, sollten Sie die Ankündigung lesen und sich diesen Vortrag ansehen.
• Sehen Sie sich an, wie diese APIs in realen Anwendungen zusammenarbeiten, z. B. in einem XR-Sprachlehrer, der die ML Kit-APIs für Spracherkennung, Sprachübersetzung und Text-to-Speech auf Smartphones und Smart Glasses verwendet, oder in einem Formula E-KI-Copiloten, der mit Gemini Nano, direktem Modellzugriff über ML Kit und dem Agent Development Kit (ADK) entwickelt wurde. 

Für Workflows, die sowohl Cloud- als auch lokale Verarbeitung umfassen, bietet Firebase AI Logic eine unkomplizierte Hybridlösung. Sie können erweiterte Cloud-Modelle wie Gemini 4 aufrufen und gleichzeitig die On-Device-Inferenz mit Gemini Nano verwenden, sofern verfügbar. Wenn Sie Ihre App schützen und die Kosten in der Produktion verwalten möchten, verwenden Sie Firebase App Check, die neuen Server-Prompt-Vorlagen und Firebase-Ausgabenobergrenzen. 

Wie in der Keynote-Demo mit dem Live-Buchungsassistenten von Jetpacker gezeigt, ist der Jetpack Compose A2UI-Renderer jetzt in der Alphaversion verfügbar, damit Ihre Kundenservicemitarbeiter „UI sprechen“ können. Ihre KI-Agenten können umfangreiche, interaktive native Compose-UIs direkt aus einem JSON-Protokoll streamen. Erste Schritte mit dem A2UI Compose-Renderer und Feedback geben In diesem Vortrag erfahren Sie, wie Sie die Funktion in Ihrer App implementieren. 

Mit der Connected Apps Platform Gemini und die Google Suche erreichen

Auf den Google-Plattformen stellen Nutzer nicht mehr nur Fragen, sondern werden auch aktiv. Wir haben die Connected Apps Platform eingeführt, damit Sie Nutzer mit hoher Kaufabsicht in Gemini und der Google Suche erreichen können. Dabei wird Android MCP für die native Ausführung auf dem Gerät mit Remote-MCP-Servern für die plattformübergreifende Reichweite kombiniert. Mit dem Entwicklermodus für Gemini-Apps können Sie noch heute mit der lokalen Entwicklung und dem Testen beginnen. Wenn Sie bereit für die Produktion sind, setzen Sie sich auf die Warteliste für die Vorabversion. Die Kapazität der Vorabversion ist derzeit auf ausgewählte produktionsreife Apps in unterstützten Kategorien beschränkt. Ein breiterer Selfservice-Zugriff wird später verfügbar sein. 

Im Video „Extend your app to Gemini and Search with the Connected Apps Platform“ wird Schritt für Schritt erklärt, wie Sie Ihre erste verbundene App erstellen, testen und veröffentlichen.

Intelligente Apps mit den neuesten Updates erstellen

Wenn Sie mit der Entwicklung beginnen möchten, erstellen Sie On-Device-Agenten mit agentischen ML Kit-Workflows und direktem Modellzugriff mit neuen Android-Skills.Wenn Sie neue Funktionen in Vorabversionen von Modellen testen, müssen Sie sich für das AIcore Entwicklervorschau-Programm anmelden. Mit ML Kit APIs können Sie Ihre App um intelligente Funktionen erweitern und mit LiteRT in den Google Play-Diensten benutzerdefinierte ML-Modelle ausführen. Führen Sie mit Firebase AI Logic direkt in der Cloud Inferenzen mit Gemini-Modellen aus und streamen Sie native Compose-UIs aus JSON mit dem Jetpack Compose A2UI-Renderer. Schließlich können Sie die Integration in das Android Intelligence-System vornehmen, mit Android MCP mithilfe des AppFunctions-Skills und des Beispiel-Agenten Prototypen erstellen und sich für die Entwicklervorschau der Connected Apps Platform registrieren.

Wir sind gespannt, was Sie damit Neues entwickeln.