Od agentów w aplikacjach po system Android Intelligence: nowości w inteligentnych aplikacjach na Android Dev Summit

W erze inteligentnych technologii użytkownicy nie tylko klikają aplikacje, ale też wyrażają ogólne cele i oczekują, że agenty AI, takie jak Gemini, będą wykonywać wieloetapowe zadania, czasem w kilku aplikacjach na urządzeniach. Aby pomóc Ci dotrzeć do użytkowników tam, gdzie się znajdują, udostępniamy nowe sposoby tworzenia inteligentnych, agentowych funkcji w aplikacjach na Androida:

• Połącz się z systemem Android Intelligence: udostępnij możliwości aplikacji agentowi systemowemu za pomocą Android MCP. Aby umożliwić użytkownikom bezpośrednie łączenie się z Twoją aplikacją za pomocą aplikacji Gemini i wyszukiwarki Google na Androidzie, dołącz do programu testów platformy Connected Apps Platform.
• Wprowadź inteligentne funkcje do swojej aplikacji: twórz inteligentne funkcje i agenty na urządzeniu za pomocą interfejsów API ML Kit GenAI, wprowadzaj własne modele ML za pomocą LiteRT w usługach Google Play. Wykorzystaj modele Gemini w chmurze za pomocą Firebase AI Logic i umożliw agentowi tworzenie natywnego interfejsu Compose za pomocą renderera Compose A2UI.

Niektóre z tych nowych interfejsów API i narzędzi dla programistów zostały już zaprezentowane podczas prelekcji na Android Developer Summit. Teraz możesz skorzystać z naszych nowych, szczegółowych materiałów, które pomogą Ci tworzyć inteligentne aplikacje, w tym z 10 nowych sesji na żądanie dotyczących nowych inteligentnych funkcji.

Połączenie z systemem inteligencji Androida

System AI na Androidzie to podstawa systemu, która ma chronić użytkowników, gdy agenty AI łączą się z aplikacjami na urządzeniach z Androidem. Zapewnia użytkownikom zarówno pomoc na żądanie, jak i proaktywną pomoc w ekosystemie Androida obejmującym urządzenia takie jak telefony, urządzenia do noszenia, okulary XR, telewizory i samochody. 

• Pomoc na żądanie: gdy użytkownik aktywnie prosi agenta o osiągnięcie celu (np. „Sprawdź mój kalendarz, zarezerwuj przejazd i wyślij Jingyu wiadomość z szacowanym czasem dotarcia na miejsce”), agent koordynuje narzędzia w różnych aplikacjach, aby to zrobić. Aby zapewnić najszybsze i najbardziej niezawodne działanie, możesz użyć zdalnego serwera MCP lub lokalnego serwera MCP na Androidzie. Agenty mogą też korzystać z platformy sterowania komputerem na Androidzie, aby wykonywać działania bez konieczności integracji z aplikacją.
• Proaktywna pomoc: system przewiduje potrzeby użytkownika i wyświetla elementy z sugestią kontekstową bezpośrednio na ekranach blokady, w powiadomieniach, na klawiaturach wirtualnych i w aplikacjach. 

Zapewniamy Ci kontrolę nad tym, jak Twoje aplikacje integrują się z systemem Android Intelligence, udostępniając interfejsy API i narzędzia oparte na znanym standardzie MCP. Android MCP, który korzysta z biblioteki AppFunctions Jetpack, to nasza ujednolicona platforma do wywoływania narzędzi. Umożliwia łączenie się z odpowiednimi agentami AI bezpośrednio na urządzeniu, niezależnie od tego, czy jest to agent systemowy, czy własny agent w aplikacji na urządzeniu. Zdalny serwer MCP zapewnia zasięg na wielu platformach. 

Android MCP uzupełnia zdalny protokół MCP jako natywne rozwiązanie na Androida i jest zalecaną ścieżką integracji, gdy ścieżka użytkownika korzysta z pełnego szyfrowania lub poufnych danych na urządzeniu lokalnym, wymaga czujników i sprzętu urządzenia, musi być wykonywana lokalnie lub gdy nie jest dostępny żaden punkt końcowy serwera. 

Aby dowiedzieć się więcej o systemie Android Intelligence i integracji z Gemini jako agentem systemowym, obejrzyj tę prezentację: 

Wprowadzanie AI do aplikacji: od agenta na urządzeniu po mechanizm renderowania A2UI Compose

Dzięki nowym funkcjom dostępnym w Gemini Nano 4, takim jak wywoływanie funkcji, rozszerzamy interfejsy API GenAI w ML Kit, aby umożliwić tworzenie Agentic Workflows całkowicie na urządzeniu. Udostępniamy Ci elementy składowe bezpośrednio w ramach bezpośredniego dostępu do modelu w ML Kit za pomocą interfejsu Prompt API oraz nowego interfejsu Agentic API, który automatycznie wykonuje funkcje, zapisuje historię rozmów, zarządza pętlą orkiestracji i zawiera automatyczne zabezpieczenia. Zapoznaj się z przykładowym kodem Jetpackera na GitHubie i obejrzyj ten film, aby dowiedzieć się, jak odblokować funkcje agentowe w aplikacji za pomocą interfejsów API ML Kit GenAI: 

Oprócz nowych interfejsów API agentów wprowadzamy zestaw nowych funkcji na urządzeniu:

• Zapoznaj się z interfejsami API ML Kit GenAI na urządzeniu, od funkcji Prompt API, takich jak tryb myślenia i instrukcje systemowe, po nowe interfejsy API w wersji alfa, takie jak Embeddings API, obsługiwane przez EmbeddingGemma 2. Dowiesz się też o optymalizacjach systemu Android i poznasz typowe przypadki użycia generatywnej AI na urządzeniu, które są już wdrożone.
• Szczegółowe omówienie architektury modelu Gemini Nano 4, zbudowanego na bazie modelu Gemma 4. Dzięki wektorom dystrybucyjnym na warstwę, trenowaniu z uwzględnieniem kwantyzacji i prognozowaniu wielotokenowemu Gemini Nano 4 zapewnia 3-krotnie szybsze wnioskowanie, a jednocześnie zmniejsza wykorzystanie pamięci nawet 4-krotnie w porównaniu z poprzednią wersją modelu Gemini Nano w ramach wewnętrznych testów porównawczych.
• Możesz uruchamiać niestandardowe modele uczenia maszynowego z większą wydajnością GPU, korzystając z LiteRT w usługach Google Play, co usuwa środowisko wykonawcze z pliku APK, dzięki czemu jest on mniejszy o około 8 MB. Teraz jest też dostępna na Wear OS i system operacyjny Android Automotive. Niezależnie od tego, czy używasz gotowych interfejsów API ML Kit, czy własnego modelu brzegowego, przeczytaj ogłoszenie i obejrzyj prezentację.
• Zobacz, jak te interfejsy API współpracują ze sobą w aplikacjach, od nauczyciela języka XR korzystającego z interfejsów API ML Kit do rozpoznawania mowy, tłumaczenia mowy i zamiany tekstu na mowę na telefonach i inteligentnych okularach, po pilota AI Formuły E opartego na Gemini Nano, bezpośredniego dostępu do modelu ML Kit i pakietu Agent Development Kit (ADK). 

W przypadku przepływów pracy, które obejmują przetwarzanie w chmurze i lokalnie, Firebase AI Logic oferuje proste rozwiązanie hybrydowe. Możesz wywoływać zaawansowane modele działające w chmurze, takie jak Gemini 4, i jednocześnie korzystać z wnioskowania na urządzeniu za pomocą Gemini Nano, gdy jest dostępne. Aby chronić aplikację i zarządzać kosztami w środowisku produkcyjnym, używaj Sprawdzania aplikacji Firebase, nowych szablonów promptów serwera i limitów wydatków Firebase. 

Jak pokazano w prezentacji podczas wystąpienia, w której wykorzystano asystenta rezerwacji na żywo Jetpacker, renderer Jetpack Compose A2UI jest już dostępny w wersji alfa, aby pomóc Twoim agentom „mówić interfejsem”. Agenci mogą przesyłać strumieniowo rozbudowane, interaktywne, natywne interfejsy Compose bezpośrednio z protokołu JSON. Zacznij korzystać z renderera A2UI Compose i podziel się z nami swoją opinią. Obejrzyj tę prezentację, aby dowiedzieć się, jak wdrożyć tę funkcję w swojej aplikacji. 

Docieranie do użytkowników w Gemini i wyszukiwarce dzięki platformie Connected Apps Platform

Na platformach Google użytkownicy przechodzą od zadawania pytań do podejmowania działań. Wprowadziliśmy platformę połączonych aplikacji, aby umożliwić Ci docieranie do użytkowników o wysokiej intencji w Gemini i wyszukiwarce. Łączy ona protokół MCP na Androidzie do natywnego wykonywania działań na urządzeniu ze zdalnymi serwerami MCP, co zapewnia zasięg na wielu platformach. Możesz zacząć tworzyć i testować lokalnie już dziś, korzystając z trybu programisty w aplikacjach z Gemini. Gdy będziesz gotowy(-a) do wdrożenia produkcyjnego, dołącz do listy oczekujących na wersję testową. Liczba dostępnych miejsc jest obecnie ograniczona do wybranych aplikacji przygotowanych do zastosowań produkcyjnych w obsługiwanych kategoriach. Szerszy dostęp do samoobsługi zostanie udostępniony później.

Aby dowiedzieć się, jak utworzyć, przetestować i opublikować pierwszą połączoną aplikację, obejrzyj film Extend your app to Gemini and Search with the Connected Apps Platform (Rozszerzanie aplikacji na Gemini i wyszukiwarkę za pomocą platformy aplikacji połączonych).

Zacznij tworzyć inteligentne aplikacje dzięki najnowszym aktualizacjom

Aby rozpocząć tworzenie, utwórz agenty na urządzeniu za pomocą Agentic Workflows ML Kit oraz bezpośredniego dostępu do modelu z nowymi umiejętnościami Androida. Podczas testowania nowych funkcji w modelach w wersji testowej musisz wyrazić zgodę na udział w programie AICore w wersji przedpremierowej dla programistów. Wprowadź inteligentne funkcje do swojej aplikacji za pomocą interfejsów API ML Kit i uruchamiaj niestandardowe modele uczenia maszynowego za pomocą LiteRT w Usługach Google Play. Uruchamiaj wnioskowanie z modelami Gemini w chmurze bezpośrednio za pomocą Firebase AI Logic i przesyłaj strumieniowo natywne interfejsy Compose z JSON za pomocą renderera Jetpack Compose A2UI. Na koniec zintegruj aplikację z systemem AI na Androidzie, utwórz prototyp z Android MCP, korzystając z umiejętności AppFunctions i przykładowego agenta, i zarejestruj się w programie wersji przedpremierowej dla programistów platformy Connected Apps Platform.

Chętnie zobaczymy, co stworzysz.