Tworzenie inteligentnych aplikacji na Androida: wprowadzenie do Jetpackera

Tworzenie funkcji generatywnej AI w aplikacji zwykle wiąże się z wyborem różnych modeli, interfejsów API i architektur: 

• Lokalizacja wykonania: gdzie działa Twój model? Na urządzeniu, w chmurze czy w obu tych miejscach?
• Złożoność: jak złożona jest Twoja konfiguracja? Czy wykonujesz pojedyncze wywołanie wnioskowania, czy potrzebujesz bardziej agentowego przepływu?
• W aplikacji lub w systemie Android: czy Twoja funkcja powinna być wbudowana w aplikację na Androida, czy lepiej sprawdzi się jako integracja z systemem Android?

W tej serii postów na blogu pomożemy Ci podjąć te decyzje. Zabierzemy Cię w podróż, podczas której przekształcimy podstawową aplikację mobilną w spersonalizowane, inteligentne i agentowe środowisko.

Jetpacker: demonstracyjna aplikacja podróżnicza

Jetpacker to aplikacja demonstracyjna , którą nasz zespół stworzył od podstaw na tegoroczne Google I/O (przy użyciu Antigravity). Jej głównym zadaniem jest pomaganie użytkownikom w planowaniu, odkrywaniu i cieszeniu się kolejną wielką przygodą. Wyświetla ona podsumowanie podróży, plan każdej z nich oraz szczegóły każdego wydarzenia. Oczywiście zgodnie ze wszystkimi sprawdzonymi metodami tworzenia aplikacji na Androida, w tym z pięknym i wyrazistym interfejsem Material.

A co najlepsze? Jest w pełni open source.

Dziś publikujemy serię postów na blogu , w których szczegółowo omawiamy każdą z tych funkcji. Podamy szczegółowe instrukcje implementacji, fragmenty kodu i informacje o architekturze, które pomogą Ci tworzyć własne inteligentne aplikacje na Androida.

Inteligentne technologie na urządzeniu

Korzystanie z modelu na urządzeniu wiąże się z dodatkowymi kosztami wnioskowania w chmurze, co oznacza, że nie musisz się martwić o łączność z internetem, a użytkownicy mogą mieć pewność, że informacje prywatne będą przetwarzane lokalnie na urządzeniu, bez wysyłania danych do chmury.

W Jetpackerze wybraliśmy wnioskowanie na urządzeniu w przypadku 3 funkcji:

• Funkcja podsumowania podróży przekształca nieuporządkowany, wielodniowy plan podróży w zwięzłe podsumowanie, które można wykorzystać. Wykorzystuje ona Gemini Nano za pomocą interfejsów ML Kit GenAI API do przetwarzania danych lokalnie na urządzeniu. Uważamy, że jest to przydatna funkcja, w przypadku której nie chcemy ponosić dodatkowych kosztów chmury, dlatego wnioskowanie na urządzeniu jest tu odpowiednim rozwiązaniem.
• Śledzenie wydatków automatycznie wyodrębnia dane strukturalne z obrazów paragonów, aby pomóc użytkownikom śledzić wydatki na podróże. Wykorzystuje ona możliwości multimodalne Gemini Nano 4 za pomocą interfejsów ML Kit GenAI API. Wybieramy rozwiązanie na urządzeniu, aby żadne informacje wrażliwe na prywatność na obrazach paragonów nie opuszczały urządzenia użytkownika.
• The dziennik audio nagrywa, transkrybuje i kategoryzuje notatki głosowe w odpowiednich działaniach związanych z podróżą. Wykorzystuje on interfejsy ML Kit Speech Recognition i GenAI Prompt API. Wybraliśmy rozwiązanie na urządzeniu ze względu na prywatność i łączność.

Wnioskowanie w chmurze i hybrydowe

Czasami Twój przypadek użycia wymaga modeli AI z większą wiedzą o świecie lub znacznie większym oknem kontekstu oraz większą zdolnością do wykonywania złożonych zadań. W takim przypadku możemy przejść z modelu na urządzeniu na model w chmurze.

Jeśli chcesz uzyskać to, co najlepsze z obu tych rozwiązań, możesz użyć wnioskowania hybrydowego, aby dynamicznie wybierać model w chmurze lub na urządzeniu w czasie działania. Pozwala to obniżyć koszty przez przeniesienie wnioskowania na urządzenie, gdy jest ono dostępne, ale jednocześnie obsługiwać wszystkie urządzenia z Androidem , na których działa aplikacja.

W Jetpackerze zaimplementowaliśmy kilka funkcji korzystających z wnioskowania w chmurze lub hybrydowego:

• Funkcja pytań i odpowiedzi o miejsce odpowiada na pytania użytkowników dotyczące konkretnych lokalizacji, opierając się na danych z rzeczywistego świata. Wykorzystuje ona Firebase AI Logic zintegrowaną z Mapami Google i kontekstem internetowym. Korzystanie z modelu w chmurze jest tu konieczne ze względu na jego większą wiedzę o świecie.
• Funkcja tworzenia opinii pomaga użytkownikom tworzyć szczegółowe opinie o odwiedzonych miejscach. Wykorzystuje ona modele na urządzeniu i w chmurze za pomocą nowego interfejsu Firebase AI Logic Hybrid Inference API. Jest to funkcja, którą chcieliśmy udostępnić wszystkim użytkownikom aplikacji, dlatego w przypadku niedostępności modelu na urządzeniu używamy modelu w chmurze.
• Automatyczne tłumaczenie czatu dynamicznie tłumaczy wiadomości na czacie w czasie rzeczywistym, aby ułatwić płynną komunikację, demonstrując niestandardową logikę wnioskowania hybrydowego. Ponownie chcemy, aby ta funkcja była dostępna dla wszystkich użytkowników aplikacji, ale jednocześnie mamy pewne konkretne kwestie dotyczące tego, kiedy wybrać model na urządzeniu, a kiedy w chmurze.

Integracja z systemem

Integracja z systemem Android nie jest funkcją widoczną w samej aplikacji, ale udostępnia podstawowe możliwości aplikacji bezpośrednio w systemie operacyjnym Android. Wykorzystuje ona interfejs AppFunctions API do integracji z inteligencją na poziomie systemu.

Przepływy pracy agenta w aplikacji (już wkrótce)

Agentowość wprowadza wyższy poziom autonomii, umożliwiając modelom działanie jako agenci. Zamiast pojedynczego wywołania wnioskowania agent pracuje nad konkretnym celem za pomocą pętli orkiestracji, która pozwala mu rozumować, używać narzędzi i dostosowywać ścieżkę. W zależności od wymagań ci inteligentni agenci mogą działać w chmurze, bezpośrednio na urządzeniu lub w konfiguracji hybrydowej.

W Jetpackerze dodaliśmy asystenta rezerwacji , który automatyzuje kompleksowe przepływy pracy związane z rezerwacją bezpośrednio w aplikacji, aby usprawnić rezerwacje. Jest on oparty na A2UI i ADK działających w chmurze. Aplikacja na Androida działa jako interfejs systemu wieloagentowego działającego w chmurze.

Więcej informacji

Zapoznaj się z innymi częściami tej serii postów na blogu:

Część 1 (ten post): Wprowadzenie do aplikacji i ogólny przegląd.
Część 2: Inteligentne technologie na urządzeniu. Szczegółowe omówienie interfejsów ML Kit GenAI API i Gemini Nano, które umożliwiają tworzenie funkcji zorientowanych na prywatność, takich jak podsumowywanie planów podróży, analizowanie paragonów i lokalne przetwarzanie dźwięku.
Część 3: Wnioskowanie hybrydowe i w chmurze. Dowiedz się, jak używać Firebase AI Logic do opierania odpowiedzi LLM na danych z rzeczywistego świata, takich jak Mapy Google i kontekst internetowy.
Część 4: Integracja z systemem. Integracja z systemem inteligencji Androida za pomocą AppFunctions.
Część 5 (już wkrótce): przepływy pracy agenta w aplikacji. Rozszerz aplikację o kompleksowego asystenta rezerwacji opartego na A2UI i ADK.

Interesuje Cię więcej informacji o tworzeniu aplikacji na Androida? Obserwuj kanał Android Developers na YouTube lub LinkedIn.