Ulepszanie programowania aplikacji na Androida wspomaganego przez AI i modeli LLM za pomocą Android Bench

Chcemy, aby tworzenie wysokiej jakości aplikacji na Androida było szybsze i łatwiejsze. Jednym ze sposobów na zwiększenie Twojej produktywności jest udostępnienie Ci AI. Wiemy, że oczekujesz AI, która naprawdę rozumie niuanse platformy Android. Dlatego sprawdzamy, jak duże modele językowe radzą sobie z zadaniami związanymi z programowaniem na Androida. Dziś udostępniliśmy pierwszą wersję Android Bench, naszej oficjalnej tabeli wyników modeli LLM do tworzenia aplikacji na Androida.

Naszym celem jest udostępnienie twórcom modeli testu porównawczego, który pozwoli ocenić możliwości LLM w zakresie programowania aplikacji na Androida. Ustalając jasne i wiarygodne podstawy tego, jak powinna wyglądać wysokiej jakości praca deweloperska na Androida, pomagamy twórcom modeli identyfikować luki i przyspieszać wprowadzanie ulepszeń. Dzięki temu deweloperzy mogą wydajniej pracować z szerszą gamą przydatnych modeli, które mogą wykorzystywać do uzyskiwania pomocy opartej na AI. W efekcie w ekosystemie Androida pojawią się aplikacje o wyższej jakości.

Zaprojektowane z myślą o rzeczywistych zadaniach związanych z tworzeniem aplikacji na Androida

Utworzyliśmy test porównawczy, wybierając zestaw zadań z różnych obszarów typowych dla tworzenia aplikacji na Androida. Składa się z prawdziwych wyzwań o różnym stopniu trudności, pochodzących z publicznych repozytoriów Androida na GitHubie. Obejmują one m.in. rozwiązywanie problemów ze zmianami powodującymi niezgodność w różnych wersjach Androida, wykonywanie zadań związanych z określonymi domenami, takich jak tworzenie sieci na urządzeniach do noszenia, oraz migrację do najnowszej wersji Jetpack Compose.

W ramach każdej oceny model LLM próbuje rozwiązać problem zgłoszony w zadaniu, a my weryfikujemy to za pomocą testów jednostkowych lub testów instrumentacyjnych. To podejście niezależne od modelu pozwala nam mierzyć jego zdolność do poruszania się po złożonych bazach kodu, rozumienia zależności i rozwiązywania problemów, z którymi stykasz się na co dzień. 

Potwierdziliśmy tę metodologię z kilkoma twórcami LLM, w tym z firmą JetBrains. 

„Pomiar wpływu AI na Androida to ogromne wyzwanie, dlatego cieszę się, że powstała tak solidna i realistyczna platforma. Chociaż sami przeprowadzamy testy porównawcze, Android Bench jest wyjątkowym i mile widzianym dodatkiem. Ta metodologia to dokładnie ten rodzaj rygorystycznej oceny, której potrzebują teraz deweloperzy Androida”. 
– Kirill Smelov, szef integracji AI w JetBrains.

Pierwsze wyniki Android Bench

W tej pierwszej wersji chcieliśmy po prostu zmierzyć skuteczność modelu, a nie skupiać się na korzystaniu z agentów ani narzędzi. Modele zdołały wykonać 16–72% zadań. To szeroki zakres, który pokazuje, że niektóre duże modele językowe mają już solidne podstawy wiedzy o Androidzie, a inne mają większe możliwości rozwoju. Niezależnie od tego, na jakim etapie rozwoju są obecnie modele, spodziewamy się dalszego postępu, ponieważ zachęcamy twórców LLM do ulepszania swoich modeli pod kątem tworzenia aplikacji na Androida. 

LLM-em z najwyższym średnim wynikiem w tej pierwszej wersji jest Gemini 3.1 Pro, a za nim plasuje się Claude Opus 4.6. Możesz wypróbować wszystkie modele, które oceniliśmy pod kątem pomocy AI w projektach na Androida, używając kluczy interfejsu API w najnowszej stabilnej wersji Androida Studio.

Zapewnianie przejrzystości deweloperom i twórcom LLM

Cenimy sobie otwarte i przejrzyste podejście, dlatego udostępniliśmy naszą metodologię, zbiór danych i platformę testową publicznie w GitHubie.

Jednym z wyzwań związanych z dowolnym publicznym testem porównawczym jest ryzyko zanieczyszczenia danych, czyli sytuacja, w której modele mogły mieć kontakt z zadaniami ewaluacyjnymi podczas procesu trenowania. Podjęliśmy działania, aby nasze wyniki odzwierciedlały prawdziwe rozumowanie, a nie zapamiętywanie czy zgadywanie. Obejmują one dokładną ręczną weryfikację trajektorii agenta lub integrację ciągu kanarkowego, aby zniechęcić do trenowania.

W przyszłości będziemy nadal rozwijać naszą metodologię, aby zachować integralność zbioru danych, a także wprowadzać ulepszenia w kolejnych wersjach testu porównawczego, np. zwiększać liczbę i złożoność zadań.

Z niecierpliwością czekamy na to, jak Android Bench może długoterminowo ulepszyć wspomaganie przez AI. Naszym celem jest zmniejszenie różnicy między koncepcją a kodem wysokiej jakości. Tworzymy podstawy przyszłości, w której wszystko, co sobie wyobrazisz, będziesz w stanie stworzyć na Androidzie.