Ewolucja sposobu pomiaru modeli LLM na Androidzie: nowa era Android Bench

W marcu wprowadziliśmy Android Bench – naszą tabelę wyników modeli LLM w przypadku rzeczywistych zadań związanych z tworzeniem aplikacji na Androida. Naszym celem było zapewnienie przejrzystości w zakresie możliwości modeli w programowaniu na Androida i zachęcenie do ich ulepszania, aby zapewnić Ci bardziej przydatne opcje AI w codziennej pracy. Od tego czasu ulepszyliśmy ten test porównawczy na podstawie Waszych opinii, m.in. oceniliśmy modele o otwartej architekturze i dodaliśmy do tabeli wyników wymiary kosztów i wydajności.

Możliwości AI stale się rozwijają, więc pomiary muszą za nimi nadążać. W ramach lipcowej wersji wprowadziliśmy platformę Harbor, która zawiera zaktualizowaną wersję agenta testów porównawczych używanego do oceny modeli. 

W tej wersji z lipca oprócz zmiany sposobu oceny dodajemy do tabeli wyników 8 nowych modeli (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus i Qwen 3.7 Max). Podajemy też możliwości, dzięki którym społeczność deweloperów Androida może przyczynić się do rozwoju tego benchmarku. 

Ulepszanie naszej metodologii za pomocą platformy Harbor

Projektując Android Bench, oparliśmy naszą metodologię na wiodących standardach branżowych dostępnych w tym czasie. Użyliśmy ogólnego agenta testowego mini-swe-agent w wersji 1 i dostosowaliśmy go do niuansów programowania na Androida, aby uzyskać pomiar bazowy możliwości modeli w zakresie typowych zadań związanych z programowaniem na Androida.

Aby nadal dostarczać Ci najnowocześniejsze oceny, które dokładnie mierzą możliwości najnowszych modeli w zakresie programowania aplikacji na Androida, standaryzujemy nasz test porównawczy na podstawie platformy Harbor. Harbor określa standardy i integracje, które ułatwiają przeprowadzenie testu porównawczego, ocenę preferowanej konfiguracji i udostępnianie wyników, co zapewnia większą przejrzystość i widoczność.

Ta aktualizacja pozwala nam dokładniej oceniać modele i ich możliwości. Ponownie przeprowadziliśmy test porównawczy na wszystkich modelach, aby ustalić zaktualizowaną wartość bazową. Oznacza to niewielką zmianę w punktacji, ale nadal będziesz mieć możliwość wyświetlania historycznych wyników w archiwum w naszej witrynie.

Chcemy, aby Android Bench był dla Ciebie przydatny, dlatego będziemy go stale aktualizować w miarę rozwoju naszych ocen i branży.

Rozszerzenie tabeli wyników o 8 nowych modeli

W ramach naszego zaangażowania w utrzymywanie aktualności tabeli wyników dodaliśmy do niej modele Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus i Qwen 3.7 Max. 

Na szczycie tabeli wyników znajduje się model Claude Fable 5 z wynikiem 84,5, a za nim GPT 5.5 z wynikiem 80,2. Na 3 miejscu jest Claude Sonnet 5 z wynikiem 76,2.

W przypadku porównania tylko modeli o otwartej architekturze na pierwszym miejscu znajduje się GLM 5.2 z wynikiem 72,2, a za nim Kimi K2.7 Code z wynikiem 70,4.

Na zaktualizowanej tablicy wyników możesz sprawdzić skuteczność i wydajność modeli, aby zobaczyć, jak radzą sobie z wyzwaniami związanymi z Androidem, takimi jak migracje Jetpack Compose, sieci na urządzeniach do noszenia i aktualizacje interfejsu API platformy.  

Otwarcie Android Bench na tłumaczenia społeczności

Od początku cenimy otwarte i przejrzyste podejście, dlatego udostępniliśmy naszą pierwotną metodologię i platformę testową publicznie w GitHubie. Chcesz mieć możliwość przekazywania opinii o naszym zbiorze danych, dlatego rozszerzamy współpracę i dajemy Ci, czyli społeczności deweloperów Androida, szansę na kształtowanie Androida Bench.

Od dziś możesz wspierać Android Bench na 2 sposoby:

1. Projektuj i przesyłaj własne zadania związane z programowaniem na Androida, aby ocenić, jak modele radzą sobie w scenariuszach, które są dla Ciebie ważne.
2. Przeprowadzaj i udostępniaj oceny porównawcze, testując preferowane modele na naszym zbiorze danych lub własnych zadaniach niestandardowych.

Sprawdzimy przesłane zadania i ocenimy, czy zostaną dodane do testu porównawczego. Chcemy stworzyć punkt odniesienia, który będzie odzwierciedlać różnorodne, codzienne realia globalnej społeczności deweloperów Androida.

Co dalej

Wraz z rosnącą liczbą opcji rozwoju agentów utrzymywanie najnowocześniejszych testów porównawczych zapewnia, że pomoc AI, na której polegasz, staje się coraz inteligentniejsza, bardziej przydatna i skuteczniejsza. Aby zapoznać się z zadaniami, otwórz nasze repozytorium GitHub. Zachęcamy do przesłania zadania do sprawdzenia przez nasz zespół. Możesz też zapoznać się z Harbor Hub, aby przejrzeć zbiór danych lub przesłać oceny.

Jak zawsze, zaktualizowaną tabelę wyników znajdziesz na naszej stronie. Możesz też zapoznać się z metodologią.