Mengembangkan cara pengukuran LLM untuk Android: era baru Android Bench

Pada bulan Maret lalu, kami memperkenalkan Android Bench—papan peringkat LLM kami untuk tugas pengembangan Android di dunia nyata. Tujuan kami adalah memberikan transparansi seputar kemampuan model dalam pengembangan Android dan mendorong peningkatan model, untuk memberi Anda opsi AI yang lebih bermanfaat untuk alur kerja sehari-hari. Sejak saat itu, kami telah meningkatkan tolok ukur berdasarkan masukan Anda, termasuk mengevaluasi model open-weight dan menambahkan dimensi biaya dan efisiensi ke papan peringkat. 

Namun, kemampuan AI terus berkembang, dan pengukuran juga harus mengikuti. Sebagai bagian dari rilis bulan Juli, kami telah mengadopsi framework Harbor, yang mencakup versi terbaru dari agen benchmarking yang digunakan untuk mengevaluasi model. 

Seiring dengan perubahan pada evaluasi kami, dalam rilis bulan Juli ini, kami menambahkan 8 model baru (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, dan Qwen 3.7 Max) ke papan peringkat. Kami juga membagikan peluang bagi Anda, komunitas developer Android, untuk berkontribusi pada tolok ukur. 

Meningkatkan metodologi kami dengan framework Harbor

Saat mendesain Android Bench, kami menetapkan metodologi kami pada standar industri terkemuka yang tersedia pada saat itu. Kami menggunakan mini-swe-agent v1, agen benchmarking serbaguna, dan mengadaptasinya dengan nuansa pengembangan Android untuk memberikan pengukuran dasar bagi kemampuan model untuk tugas pengembangan Android umum.

Untuk terus memberikan evaluasi canggih yang mengukur secara akurat kemampuan model terbaru dalam pengembangan Android, kami menstandarkan tolok ukur kami ke framework Harbor. Harbor menentukan standar dan integrasi yang memudahkan siapa saja untuk menjalankan tolok ukur, mengevaluasi penyiapan pilihan mereka, atau membagikan hasil, sehingga memberikan transparansi dan visibilitas tambahan kepada Anda.

Peningkatan ini memungkinkan kami mengevaluasi model dan kemampuannya dengan lebih ketat, dan kami menjalankan kembali tolok ukur pada semua model untuk menetapkan dasar yang diperbarui. Artinya, ada sedikit perubahan dalam pemberian skor, tetapi Anda tetap dapat melihat skor historis dalam arsip di situs kami.

Kami ingin memastikan Android Bench bermanfaat bagi Anda, jadi kami akan terus memperbaruinya seiring dengan perkembangan evaluasi dan industri kami.

Memperluas papan peringkat dengan 8 model baru

Sebagai bagian dari komitmen kami untuk menjaga papan peringkat tetap baru, kami telah menambahkan Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, dan Qwen 3.7 Max ke papan peringkat Android Bench. 

Anda akan melihat bahwa Claude Fable 5 berada di bagian atas papan peringkat dengan skor 84,5, diikuti oleh GPT 5.5 dengan skor 80,2, dan Claude Sonnet 5 di posisi ke-3 dengan skor 76,2.

Jika hanya membandingkan model Open-weight, GLM 5.2 berada di posisi teratas dengan skor 72,2, diikuti oleh Kimi K2.7 Code dengan skor 70,4.

Anda dapat melihat metrik performa dan efisiensi model di papan peringkat yang diperbarui untuk melihat bagaimana model baru dan sebelumnya ini mengatasi tantangan khusus Android seperti migrasi Jetpack Compose, jaringan perangkat wearable, dan pembaruan API platform.  

Membuka Android Bench untuk kontribusi komunitas

Sejak awal, kami menghargai pendekatan yang terbuka dan transparan, itulah sebabnya kami membuat metodologi dan test harness asli kami tersedia secara publik di GitHub. Anda telah meminta cara untuk memberikan masukan tentang set data kami, jadi sekarang kami mengambil langkah lebih lanjut dalam kolaborasi dengan memberi Anda, komunitas developer Android, kesempatan untuk membentuk Android Bench.

Mulai hari ini, Anda dapat berkontribusi ke Android Bench dengan dua cara:

1. Mendesain dan mengirimkan tugas pengembangan Android Anda sendiri untuk mengevaluasi cara model menangani skenario yang penting bagi Anda.
2. _Menjalankan dan membagikan evaluasi tolok ukur_ secara langsung, menguji model pilihan Anda terhadap set data kami atau tugas kustom Anda sendiri.

Kami akan meninjau tugas yang dikirimkan dan menilai apakah tugas tersebut akan ditambahkan ke tolok ukur. Kami berharap dapat membuat tolok ukur yang benar-benar mencerminkan realitas sehari-hari yang beragam dari komunitas developer Android global.

Visi ke depan

Dengan semakin banyaknya opsi untuk pengembangan agentic, mempertahankan tolok ukur yang canggih memastikan bahwa bantuan AI yang Anda andalkan akan terus menjadi lebih cerdas, lebih bermanfaat, dan lebih efektif. Buka repositori GitHub kami untuk melihat tugas. Kami mengundang Anda untuk mengirimkan tugas kepada tim kami untuk ditinjau, dan Anda dapat melihat Harbor Hub untuk menjelajahi set data atau mengirimkan evaluasi.

Seperti biasa, Anda dapat menemukan papan peringkat yang diperbarui, atau membaca metodologi di situs kami.