Büyük dil modellerinin Android'de ölçülme şeklini geliştirme: Android Bench'in yeni dönemi

Mart ayında, gerçek dünyadaki Android geliştirme görevleri için LLM liderlik tablomuz olan Android Bench'i tanıtmıştık. Amacımız, Android geliştirmede model yetenekleri konusunda şeffaflık sağlamak ve model iyileştirmelerini teşvik ederek günlük iş akışınızda daha faydalı yapay zeka seçenekleri sunmaktı. O zamandan beri, açık ağırlıklı modelleri değerlendirme ve maliyet ile verimlilik boyutlarını skor tablosuna ekleme gibi geri bildirimleriniz doğrultusunda karşılaştırmayı geliştirdik. 

Ancak yapay zeka özellikleri sürekli gelişiyor ve ölçümün de bu gelişime ayak uydurması gerekiyor. Temmuz sürümümüz kapsamında, modelleri değerlendirmek için kullanılan karşılaştırma aracısının güncellenmiş bir sürümünü içeren Harbor çerçevesini kullanmaya başladık. 

Değerlendirmemizde yaptığımız bu değişikliğin yanı sıra, Temmuz sürümünde liderlik tablosuna 8 yeni model (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ve Qwen 3.7 Max) ekliyoruz. Ayrıca Android geliştirici topluluğu olarak sizin de karşılaştırma testine katkıda bulunabileceğiniz fırsatları paylaşıyoruz. 

Harbor çerçevesiyle metodolojimizi geliştirme

Android Bench'i tasarlarken metodolojimizi o sırada mevcut olan önde gelen endüstri standartlarına dayandırdık. Genel amaçlı bir karşılaştırma aracısı olan mini-swe-agent v1'i kullandık ve Android geliştirmeyle ilgili yaygın görevlerde modellerin yetenekleri için temel bir ölçüm sağlamak amacıyla Android geliştirmenin ayrıntılarına uyarladık.

Android geliştirmede en yeni model özelliklerini doğru şekilde ölçen, en gelişmiş değerlendirmeleri sunmaya devam etmek için karşılaştırma ölçütümüzü Harbor çerçevesi olarak standartlaştırıyoruz. Harbor, herkesin karşılaştırma testi yapmasını, tercih ettiği kurulumu değerlendirmesini veya sonuçları paylaşmasını kolaylaştıran standartlar ve entegrasyonlar tanımlayarak size ek şeffaflık ve görünürlük sağlar.

Bu yükseltme, modelleri ve yeteneklerini daha titiz bir şekilde değerlendirmemize olanak tanır. Güncellenmiş bir temel oluşturmak için tüm modellerde karşılaştırma testini yeniden çalıştırdık. Bu, puanlamada küçük bir değişiklik olduğu anlamına gelir. Ancak web sitemizdeki arşivde geçmiş puanları görüntülemeye devam edebilirsiniz.

Android Bench'in sizin için faydalı olmasını istiyoruz. Bu nedenle, değerlendirmelerimiz ve sektör olgunlaştıkça Android Bench'i sürekli olarak güncelleyeceğiz.

8 yeni modelle skor tablosunu genişletme

Liderlik tablosunu güncel tutma taahhüdümüz kapsamında Android Bench liderlik tablosuna Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ve Qwen 3.7 Max'i ekledik. 

84,5 puanla Claude Fable 5'in liderlik tablosunun en üstünde olduğunu, 80,2 puanla GPT 5.5'in ikinci, 76,2 puanla Claude Sonnet 5'in ise üçüncü sırada yer aldığını göreceksiniz.

Yalnızca açık ağırlıklı modeller karşılaştırıldığında 72, 2 puanla GLM 5.2 en üstte yer alıyor. Bunu 70, 4 puanla Kimi K2.7 Code takip ediyor.

Bu yeni ve önceki modellerin, Jetpack Compose geçişleri, giyilebilir cihazlarda ağ oluşturma ve platform API güncellemeleri gibi Android'e özgü zorluklarla nasıl başa çıktığını görmek için güncellenen skor tablosunda model performansı ve verimlilik metriklerini inceleyebilirsiniz.  

Android Bench'i topluluk katkılarına açma

Başlangıçtan beri açık ve şeffaf bir yaklaşımı benimsedik. Bu nedenle, orijinal metodolojimizi ve test düzeneğimizi GitHub'da herkese açık olarak paylaştık. Veri setimizle ilgili geri bildirimde bulunma isteğinizi dikkate alarak iş birliğini bir adım daha ileri taşıyor ve Android geliştirici topluluğuna Android Bench'i şekillendirme fırsatı sunuyoruz.

Bugünden itibaren Android Bench'e iki şekilde katkıda bulunabilirsiniz:

1. Modellerin sizin için önemli olan senaryoları nasıl ele aldığını değerlendirmek üzere kendi Android geliştirme görevlerinizi tasarlayıp gönderin.
2. Karşılaştırma değerlendirmelerini doğrudan çalıştırıp paylaşın. Tercih ettiğiniz modelleri veri kümemize veya kendi özel görevlerinize göre test edin.

Gönderilen görevleri inceleyip karşılaştırmaya eklenip eklenmeyeceklerini değerlendireceğiz. Global Android geliştirici topluluğunun çeşitli ve günlük gerçeklerini yansıtan bir ölçüt oluşturmayı umuyoruz.

Geleceğe bakış

Ajan geliştirme için giderek daha fazla seçenek sunuluyor. Bu nedenle, en yeni ölçütleri korumak, güvendiğiniz yapay zeka yardımının daha akıllı, daha faydalı ve daha etkili olmasını sağlar. Görevlere göz atmak için GitHub depomuza gidin. Ekibimize inceleme için bir görev gönderebilirsiniz. Ayrıca veri kümesini keşfetmek veya değerlendirme göndermek için Harbor Hub'ı inceleyebilirsiniz.

Her zaman olduğu gibi, güncellenen skor tablosunu web sitemizde bulabilir veya metodolojiyi okuyabilirsiniz.