Weiterentwicklung der Messung von LLMs für Android: die nächste Ära von Android Bench

Im März haben wir Android Bench eingeführt, unsere LLM-Bestenliste für reale Android-Entwicklungsaufgaben. Unser Ziel war es, die Funktionen von Modellen in der Android-Entwicklung transparent zu machen und Modellverbesserungen zu fördern, damit Sie hilfreiche KI-Optionen für Ihren Arbeitsalltag erhalten. Seitdem haben wir den Benchmark auf Grundlage Ihres Feedbacks verbessert. Dazu gehört die Bewertung von Modellen mit offenem Gewicht und das Hinzufügen von Kosten- und Effizienzdimensionen zur Bestenliste. 

Die KI-Funktionen entwickeln sich jedoch ständig weiter und die Analysen müssen entsprechend angepasst werden. Im Rahmen unserer Veröffentlichung im Juli haben wir das Harbor-Framework eingeführt, das eine aktualisierte Version des Benchmarking-Agents enthält, mit dem Modelle bewertet werden. 

Zusammen mit dieser Änderung an unserer Bewertung fügen wir in diesem Release im Juli acht neue Modelle (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus und Qwen 3.7 Max) in die Bestenliste ein. Wir möchten euch, die Android-Entwickler-Community, auch die Möglichkeit geben, zum Benchmark beizutragen. 

Methodik mit dem Harbor-Framework aktualisieren

Bei der Entwicklung von Android Bench haben wir unsere Methodik an den damals führenden Branchenstandards orientiert. Wir haben mini-swe-agent v1 verwendet, einen Agenten für allgemeine Zwecke für Benchmarking, und ihn an die Besonderheiten der Android-Entwicklung angepasst, um eine Baseline für die Fähigkeiten von Modellen für gängige Android-Entwicklungsaufgaben zu erhalten.

Damit wir Ihnen weiterhin modernste Analysen zur Verfügung stellen können, mit denen die neuesten Modellfunktionen für die Android-Entwicklung genau gemessen werden, standardisieren wir unseren Benchmark auf das Harbor-Framework. Harbor definiert Standards und Integrationen, die es jedem ermöglichen, den Benchmark auszuführen, die bevorzugte Einrichtung zu bewerten oder Ergebnisse zu teilen. Das sorgt für zusätzliche Transparenz und Sichtbarkeit.

Durch dieses Upgrade können wir Modelle und ihre Funktionen genauer bewerten. Wir haben den Benchmark für alle Modelle noch einmal ausgeführt, um eine aktualisierte Baseline zu erstellen. Das bedeutet, dass es eine geringfügige Änderung bei der Bewertung gibt. Sie können sich aber weiterhin die bisherigen Bewertungen in unserem Archiv auf unserer Website ansehen.

Wir möchten, dass Android Bench für Sie nützlich ist. Daher werden wir die App kontinuierlich aktualisieren, wenn sich unsere Bewertungen und die Branche weiterentwickeln.

Erweiterung der Bestenliste um 8 neue Modelle

Im Rahmen unseres Engagements, die Bestenliste auf dem neuesten Stand zu halten, haben wir Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus und Qwen 3.7 Max in die Android Bench-Bestenliste aufgenommen. 

Claude Fable 5 steht mit einem Ergebnis von 84,5 an der Spitze der Bestenliste, gefolgt von GPT 5.5 mit 80,2 und Claude Sonnet 5 mit einem Ergebnis von 76,2 auf dem dritten Platz.

Beim Vergleich von Open-Weight-Modellen liegt GLM 5.2 mit 72,2 an der Spitze, gefolgt von Kimi K2.7 Code mit einem Wert von 70,4.

Auf der aktualisierten Bestenliste finden Sie Messwerte zur Leistung und Effizienz der Modelle. So können Sie sehen, wie die neuen und bisherigen Modelle mit Android-spezifischen Herausforderungen wie Jetpack Compose-Migrationen, Wearable-Netzwerken und Plattform-API-Updates umgehen.  

Android Bench für Communitybeiträge öffnen

Von Anfang an haben wir Wert auf einen offenen und transparenten Ansatz gelegt. Deshalb haben wir unsere ursprüngliche Methodik und Testumgebung auf GitHub öffentlich verfügbar gemacht. Sie haben uns gebeten, Ihnen eine Möglichkeit zu geben, Feedback zu unserem Datensatz zu geben. Wir gehen jetzt einen Schritt weiter und geben Ihnen, der Android-Entwickler-Community, die Möglichkeit, Android Bench mitzugestalten.

Ab heute haben Sie zwei Möglichkeiten, zu Android Bench beizutragen:

1. Entwerfen und reichen Sie eigene Android-Entwicklungsaufgaben ein, um zu bewerten, wie Modelle mit den für Sie wichtigen Szenarien umgehen.
2. Benchmark-Bewertungen selbst ausführen und teilen: Testen Sie Ihre bevorzugten Modelle anhand unseres Datasets oder Ihrer eigenen benutzerdefinierten Aufgaben.

Wir prüfen die eingereichten Aufgaben und entscheiden, ob sie dem Benchmark hinzugefügt werden. Wir hoffen, einen Benchmark zu entwickeln, der die vielfältigen, alltäglichen Realitäten der globalen Android-Entwickler-Community widerspiegelt.

Ausblick

Da es immer mehr Optionen für die Entwicklung von Agenten gibt, sorgt die Aufrechterhaltung eines hochmodernen Benchmarks dafür, dass die KI-Unterstützung, auf die Sie sich verlassen, immer intelligenter, hilfreicher und effektiver wird. In unserem GitHub-Repository finden Sie die Aufgaben. Sie können eine Aufgabe zur Überprüfung an unser Team senden. Im Harbor Hub können Sie den Datensatz ansehen oder Bewertungen einreichen.

Wie immer finden Sie die aktualisierte Bestenliste und die Methodik auf unserer Website.