Android 向け LLM 測定の進化: 次世代の Android Bench

3 月に、Google は Android Bench をリリースしました。これは、実際の Android 開発タスクにおける LLM のリーダーボードです。Google の目標は、Android 開発におけるモデルの機能の透明性を高め、モデルの改善を促進して、日々のワークフローで役立つ AI オプションを提供することです。リリース以来、皆様からのフィードバックに基づいてベンチマークを強化してきました。たとえば、オープンウェイト モデルの評価や、リーダーボードへのコストと効率のディメンションの追加などです。

しかし、AI 機能は常に進化しており、測定もそれに合わせて進化する必要があります。7 月のリリースでは、モデルの評価に使用されるベンチマークエージェントの更新版を含む Harbor フレームワークを採用しました。

評価の変更に伴い、7 月のリリースでは、8 つの新しいモデル（Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max ）をリーダーボードに追加します。また、Android デベロッパー コミュニティの皆様がベンチマークに貢献できる機会も提供します。

Harbor フレームワークによる手法のアップグレード

Android Bench の設計では、当時の主要な業界標準に基づいて手法を策定しました。汎用ベンチマーク エージェントである mini-swe-agent v1 を使用し、Android 開発のニュアンスに合わせて調整することで、一般的な Android 開発タスクにおけるモデルの機能のベースライン測定を提供しました。

Android 開発における最新のモデル機能を正確に測定する最先端の評価を提供し続けるために、ベンチマークを Harbor フレームワークに合わせて標準化します。Harbor は、誰でも簡単にベンチマークを実行し、好みの設定を評価し、結果を共有できるようにする標準と統合を定義します。これにより、透明性と可視性が向上します。

このアップグレードにより、モデルとその機能をより厳密に評価できるようになり、すべてのモデルでベンチマークを再実行して、更新されたベースラインを確立しました。これによりスコアがわずかに変化しますが、ウェブサイトのアーカイブで過去のスコアを引き続き確認できます。

Android Bench が皆様のお役に立てるよう、評価と業界の成熟に合わせて継続的に更新していきます。

8 つの新しいモデルでリーダーボードを拡大

リーダーボードを最新の状態に保つための取り組みの一環として、Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max を Android Bench リーダーボードに追加しました。

Claude Fable 5 が 84.5 のスコアでリーダーボードのトップにランクインし、GPT 5.5 が 80.2 で 2 位、Claude Sonnet 5 が 76.2 で 3 位となっています。

オープンウェイト モデルのみを比較すると、GLM 5.2 が 72.2 でトップ、Kimi K2.7 Code が 70.4 で 2 位となっています。

更新されたリーダーボードでモデルのパフォーマンスと効率の指標を確認すると、これらの新しいモデルと以前のモデルが、Jetpack Compose の移行、ウェアラブル ネットワーキング、プラットフォーム API の更新など、Android 固有の課題にどのように対応しているかを確認できます。  

Android Bench をコミュニティの貢献に開放

Google は当初からオープンで透明性の高いアプローチを重視しており、そのために元の手法とテストハーネスを GitHub で公開しました。データセットに関するフィードバックを提供する方法を求める声が寄せられていたため、Android デベロッパー コミュニティの皆様が Android Bench を形作ることができるように、コラボレーションをさらに一歩進めます。

本日より、次の 2 つの方法で Android Bench に貢献できます。

1. 独自の Android 開発タスクを設計して送信し、モデルが重要なシナリオにどのように対応するかを評価します。
2. ベンチマーク評価を直接実行して共有し、好みのモデルを Google のデータセットまたは独自のカスタムタスクでテストします。

送信されたタスクを確認し、ベンチマークに追加するかどうかを評価します。世界中の Android デベロッパー コミュニティの多様な日常を真に反映するベンチマークを構築したいと考えています。

今後の展望

エージェント開発のオプションが増えるにつれて、最先端のベンチマークを維持することで、皆様が頼りにしている AI アシスタントがよりスマートで、より便利で、より効果的になります。GitHubリポジトリにアクセスして、タスクを確認してください。タスクを送信して Google のチームに審査を依頼できます。また、Harbor Hub にアクセスしてデータセットを確認したり、評価を送信したりすることもできます。

これまでと同様に、ウェブサイトで更新されたリーダーボードを確認したり、手法を確認したりできます。