プロダクト ニュース

Android の LLM の測定方法の進化: Android Bench の次の時代

所要時間: 3 分

3 月に、Google は実際の Android 開発タスク向けの LLM リーダーボードである Android Bench をリリースしました。Google の目標は、Android 開発におけるモデルの機能の透明性を高め、モデルの改善を促進して、日々のワークフローで役立つ AI オプションを増やすことです。その後、オープンウェイト モデルの評価や、リーダーボードへの費用と効率のディメンションの追加など、フィードバックに基づいてベンチマークを強化してきました。

しかし、AI の機能は常に進化しており、測定もそれに合わせて進化する必要があります。7 月のリリースの一環として、Harbor フレームワークを採用しました。これには、モデルの評価に使用されるベンチマーク エージェントの更新バージョンが含まれています。

この評価の変更に伴い、今回の 7 月のリリースでは、リーダーボードに 8 つの新しいモデル（Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max）を追加します。また、Android デベロッパー コミュニティの皆様がベンチマークに貢献できる機会についてもご紹介します。

Harbor フレームワークによる方法論のアップグレード

Android Bench を設計するにあたり、当時の主要な業界標準に基づいて方法論を策定しました。汎用ベンチマーク エージェントである mini-swe-agent v1 を使用し、Android 開発のニュアンスに合わせて調整して、一般的な Android 開発タスクにおけるモデルの能力のベースライン測定を行いました。

Android 開発における最新のモデル機能を正確に測定する最先端の評価を継続して提供するため、ベンチマークを Harbor フレームワークに標準化します。Harbor は、誰でも簡単にベンチマークを実行し、好みの設定を評価し、結果を共有できる標準と統合を定義します。これにより、透明性と可視性が向上します。

このアップグレードにより、モデルとその機能をより厳密に評価できるようになり、すべてのモデルでベンチマークを再実行して、更新されたベースラインを確立しました。スコアの算出方法が若干変更されますが、過去のスコアは引き続きウェブサイトのアーカイブで確認できます。

Android Bench が皆様のお役に立てるよう、評価と業界の成熟度に応じて継続的に更新していきます。

8 つの新しいモデルでリーダーボードを拡大

リーダーボードを常に最新の状態に保つという取り組みの一環として、Android Bench リーダーボードに Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus、Qwen 3.7 Max を追加しました。

Claude Fable 5 が 84.5 のスコアでリーダーボードのトップに立ち、2 位は 80.2 の GPT 5.5、3 位は 76.2 の Claude Sonnet 5 となっています。

オープンウェイト モデルのみを比較すると、GLM 5.2 が 72.2 でトップ、次いで Kimi K2.7 Code が 70.4 でした。

更新されたリーダーボードでモデルのパフォーマンスと効率の指標を確認すると、新しいモデルと以前のモデルが、Jetpack Compose の移行、ウェアラブル ネットワーキング、プラットフォーム API の更新など、Android 固有の課題にどのように対応しているかを確認できます。  

image1.png

Android Bench をコミュニティ投稿に開放

Google は当初からオープンで透明性の高いアプローチを重視しており、そのために独自のメソッドとテストハーネスを GitHub で公開しています。データセットに関するフィードバックを提供する方法についてご要望をいただいておりました。そこで、Android デベロッパー コミュニティの皆様に Android Bench の作成にご協力いただくことで、コラボレーションをさらに一歩進めることにいたしました。

本日より、Android Bench に次の 2 つの方法で貢献できるようになります。

  1. 独自の Android 開発タスクを設計して送信し、モデルが重要なシナリオをどのように処理するかを評価します。
  2. ベンチマーク評価を直接実行して共有し、Google のデータセットまたは独自のカスタム タスクに対して、お好みのモデルをテストします。

送信されたタスクは審査され、ベンチマークに追加されるかどうかが評価されます。Google は、世界中の Android デベロッパー コミュニティの多様な日常を真に反映するベンチマークを構築したいと考えています。

今後の展望

エージェント開発の選択肢が増え続ける中、最先端のベンチマークを維持することで、頼りになる AI アシスタンスがよりスマートで、より便利で、より効果的になります。GitHub リポジトリにアクセスして、タスクを確認してください。タスクをチームに送信して審査を依頼してください。また、Harbor Hub でデータセットを確認したり、評価を送信したりすることもできます。

更新されたリーダーボードや、方法論については、ウェブサイトでご確認いただけます。

続きを読む