Android Bench 2.0: 難しい長期ホライズン タスクでフロンティアを押し広げる

Android Bench を初めてリリースしたとき、Google は大規模言語モデル（LLM）が実際の Android タスクでデベロッパーをどのように支援するかを評価するための厳格な基盤を構築しました。AI モデルとエージェントが急速に進化するにつれて、ベンチマーク フレームワークを Harbor フレームワークに合わせるなど、方法論を更新してきました。本日、最初の長期タスク（LHT）をリリースします。これは、エンジニアが完了するまでに数日、あるいは 1 週間かかるような非常に複雑なタスクです。また、対応するモデル プロバイダのエージェントから、エージェント評価も導入します。この追加により、Android Bench 2.0 が登場しました。これは、AI モデルとエージェントを、ユーザーが日々取り組んでいる規模、曖昧さ、複雑な複数ステップの問題解決に対して評価するために設計された大幅なアップグレードです。

増分修正から長期タスクまで

Android Bench の最初のイテレーションと、同様の初期の AI コーディング ベンチマークは、既存のリポジトリの増分変更に重点を置いていました。多くの場合、バグの修正や小規模な機能リクエストに限定されていました。これは、当時の AI アシスタントの機能と、その使用方法を反映したものです。

開発ワークフローに最適なモデルとコーディング エージェントをユーザーが見つけられるよう、AI に委任する作業に合わせて評価の基準を引き上げました。Android Bench 2.0 は、依存関係のアップグレード、新機能の追加、アプリのゼロからの構築、クロス プラットフォーム アプリの Android への変換などを含む LHT を使用して、これらの野心的な課題を反映しています。

複雑なタスクには、よりニュアンスのある評価とスコアリングが必要

複数日にわたるエンジニアリング タスクでは、バイナリの合格または不合格の評価では全体像を把握できません。

たとえば、エージェントが 40 個の画面を Jetpack Compose にリファクタリングし、データベース テーブルを設定して、要件の 90% をパスしたとしても、1 つのエッジケース アサーションに失敗する可能性があります。バイナリ スコアリングでは、この実行が 0% と評価され、モデルのアーキテクチャ機能が不明瞭になります。モデル開発と AI の活用方法の理解の両方で、より有意義なシグナルを提供するために、継続的なスコアリングに移行します。

この完了率は、機能、視覚的な忠実性、回帰の回避などの要素を組み合わせて計算されます。また、評価手順や構造上の制約からの逸脱に対して、客観的なスコアのペナルティも適用します。更新されたリーダーボードを確認し、各モデルのカード表示をクリックして、合格率、完了率、モデルごとおよびタスクごとの平均費用などの追加要素を確認します。

LHT の合格率は約 28%で、ベンチマークの元のタスクの約 91% よりもはるかに低くなっています。

長期的なタスクで AI アシスタンスに役立つ詳しいレポートを発見する

LHT データセットは、AI が長時間実行タスクをどの程度適切に処理できるかを測定するだけでなく、テストされたモデルの長所と短所をより深く理解し、より実践的なガイダンスを提供するためにも役立ちます。

モデルの階層全体で、AI は既存のコードをリファクタリングするよりも、新しいコードを記述する方が得意です。リファクタリングと移行は、コードの量ではなくアーキテクチャの複雑さによって成功が決まるため、より複雑になります。

モデルは、Java から Kotlin への変換、Retrofit から Ktor へのスワップ、ViewModel レイヤの導入など、確立された決定論的変換で優れた能力を発揮します。これらのパターンは、125 個以上のファイルと 8,000 行以上のコードにわたって一貫して適用されます。

ただし、タスクに実行時検証（依存関係の注入グラフの欠落など）が必要な場合、フレームワークの変更が含まれる場合、未リリースのライブラリで知識のギャップが発生する場合は、モデルの処理が困難になります。クロス プラットフォーム アプリを Android に移植することは、依然として未解決の課題です。合格率が 100% のモデルはなく、最先端のモデルでも完了率は最大 80% です。

エージェントの評価の概要

エージェント ワークフローに統合された場合のモデルのパフォーマンスをよりよく把握できるように、評価に一般的に使用されるエージェントを追加しています。まず、対応するモデル プロバイダのエージェントを使用して、LHT に対して新しいモデルを実行します。たとえば、GPT 5.6 Sol は Codex で、Gemini 3.8 Flash は Google Antigravity で実行しました。この組み合わせは、ハーネス設計がデベロッパーの成果にプラスの影響を与えることを示しています。プロンプト キャッシュ保存とコンパクトなツール ウィンドウにより、トークンを削減できることがわかっています。

今後、さまざまなモデルとエージェントの組み合わせの結果もハイライト表示することで、この機能を拡張し、ユーザーとチームにとって最適な組み合わせを見つけられるようにする予定です。

この測定に投資しているのは、Android 開発で選択したエージェントとモデルを使用できるようにすることが重要であるためです。今後数週間以内に、詳細をお知らせする予定です。

新しいモデルが追加されました

また、開発の意思決定に役立つ最新のデータを提供できるよう、リーダーボードの拡充も継続的に進めています。Gemini 3.8 Flash、Gemini 3.7 Flash、OpenAI の GPT-6、Anthropic の Fable 5.1、Kimi K3、Qwen 3.8 Max を追加しました。OpenAI の GPT-6 Astra が合格率 28% でトップです。

今後の対応

Android Bench 2.0 は、Android 開発用の AI を測定するための堅牢な環境を提供します。長期的なタスク、マルチモーダル評価、エージェント、継続的なスコアリングを組み合わせることで、AI 研究チームがより高性能で信頼性の高い AI コーディング パートナーを構築できるようになり、AI 開発の選択肢に関する透明性が高まることを期待しています。

更新されたリーダーボードと更新された手法をご確認ください。皆様からのフィードバックは Android Bench の進化に直接影響します。GitHub や、X や LinkedIn などのソーシャル チャンネルで、引き続きフィードバックをお寄せください。