Android Bench 2.0：挑戰高難度長程任務，突破極限

Android Bench 推出時，我們建立了嚴謹的基礎，評估大型語言模型 (LLM) 如何協助開發人員處理實際的 Android 工作。隨著 AI 模型和代理快速發展，我們也持續更新評估方法，例如將基準架構與 Harbor 架構整合。今天，我們將發布第一組長程任務 (LHT)，這類任務非常複雜，工程師需要多天甚至一週才能完成。我們也將推出代理評估功能，首先會從相應模型供應商的代理開始。這項新增功能讓我們推出 Android Bench 2.0，這是一項重大升級，旨在評估 AI 模型和代理，協助您處理日常工作中的規模、模糊性和複雜的多步驟問題。

從逐步修正到長程任務

Android Bench 的第一個疊代版本，以及類似的早期 AI 程式設計基準，著重於對現有存放區進行增量變更，在許多情況下僅限於修正錯誤或較小的功能要求。這反映了當時 AI 輔助功能的能力，以及您的使用方式。

為了持續協助您找到最適合開發工作流程的模型和程式設計代理，我們提高了評估標準，以符合您委派給 AI 的工作。Android Bench 2.0 透過 LHT 模擬這些高難度挑戰，包括升級依附元件、新增功能、從頭建構應用程式，或將跨平台應用程式轉換為 Android 應用程式。

複雜工作需要更細緻的評估和評分

在多日工程任務中，二進位通過或失敗評分無法擷取完整圖片。

舉例來說，代理可能會將 40 個畫面重構為 Jetpack Compose、設定資料庫資料表，並通過 90% 的需求，但無法通過單一邊緣案例斷言。二進位評分會將這次執行評為 0%，掩蓋模型的架構能力。我們將改用連續評分機制，提供更有意義的信號，協助開發模型，並讓您瞭解 AI 如何提供協助。

我們會綜合考量功能、視覺逼真度和避免迴歸等因素，計算出這項完成率。如果偏離評估指示或結構限制，我們也會客觀扣分。查看更新後的排行榜，並點選各模型的資訊卡檢視畫面，即可查看其他元素，例如通過率、完成率，以及每個模型和每項任務的平均成本。

LHT 的最高通過率約為 28%，遠低於基準中原始任務的 ~91%。

長程任務可為 AI 輔助功能提供實用深入分析

除了評估 AI 處理長時間任務的成效，LHT 資料集還能協助我們深入瞭解受測模型的優缺點，並提供更實用的指引。

無論模型層級為何，AI 撰寫新程式碼的效果都優於重構現有程式碼。重構和遷移作業會變得更棘手，因為成功與否取決於架構複雜度，而非程式碼數量。

模型在成熟、確定的轉換作業中展現強大能力，例如將 Java 轉換為 Kotlin、將 Retrofit 換成 Ktor，或導入 ViewModel 層。即使在超過 125 個檔案和 8,000 行程式碼中，他們也能一致地套用這些模式。

不過，如果工作需要執行階段驗證 (例如缺少依附元件插入圖)、涉及破壞性架構變更，或遇到未發布程式庫的知識落差，模型就會遇到困難。將跨平台應用程式移植到 Android 仍是一項開放式挑戰，沒有任何模型能達到 100% 的通過率，而前沿模型最多也只能達到 80% 的完成率。

隆重推出代理評估

為了協助您進一步瞭解模型整合至 Agentic Workflows 後的成效，我們在評估中加入常用的代理。首先，我們會使用相應模型供應商的代理，針對 LHT 執行新模型。舉例來說，我們在 Codex 執行 GPT 5.6 Sol，在 Google Antigravity 執行 Gemini 3.8 Flash。這項配對顯示，harness 設計對開發人員成果有正面影響，因為我們發現提示快取和精簡工具視窗可減少詞元。

日後，我們也會列出各種模型和代理組合的結果，協助您找出最適合自己和團隊的組合。

我們投入這項評估，是因為您必須能使用所選的代理和模型進行 Android 開發，我們將在未來幾週內與您分享更多資訊。

新增模型

此外，我們也會持續擴充排行榜，確保您能根據最新資料做出開發決策。我們新增了 Gemini 3.8 Flash、Gemini 3.7 Flash、OpenAI 的 GPT-6、Anthropic 的 Fable 5.1、Kimi K3 和 Qwen 3.8 Max，其中 OpenAI 的 GPT-6 Astra 以 28% 的通過率位居榜首。

展望未來

Android Bench 2.0 提供穩固的環境，可評估 AI 在 Android 開發方面的能力。我們希望結合長程任務、多模態評估、代理和持續評分，協助 AI 研究團隊打造更強大、可靠的 AI 程式幫手，並讓您更清楚瞭解 AI 開發選項。

歡迎查看最新排行榜和更新版方法。您的意見回饋會直接影響 Android Bench 的發展，因此請繼續透過 GitHub 和 X、LinkedIn 等社群管道與我們分享意見。