产品动态

不断改进 Android 大语言模型衡量方式：Android Bench 的新时代

3 分钟阅读时间

早在 3 月份，我们就推出了 Android Bench，这是一个大语言模型排行榜，用于评估模型在实际 Android 开发任务中的表现。我们的目标是提高 Android 开发中模型能力的透明度，并鼓励模型改进，以便为您提供更多有用的 AI 选项，帮助您完成日常工作流程。此后，我们根据您的反馈意见改进了基准，包括评估 开放权重模型，并在排行榜中添加了成本和效率维度。

但 AI 能力不断发展，衡量方式也需要随之改进。在 7 月份的版本中，我们采用了 Harbor 框架，其中包括用于评估模型的基准代理的更新版本。 

除了对评估方式进行更改之外，在 7 月份的版本中，我们还在排行榜中添加了 8 个新模型（Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus 和 Qwen 3.7 Max ）。我们还为 Android 开发者社区提供了参与基准的机会。

使用 Harbor 框架升级我们的方法

在设计 Android Bench 时，我们以当时领先的行业标准为基础制定了方法。我们使用了 mini-swe-agent v1（一种通用基准代理），并根据 Android 开发的细微差别对其进行了调整，以便为模型在常见 Android 开发任务中的能力提供基准衡量标准。

为了继续为您提供最先进的评估，准确衡量 Android 开发中最新的模型能力，我们将基准标准化为 Harbor 框架。Harbor 定义了标准和集成，让任何人都可以轻松运行基准、评估其首选设置或分享结果，从而为您提供更高的透明度和可见性。

此次升级使我们能够更严格地评估模型及其能力，并且我们重新运行了所有模型的基准，以建立更新后的基准。这意味着评分会略有变化，但您仍然可以在我们网站上的 归档中查看历史评分。

我们希望确保 Android Bench 对您有所帮助，因此我们将随着评估和行业的发展不断更新它。

在排行榜中添加 8 个新模型

为了确保排行榜保持最新状态，我们已将 Claude Fable 5、Claude Sonnet 5、Claude Opus 4.8、GLM 5.2、Kimi K2.7 Code、MiniMax M3、Qwen 3.7 Plus 和 Qwen 3.7 Max 添加到 Android Bench 排行榜中。

您会看到，Claude Fable 5 以 84.5 分位居排行榜榜首，其次是 GPT 5.5 ，得分为 80.2 分，Claude Sonnet 5 以 76.2 分位居第三。

如果仅比较开放权重模型，GLM 5.2 以 72.2 分位居榜首，其次是 Kimi K2.7 Code ，得分为 70.4 分。

您可以在更新后的排行榜上查看模型性能和效率指标，了解这些新模型和之前的模型如何应对 Android 特有的挑战，例如 Jetpack Compose 迁移、穿戴式设备网络和平台 API 更新。  

image1.png

向社区贡献开放 Android Bench

从一开始，我们就重视开放透明的方法，因此我们在 GitHub 上公开提供了原始方法和测试工具。您要求提供一种方式来反馈我们的数据集，因此现在我们更进一步，让 Android 开发者社区有机会塑造 Android Bench。

即日起，您可以通过以下两种方式为 Android Bench 做出贡献：

  1. 设计并 提交您自己的 Android 开发任务，以评估模型如何处理对您重要的场景。
  2. 亲自运行并分享基准评估，根据我们的数据集或您自己的自定义任务测试您首选的模型。

我们将审核提交的任务，并评估是否将其添加到基准中。我们希望构建一个真正反映全球 Android 开发者社区多样化日常现实的基准。

未来计划

随着代理开发选项越来越多，保持最先进的基准可确保您依赖的 AI 助理变得越来越智能、越来越有用、越来越有效。前往我们的 GitHub 代码库查看任务。我们邀请您向我们的团队提交任务以供审核，您可以查看 Harbor Hub 以探索数据集或提交评估。

与往常一样，您可以在我们的网站上找到 更新后的排行榜，或阅读 方法。

继续阅读