Evolução da forma como os LLMs são medidos no Android: a próxima era do Android Bench

Em março, apresentamos o Android Bench , nosso ranking de LLMs para tarefas reais de desenvolvimento do Android. Nosso objetivo era oferecer transparência sobre os recursos do modelo no desenvolvimento do Android e incentivar melhorias no modelo para oferecer opções de IA mais úteis para seu fluxo de trabalho diário. Desde então, aprimoramos o benchmark com base no seu feedback, incluindo a avaliação de modelos de peso aberto e a adição de dimensões de custo e eficiência ao ranking. 

No entanto, os recursos de IA estão em constante evolução, e a medição precisa acompanhar esse ritmo. Como parte do nosso lançamento de julho, adotamos a estrutura do Harbor, que inclui uma versão atualizada do agente de benchmark usado para avaliar modelos. 

Além dessa mudança na nossa avaliação, nesta versão de julho, estamos adicionando oito novos modelos (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max) ao ranking. Também estamos compartilhando oportunidades para que você, a comunidade de desenvolvedores Android, contribua com o benchmark. 

Como aprimoramos nossa metodologia com a estrutura do Harbor

Ao projetar o Android Bench, ancoramos nossa metodologia nos principais padrões do setor disponíveis na época. Usamos o mini-swe-agent v1, um agente de benchmark de uso geral, e o adaptamos às nuances do desenvolvimento do Android para fornecer uma medição de referência para os recursos de modelos para tarefas comuns de desenvolvimento do Android.

Para continuar oferecendo avaliações de ponta que medem com precisão os recursos mais recentes do modelo no desenvolvimento do Android, estamos padronizando nosso benchmark para a estrutura do Harbor. O Harbor define padrões e integrações que facilitam a execução do benchmark, a avaliação da configuração preferida ou o compartilhamento de resultados, oferecendo mais transparência e visibilidade.

Essa atualização nos permite avaliar modelos e recursos com mais rigor, e executamos o benchmark novamente em todos os modelos para estabelecer uma linha de base atualizada. Isso significa que há uma pequena mudança na pontuação, mas ainda será possível conferir as pontuações históricas no arquivo do nosso site.

Queremos garantir que o Android Bench seja útil para você. Por isso, vamos atualizá-lo continuamente à medida que nossas avaliações e o setor amadurecem.

Expansão do ranking com oito novos modelos

Como parte do nosso compromisso de manter o ranking atualizado, adicionamos o Claude Fable 5, o Claude Sonnet 5, o Claude Opus 4.8, o GLM 5.2, o Kimi K2.7 Code, o MiniMax M3, o Qwen 3.7 Plus e o Qwen 3.7 Max ao ranking do Android Bench. 

Você verá que Claude Fable 5 está no topo do ranking com uma pontuação de 84,5, seguido pelo GPT 5.5 com 80,2 e o Claude Sonnet 5 em terceiro lugar com uma pontuação de 76,2.

Ao comparar apenas modelos de peso aberto, o GLM 5.2 está no topo com 72,2, seguido pelo Kimi K2.7 Code com uma pontuação de 70,4.

Confira as métricas de desempenho e eficiência do modelo no ranking atualizado para saber como esses modelos novos e anteriores navegam por desafios específicos do Android, como migrações do Jetpack Compose, redes vestíveis e atualizações da API da plataforma.  

Abertura do Android Bench para contribuições da comunidade

Desde o início, valorizamos uma abordagem aberta e transparente. Por isso, disponibilizamos nossa metodologia original e o conjunto de testes publicamente no GitHub. Você pediu uma maneira de enviar feedback sobre nosso conjunto de dados. Agora, estamos dando um passo adiante na colaboração, oferecendo a você, a comunidade de desenvolvedores Android, a chance de moldar o Android Bench.

A partir de hoje, você pode contribuir com o Android Bench de duas maneiras:

1. Projete e envie suas próprias tarefas de desenvolvimento do Android para avaliar como os modelos lidam com os cenários que são importantes para você.
2. _Execute e compartilhe avaliações de benchmark_ em primeira mão, testando seus modelos preferidos em relação ao nosso conjunto de dados ou às suas próprias tarefas personalizadas.

Vamos analisar as tarefas enviadas e avaliar se elas serão adicionadas ao benchmark. Esperamos criar um benchmark que reflita verdadeiramente as realidades diversas e cotidianas da comunidade global de desenvolvedores Android.

O que vem por aí

Com mais e mais opções de desenvolvimento de agentes, manter um benchmark de ponta garante que a assistência de IA em que você confia continue ficando mais inteligente, útil e eficaz. Acesse nosso repositório do GitHub para conferir as tarefas. Convidamos você a enviar uma tarefa para nossa equipe analisar. Além disso, você pode acessar o Harbor Hub para explorar o conjunto de dados ou enviar avaliações.

Como sempre, você pode encontrar o ranking atualizado ou ler a metodologia no nosso site.