Como melhorar o desenvolvimento Android assistido por IA e os LLMs com o Android Bench

Queremos que você crie apps Android de alta qualidade com mais rapidez e facilidade. Uma das formas de aumentar sua produtividade é colocar a IA ao seu alcance. Sabemos que vocês querem uma IA que realmente entenda as nuances da plataforma Android. Por isso, estamos medindo o desempenho dos LLMs em tarefas de desenvolvimento para Android. Hoje lançamos a primeira versão do Android Bench, nosso ranking oficial de LLMs para desenvolvimento Android.

Nosso objetivo é fornecer aos criadores de modelos um comparativo de mercado para avaliar os recursos de LLM para desenvolvimento no Android. Ao estabelecer um valor de referência claro e confiável para o desenvolvimento de alta qualidade no Android, ajudamos os criadores de modelos a identificar lacunas e acelerar melhorias. Isso permite que os desenvolvedores Android trabalhem com mais eficiência, escolhendo entre uma variedade maior de modelos úteis para assistência de IA, o que, por fim, resultará em apps de maior qualidade em todo o ecossistema Android.

Projetado com tarefas reais de desenvolvimento para Android

Criamos o comparativo de mercado selecionando um conjunto de tarefas em várias áreas comuns de desenvolvimento do Android. Ele é composto por desafios reais de vários níveis de dificuldade, provenientes de repositórios públicos do Android no GitHub. Os cenários incluem resolver alterações interruptivas em versões do Android, tarefas específicas de domínio, como rede em wearables, e migrar para a versão mais recente do Jetpack Compose, entre outros.

Cada avaliação tenta fazer com que um LLM corrija o problema relatado na tarefa, que é verificado usando testes de unidade ou testes de instrumentação. Essa abordagem independente de modelo nos permite medir a capacidade de um modelo de navegar por bases de código complexas, entender dependências e resolver os tipos de problemas que você encontra todos os dias. 

Validamos essa metodologia com vários criadores de LLMs, incluindo a JetBrains. 

"Medir o impacto da IA no Android é um desafio enorme, então é ótimo ver uma estrutura tão sólida e realista. Embora já façamos nossos próprios testes, o Android Bench é uma adição única e muito bem-vinda. Essa metodologia é exatamente o tipo de avaliação rigorosa que os desenvolvedores Android precisam no momento." 
- Kirill Smelov, chefe de integrações de IA na JetBrains.

Os primeiros resultados do Android Bench

Nesta versão inicial, queríamos medir apenas o desempenho do modelo e não focar no uso de agentes ou ferramentas. Os modelos conseguiram concluir de 16% a 72% das tarefas. Essa é uma ampla variedade que demonstra que alguns LLMs já têm uma base sólida de conhecimento sobre o Android, enquanto outros têm mais espaço para melhorias. Independentemente do estado atual dos modelos, esperamos melhorias contínuas à medida que incentivamos os criadores de LLMs a aprimorar os modelos para o desenvolvimento Android. 

O LLM com a maior pontuação média nesta primeira versão é o Gemini 3.1 Pro, seguido de perto pelo Claude Opus 4.6. Você pode testar todos os modelos que avaliamos para a assistência de IA nos seus projetos do Android usando chaves de API na versão estável mais recente do Android Studio.

Oferecer transparência aos desenvolvedores e criadores de LLMs

Valorizamos uma abordagem aberta e transparente. Por isso, disponibilizamos nossa metodologia, o conjunto de dados e o arcabouço de testes publicamente no GitHub.

Um desafio para qualquer comparativo público é o risco de contaminação de dados, em que os modelos podem ter visto tarefas de avaliação durante o processo de treinamento. Tomamos medidas para garantir que nossos resultados reflitam um raciocínio genuíno, em vez de memorização ou adivinhação, incluindo uma revisão manual completa das trajetórias dos agentes ou a integração de uma string canário para desencorajar o treinamento. 

No futuro, vamos continuar evoluindo nossa metodologia para preservar a integridade do conjunto de dados, além de fazer melhorias para as próximas versões do comparativo de mercado, como aumentar a quantidade e a complexidade das tarefas.

Estamos ansiosos para ver como o Android Bench pode melhorar a assistência de IA a longo prazo. Nossa visão é reduzir a distância entre o conceito e o código de qualidade. Estamos construindo a base para um futuro em que tudo o que você imaginar poderá ser criado no Android.