Evoluzione della misurazione degli LLM per Android: la prossima era di Android Bench

A marzo abbiamo introdotto Android Bench, la nostra classifica LLM per le attività di sviluppo Android reali. Il nostro obiettivo era fornire trasparenza sulle funzionalità dei modelli nello sviluppo di Android e incoraggiare i miglioramenti dei modelli, per offrirti opzioni di AI più utili per il tuo flusso di lavoro quotidiano. Da allora, abbiamo migliorato il benchmark in base ai feedback ricevuti, ad esempio valutando i modelli open-weight e aggiungendo dimensioni di costo ed efficienza alla classifica. 

Tuttavia, le funzionalità di AI sono in continua evoluzione e anche la misurazione deve fare altrettanto. Nell'ambito della release di luglio, abbiamo adottato il framework Harbor, che include una versione aggiornata dell'agente di benchmarking utilizzato per valutare i modelli. 

Oltre a questa modifica alla nostra valutazione, in questa release di luglio aggiungiamo alla classifica 8 nuovi modelli (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max). Stiamo anche condividendo opportunità per voi, la community di sviluppatori Android, di contribuire al benchmark. 

Aggiornamento della nostra metodologia con il framework Harbor

Quando abbiamo progettato Android Bench, abbiamo ancorato la nostra metodologia agli standard di settore leader disponibili all'epoca. Abbiamo utilizzato mini-swe-agent v1, un agente di benchmarking generico, e lo abbiamo adattato alle sfumature dello sviluppo Android per fornire una misurazione di base delle funzionalità dei modelli per le attività di sviluppo Android comuni.

Per continuare a fornirti valutazioni all'avanguardia che misurino con precisione le funzionalità dei modelli più recenti per lo sviluppo di Android, stiamo standardizzando il nostro benchmark sul framework Harbor. Harbor definisce standard e integrazioni che consentono a chiunque di eseguire il benchmark, valutare la configurazione preferita o condividere i risultati, offrendoti maggiore trasparenza e visibilità.

Questo upgrade ci consente di valutare in modo più rigoroso i modelli e le loro funzionalità. Abbiamo eseguito nuovamente il benchmark su tutti i modelli per stabilire una base di riferimento aggiornata. Ciò significa che si verifica una piccola variazione nel punteggio, ma potrai comunque visualizzare i punteggi storici all'interno dell'archivio sul nostro sito web.

Vogliamo assicurarci che Android Bench sia utile per te, quindi lo aggiorneremo continuamente man mano che le nostre valutazioni e il settore maturano.

Espansione della classifica con 8 nuovi modelli

Nell'ambito del nostro impegno a mantenere aggiornata la classifica, abbiamo aggiunto Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus e Qwen 3.7 Max alla classifica di Android Bench. 

Vedrai che Claude Fable 5 è in cima alla classifica con un punteggio di 84,5, seguito da GPT 5.5 con 80,2 e da Claude Sonnet 5 al terzo posto con un punteggio di 76,2.

Se si confrontano solo i modelli Open-weight, GLM 5.2 è in cima alla classifica con 72,2, seguito da Kimi K2.7 Code con un punteggio di 70,4.

Puoi consultare le metriche di efficienza e rendimento dei modelli nella classifica aggiornata per vedere come questi nuovi modelli e quelli precedenti gestiscono le sfide specifiche di Android, come le migrazioni di Jetpack Compose, il networking indossabile e gli aggiornamenti delle API della piattaforma.  

Apertura di Android Bench ai contributi della community

Fin dall'inizio, abbiamo apprezzato un approccio aperto e trasparente, motivo per cui abbiamo reso disponibili pubblicamente su GitHub la nostra metodologia e il nostro banco di prova originali. Ci avete chiesto un modo per fornire feedback sul nostro set di dati, quindi ora stiamo facendo un ulteriore passo avanti nella collaborazione offrendo alla community di sviluppatori Android la possibilità di dare forma ad Android Bench.

A partire da oggi, puoi contribuire ad Android Bench in due modi:

1. Progetta e invia le tue attività di sviluppo Android per valutare il modo in cui i modelli gestiscono gli scenari che ti interessano.
2. Esegui e condividi valutazioni benchmark in prima persona, testando i tuoi modelli preferiti rispetto al nostro set di dati o alle tue attività personalizzate.

Esamineremo le attività inviate e valuteremo se aggiungerle al benchmark. Ci auguriamo di creare un benchmark che rifletta davvero la realtà quotidiana e diversificata della community globale di sviluppatori Android.

Prospettive future

Con sempre più opzioni per lo sviluppo di agenti, il mantenimento di un benchmark all'avanguardia garantisce che l'assistenza AI su cui fai affidamento continui a diventare più intelligente, utile ed efficace. Visita il nostro repository GitHub per esaminare le attività. Ti invitiamo a inviare un'attività al nostro team per la revisione. Puoi consultare Harbor Hub per esplorare il set di dati o inviare valutazioni.

Come sempre, puoi trovare la classifica aggiornata o leggere la metodologia sul nostro sito web.