지난 3월, 실제 Android 개발 작업을 위한 LLM 리더보드인 Android Bench를 도입했습니다. Google의 목표는 Android 개발에서 모델 기능의 투명성을 제공하고 모델 개선을 장려하여 일상적인 워크플로에 더 유용한 AI 옵션을 제공하는 것이었습니다. 그 이후로 Google은 오픈 가중치 모델 평가를 포함하여 의견을 바탕으로 벤치마크를 개선하고 리더보드에 비용 및 효율성 측정기준을 추가했습니다.
하지만 AI 기능은 끊임없이 진화하고 있으며 측정 방식도 이에 따라야 합니다. 7월 출시의 일환으로 Google은 모델 평가에 사용되는 벤치마킹 에이전트의 업데이트된 버전을 포함하는 Harbor 프레임워크를 채택했습니다.
이번 7월 출시에서는 평가 변경사항과 함께 8개의 새로운 모델 (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, Qwen 3.7 Max)을 리더보드에 추가합니다. 또한 Android 개발자 커뮤니티에 벤치마크에 기여할 수 있는 기회를 공유합니다.
Harbor 프레임워크로 방법론 업그레이드
Android Bench를 설계할 때 Google은 당시 사용 가능한 주요 업계 표준을 기반으로 방법론을 정했습니다. Google은 범용 벤치마킹 에이전트인 mini-swe-agent v1을 사용하고 이를 Android 개발의 미묘한 차이에 맞게 조정하여 일반적인 Android 개발 작업에 대한 모델 기능의 기준 측정을 제공했습니다.
Android 개발에서 최신 모델 기능을 정확하게 측정하는 최첨단 평가를 계속 제공하기 위해 Google은 벤치마크를 Harbor 프레임워크로 표준화하고 있습니다. Harbor는 누구나 벤치마크를 실행하고, 선호하는 설정을 평가하고, 결과를 공유할 수 있도록 하는 표준과 통합을 정의하여 추가적인 투명성과 가시성을 제공합니다.
이번 업그레이드를 통해 모델과 기능을 더 엄격하게 평가할 수 있으며 모든 모델에서 벤치마크를 다시 실행하여 업데이트된 기준을 설정했습니다. 즉, 점수가 약간 변경되지만 웹사이트의 보관처리된 콘텐츠 내에서 이전 점수를 계속 볼 수 있습니다.
Google은 Android Bench가 유용하도록 평가 및 업계가 성숙함에 따라 지속적으로 업데이트할 예정입니다.
8개의 새로운 모델로 리더보드 확장
리더보드를 최신 상태로 유지하기 위해 Google은 Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, Qwen 3.7 Max를 Android Bench 리더보드에 추가했습니다.
Claude Fable 5 가 84.5점으로 리더보드 상단에 있으며 GPT 5.5 가 80.2점으로 그 뒤를 잇고 Claude Sonnet 5 가 76.2점으로 3위를 차지하고 있습니다.
오픈 가중치 모델만 비교하면 GLM 5.2 가 72.2점으로 1위를 차지하고 Kimi K2.7 Code 가 70.4점으로 그 뒤를 잇고 있습니다.
업데이트된 리더보드에서 모델 성능 및 효율성 측정항목을 확인하여 이러한 신규 및 이전 모델이 Jetpack Compose 마이그레이션, 웨어러블 네트워킹, 플랫폼 API 업데이트와 같은 Android 관련 문제를 해결하는 방법을 알아보세요.
커뮤니티 기여를 위한 Android Bench 공개
Google은 처음부터 개방적이고 투명한 접근 방식을 중요하게 생각했으며, 이러한 이유로 GitHub에서 원래 방법론과 테스트 하네스를 공개적으로 제공했습니다. 데이터세트에 관한 의견을 제공할 수 있는 방법을 요청해 주셨으므로 이제 Google은 Android 개발자 커뮤니티에 Android Bench를 만들 수 있는 기회를 제공하여 협업을 한 단계 더 발전시키고 있습니다.
오늘부터 다음 두 가지 방법으로 Android Bench에 기여할 수 있습니다.
- 자체 Android 개발 작업을 설계하고 제출하여 모델이 중요한 시나리오를 처리하는 방법을 평가합니다.
- Google의 데이터세트 또는 자체 맞춤 작업을 기준으로 선호하는 모델을 테스트하여 벤치마크 평가를 직접 실행하고 공유합니다.
제출된 작업은 검토를 거쳐 벤치마크에 추가될지 평가됩니다. Google은 전 세계 Android 개발자 커뮤니티의 다양하고 일상적인 현실을 진정으로 반영하는 벤치마크를 구축하고자 합니다.
향후 계획
에이전트 개발을 위한 옵션이 점점 더 많아짐에 따라 최첨단 벤치마크를 유지하면 사용자가 의존하는 AI 어시스턴트가 계속해서 더 스마트하고, 더 유용하며, 더 효과적으로 작동합니다. GitHub 저장소로 이동하여 작업을 확인하세요. 검토를 위해 작업을 Google팀에 제출할 수 있으며 Harbor Hub에서 데이터세트를 탐색하거나 평가를 제출할 수 있습니다.
언제나처럼 웹사이트에서 업데이트된 리더보드를 확인하거나 방법론을 읽어볼 수 있습니다.
-
제품 소식Google Play는 사용자에게 최상의 경험을 제공하는 동시에 개발자가 성공하는 데 필요한 도구와 적응력을 갖출 수 있도록 최선을 다하고 있습니다.
Paul Feng • 3분 읽기 -
제품 소식작년에 Google은 생태계 보안을 강화하고 악의적인 행위자가 익명성 뒤에 숨어 유해한 앱을 출시하는 것을 막기 위해 Android 개발자 인증을 도입했습니다.
Matthew Forsythe • 2분 읽기 -
제품 소식증강 오버레이부터 완전 몰입형 환경까지, Android XR 생태계는 빠르게 확장되고 있으며 삼성 갤럭시 XR은 이미 오늘부터 구매할 수 있습니다.
Stevan Silva, Vinny DaSilva • 3분 읽기
Android 개발 관련 최신 정보를 이메일로 받아 보세요. 매주
