Phát triển cách đo lường LLM cho Android: kỷ nguyên tiếp theo của Android Bench

Vào tháng 3, chúng tôi đã giới thiệu Android Bench – bảng xếp hạng LLM của chúng tôi cho các tác vụ phát triển Android trong thực tế. Mục tiêu của chúng tôi là cung cấp thông tin minh bạch về các chức năng của mô hình trong quá trình phát triển ứng dụng Android và khuyến khích việc cải thiện mô hình, nhằm mang đến cho bạn nhiều lựa chọn AI hữu ích hơn cho quy trình làm việc hằng ngày. Kể từ đó, chúng tôi đã cải thiện điểm chuẩn dựa trên ý kiến phản hồi của bạn, bao gồm cả việc đánh giá các mô hình có trọng số mở và thêm phương diện chi phí và hiệu quả vào bảng xếp hạng. 

Tuy nhiên, các tính năng AI không ngừng phát triển và hoạt động đo lường cũng cần phải thay đổi theo. Trong bản phát hành tháng 7, chúng tôi đã áp dụng khung Harbor. Khung này bao gồm phiên bản mới của tác nhân đo điểm chuẩn dùng để đánh giá các mô hình. 

Cùng với thay đổi này đối với quy trình đánh giá, trong bản phát hành tháng 7 này, chúng tôi sẽ bổ sung 8 mô hình mới (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus và Qwen 3.7 Max) vào bảng xếp hạng. Chúng tôi cũng sẽ chia sẻ những cơ hội để bạn (cộng đồng nhà phát triển Android) đóng góp vào điểm chuẩn này. 

Nâng cấp phương pháp bằng khung Harbor

Khi thiết kế Android Bench, chúng tôi đã dựa vào các tiêu chuẩn hàng đầu trong ngành tại thời điểm đó để xây dựng phương pháp của mình. Chúng tôi đã sử dụng mini-swe-agent phiên bản 1, một tác nhân đo điểm chuẩn đa năng và điều chỉnh tác nhân này cho phù hợp với các sắc thái của quá trình phát triển Android để cung cấp một phép đo cơ sở về khả năng của các mô hình cho các tác vụ phát triển Android phổ biến.

Để tiếp tục cung cấp cho bạn các đánh giá hiện đại, đo lường chính xác các chức năng mới nhất của mô hình trong quá trình phát triển Android, chúng tôi đang chuẩn hoá điểm chuẩn của mình theo khung Harbor. Harbor xác định các tiêu chuẩn và hoạt động tích hợp giúp mọi người dễ dàng chạy quy trình đo điểm chuẩn, đánh giá chế độ thiết lập mà họ muốn hoặc chia sẻ kết quả – mang đến cho bạn thêm tính minh bạch và khả năng hiển thị.

Nhờ bản nâng cấp này, chúng tôi có thể đánh giá các mô hình và khả năng của chúng một cách nghiêm ngặt hơn, đồng thời chạy lại điểm chuẩn trên tất cả các mô hình để thiết lập một đường cơ sở mới. Điều này có nghĩa là điểm số sẽ có một chút thay đổi, nhưng bạn vẫn có thể xem điểm số trước đây trong kho lưu trữ trên trang web của chúng tôi.

Chúng tôi muốn đảm bảo Android Bench hữu ích cho bạn, vì vậy, chúng tôi sẽ liên tục cập nhật công cụ này khi các hoạt động đánh giá của chúng tôi và ngành này phát triển.

Mở rộng bảng xếp hạng với 8 mô hình mới

Để đảm bảo bảng xếp hạng luôn mới mẻ, chúng tôi đã thêm Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus và Qwen 3.7 Max vào bảng xếp hạng Android Bench. 

Bạn sẽ thấy Claude Fable 5 đứng đầu bảng xếp hạng với điểm số 84,5, tiếp theo là GPT 5.5 với 80,2 và Claude Sonnet 5 ở vị trí thứ 3 với điểm số 76,2.

Khi chỉ so sánh các mô hình mã nguồn mở, GLM 5.2 đứng đầu với 72,2, tiếp theo là Kimi K2.7 Code với điểm số 70,4.

Bạn có thể xem các chỉ số về hiệu suất và hiệu quả của mô hình trên bảng xếp hạng mới cập nhật để biết cách các mô hình mới và cũ này giải quyết những thách thức dành riêng cho Android như việc di chuyển Jetpack Compose, kết nối mạng cho thiết bị đeo và các bản cập nhật API nền tảng.  

Mở Android Bench cho nội dung đóng góp của cộng đồng

Ngay từ đầu, chúng tôi đã coi trọng phương pháp tiếp cận minh bạch và cởi mở. Đó là lý do chúng tôi công khai phương pháp và bộ kiểm thử ban đầu trên GitHub. Bạn đã yêu cầu chúng tôi cung cấp một cách để gửi ý kiến phản hồi về tập dữ liệu của chúng tôi. Vì vậy, giờ đây, chúng tôi sẽ tiến thêm một bước trong việc hợp tác bằng cách cho phép bạn (cộng đồng nhà phát triển Android) định hình Android Bench.

Kể từ hôm nay, bạn có thể đóng góp cho Android Bench theo hai cách:

1. Thiết kế và gửi các nhiệm vụ phát triển Android của riêng bạn để đánh giá cách các mô hình xử lý những tình huống quan trọng đối với bạn.
2. Chạy và chia sẻ trực tiếp các đánh giá điểm chuẩn, kiểm thử các mô hình bạn muốn với tập dữ liệu của chúng tôi hoặc các tác vụ tuỳ chỉnh của riêng bạn.

Chúng tôi sẽ xem xét các nhiệm vụ đã gửi và đánh giá xem các nhiệm vụ đó có được thêm vào điểm chuẩn hay không. Chúng tôi hy vọng có thể xây dựng một điểm chuẩn thực sự phản ánh những thực tế đa dạng trong cuộc sống hằng ngày của cộng đồng nhà phát triển Android trên toàn cầu.

Nhìn về tương lai

Với ngày càng nhiều lựa chọn để phát triển dựa trên tác nhân, việc duy trì một tiêu chuẩn tiên tiến đảm bảo rằng trợ lý AI mà bạn tin dùng sẽ ngày càng thông minh hơn, hữu ích hơn và hiệu quả hơn. Hãy truy cập kho lưu trữ GitHub của chúng tôi để xem các nhiệm vụ. Bạn có thể gửi một nhiệm vụ cho nhóm chúng tôi xem xét và tham khảo Harbor Hub để khám phá tập dữ liệu hoặc gửi bản đánh giá.

Như thường lệ, bạn có thể xem bảng xếp hạng mới cập nhật hoặc đọc phương pháp trên trang web của chúng tôi.