تکامل نحوه اندازه‌گیری LLMها برای اندروید: دوره بعدی Android Bench

در ماه مارس، ما Android Bench را معرفی کردیم - جدول امتیازات LLM ما برای وظایف توسعه اندروید در دنیای واقعی. هدف ما ارائه شفافیت در مورد قابلیت‌های مدل در توسعه اندروید و تشویق به بهبود مدل‌ها بود تا گزینه‌های هوش مصنوعی مفیدتری برای گردش کار روزمره شما ارائه دهیم. از آن زمان، ما این معیار را بر اساس بازخورد شما، از جمله ارزیابی مدل‌های با وزن باز و اضافه کردن ابعاد هزینه و کارایی به جدول امتیازات، بهبود بخشیده‌ایم.

اما قابلیت‌های هوش مصنوعی دائماً در حال تکامل هستند و اندازه‌گیری نیز باید از این روند پیروی کند. به عنوان بخشی از نسخه ماه جولای، ما چارچوب Harbor را اتخاذ کرده‌ایم که شامل نسخه‌ای به‌روز شده از عامل معیار مورد استفاده برای ارزیابی مدل‌ها است.

همراه با این تغییر در ارزیابی ما، در این نسخه ماه جولای، ۸ مدل جدید ( Claude Fable 5، Claude Sonnet 5، Claude Opus 4.8، GLM 5.2، Kimi K2.7 Code، MiniMax M3، Qwen 3.7 Plus و Qwen 3.7 Max ) را به جدول امتیازات اضافه می‌کنیم. ما همچنین فرصت‌هایی را برای شما، جامعه توسعه‌دهندگان اندروید، برای مشارکت در این بنچمارک به اشتراک می‌گذاریم.

ارتقاء روش‌شناسی ما با چارچوب هاربر

وقتی Android Bench را طراحی کردیم، روش‌شناسی خود را بر استانداردهای پیشرو صنعت موجود در آن زمان بنا نهادیم. ما از mini-swe-agent نسخه ۱، یک عامل معیارسنجی عمومی، استفاده کردیم و آن را با ظرافت‌های توسعه اندروید تطبیق دادیم تا یک معیار اندازه‌گیری پایه برای قابلیت‌های مدل‌ها برای وظایف رایج توسعه اندروید ارائه دهیم.

برای ادامه ارائه ارزیابی‌های پیشرفته که به طور دقیق جدیدترین قابلیت‌های مدل را در توسعه اندروید اندازه‌گیری می‌کنند، ما در حال استانداردسازی معیار خود با چارچوب Harbor هستیم. Harbor استانداردها و ادغام‌هایی را تعریف می‌کند که اجرای معیار، ارزیابی تنظیمات ترجیحی یا به اشتراک‌گذاری نتایج را برای هر کسی آسان می‌کند - و شفافیت و دید بیشتری را برای شما فراهم می‌کند.

این ارتقا ما را قادر می‌سازد تا مدل‌ها و قابلیت‌های آنها را با دقت بیشتری ارزیابی کنیم و ما معیار را روی همه مدل‌ها دوباره اجرا کردیم تا یک مبنای به‌روز شده ایجاد کنیم. این بدان معناست که تغییر جزئی در امتیازدهی وجود دارد، اما شما همچنان می‌توانید امتیازات قبلی را در بایگانی وب‌سایت ما مشاهده کنید.

ما می‌خواهیم مطمئن شویم که Android Bench برای شما مفید است، بنابراین به طور مداوم آن را با ارزیابی‌های خود و رشد صنعت به‌روزرسانی خواهیم کرد.

گسترش جدول امتیازات با ۸ مدل جدید

به عنوان بخشی از تعهد ما برای به‌روز نگه داشتن جدول امتیازات، بازی‌های Claude Fable 5، Claude Sonnet 5، Claude Opus 4.8، GLM 5.2، Kimi K2.7 Code، MiniMax M3، Qwen 3.7 Plus و Qwen 3.7 Max را به جدول امتیازات اندروید بنچ اضافه کرده‌ایم.

همانطور که می‌بینید، Claude Fable 5 با امتیاز ۸۴.۵ در صدر جدول امتیازات قرار دارد و پس از آن GPT 5.5 با ۸۰.۲ و Claude Sonnet 5 با امتیاز ۷۶.۲ در جایگاه سوم قرار دارند.

وقتی فقط مدل‌های وزن آزاد را مقایسه می‌کنیم، GLM 5.2 با 72.2 در صدر قرار دارد و پس از آن Kimi K2.7 Code با امتیاز 70.4 قرار دارد.

شما می‌توانید معیارهای عملکرد و بهره‌وری مدل را در جدول امتیازات به‌روزرسانی‌شده بررسی کنید تا ببینید که چگونه این مدل‌های جدید و قبلی چالش‌های خاص اندروید مانند مهاجرت‌های Jetpack Compose، شبکه‌های پوشیدنی و به‌روزرسانی‌های API پلتفرم را پشت سر می‌گذارند.

باز کردن Android Bench برای مشارکت‌های اجتماعی

از همان ابتدا، ما به یک رویکرد باز و شفاف ارزش قائل بوده‌ایم، به همین دلیل است که روش‌شناسی و مهار تست اصلی خود را در GitHub به صورت عمومی در دسترس قرار دادیم. شما درخواست کردید که راهی برای ارائه بازخورد در مورد مجموعه داده‌های ما ارائه دهید، بنابراین اکنون ما با دادن فرصتی به شما، جامعه توسعه‌دهندگان اندروید، برای شکل‌دهی به Android Bench، همکاری را یک گام فراتر می‌بریم.

از امروز، می‌توانید به دو روش در Android Bench مشارکت کنید:

1. وظایف توسعه اندروید خود را طراحی و ارسال کنید تا ارزیابی کنید که مدل‌ها چگونه سناریوهایی را که برای شما مهم هستند، مدیریت می‌کنند.
2. ارزیابی‌های معیار را مستقیماً اجرا و به اشتراک بگذارید ، مدل‌های مورد نظر خود را در برابر مجموعه داده‌های ما یا وظایف سفارشی خود آزمایش کنید.

ما وظایف ارسالی را بررسی خواهیم کرد و در صورت اضافه شدن آنها به معیار، آنها را ارزیابی خواهیم کرد. ما امیدواریم معیاری بسازیم که واقعاً منعکس کننده واقعیت‌های متنوع و روزمره جامعه جهانی توسعه‌دهندگان اندروید باشد.

با نگاهی به آینده

با گزینه‌های بیشتر و بیشتر برای توسعه عامل‌محور، حفظ یک معیار پیشرفته تضمین می‌کند که کمک هوش مصنوعی که به آن متکی هستید، هوشمندانه‌تر، مفیدتر و مؤثرتر شود. برای بررسی وظایف به مخزن گیت‌هاب ما مراجعه کنید. از شما دعوت می‌کنیم تا یک وظیفه را برای بررسی به تیم ما ارسال کنید و می‌توانید برای بررسی مجموعه داده‌ها یا ارسال ارزیابی‌ها به Harbor Hub مراجعه کنید.

مثل همیشه، می‌توانید جدول امتیازات به‌روز شده را پیدا کنید یا روش‌شناسی را در وب‌سایت ما بخوانید.