تطوير طريقة قياس أداء النماذج اللغوية الكبيرة على Android: الحقبة التالية من Android Bench

في شهر مارس، قدّمنا Android Bench، وهو لوحة صدارة للنماذج اللغوية الكبيرة في مهام تطوير تطبيقات Android في العالم الحقيقي. كان هدفنا توفير الشفافية بشأن إمكانات النماذج في تطوير تطبيقات Android وتشجيع تحسين النماذج، وذلك لمنحك المزيد من خيارات الذكاء الاصطناعي المفيدة لسير عملك اليومي. منذ ذلك الحين، عزّزنا المقياس استنادًا إلى ملاحظاتك، بما في ذلك تقييم النماذج المفتوحة المصدر وإضافة بُعدَي التكلفة والكفاءة إلى لوحة الصدارة. 

لكن إمكانات الذكاء الاصطناعي تتطوّر باستمرار، ويجب أن يواكبها القياس. في إطار إصدار شهر يوليو، اعتمدنا إطار عمل Harbor، الذي يتضمّن إصدارًا معدَّلاً من عامل القياس المستخدَم لتقييم النماذج. 

بالإضافة إلى هذا التغيير في عملية التقييم، سنضيف في إصدار شهر يوليو 8 نماذج جديدة (Claude Fable 5 وClaude Sonnet 5 وClaude Opus 4.8 وGLM 5.2 وKimi K2.7 Code وMiniMax M3 وQwen 3.7 Plus وQwen 3.7 Max) إلى لوحة الصدارة. سنشارك أيضًا فرصًا تتيح لك، أي لمجتمع مطوّري Android، المساهمة في المقياس. 

ترقية منهجيتنا باستخدام إطار عمل Harbor

عندما صمّمنا Android Bench، استندنا في منهجيتنا إلى المعايير الرائدة في المجال المتوفّرة في ذلك الوقت. استخدمنا mini-swe-agent v1، وهو عامل قياس للأغراض العامة، وعدّلناه ليناسب الفروقات الدقيقة في تطوير تطبيقات Android من أجل توفير قياس أساسي لإمكانات النماذج في مهام تطوير تطبيقات Android الشائعة.

لمواصلة تزويدك بتقييمات حديثة تقيس بدقة أحدث إمكانات النماذج في تطوير تطبيقات Android، نعمل على توحيد مقياسنا ليصبح إطار عمل Harbor. يحدّد Harbor المعايير وعمليات الدمج التي تسهّل على أي مستخدم تشغيل المقياس أو تقييم الإعداد المفضّل أو مشاركة النتائج، ما يمنحك المزيد من الشفافية والرؤية.

تتيح لنا هذه الترقية تقييم النماذج وإمكاناتها بشكل أكثر دقة، وأعدنا تشغيل المقياس على جميع النماذج لوضع خط أساس معدَّل. يعني ذلك حدوث تغيير طفيف في النتائج، ولكن سيظل بإمكانك الاطّلاع على النتائج السابقة ضمن الأرشيف على موقعنا الإلكتروني.

نريد التأكّد من أنّ Android Bench مفيد لك، لذا سنحدّثه باستمرار مع تطوّر تقييماتنا والمجال.

توسيع لوحة الصدارة باستخدام 8 نماذج جديدة

في إطار التزامنا بالحفاظ على حداثة لوحة الصدارة، أضفنا Claude Fable 5 وClaude Sonnet 5 وClaude Opus 4.8 وGLM 5.2 وKimi K2.7 Code وMiniMax M3 وQwen 3.7 Plus وQwen 3.7 Max إلى لوحة صدارة Android Bench. 

ستلاحظ أنّ Claude Fable 5 في أعلى لوحة الصدارة بنتيجة 84.5، يليه GPT 5.5 بنتيجة 80.2، ثم Claude Sonnet 5 في المركز الثالث بنتيجة 76.2.

عند مقارنة النماذج المفتوحة المصدر فقط، يتصدّر GLM 5.2 بنتيجة 72.2، يليه Kimi K2.7 Code بنتيجة 70.4.

يمكنك الاطّلاع على مقاييس أداء النماذج وكفاءتها في لوحة الصدارة المعدَّلة لمعرفة كيفية تعامل هذه النماذج الجديدة والسابقة مع التحديات الخاصة بنظام Android، مثل عمليات نقل Jetpack Compose والشبكات القابلة للارتداء وتعديلات واجهة برمجة التطبيقات للنظام الأساسي.  

فتح Android Bench للمساهمات من المجتمع

من البداية، قدّرنا النهج المفتوح والشفاف، ولهذا السبب أتحنا منهجيتنا الأصلية ومجموعة الاختبارات للجميع على GitHub. لقد طلبت طريقة لتقديم ملاحظاتك على مجموعة البيانات، لذا ننتقل الآن بالتعاون إلى مستوى أعلى من خلال منحك، أي لمجتمع مطوّري Android، فرصة تشكيل Android Bench.

اعتبارًا من اليوم، يمكنك المساهمة في Android Bench بطريقتَين:

1. يمكنك تصميم مهام تطوير تطبيقات Android الخاصة بك وإرسالها لتقييم كيفية تعامل النماذج مع السيناريوهات التي تهمّك.
2. يمكنك _تشغيل تقييمات المقياس ومشاركتها_ بشكل مباشر، واختبار النماذج المفضّلة لديك مقابل مجموعة البيانات أو المهام المخصّصة.

سنراجع المهام المُرسَلة وسنقيّم ما إذا كان سيتم إضافتها إلى المقياس. نأمل في إنشاء مقياس يعكس بشكل حقيقي التحديات اليومية المتنوّعة التي يواجهها مجتمع مطوّري Android العالمي.

نظرة مستقبلية

مع توفّر المزيد والمزيد من الخيارات لتطوير البرامج المستند إلى الوكلاء، يضمن الحفاظ على مقياس متطوّر أنّ المساعدة المستندة إلى الذكاء الاصطناعي التي تعتمد عليها تزداد ذكاءً وفائدة وفعالية. انتقِل إلى مستودع GitHub للاطّلاع على المهام. ندعوك إلى إرسال مهمة إلى فريقنا لمراجعتها، ويمكنك الاطّلاع على Harbor Hub لاستكشاف مجموعة البيانات أو إرسال التقييمات.

يمكنك دائمًا العثور على لوحة الصدارة المعدَّلة أو قراءة المنهجية على موقعنا الإلكتروني.