Android के लिए एलएलएम को मेज़र करने के तरीके में बदलाव: Android Bench का नया वर्शन

हमने मार्च में, Android Bench लॉन्च किया था. यह असल दुनिया के Android डेवलपमेंट टास्क के लिए, एलएलएम लीडरबोर्ड है. हमारा मकसद, Android डेवलपमेंट में मॉडल की क्षमताओं के बारे में पारदर्शिता लाना था. साथ ही, मॉडल को बेहतर बनाने के लिए बढ़ावा देना था, ताकि आपको रोज़मर्रा के काम के लिए एआई के ज़्यादा मददगार विकल्प मिल सकें. इसके बाद से, हमने आपके सुझाव, शिकायत या राय के आधार पर बेंचमार्क को बेहतर बनाया है. इसमें ओपन-वेट मॉडल का आकलन करना और लीडरबोर्ड में लागत और परफ़ॉर्मेंस डाइमेंशन जोड़ना शामिल है. 

हालांकि, एआई की क्षमताओं में लगातार सुधार हो रहा है. इसलिए, मेज़रमेंट के तरीकों में भी बदलाव होना ज़रूरी है. जुलाई में रिलीज़ किए गए अपडेट के तहत, हमने Harbor फ़्रेमवर्क को अपनाया है. इसमें मॉडल का आकलन करने के लिए इस्तेमाल किए जाने वाले बेंचमार्किंग एजेंट का अपडेट किया गया वर्शन शामिल है. 

हमारा आकलन करने का तरीका बदल गया है. इसके साथ ही, जुलाई में रिलीज़ होने वाले अपडेट में हम लीडरबोर्ड में आठ नए मॉडल (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, और Qwen 3.7 Max) जोड़ रहे हैं. हम Android डेवलपर कम्यूनिटी के लिए, बेंचमार्क में योगदान देने के अवसर भी शेयर कर रहे हैं. 

Harbor फ़्रेमवर्क की मदद से, अनुमान लगाने के तरीके को अपग्रेड करना

Android Bench को डिज़ाइन करते समय, हमने अपनी कार्यप्रणाली को उस समय उपलब्ध इंडस्ट्री के मुख्य मानकों के आधार पर तैयार किया था. हमने मिनी-स्व-एजेंट v1 का इस्तेमाल किया. यह एक सामान्य बेंचमार्किंग एजेंट है. हमने इसे Android डेवलपमेंट की बारीकियों के हिसाब से बनाया है, ताकि Android डेवलपमेंट के सामान्य कामों के लिए मॉडल की क्षमताओं का शुरुआती मेज़रमेंट किया जा सके.

हम आपको Android डेवलपमेंट के लिए, सबसे नए मॉडल की क्षमताओं का सटीक आकलन उपलब्ध कराते रहेंगे. इसके लिए, हम अपने बेंचमार्क को Harbor फ़्रेमवर्क के हिसाब से स्टैंडर्ड बना रहे हैं. Harbor, ऐसे स्टैंडर्ड और इंटिग्रेशन तय करता है जिनकी मदद से कोई भी व्यक्ति बेंचमार्क चला सकता है, अपने पसंदीदा सेट-अप का आकलन कर सकता है या नतीजे शेयर कर सकता है. इससे आपको ज़्यादा पारदर्शिता और विज़िबिलिटी मिलती है.

इस अपग्रेड की मदद से, हम मॉडल और उनकी क्षमताओं का बेहतर तरीके से आकलन कर सकते हैं. हमने सभी मॉडल पर बेंचमार्क को फिर से चलाया है, ताकि अपडेट किया गया बेसलाइन तैयार किया जा सके. इसका मतलब है कि स्कोर में थोड़ा बदलाव हुआ है. हालांकि, हमारी वेबसाइट पर संग्रहित किए गए डेटा में जाकर, अब भी पुराने स्कोर देखे जा सकते हैं.

हम यह पक्का करना चाहते हैं कि Android Bench आपके लिए मददगार हो. इसलिए, हम अपने आकलन और इंडस्ट्री के हिसाब से इसे लगातार अपडेट करते रहेंगे.

लीडरबोर्ड में आठ नए मॉडल शामिल किए गए

लीडरबोर्ड को अपडेट रखने के लिए, हमने Android Bench के लीडरबोर्ड में Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, और Qwen 3.7 Max को शामिल किया है. 

आपको दिखेगा कि Claude Fable 5, 84.5 के स्कोर के साथ लीडरबोर्ड में सबसे ऊपर है. इसके बाद, 80.2 के स्कोर के साथ GPT 5.5 दूसरे नंबर पर है. वहीं, 76.2 के स्कोर के साथ Claude Sonnet 5 तीसरे नंबर पर है.

सिर्फ़ ओपन-वेट मॉडल की तुलना करने पर, GLM 5.2 सबसे ऊपर है. इसका स्कोर 72.2 है. इसके बाद, Kimi K2.7 Code का स्कोर 70.4 है.

अपडेट किए गए लीडरबोर्ड पर, मॉडल की परफ़ॉर्मेंस और असरदार होने से जुड़ी मेट्रिक देखी जा सकती हैं. इससे यह पता चलता है कि नए और पिछले मॉडल, Android से जुड़ी चुनौतियों को कैसे हल करते हैं. जैसे, Jetpack Compose माइग्रेशन, पहनने लायक डिवाइसों की नेटवर्किंग, और प्लैटफ़ॉर्म एपीआई अपडेट.  

Android Bench को कम्यूनिटी के योगदान के लिए उपलब्ध कराना

शुरुआत से ही, हमने ओपन और पारदर्शी तरीके को अहमियत दी है. यही वजह है कि हमने अपनी मूल कार्यप्रणाली और टेस्ट हार्नेस को GitHub पर सार्वजनिक तौर पर उपलब्ध कराया है. आपने हमारे डेटासेट के बारे में सुझाव/राय देने या शिकायत करने का तरीका पूछा था. इसलिए, अब हम सहयोग को एक कदम आगे बढ़ा रहे हैं. हम Android डेवलपर कम्यूनिटी को Android Bench को बेहतर बनाने का मौका दे रहे हैं.

आज से, Android Bench में दो तरीकों से योगदान दिया जा सकता है:

1. अपने हिसाब से Android डेवलपमेंट टास्क डिज़ाइन करें और उन्हें सबमिट करें. इससे आपको यह पता चलेगा कि मॉडल, आपके लिए ज़रूरी स्थितियों को कैसे हैंडल करते हैं.
2. बेंचमार्क के आधार पर आकलन करें और उन्हें शेयर करें. इसके लिए, अपने पसंदीदा मॉडल की तुलना हमारे डेटासेट या अपने कस्टम टास्क से करें.

हम सबमिट किए गए टास्क की समीक्षा करेंगे. साथ ही, यह आकलन करेंगे कि उन्हें बेंचमार्क में जोड़ा जाए या नहीं. हम एक ऐसा बेंचमार्क बनाना चाहते हैं जो दुनिया भर के Android डेवलपर समुदाय की अलग-अलग और रोज़मर्रा की ज़रूरतों को पूरा करे.

आगे की योजना

एजेंटिक डेवलपमेंट के लिए ज़्यादा से ज़्यादा विकल्प उपलब्ध होने की वजह से, कटिंग-एज बेंचमार्क को बनाए रखना ज़रूरी है. इससे यह पक्का किया जा सकता है कि एआई की मदद से काम करने वाली सुविधा, ज़्यादा स्मार्ट, मददगार, और असरदार बनी रहे. टास्क देखने के लिए, हमारी GitHub रिपॉज़िटरी पर जाएं. हमारा सुझाव है कि आप समीक्षा के लिए, हमारी टीम को कोई टास्क सबमिट करें. साथ ही, डेटासेट के बारे में जानने या आकलन सबमिट करने के लिए, Harbor Hub देखें.

हमेशा की तरह, हमारी वेबसाइट पर अपडेट किया गया लीडरबोर्ड देखा जा सकता है. इसके अलावा, तरीके के बारे में भी पढ़ा जा सकता है.