Android-এর জন্য LLM কীভাবে পরিমাপ করা হয় তা উন্নত করা: Android Bench-এর পরবর্তী যুগ

গত মার্চ মাসে, আমরা Android Bench চালু করেছি—বাস্তব-জগতের Android ডেভেলপমেন্ট টাস্কের জন্য এটি আমাদের LLM লিডারবোর্ড। আমাদের লক্ষ্য ছিল Android ডেভেলপমেন্টে মডেলের ক্ষমতা সম্পর্কে স্বচ্ছতা প্রদান করা এবং মডেলের উন্নতিকে উৎসাহিত করা, যাতে আপনার দৈনন্দিন ওয়ার্কফ্লোতে আরও সহায়ক AI বিকল্প দেওয়া যায়। সেই থেকে, আমরা আপনার মতামতের ভিত্তিতে বেঞ্চমার্ক উন্নত করেছি, যার মধ্যে ওপেন-ওয়েট মডেল মূল্যায়ন করা এবং লিডারবোর্ডে খরচ ও দক্ষতা সংক্রান্ত ডাইমেনশন যোগ করা অন্তর্ভুক্ত। 

তবে, AI-এর ক্ষমতা ক্রমাগত উন্নত হচ্ছে এবং পরিমাপকেও সেই অনুযায়ী পরিবর্তন করতে হবে। জুলাই রিলিজের অংশ হিসেবে, আমরা হারবার ফ্রেমওয়ার্ক গ্রহণ করেছি, যার মধ্যে মডেল মূল্যায়ন করতে ব্যবহৃত বেঞ্চমার্কিং এজেন্টের আপডেট করা ভার্সন অন্তর্ভুক্ত। 

আমাদের মূল্যায়নে এই পরিবর্তনের পাশাপাশি, এই জুলাই রিলিজের লিডারবোর্ডে আমরা ৮টি নতুন মডেল (Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ও Qwen 3.7 Max) যোগ করছি। এছাড়াও, আমরা আপনার জন্য, অর্থাৎ Android ডেভেলপার কমিউনিটির জন্য, বেঞ্চমার্কে কন্ট্রিবিউট করার সুযোগ শেয়ার করছি। 

হারবার ফ্রেমওয়ার্কের মাধ্যমে আমাদের পদ্ধতি আপগ্রেড করা

Android Bench ডিজাইন করার সময়, সেই সময় উপলভ্য প্রধান ইন্ডাস্ট্রি স্ট্যান্ডার্ডের উপর ভিত্তি করে আমরা পদ্ধতি তৈরি করেছি। আমরা mini-swe-agent v1 ব্যবহার করেছি, এটি একটি সাধারণ-উদ্দেশ্যমূলক বেঞ্চমার্কিং এজেন্ট এবং সাধারণ Android ডেভেলপমেন্ট টাস্কের জন্য মডেলের ক্ষমতা পরিমাপ করার জন্য একটি বেসলাইন প্রদান করতে, আমরা এটিকে Android ডেভেলপমেন্টের সূক্ষ্মতার সাথে মানিয়ে নিয়েছি।

Android ডেভেলপমেন্টে লেটেস্ট মডেলের ক্ষমতা সঠিকভাবে পরিমাপ করে আপনাকে অত্যাধুনিক মূল্যায়ন প্রদান করা চালিয়ে যেতে, আমরা Harbor ফ্রেমওয়ার্ক অনুযায়ী আমাদের বেঞ্চমার্ককে স্ট্যান্ডার্ডাইজ করছি। Harbor এমন স্ট্যান্ডার্ড ও ইন্টিগ্রেশন নির্ধারণ করে যা কোনও ব্যক্তির পক্ষে সহজেই বেঞ্চমার্ক রান করানো, তার পছন্দের সেট-আপ মূল্যায়ন করা বা ফলাফল শেয়ার করা সহজ করে তোলে – এর ফলে আপনি অতিরিক্ত স্বচ্ছতা ও দৃশ্যমানতা পান।

এই আপগ্রেড আমাদের মডেল ও তার ক্ষমতা আরও কঠোরভাবে মূল্যায়ন করতে সাহায্য করে এবং আপডেট করা বেসলাইন তৈরি করতে আমরা সব মডেলে আবার বেঞ্চমার্ক রান করেছি। এর অর্থ হল, স্কোরিংয়ে সামান্য পরিবর্তন হয়েছে, তবে আপনি এখনও আমাদের ওয়েবসাইটে আর্কাইভের মধ্যে ঐতিহাসিক স্কোর দেখতে পাবেন।

আমরা নিশ্চিত করতে চাই যে Android Bench আপনার জন্য সহায়ক, তাই আমাদের মূল্যায়ন ও ইন্ডাস্ট্রি আরও উন্নত হওয়ার সাথে সাথে আমরা এটি ক্রমাগত আপডেট করব।

৮টি নতুন মডেলের মাধ্যমে লিডারবোর্ডকে আরও বড় করা

লিডারবোর্ডকে ফ্রেশ রাখার ব্যাপারে আমাদের প্রতিশ্রুতি পূরণের অংশ হিসেবে, Android Bench লিডারবোর্ডে আমরা Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus এবং Qwen 3.7 Max যোগ করেছি। 

আপনি দেখতে পাবেন যে Claude Fable 5 ৮৪.৫ স্কোর নিয়ে লিডারবোর্ডের সবচেয়ে উপরে আছে, তারপরে ৮০.২ স্কোর নিয়ে GPT 5.5 এবং ৭৬.২ স্কোর নিয়ে Claude Sonnet 5 তৃতীয় স্থানে আছে।

শুধু ওপেন-ওয়েট মডেলের তুলনা করলে, GLM 5.2 ৭২.২ স্কোর নিয়ে সবচেয়ে উপরে আছে, এর পরে Kimi K2.7 Code ৭০.৪ স্কোর নিয়ে দ্বিতীয় স্থানে আছে।

আপডেট করা লিডারবোর্ডে মডেলের পারফর্ম্যান্স ও দক্ষতা সংক্রান্ত মেট্রিক্স চেক করে দেখতে পারেন যে Jetpack Compose মাইগ্রেশন, পরিধানযোগ্য নেটওয়ার্কিং ও প্ল্যাটফর্ম API আপডেটের মতো Android-নির্দিষ্ট চ্যালেঞ্জগুলি এই নতুন ও আগের মডেল কীভাবে নেভিগেট করে।  

কন্ট্রিবিউশনের জন্য Android Bench খোলা হচ্ছে

শুরু থেকেই আমরা একটি উন্মুক্ত ও স্বচ্ছ দৃষ্টিভঙ্গিকে গুরুত্ব দিয়েছি, সেই কারণেই আমাদের মূল পদ্ধতি ও টেস্ট হার্নেস GitHub-এ সর্বজনীনভাবে উপলভ্য করেছি। আপনি আমাদের ডেটাসেট সম্পর্কে মতামত জানানোর একটি উপায় জানতে চেয়েছিলেন, তাই এখন আমরা আপনাকে, Android ডেভেলপার কমিউনিটিকে, Android Bench-কে আরও উন্নত করার সুযোগ দিয়ে সহযোগিতাকে আরও এক ধাপ এগিয়ে নিয়ে যাচ্ছি।

আজ থেকে, আপনি দুটি উপায়ে Android Bench-এ কন্ট্রিবিউট করতে পারবেন:

1. আপনার কাছে গুরুত্বপূর্ণ পরিস্থিতি মডেল কীভাবে ম্যানেজ করে তা মূল্যায়ন করতে, আপনার নিজের Android ডেভেলপমেন্ট টাস্ক ডিজাইন ও জমা দিন।
2. বেঞ্চমার্ক মূল্যায়ন রান ও শেয়ার করুন, আমাদের ডেটাসেট বা আপনার নিজস্ব কাস্টম টাস্কের বিরুদ্ধে আপনার পছন্দের মডেল পরীক্ষা করুন।

আমরা জমা দেওয়া টাস্ক পর্যালোচনা করব এবং সেগুলি বেঞ্চমার্কে যোগ করা হবে কিনা তা মূল্যায়ন করব। আমরা এমন একটি বেঞ্চমার্ক তৈরি করতে চাই যা বিশ্বব্যাপী Android ডেভেলপার কমিউনিটির বৈচিত্র্যপূর্ণ, দৈনন্দিন বাস্তবতাকে সত্যিই প্রতিফলিত করে।

ভবিষ্যতের কথা ভেবে

এজেন্টিক ডেভেলপমেন্টের জন্য আরও বেশি বিকল্পের সাথে, অত্যাধুনিক বেঞ্চমার্ক বজায় রাখা নিশ্চিত করে যে আপনি যে AI অ্যাসিস্ট্যান্সের উপর নির্ভর করেন তা আরও স্মার্ট, সহায়ক এবং আরও কার্যকর হতে থাকে। টাস্ক চেক করতে, আমাদের GitHub রিপোজিটরি দেখুন। আমরা আপনাকে পর্যালোচনার জন্য আমাদের টিমের কাছে টাস্ক জমা দিতে আমন্ত্রণ জানাচ্ছি এবং আপনি ডেটাসেট এক্সপ্লোর করতে বা মূল্যায়ন জমা দিতে Harbor Hub চেক করে দেখতে পারেন।

বরাবরের মতো, আপনি আপডেট করা লিডারবোর্ড দেখতে পাবেন অথবা আমাদের ওয়েবসাইটে পদ্ধতি সম্পর্কে পড়তে পারবেন।