অ্যান্ড্রয়েডের জন্য এলএলএম পরিমাপের পদ্ধতির বিবর্তন: অ্যান্ড্রয়েড বেঞ্চের পরবর্তী যুগ

গত মার্চ মাসে, আমরা অ্যান্ড্রয়েড বেঞ্চ চালু করেছিলাম—বাস্তব অ্যান্ড্রয়েড ডেভেলপমেন্ট টাস্কের জন্য আমাদের এলএলএম লিডারবোর্ড। আমাদের লক্ষ্য ছিল অ্যান্ড্রয়েড ডেভেলপমেন্টে মডেলের সক্ষমতা সম্পর্কে স্বচ্ছতা প্রদান করা এবং মডেলের উন্নতিতে উৎসাহিত করা, যাতে আপনার দৈনন্দিন কাজের জন্য আরও সহায়ক এআই বিকল্প দেওয়া যায়। তারপর থেকে, আমরা আপনাদের মতামতের ভিত্তিতে বেঞ্চমার্কটিকে আরও উন্নত করেছি, যার মধ্যে ওপেন-ওয়েট মডেল মূল্যায়ন এবং লিডারবোর্ডে খরচ ও দক্ষতার মাত্রা যোগ করা অন্তর্ভুক্ত।

কিন্তু এআই-এর সক্ষমতা ক্রমাগত বিকশিত হচ্ছে, এবং পরিমাপ পদ্ধতিকেও এর সাথে তাল মিলিয়ে চলতে হবে। আমাদের জুলাই মাসের রিলিজের অংশ হিসেবে, আমরা হারবার ফ্রেমওয়ার্কটি গ্রহণ করেছি, যার মধ্যে মডেল মূল্যায়নের জন্য ব্যবহৃত বেঞ্চমার্কিং এজেন্টের একটি হালনাগাদ সংস্করণ অন্তর্ভুক্ত রয়েছে।

আমাদের মূল্যায়নে এই পরিবর্তনের পাশাপাশি, এই জুলাই রিলিজে আমরা লিডারবোর্ডে ৮টি নতুন মডেল ( Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus এবং Qwen 3.7 Max ) যোগ করছি। এছাড়াও, আমরা আপনাদের, অর্থাৎ অ্যান্ড্রয়েড ডেভেলপার কমিউনিটির জন্য, এই বেঞ্চমার্কে অবদান রাখার সুযোগও শেয়ার করছি।

হারবার ফ্রেমওয়ার্কের মাধ্যমে আমাদের কার্যপদ্ধতির উন্নয়ন

যখন আমরা অ্যান্ড্রয়েড বেঞ্চ ডিজাইন করি, তখন আমরা আমাদের কার্যপদ্ধতিকে তৎকালীন শীর্ষস্থানীয় শিল্প মানদণ্ডের উপর ভিত্তি করে তৈরি করেছিলাম। আমরা মিনি-এসডব্লিউই-এজেন্ট ভি১ (mini-swe-agent v1) নামক একটি সাধারণ বেঞ্চমার্কিং এজেন্ট ব্যবহার করেছি এবং সাধারণ অ্যান্ড্রয়েড ডেভেলপমেন্ট কাজগুলোর জন্য মডেলগুলোর সক্ষমতার একটি ভিত্তিগত পরিমাপ প্রদানের উদ্দেশ্যে এটিকে অ্যান্ড্রয়েড ডেভেলপমেন্টের সূক্ষ্মতার সাথে খাপ খাইয়ে নিয়েছি।

অ্যান্ড্রয়েড ডেভেলপমেন্টে সর্বশেষ মডেলের সক্ষমতা সঠিকভাবে পরিমাপ করে এমন সর্বাধুনিক মূল্যায়ন আপনাদেরকে প্রদান অব্যাহত রাখতে, আমরা আমাদের বেঞ্চমার্ককে হারবার (Harbor) ফ্রেমওয়ার্কের সাথে মানসম্মত করছি। হারবার এমন কিছু মান ও ইন্টিগ্রেশন নির্ধারণ করে, যা যে কাউকে সহজেই বেঞ্চমার্কটি চালাতে, তাদের পছন্দের সেট-আপ মূল্যায়ন করতে, বা ফলাফল শেয়ার করতে সক্ষম করে – এর মাধ্যমে আপনারা অতিরিক্ত স্বচ্ছতা ও দৃশ্যমানতা লাভ করেন।

এই আপগ্রেডটি আমাদেরকে মডেল এবং তাদের সক্ষমতা আরও কঠোরভাবে মূল্যায়ন করতে সাহায্য করে, এবং একটি হালনাগাদ বেসলাইন স্থাপন করার জন্য আমরা সমস্ত মডেলে বেঞ্চমার্কটি পুনরায় চালিয়েছি। এর ফলে স্কোরিং-এ সামান্য পরিবর্তন এসেছে, কিন্তু আপনি আমাদের ওয়েবসাইটের আর্কাইভে আগের স্কোরগুলো দেখতে পারবেন।

আমরা নিশ্চিত করতে চাই যে অ্যান্ড্রয়েড বেঞ্চ আপনার জন্য সহায়ক হোক, তাই আমাদের মূল্যায়ন এবং ইন্ডাস্ট্রির পরিপক্কতার সাথে সাথে আমরা এটিকে ক্রমাগত আপডেট করতে থাকব।

৮টি নতুন মডেল যুক্ত করে লিডারবোর্ড সম্প্রসারণ করা হচ্ছে

লিডারবোর্ডকে সতেজ রাখার প্রতিশ্রুতির অংশ হিসেবে, আমরা অ্যান্ড্রয়েড বেঞ্চ লিডারবোর্ডে Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus এবং Qwen 3.7 Max যুক্ত করেছি।

আপনি দেখতে পাবেন যে, ৮৪.৫ স্কোর নিয়ে লিডারবোর্ডের শীর্ষে রয়েছে ক্লদ ফেবল ৫ , এর পরেই ৮০.২ স্কোর নিয়ে রয়েছে জিপিটি ৫.৫ এবং ৭৬.২ স্কোর নিয়ে তৃতীয় স্থানে রয়েছে ক্লদ সনেট ৫ ।

শুধুমাত্র ওপেন-ওয়েট মডেলগুলোর তুলনা করলে, GLM 5.2 ৭২.২ স্কোর নিয়ে শীর্ষে রয়েছে, এবং এর পরেই ৭০.৪ স্কোর নিয়ে রয়েছে Kimi K2.7 Code ।

জেটপ্যাক কম্পোজ মাইগ্রেশন, ওয়্যারেবল নেটওয়ার্কিং এবং প্ল্যাটফর্ম এপিআই আপডেটের মতো অ্যান্ড্রয়েড-নির্দিষ্ট চ্যালেঞ্জগুলো এই নতুন ও পুরোনো মডেলগুলো কীভাবে মোকাবিলা করে, তা দেখতে আপনি আপডেট করা লিডারবোর্ডে মডেলের পারফরম্যান্স ও দক্ষতার মেট্রিকগুলো দেখে নিতে পারেন।

কমিউনিটির অবদানের জন্য অ্যান্ড্রয়েড বেঞ্চ উন্মুক্ত করা হচ্ছে।

শুরু থেকেই আমরা একটি উন্মুক্ত এবং স্বচ্ছ দৃষ্টিভঙ্গিকে গুরুত্ব দিয়েছি, যে কারণে আমরা আমাদের মূল কার্যপ্রণালী এবং টেস্ট হারনেস গিটহাবে সর্বজনীনভাবে উপলব্ধ করেছি। আপনারা আমাদের ডেটাসেটের উপর মতামত জানানোর একটি উপায় চেয়েছেন, তাই এখন আমরা আপনাদের, অর্থাৎ অ্যান্ড্রয়েড ডেভেলপার কমিউনিটিকে, অ্যান্ড্রয়েড বেঞ্চকে রূপ দেওয়ার সুযোগ দিয়ে সহযোগিতাকে আরও এক ধাপ এগিয়ে নিয়ে যাচ্ছি।

আজ থেকে, আপনি দুইভাবে অ্যান্ড্রয়েড বেঞ্চে অবদান রাখতে পারবেন:

1. আপনার জন্য গুরুত্বপূর্ণ পরিস্থিতিগুলো মডেলগুলো কীভাবে সামাল দেয়, তা মূল্যায়ন করার জন্য আপনার নিজের অ্যান্ড্রয়েড ডেভেলপমেন্ট টাস্ক ডিজাইন করে জমা দিন ।
2. আমাদের ডেটাসেট বা আপনার নিজস্ব কাস্টম টাস্কের বিপরীতে আপনার পছন্দের মডেলগুলো পরীক্ষা করে বেঞ্চমার্ক মূল্যায়ন সরাসরি চালান এবং শেয়ার করুন ।

আমরা জমা দেওয়া কাজগুলো পর্যালোচনা করব এবং সেগুলো বেঞ্চমার্কে যুক্ত করা হবে কিনা তা মূল্যায়ন করব। আমরা এমন একটি বেঞ্চমার্ক তৈরি করতে চাই যা বিশ্বব্যাপী অ্যান্ড্রয়েড ডেভেলপার কমিউনিটির বৈচিত্র্যময় ও দৈনন্দিন বাস্তবতাকে সঠিকভাবে প্রতিফলিত করবে।

ভবিষ্যতের দিকে তাকিয়ে

এজেন্টিক ডেভেলপমেন্টের জন্য ক্রমবর্ধমান বিকল্পের সাথে, একটি অত্যাধুনিক বেঞ্চমার্ক বজায় রাখা নিশ্চিত করে যে আপনি যে এআই সহায়তার উপর নির্ভর করেন তা ক্রমাগত আরও স্মার্ট, আরও সহায়ক এবং আরও কার্যকর হয়ে উঠছে। টাস্কগুলো দেখতে আমাদের গিটহাব রিপোজিটরিতে যান। আমরা আপনাকে পর্যালোচনার জন্য আমাদের টিমের কাছে একটি টাস্ক জমা দেওয়ার জন্য আমন্ত্রণ জানাচ্ছি, এবং আপনি ডেটাসেটটি অন্বেষণ করতে বা মূল্যায়ন জমা দিতে হারবার হাব দেখতে পারেন।

বরাবরের মতোই, আপনি আমাদের ওয়েবসাইটে হালনাগাদ করা লিডারবোর্ডটি দেখতে পারেন, অথবা কার্যপ্রণালীটি পড়ে নিতে পারেন।