কীভাবে অটোমেটেড প্রম্পট অপ্টিমাইজেশন ML Kit-এর GenAI Prompt API-এর জন্য কোয়ালিটি সংক্রান্ত সুবিধা আনলক করে

অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO)

আপনার ML Kit Prompt API ব্যবহারের কেস প্রোডাকশনে নিয়ে আসার ব্যাপারে আরও সাহায্য করতে, আমরা Vertex AI-তে অন-ডিভাইস মডেলকে টার্গেট করে অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO) ঘোষণা করতে পেরে আনন্দিত। অটোমেটেড প্রম্পট অপ্টিমাইজেশন হল এমন একটি টুল যা আপনার ব্যবহারের ক্ষেত্রে অটোমেটিক উপযুক্ত প্রম্পট খুঁজে পেতে সাহায্য করে।

অন-ডিভাইস AI-এর যুগ এখন আর কোনও প্রতিশ্রুতি নয়—এটি প্রোডাকশনের বাস্তবতা। Gemini Nano v3 রিলিজ করার মাধ্যমে, আমরা ব্যবহারকারীদের হাতের মুঠোয় অভূতপূর্ব ভাষা বোঝার ও মাল্টিমোডাল ক্ষমতা তুলে দিচ্ছি। Gemini Nano মডেলের মাধ্যমে, Android ইকোসিস্টেম জুড়ে কাজ করে এমন ডিভাইসের বিস্তৃত কভারেজ আমাদের কাছে রয়েছে। তবে, পরবর্তী প্রজন্মের ইন্টেলিজেন্ট অ্যাপ তৈরি করা ডেভেলপারদের জন্য, শক্তিশালী মডেল অ্যাক্সেস করা হল প্রথম ধাপ। আসল চ্যালেঞ্জ হল কাস্টমাইজেশন: মোবাইল হার্ডওয়্যারের সীমাবদ্ধতা না ভেঙে আপনার নির্দিষ্ট ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ-স্তরের পারফর্ম্যান্সের জন্য আপনি কীভাবে একটি ফাউন্ডেশন মডেল তৈরি করবেন?

সার্ভার-সাইডের ক্ষেত্রে, বড় LLM-গুলি অত্যন্ত দক্ষ হয় এবং ডোমেন অ্যাডাপ্টেশনের প্রয়োজন কম হয়। এমনকি প্রয়োজন হলে, LoRA (লো-র‍্যাঙ্ক অ্যাডাপ্টেশন) ফাইন-টিউনিংয়ের মতো আরও উন্নত বিকল্পও ব্যবহার করা যেতে পারে। তবে, Android AICore-এর অনন্য আর্কিটেকচার একটি শেয়ার করা, মেমরি-দক্ষ সিস্টেম মডেলকে অগ্রাধিকার দেয়। এর অর্থ হল, প্রতিটি আলাদা অ্যাপের জন্য কাস্টম LoRA অ্যাডাপ্টার ডিপ্লয় করার ক্ষেত্রে এই শেয়ার করা সিস্টেম পরিষেবায় চ্যালেঞ্জের সম্মুখীন হতে হয়।

তবে, অন্য একটি বিকল্প পথ আছে যা সমানভাবে প্রভাবশালী হতে পারে। Vertex AI-তে অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO) ব্যবহার করে, ডেভেলপাররা নেটিভ Android এক্সিকিউশন এনভায়রনমেন্টে নির্বিঘ্নে কাজ করার পাশাপাশি ফাইন-টিউনিংয়ের কাছাকাছি কোয়ালিটি অর্জন করতে পারেন। সিস্টেমের জন্য আরও ভালো নির্দেশাবলী তৈরি করার উপর ফোকাস করে, APO ডেভেলপারদের মডেলের আচরণকে আরও শক্তিশালী এবং স্কেলেবল উপায়ে কাস্টমাইজ করতে সাহায্য করে, যা প্রথাগত ফাইন-টিউনিং পদ্ধতির চেয়ে অনেক বেশি কার্যকর।

মনে রাখবেন: Gemini Nano V3 হল অত্যন্ত প্রশংসিত Gemma 3N মডেলের কোয়ালিটি অপ্টিমাইজ করা ভার্সন। ওপেন সোর্স Gemma 3N মডেলে করা যেকোনও প্রম্পট অপ্টিমাইজেশন Gemini Nano V3-এর ক্ষেত্রেও প্রযোজ্য হবে। মানানসই ডিভাইসে, ML Kit GenAI API, Android ডেভেলপারদের জন্য কোয়ালিটি সর্বাধিক করতে nano-v3 মডেল ব্যবহার করে

APO প্রম্পটকে স্ট্যাটিক টেক্সট হিসেবে নয়, বরং প্রোগ্র্যামেবল সারফেস হিসেবে বিবেচনা করে যা অপ্টিমাইজ করা যায়। এটি সার্ভার-সাইড মডেল (যেমন Gemini Pro এবং Flash) ব্যবহার করে প্রম্পট সাজেস্ট করে, ভেরিয়েশন মূল্যায়ন করে এবং আপনার নির্দিষ্ট টাস্কের জন্য সবচেয়ে উপযুক্ত প্রম্পট খুঁজে বের করে। পারফর্ম্যান্স সর্বাধিক করতে এই প্রসেস তিনটি নির্দিষ্ট টেকনিক্যাল মেকানিজম ব্যবহার করে:

1. অটোমেটেড এরর অ্যানালিসিস: APO ট্রেনিং ডেটা থেকে এরর প্যাটার্ন বিশ্লেষণ করে যাতে প্রাথমিক প্রম্পটে নির্দিষ্ট দুর্বলতা অটোমেটিক শনাক্ত করা যায়।
2. সিম্যান্টিক ইনস্ট্রাকশন ডিস্টিলেশন: এটি কোনও টাস্কের "আসল উদ্দেশ্য" ডিস্টিল করার জন্য প্রচুর ট্রেনিং উদাহরণ বিশ্লেষণ করে, এমন নির্দেশাবলী তৈরি করে যা আসল ডেটা ডিস্ট্রিবিউশনকে আরও সঠিকভাবে প্রতিফলিত করে।
3. প্যারালাল ক্যান্ডিডেট টেস্টিং: একবারে একটি আইডিয়া টেস্ট করার পরিবর্তে, APO কোয়ালিটির গ্লোবাল ম্যাক্সিমাম শনাক্ত করতে সমান্তরালভাবে অসংখ্য প্রম্পট ক্যান্ডিডেট তৈরি ও টেস্ট করে।

কেন APO ফাইন টিউনিং কোয়ালিটি অ্যাপ্রোচ করতে পারে

এটি একটি সাধারণ ভুল ধারণা যে ফাইন-টিউন করলে সবসময় প্রম্পটিংয়ের চেয়ে ভালো কোয়ালিটি পাওয়া যায়। Gemini Nano v3-এর মতো আধুনিক ফাউন্ডেশন মডেলের জন্য, প্রম্পট ইঞ্জিনিয়ারিং নিজেই প্রভাবশালী হতে পারে:

• সাধারণ ক্ষমতা বজায় রাখা: ফাইন-টিউনিং ( PEFT/LoRA) কোনও মডেলের ওয়েটকে ডেটার নির্দিষ্ট ডিস্ট্রিবিউশনে ওভার-ইনডেক্স করতে বাধ্য করে। এর ফলে প্রায়ই "ক্যাটাস্ট্রফিক ফরগেটিং" হয়, যেখানে মডেল আপনার নির্দিষ্ট সিনট্যাক্স আরও ভালোভাবে বুঝতে পারলেও সাধারণ যুক্তি ও সুরক্ষার ক্ষেত্রে খারাপ পারফর্ম করে। APO ওয়েটকে অপরিবর্তিত রাখে, যার ফলে বেস মডেলের ক্ষমতা বজায় থাকে।
• নির্দেশাবলী অনুসরণ ও স্ট্র্যাটেজি ডিসকভারি: Gemini Nano v3-কে জটিল সিস্টেম নির্দেশাবলী অনুসরণ করার জন্য কঠোরভাবে প্রশিক্ষণ দেওয়া হয়েছে। APO সঠিক নির্দেশনার স্ট্রাকচার খুঁজে বের করে এই সুবিধা নেয়, যা মডেলের সুপ্ত ক্ষমতাকে আনলক করে, প্রায়শই এমন কৌশল আবিষ্কার করে যা মানব ইঞ্জিনিয়ারদের পক্ষে খুঁজে পাওয়া কঠিন হতে পারে। 

এই পদ্ধতি যাচাই করতে, আমরা বিভিন্ন প্রোডাকশন ওয়ার্কলোড জুড়ে APO মূল্যায়ন করেছি। আমাদের যাচাইকরণে বিভিন্ন ব্যবহারের ক্ষেত্রে ৫-৮% নির্ভুলতা বৃদ্ধি দেখা গেছে। একাধিক ডিপ্লয় করা অন-ডিভাইস ফিচার জুড়ে, APO উল্লেখযোগ্য কোয়ালিটি লিফ্ট প্রদান করেছে।

একটি নিরবচ্ছিন্ন, এন্ড-টু-এন্ড ডেভেলপার ওয়ার্কফ্লো

এটি একটি সাধারণ ভুল ধারণা যে ফাইন-টিউন করলে সবসময় প্রম্পটিংয়ের চেয়ে ভালো কোয়ালিটি পাওয়া যায়। Gemini Nano v3-এর মতো আধুনিক ফাউন্ডেশন মডেলের জন্য, প্রম্পট ইঞ্জিনিয়ারিং নিজেই প্রভাবশালী হতে পারে:

• সাধারণ ক্ষমতা বজায় রাখা: ফাইন-টিউনিং ( PEFT/LoRA) কোনও মডেলের ওয়েটকে ডেটার নির্দিষ্ট ডিস্ট্রিবিউশনে ওভার-ইনডেক্স করতে বাধ্য করে। এর ফলে প্রায়ই "ক্যাটাস্ট্রফিক ফরগেটিং" হয়, যেখানে মডেল আপনার নির্দিষ্ট সিনট্যাক্স আরও ভালোভাবে বুঝতে পারলেও সাধারণ যুক্তি ও সুরক্ষার ক্ষেত্রে খারাপ পারফর্ম করে। APO ওয়েটকে অপরিবর্তিত রাখে, যার ফলে বেস মডেলের ক্ষমতা বজায় থাকে।
• নির্দেশাবলী অনুসরণ ও স্ট্র্যাটেজি ডিসকভারি: Gemini Nano v3-কে জটিল সিস্টেম নির্দেশাবলী অনুসরণ করার জন্য কঠোরভাবে প্রশিক্ষণ দেওয়া হয়েছে। APO সঠিক নির্দেশনার স্ট্রাকচার খুঁজে বের করে এই সুবিধা নেয়, যা মডেলের সুপ্ত ক্ষমতাকে আনলক করে, প্রায়শই এমন কৌশল আবিষ্কার করে যা মানব ইঞ্জিনিয়ারদের পক্ষে খুঁজে পাওয়া কঠিন হতে পারে। 

এই পদ্ধতি যাচাই করতে, আমরা বিভিন্ন প্রোডাকশন ওয়ার্কলোড জুড়ে APO মূল্যায়ন করেছি। আমাদের যাচাইকরণে বিভিন্ন ব্যবহারের ক্ষেত্রে ৫-৮% নির্ভুলতা বৃদ্ধি দেখা গেছে। একাধিক ডিপ্লয় করা অন-ডিভাইস ফিচার জুড়ে, APO উল্লেখযোগ্য কোয়ালিটি লিফ্ট প্রদান করেছে।

সিদ্ধান্ত

অটোমেটেড প্রম্পট অপ্টিমাইজেশন (APO) রিলিজ হওয়ার ফলে অন-ডিভাইস জেনারেটিভ AI-এর ক্ষেত্রে এক নতুন দিগন্ত খুলে গেছে। ফাউন্ডেশন মডেল এবং বিশেষজ্ঞ-লেভেল পারফর্ম্যান্সের মধ্যে ব্যবধান কমিয়ে, আমরা ডেভেলপারদের আরও শক্তিশালী মোবাইল অ্যাপ্লিকেশন তৈরি করার টুল দিচ্ছি। আপনি জিরো-শট অপ্টিমাইজেশন দিয়ে শুরু করুন অথবা ডেটা-চালিত রিফাইনমেন্টের মাধ্যমে প্রোডাকশন স্কেল করুন, খুব ভালো কোয়ালিটির অন-ডিভাইস ইন্টেলিজেন্সের পথ এখন আরও স্পষ্ট। ML Kit-এর Prompt API এবং Vertex AI-এর অটোমেটেড প্রম্পট অপ্টিমাইজেশনের মাধ্যমে আজই প্রোডাকশনে আপনার অন-ডিভাইস ব্যবহারের কেস লঞ্চ করুন। 

প্রাসঙ্গিক লিঙ্ক: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer ডকুমেন্টেশন
• Gemma 3N ঘোষণা সংক্রান্ত ব্লগ