ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की मदद से, ML Kit के GenAI प्रॉम्प्ट एपीआई की क्वालिटी को कैसे बेहतर बनाया जा सकता है

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

हम चाहते हैं कि ML Kit के प्रॉम्प्ट एपीआई के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाया जाए. इसलिए, हमें यह बताते हुए खुशी हो रही है कि Vertex AI पर, डिवाइस पर काम करने वाले मॉडल के लिए, ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की सुविधा लॉन्च की जा रही है. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) एक ऐसा टूल है जिसकी मदद से, इस्तेमाल के उदाहरणों के लिए सबसे सही प्रॉम्प्ट अपने-आप ढूंढा जा सकता है.

डिवाइस पर काम करने वाले एआई की सुविधा अब सिर्फ़ एक वादा नहीं है, बल्कि यह प्रोडक्शन में उपलब्ध है. Gemini Nano v3 के लॉन्च के साथ, हम उपयोगकर्ताओं को भाषा को समझने और मल्टीमॉडल की ऐसी सुविधाएं दे रहे हैं जो पहले कभी नहीं दी गईं. Gemini Nano मॉडल की सीरीज़ की मदद से, Android इकोसिस्टम में काम करने वाले ज़्यादातर डिवाइसों पर यह सुविधा उपलब्ध है. हालांकि, अगली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, किसी बेहतरीन मॉडल का ऐक्सेस पाना सिर्फ़ पहला कदम है. असल चुनौती कस्टमाइज़ेशन में है: मोबाइल हार्डवेयर की सीमाओं को तोड़े बिना, अपने इस्तेमाल के उदाहरण के लिए, फ़ाउंडेशन मॉडल को एक्सपर्ट लेवल की परफ़ॉर्मेंस के हिसाब से कैसे बनाया जाए?

सर्वर-साइड की दुनिया में, बड़े एलएलएम आम तौर पर बहुत बेहतर होते हैं और उन्हें डोमेन के हिसाब से कम अडैप्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर, LoRA (Low-Rank Adaptation) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी-एफ़िशिएंट सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि हर ऐप्लिकेशन के लिए, LoRA के कस्टम अडैप्टर डिप्लॉय करने में, शेयर की गई इन सिस्टम सेवाओं पर चुनौतियां आती हैं.

हालांकि, एक और तरीका है जो उतना ही असरदार हो सकता है. Vertex AI पर ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग के बराबर क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम निर्देश पर फ़ोकस करके, एपीओ डेवलपर को पारंपरिक फ़ाइन-ट्यूनिंग सॉल्यूशन के मुकाबले, मॉडल के व्यवहार को ज़्यादा बेहतर तरीके से और बड़े पैमाने पर कस्टमाइज़ करने की सुविधा देता है.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का क्वालिटी ऑप्टिमाइज़ किया गया वर्शन है. Gemma 3N मॉडल को काफ़ी सराहा गया है. ओपन सोर्स Gemma 3N मॉडल में किए गए प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए, ML Kit के GenAI एपीआई, काम करने वाले डिवाइसों पर nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी जगह के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह प्रॉम्प्ट के सुझाव देने, अलग-अलग वर्शन का आकलन करने, और आपके खास टास्क के लिए सबसे सही प्रॉम्प्ट ढूंढने के लिए, सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए, तीन खास तकनीकी तरीकों का इस्तेमाल किया जाता है:

1. ऑटोमेटेड गड़बड़ी का विश्लेषण: एपीओ, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करके, शुरुआती प्रॉम्प्ट में मौजूद खास कमियों की पहचान अपने-आप करता है.
2. सिमैंटिक निर्देश डिस्टिलेशन: यह ट्रेनिंग के लिए इस्तेमाल किए गए बड़े पैमाने पर मौजूद उदाहरणों का विश्लेषण करके, किसी टास्क के "असल मकसद" को अलग करता है. साथ ही, ऐसे निर्देश बनाता है जो असल डेटा डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया की जांच करने के बजाय, क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान करने के लिए, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उनकी जांच पैरलल में करता है.

एपीओ, फ़ाइन-ट्यूनिंग की क्वालिटी के बराबर कैसे हो सकता है

यह एक आम गलतफ़हमी है कि फ़ाइन-ट्यूनिंग से हमेशा प्रॉम्प्टिंग के मुकाबले बेहतर क्वालिटी मिलती है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स में बेहतर हो जाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में खराब हो जाता है. एपीओ, वेट को नहीं बदलता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति की खोज करना: Gemini Nano v3 को, सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, कड़ी ट्रेनिंग दी गई है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने वाले सटीक निर्देश स्ट्रक्चर को ढूंढकर, इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों की खोज करता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में एपीओ का आकलन किया. हमारे आकलन से पता चला है कि अलग-अलग इस्तेमाल के उदाहरणों में, सटीकता में 5 से 8% की बढ़ोतरी हुई है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, एपीओ ने क्वालिटी को बेहतर बनाने में अहम भूमिका निभाई है.

डेवलपर के लिए आसान, एंड-टू-एंड वर्कफ़्लो

यह एक आम गलतफ़हमी है कि फ़ाइन-ट्यूनिंग से हमेशा प्रॉम्प्टिंग के मुकाबले बेहतर क्वालिटी मिलती है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स में बेहतर हो जाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में खराब हो जाता है. एपीओ, वेट को नहीं बदलता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति की खोज करना: Gemini Nano v3 को, सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, कड़ी ट्रेनिंग दी गई है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने वाले सटीक निर्देश स्ट्रक्चर को ढूंढकर, इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों की खोज करता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में एपीओ का आकलन किया. हमारे आकलन से पता चला है कि अलग-अलग इस्तेमाल के उदाहरणों में, सटीकता में 5 से 8% की बढ़ोतरी हुई है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, एपीओ ने क्वालिटी को बेहतर बनाने में अहम भूमिका निभाई है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) के लॉन्च से, उपयोगकर्ता के डिवाइस पर काम करने वाले जनरेटिव एआई के लिए एक नया दौर शुरू हो गया है. फ़ाउंडेशन मॉडल और एक्सपर्ट लेवल की परफ़ॉर्मेंस के बीच के अंतर को कम करके, हम डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपने ज़ीरो-शॉट ऑप्टिमाइज़ेशन से शुरुआत की हो या डेटा-ड्रिवन रिफ़ाइनमेंट की मदद से प्रोडक्शन को बढ़ाया हो, अब उपयोगकर्ता के डिवाइस पर बेहतर क्वालिटी वाली इंटेलिजेंस हासिल करना आसान हो गया है.ML Kit के प्रॉम्प्ट एपीआई और Vertex AI के ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की मदद से, उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

काम के लिंक: 

• ML Kit का प्रॉम्प्ट एपीआई,
• Vertex AI के प्रॉम्प्ट ऑप्टिमाइज़र का दस्तावेज़
• Gemma 3N के लॉन्च के बारे में जानकारी देने वाला ब्लॉग