ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की मदद से, ML Kit के GenAI प्रॉम्प्ट एपीआई की क्वालिटी को कैसे बेहतर बनाया जा सकता है

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ)

हम आपको ML Kit के प्रॉम्प्ट एपीआई के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में मदद करना चाहते हैं. इसलिए, हमें Vertex AI पर ऑन-डिवाइस मॉडल के लिए, ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) लॉन्च करते हुए खुशी हो रही है. ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन एक ऐसा टूल है जो आपके इस्तेमाल के उदाहरणों के लिए, सबसे सही प्रॉम्प्ट को अपने-आप ढूंढने में आपकी मदद करता है.

अब ऑन-डिवाइस एआई सिर्फ़ एक वादा नहीं है, बल्कि यह प्रोडक्शन में इस्तेमाल होने वाली एक असल टेक्नोलॉजी है. Gemini Nano v3 के लॉन्च के साथ, हम उपयोगकर्ताओं को भाषा को समझने और मल्टीमॉडल क्षमताओं को सीधे उनके डिवाइस पर उपलब्ध करा रहे हैं. Gemini Nano मॉडल की सीरीज़ की मदद से, हम Android इकोसिस्टम में काम करने वाले ज़्यादा से ज़्यादा डिवाइसों पर यह सुविधा उपलब्ध करा रहे हैं. हालांकि, अगली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, किसी बेहतर मॉडल का ऐक्सेस पाना सिर्फ़ पहला कदम है. असल चुनौती कस्टमाइज़ेशन में है: मोबाइल हार्डवेयर की सीमाओं को तोड़े बिना, अपने खास इस्तेमाल के उदाहरण के लिए, फ़ाउंडेशन मॉडल को बेहतर परफ़ॉर्मेंस के हिसाब से कैसे तैयार किया जाए?

सर्वर-साइड की दुनिया में, बड़े एलएलएम आम तौर पर बहुत बेहतर होते हैं और उन्हें डोमेन के हिसाब से कम अडैप्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर, LoRA (लो-रैंक अडैप्टेशन) फ़ाइन-ट्यूनिंग जैसे बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी-एफ़िशिएंट सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए, LoRA के कस्टम अडैप्टर डिप्लॉय करने में चुनौतियां आती हैं.

हालांकि, एक दूसरा तरीका भी है जो उतना ही असरदार हो सकता है. Vertex AI पर ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग के बराबर क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. बेहतर सिस्टम निर्देश पर फ़ोकस करके, एपीओ डेवलपर को पारंपरिक फ़ाइन-ट्यूनिंग सॉल्यूशन के मुकाबले, ज़्यादा मज़बूत और स्केलेबल तरीके से मॉडल के व्यवहार को तैयार करने की सुविधा देता है.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का क्वालिटी ऑप्टिमाइज़ किया गया वर्शन है. Gemma 3N मॉडल को काफ़ी सराहा गया है. ओपन सोर्स Gemma 3N मॉडल में किए गए प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए, ML Kit के GenAI एपीआई, काम करने वाले डिवाइसों पर nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी जगह के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह प्रॉम्प्ट के सुझाव देने, अलग-अलग वर्शन का आकलन करने, और आपके खास टास्क के लिए सबसे सही प्रॉम्प्ट ढूंढने के लिए, सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए, तीन खास तकनीकी तरीकों का इस्तेमाल किया जाता है:

1. ऑटोमेटेड गड़बड़ी का विश्लेषण: एपीओ, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करता है, ताकि शुरुआती प्रॉम्प्ट में मौजूद खास कमज़ोरियों की पहचान की जा सके.
2. सिमेंटिक निर्देश डिस्टिलेशन: यह ट्रेनिंग के लिए इस्तेमाल किए गए बड़े पैमाने पर मौजूद उदाहरणों का विश्लेषण करके, किसी टास्क के "असल मकसद" को अलग करता है. साथ ही, ऐसे निर्देश बनाता है जो असल डेटा डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. पैरलल कैंडिडेट टेस्टिंग: एपीओ, एक बार में एक आइडिया की जांच करने के बजाय, क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान करने के लिए, कई प्रॉम्प्ट कैंडिडेट जनरेट करता है और उनकी जांच करता है.

एपीओ, फ़ाइन-ट्यूनिंग की क्वालिटी के बराबर कैसे हो सकता है

आम तौर पर, यह गलत धारणा है कि फ़ाइन-ट्यूनिंग से हमेशा प्रॉम्प्टिंग के मुकाबले बेहतर क्वालिटी मिलती है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स में बेहतर हो जाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में खराब हो जाता है. एपीओ, वेट को नहीं बदलता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति की खोज करना: Gemini Nano v3 को, सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, कड़ी ट्रेनिंग दी गई है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने वाले सटीक निर्देश स्ट्रक्चर को ढूंढकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों की खोज करता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में एपीओ का आकलन किया. हमारे आकलन से पता चला है कि अलग-अलग इस्तेमाल के उदाहरणों में, सटीकता में 5 से 8% की बढ़ोतरी हुई है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, एपीओ ने क्वालिटी को बेहतर बनाने में अहम भूमिका निभाई है.

डेवलपर के लिए आसान और पूरी तरह से ऑटोमेटेड वर्कफ़्लो

आम तौर पर, यह गलत धारणा है कि फ़ाइन-ट्यूनिंग से हमेशा प्रॉम्प्टिंग के मुकाबले बेहतर क्वालिटी मिलती है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स में बेहतर हो जाता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में खराब हो जाता है. एपीओ, वेट को नहीं बदलता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति की खोज करना: Gemini Nano v3 को, सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, कड़ी ट्रेनिंग दी गई है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने वाले सटीक निर्देश स्ट्रक्चर को ढूंढकर इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों की खोज करता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड में एपीओ का आकलन किया. हमारे आकलन से पता चला है कि अलग-अलग इस्तेमाल के उदाहरणों में, सटीकता में 5 से 8% की बढ़ोतरी हुई है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, एपीओ ने क्वालिटी को बेहतर बनाने में अहम भूमिका निभाई है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) के लॉन्च से, उपयोगकर्ता के डिवाइस पर जनरेटिव एआई के इस्तेमाल में एक नया मोड़ आया है. फ़ाउंडेशन मॉडल और बेहतर परफ़ॉर्मेंस के बीच के अंतर को कम करके, हम डेवलपर को ज़्यादा मज़बूत मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपने ज़ीरो-शॉट ऑप्टिमाइज़ेशन से शुरुआत की हो या डेटा-ड्रिवन रिफ़ाइनमेंट की मदद से प्रोडक्शन को बढ़ाया हो, अब उपयोगकर्ता के डिवाइस पर बेहतर क्वालिटी वाली इंटेलिजेंस हासिल करने का तरीका ज़्यादा साफ़ हो गया है.ML Kit के प्रॉम्प्ट एपीआई और Vertex AI के ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की मदद से, उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

काम के लिंक: 

• ML Kit का प्रॉम्प्ट एपीआई,
• Vertex AI के प्रॉम्प्ट ऑप्टिमाइज़र का दस्तावेज़
• Gemma 3N के लॉन्च के बारे में जानकारी देने वाला ब्लॉग