प्रॉम्प्ट ऑप्टिमाइज़ेशन की प्रोसेस को ऑटोमेट करने से, ML Kit के GenAI Prompt API की क्वालिटी कैसे बेहतर होती है

प्रॉम्प्ट ऑप्टिमाइज़ेशन की प्रोसेस को ऑटोमेट करना (एपीओ)

हम ML Kit Prompt API के इस्तेमाल के उदाहरणों को प्रोडक्शन में लाने में आपकी मदद करना चाहते हैं. इसलिए, हमें Vertex AI पर ऑन-डिवाइस मॉडल के लिए, प्रॉम्प्ट ऑप्टिमाइज़ेशन की प्रोसेस को ऑटोमेट करने (एपीओ) की सुविधा लॉन्च करते हुए खुशी हो रही है. प्रॉम्प्ट ऑप्टिमाइज़ेशन की प्रोसेस को ऑटोमेट करने की सुविधा, आपके इस्तेमाल के उदाहरणों के लिए सबसे सही प्रॉम्प्ट को अपने-आप ढूंढने में आपकी मदद करती है.

अब ऑन-डिवाइस एआई सिर्फ़ एक वादा नहीं है, बल्कि यह प्रोडक्शन में इस्तेमाल होने वाली एक असल तकनीक है. Gemini Nano v3 को लॉन्च करके, हम उपयोगकर्ताओं को सीधे तौर पर भाषा को समझने और मल्टीमॉडल की बेहतरीन सुविधाएं उपलब्ध करा रहे हैं. Gemini Nano मॉडल की सीरीज़ की मदद से, हम Android इकोसिस्टम में काम करने वाले ज़्यादातर डिवाइसों को कवर करते हैं. हालांकि, अगली पीढ़ी के स्मार्ट ऐप्लिकेशन बनाने वाले डेवलपर के लिए, किसी बेहतरीन मॉडल का ऐक्सेस पाना सिर्फ़ पहला कदम है. असल चुनौती कस्टमाइज़ेशन में है: मोबाइल हार्डवेयर की सीमाओं को तोड़े बिना, अपने इस्तेमाल के उदाहरण के लिए, फ़ाउंडेशन मॉडल को एक्सपर्ट लेवल की परफ़ॉर्मेंस के हिसाब से कैसे तैयार किया जाए?

सर्वर-साइड की दुनिया में, बड़े एलएलएम आम तौर पर बहुत बेहतर होते हैं और उन्हें डोमेन के हिसाब से कम अडैप्ट करने की ज़रूरत होती है. ज़रूरत पड़ने पर, LoRA (Low-Rank Adaptation) फ़ाइन-ट्यूनिंग जैसे ज़्यादा बेहतर विकल्पों का इस्तेमाल किया जा सकता है. हालांकि, Android AICore के यूनीक आर्किटेक्चर में, शेयर किए गए, मेमोरी-एफ़िशिएंट सिस्टम मॉडल को प्राथमिकता दी जाती है. इसका मतलब है कि शेयर की गई इन सिस्टम सेवाओं पर, हर ऐप्लिकेशन के लिए LoRA के कस्टम अडैप्टर डिप्लॉय करने में चुनौतियां आती हैं.

हालांकि, एक ऐसा विकल्प भी है जो उतना ही असरदार हो सकता है. Vertex AI पर प्रॉम्प्ट ऑप्टिमाइज़ेशन की प्रोसेस को ऑटोमेट करने (एपीओ) की सुविधा का इस्तेमाल करके, डेवलपर फ़ाइन-ट्यूनिंग के बराबर क्वालिटी हासिल कर सकते हैं. साथ ही, वे Android के नेटिव एक्ज़ीक्यूशन एनवायरमेंट में आसानी से काम कर सकते हैं. एपीओ, बेहतर सिस्टम निर्देश पर फ़ोकस करके, डेवलपर को मॉडल के व्यवहार को पारंपरिक फ़ाइन-ट्यूनिंग के मुकाबले ज़्यादा बेहतर और स्केलेबल तरीके से तैयार करने की सुविधा देता है.

ध्यान दें: Gemini Nano V3, Gemma 3N मॉडल का क्वालिटी के हिसाब से ऑप्टिमाइज़ किया गया वर्शन है. Gemma 3N मॉडल को काफ़ी सराहा गया है. ओपन सोर्स Gemma 3N मॉडल पर किए गए प्रॉम्प्ट ऑप्टिमाइज़ेशन, Gemini Nano V3 पर भी लागू होंगे. Android डेवलपर के लिए क्वालिटी को बेहतर बनाने के लिए, ML Kit GenAI API, काम करने वाले डिवाइसों पर nano-v3 मॉडल का इस्तेमाल करते हैं

एपीओ, प्रॉम्प्ट को स्टैटिक टेक्स्ट के तौर पर नहीं, बल्कि प्रोग्राम की जा सकने वाली ऐसी जगह के तौर पर देखता है जिसे ऑप्टिमाइज़ किया जा सकता है. यह प्रॉम्प्ट का सुझाव देने, अलग-अलग वर्शन का आकलन करने, और आपके खास टास्क के लिए सबसे सही प्रॉम्प्ट ढूंढने के लिए, सर्वर-साइड मॉडल (जैसे, Gemini Pro और Flash) का इस्तेमाल करता है. इस प्रोसेस में, परफ़ॉर्मेंस को बेहतर बनाने के लिए, तीन खास तकनीकी तरीकों का इस्तेमाल किया जाता है:

1. गड़बड़ी का विश्लेषण अपने-आप करना: एपीओ, ट्रेनिंग डेटा से गड़बड़ी के पैटर्न का विश्लेषण करके, शुरुआती प्रॉम्प्ट में मौजूद खास कमियों की पहचान अपने-आप करता है.
2. सिमेंटिक निर्देश डिस्टिलेशन: यह टास्क के "असल मकसद" को समझने के लिए, ट्रेनिंग के बड़े पैमाने पर इस्तेमाल किए गए उदाहरणों का विश्लेषण करता है. साथ ही, ऐसे निर्देश बनाता है जो असल डेटा डिस्ट्रिब्यूशन को ज़्यादा सटीक तरीके से दिखाते हैं.
3. एक साथ कई प्रॉम्प्ट की जांच करना: एपीओ, एक बार में एक आइडिया की जांच करने के बजाय, क्वालिटी के लिए ग्लोबल मैक्सिमम की पहचान करने के लिए, एक साथ कई प्रॉम्प्ट जनरेट करता है और उनकी जांच करता है.

एपीओ, फ़ाइन-ट्यूनिंग की क्वालिटी के बराबर कैसे हो सकता है

आम तौर पर, यह माना जाता है कि फ़ाइन-ट्यूनिंग से हमेशा प्रॉम्प्टिंग के मुकाबले बेहतर क्वालिटी मिलती है. हालांकि, यह धारणा सही नहीं है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स के हिसाब से बेहतर काम करता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में खराब परफ़ॉर्म करता है. एपीओ, वेट में कोई बदलाव नहीं करता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति की खोज करना: Gemini Nano v3 को, सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, कड़ी ट्रेनिंग दी गई है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने वाले सटीक निर्देश स्ट्रक्चर को ढूंढकर, इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों की खोज करता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड पर एपीओ का आकलन किया. हमारे आकलन से पता चला है कि अलग-अलग इस्तेमाल के उदाहरणों में, सटीकता में 5 से 8% तक का सुधार हुआ है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, एपीओ की मदद से क्वालिटी में काफ़ी सुधार हुआ है.

डेवलपर के लिए आसान, एंड-टू-एंड वर्कफ़्लो

आम तौर पर, यह माना जाता है कि फ़ाइन-ट्यूनिंग से हमेशा प्रॉम्प्टिंग के मुकाबले बेहतर क्वालिटी मिलती है. हालांकि, यह धारणा सही नहीं है. Gemini Nano v3 जैसे आधुनिक फ़ाउंडेशन मॉडल के लिए, प्रॉम्प्ट इंजीनियरिंग अपने-आप में असरदार हो सकती है:

• सामान्य क्षमताओं को बनाए रखना: फ़ाइन-ट्यूनिंग ( PEFT/LoRA) की वजह से, मॉडल के वेट, डेटा के किसी खास डिस्ट्रिब्यूशन पर ज़्यादा इंडेक्स हो जाते हैं. इससे अक्सर "कैटास्ट्रॉफ़िक फ़ॉरगेटिंग" की समस्या होती है. इसमें मॉडल, आपके खास सिंटैक्स के हिसाब से बेहतर काम करता है, लेकिन सामान्य लॉजिक और सुरक्षा के मामले में खराब परफ़ॉर्म करता है. एपीओ, वेट में कोई बदलाव नहीं करता. इससे बेस मॉडल की क्षमताओं को बनाए रखने में मदद मिलती है.
• निर्देशों का पालन करना और रणनीति की खोज करना: Gemini Nano v3 को, सिस्टम के मुश्किल निर्देशों का पालन करने के लिए, कड़ी ट्रेनिंग दी गई है. एपीओ, मॉडल की छिपी हुई क्षमताओं को अनलॉक करने वाले सटीक निर्देश स्ट्रक्चर को ढूंढकर, इसका फ़ायदा उठाता है. साथ ही, अक्सर ऐसी रणनीतियों की खोज करता है जिन्हें ढूंढना, इंजीनियर के लिए मुश्किल हो सकता है. 

इस तरीके की पुष्टि करने के लिए, हमने अलग-अलग प्रोडक्शन वर्कलोड पर एपीओ का आकलन किया. हमारे आकलन से पता चला है कि अलग-अलग इस्तेमाल के उदाहरणों में, सटीकता में 5 से 8% तक का सुधार हुआ है.उपयोगकर्ता के डिवाइस पर डिप्लॉय की गई कई सुविधाओं में, एपीओ की मदद से क्वालिटी में काफ़ी सुधार हुआ है.

नतीजा

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (एपीओ) की सुविधा लॉन्च होने से, उपयोगकर्ता के डिवाइस पर जनरेटिव एआई के इस्तेमाल में एक नया मोड़ आया है. फ़ाउंडेशन मॉडल और एक्सपर्ट लेवल की परफ़ॉर्मेंस के बीच के अंतर को कम करके, हम डेवलपर को ज़्यादा बेहतर मोबाइल ऐप्लिकेशन बनाने के लिए टूल उपलब्ध करा रहे हैं. चाहे आपने ज़ीरो-शॉट ऑप्टिमाइज़ेशन की सुविधा का इस्तेमाल करना अभी शुरू किया हो या डेटा-ड्रिवन रिफ़ाइनमेंट की मदद से प्रोडक्शन को बढ़ाया हो, अब उपयोगकर्ता के डिवाइस पर अच्छी क्वालिटी की इंटेलिजेंस हासिल करने का तरीका ज़्यादा साफ़ हो गया है.ML Kit के Prompt API और Vertex AI के ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन की मदद से, उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों को आज ही प्रोडक्शन में लॉन्च करें. 

काम के लिंक: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer के बारे में दस्तावेज़
• Gemma 3N के लॉन्च के बारे में जानकारी देने वाला ब्लॉग