Gemini Nano

Gemini Nano की मदद से, जनरेटिव एआई की बेहतरीन सुविधाएं इस्तेमाल की जा सकती हैं. इसके लिए, आपको इंटरनेट कनेक्शन की ज़रूरत नहीं होती. साथ ही, डेटा को क्लाउड पर भेजने की भी ज़रूरत नहीं होती. उपयोगकर्ता के डिवाइस पर मौजूद एआई, उन मामलों में इस्तेमाल करने के लिए एक बेहतरीन समाधान है जहां कम लागत और निजता सुरक्षा के उपाय आपकी मुख्य चिंताएं हैं.

उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों के लिए, Google के Gemini Nano फ़ाउंडेशन मॉडल का फ़ायदा लिया जा सकता है. Gemini Nano, Android के AICore सिस्टम सर्विस में काम करता है. यह डिवाइस के हार्डवेयर का इस्तेमाल करता है, ताकि कम अनुमान इंतज़ार का समय मिल सके. साथ ही, यह मॉडल को अप-टू-डेट रखता है.

ML Kit GenAI API

ML Kit के GenAI API, Gemini Nano की मदद से आपके ऐप्लिकेशन को टास्क पूरे करने में मदद करते हैं. ये एपीआई, लोकप्रिय इस्तेमाल के उदाहरणों के लिए, बेहतर क्वालिटी उपलब्ध कराते हैं. इसके लिए, वे हाई-लेवल इंटरफ़ेस का इस्तेमाल करते हैं. ML Kit GenAI API, AICore पर बनाए गए हैं. AICore, Android सिस्टम की एक सेवा है. यह उपयोगकर्ता के डिवाइस पर GenAI के बुनियादी मॉडल को एक्ज़ीक्यूट करने की सुविधा देती है. इससे ऐप्लिकेशन की मुख्य सुविधाओं और उनके काम करने के तरीके और उपयोगकर्ता की निजता को बेहतर बनाने में मदद मिलती है. ऐसा, डेटा को स्थानीय तौर पर प्रोसेस करके किया जाता है. ज़्यादा जानें.

मुख्य सुविधाएं

ML Kit के GenAI API में ये सुविधाएं काम करती हैं:

AICore के ज़रिए आर्किटेक्चर

सिस्टम-लेवल के मॉड्यूल के तौर पर, AICore को एपीआई की एक सीरीज़ के ज़रिए ऐक्सेस किया जाता है, ताकि डिवाइस पर अनुमान लगाया जा सके. इसके अलावा, AICore में सुरक्षा से जुड़ी कई सुविधाएं पहले से मौजूद हैं. इनसे यह पक्का किया जाता है कि सुरक्षा फ़िल्टर के हिसाब से, कॉन्टेंट का अच्छी तरह से आकलन किया गया हो. इस डायग्राम में बताया गया है कि कोई ऐप्लिकेशन, उपयोगकर्ता के डिवाइस पर Gemini Nano को चलाने के लिए AICore को कैसे ऐक्सेस करता है.

इस डायग्राम में दिखाया गया है कि Android ऐप्लिकेशन, Google AI Edge SDK का इस्तेमाल करके AICore को कैसे ऐक्सेस करता है. AICore में, Gemini Nano, LoRA, और सुरक्षा सुविधाओं को मैनेज किया जाता है. साथ ही, इन्हें हार्डवेयर से तेज़ी लाने वाले ऐक्सलरेटर पर चलाया जाता है.
पहली इमेज. AICore, आपके ऐप्लिकेशन और Gemini Nano मॉडल के बीच इंटरफ़ेस का काम करता है. यह मॉडल के अपडेट और सुरक्षा को मैनेज करता है. साथ ही, उपयोगकर्ता के डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करता है.

उपयोगकर्ता के डेटा को निजी और सुरक्षित रखना

उपयोगकर्ता के डिवाइस पर मौजूद जनरेटिव एआई, प्रॉम्प्ट को स्थानीय तौर पर प्रोसेस करता है. इससे सर्वर कॉल की ज़रूरत नहीं पड़ती. इससे नेटवर्क की वजह से होने वाली देरी कम हो जाती है. हालांकि, अनुमान लगाने की स्पीड, डिवाइस के हार्डवेयर पर निर्भर करती है. इस तरीके से, संवेदनशील डेटा को डिवाइस पर ही रखा जाता है. इससे निजता को बेहतर बनाया जा सकता है. साथ ही, ऑफ़लाइन काम करने की सुविधा चालू की जा सकती है और अनुमान लगाने की लागत कम की जा सकती है.

AICore, Private Compute Core के सिद्धांतों का पालन करता है. इसकी मुख्य विशेषताएं यहां दी गई हैं:

  • पैकेज बाइंडिंग पर पाबंदी: AICore को ज़्यादातर अन्य पैकेज से अलग रखा जाता है. हालांकि, कुछ सिस्टम पैकेज के लिए इसमें सीमित अपवाद हैं. अनुमति वाली इस सूची में कोई भी बदलाव, सिर्फ़ Android के पूरे ओटीए अपडेट के दौरान किया जा सकता है.
  • इंटरनेट का सीधा ऐक्सेस नहीं है: AICore के पास इंटरनेट का सीधा ऐक्सेस नहीं है. इंटरनेट से जुड़े सभी अनुरोध, जैसे कि मॉडल डाउनलोड करने के अनुरोध, ओपन-सोर्स Private Compute Services के कंपैनियन APK के ज़रिए रूट किए जाते हैं. Private Compute Services में मौजूद एपीआई को, निजता को ध्यान में रखकर काम करने की अपनी क्षमता के बारे में साफ़ तौर पर बताना होगा.

इसके अलावा, AICore को इस तरह से बनाया गया है कि वह हर अनुरोध को अलग-अलग प्रोसेस करता है. साथ ही, उपयोगकर्ता की निजता बनाए रखने के लिए, वह इनपुट डेटा या प्रोसेस किए गए डेटा का कोई रिकॉर्ड सेव नहीं करता. ज़्यादा जानने के लिए, Gemini Nano के लिए निजता और सुरक्षा के बारे में जानकारी ब्लॉग पोस्ट पढ़ें.

AICore का आर्किटेक्चर डायग्राम, जिसमें अनुरोध का फ़्लो दिखाया गया है: एपीआई सर्फ़ेस, सुरक्षा से जुड़े सिग्नल के साथ इनपुट प्रोसेसिंग, सुविधा कॉन्फ़िगरेशन, मॉडल वेट और LoRA के साथ रनटाइम, और सुरक्षा से जुड़े सिग्नल के साथ आउटपुट प्रोसेसिंग. इसमें Private Compute Services के ज़रिए मॉडल डाउनलोड करने की जानकारी भी दिखती है.
दूसरी इमेज. AICore आर्किटेक्चर, इनपुट और आउटपुट की सुरक्षा, अनुरोध को प्रोसेस करने, और मॉडल के वेट को मैनेज करता है. इससे उपयोगकर्ता के डिवाइस पर एआई को सुरक्षित माहौल मिलता है.

AICore की मदद से एआई फ़ाउंडेशन मॉडल ऐक्सेस करने के फ़ायदे

AICore की मदद से, Android OS, एआई फ़ाउंडेशन मॉडल उपलब्ध कराता है और उन्हें मैनेज करता है. इससे आपके ऐप्लिकेशन में इन बड़े मॉडल का इस्तेमाल करने की लागत में काफ़ी कमी आती है. इसकी मुख्य वजह ये हैं:

  • आसानी से डिप्लॉय किया जा सकता है: AICore, Gemini Nano के डिस्ट्रिब्यूशन को मैनेज करता है. साथ ही, आने वाले समय में होने वाले अपडेट को भी मैनेज करता है. आपको नेटवर्क पर बड़े मॉडल डाउनलोड या अपडेट करने की ज़रूरत नहीं है. साथ ही, आपके ऐप्लिकेशन के डिस्क और रनटाइम मेमोरी बजट पर भी कोई असर नहीं पड़ेगा.
  • तेज़ी से अनुमान लगाने की सुविधा: AICore, उपयोगकर्ता के डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करके, तेज़ी से अनुमान लगाता है. आपके ऐप्लिकेशन को हर डिवाइस पर सबसे अच्छी परफ़ॉर्मेंस मिलती है. साथ ही, आपको हार्डवेयर इंटरफ़ेस के बारे में चिंता करने की ज़रूरत नहीं होती.

हाइब्रिड इन्फ़रेंस का इस्तेमाल कब करना चाहिए

Gemini Nano, ऑफ़लाइन और निजता से जुड़े टास्क के लिए सबसे सही मॉडल है. हालांकि, उपयोगकर्ता के डिवाइस पर काम करने की वजह से इसकी कुछ सीमाएं हैं. जैसे, टोकन की सीमाएं, डिवाइस के हार्डवेयर की सीमाएं, और मॉडल की क्षमताओं की सीमाएं. इन स्थितियों में, हाइब्रिड इन्फ़रेंस का इस्तेमाल किया जा सकता है. इससे, एआई वर्कलोड को लोकल डिवाइस और क्लाउड के बीच बैलेंस किया जा सकता है.

सभी डिवाइसों पर एक जैसा उपयोगकर्ता अनुभव देने और मुश्किल क्वेरी को हैंडल करने के लिए, Firebase AI Logic Hybrid API का इस्तेमाल किया जा सकता है. इससे आपका ऐप्लिकेशन ये काम कर सकता है:

  • बेहतर तरीके से फ़ॉल बैक करने की सुविधा: जब Gemini Nano, उपयोगकर्ता के डिवाइस पर उपलब्ध न हो या काम न कर रहा हो, तो अनुरोधों को अपने-आप Gemini Flash या Gemini Pro मॉडल पर क्लाउड में भेज दिया जाता है.
  • सुरक्षा लागू करें: Firebase App Check और पुष्टि करने की सुविधा देने वाले इसके साथ काम करने वाले प्रोवाइडर (जैसे, Play Integrity) की मदद से, क्लाउड इन्फ़्रेंस को सुरक्षित रखें. साथ ही, संवेदनशील सिस्टम प्रॉम्प्ट को सर्वर-साइड पर रखें.