Gemini Nano

Gemini Nano की मदद से, जनरेटिव एआई की बेहतरीन सुविधाएं दी जा सकती हैं. इसके लिए, नेटवर्क कनेक्शन की ज़रूरत नहीं होती. साथ ही, डेटा को क्लाउड पर भेजने की भी ज़रूरत नहीं होती. उपयोगकर्ता के डिवाइस पर एआई की सुविधा, उन इस्तेमाल के उदाहरणों के लिए एक बेहतरीन विकल्प है जहां कम लागत और निजता की सुरक्षा आपके लिए मुख्य चिंताएं हैं.

उपयोगकर्ता के डिवाइस पर इस्तेमाल के उदाहरणों के लिए, Google के Gemini Nano फ़ाउंडेशन मॉडल का इस्तेमाल किया जा सकता है. Gemini Nano, Android की AICore सिस्टम सेवा में काम करता है, यह सेवा, डिवाइस के हार्डवेयर का इस्तेमाल करके, कम इन्फ़रेंस लेटेन्सी की सुविधा देती है. साथ ही, मॉडल को अप-टू-डेट रखती है.

ML Kit के GenAI API

ML Kit के GenAI API, Gemini Nano की मदद से आपके ऐप्लिकेशन को टास्क पूरे करने में मदद करते हैं. ये एपीआई, हाई-लेवल इंटरफ़ेस के ज़रिए, इस्तेमाल के लोकप्रिय मामलों के लिए बेहतरीन क्वालिटी उपलब्ध कराते हैं. ML Kit के GenAI API, AICore पर बने हैं. AICore, Android की एक सिस्टम सेवा है. यह सेवा, GenAI फ़ाउंडेशन मॉडल को डिवाइस पर ही रन करने की सुविधा देती है. इससे, ऐप्लिकेशन की बेहतर परफ़ॉर्मेंस और उपयोगकर्ता की निजता को बेहतर बनाने जैसी सुविधाएं मिलती हैं. ऐसा, डेटा को स्थानीय तौर पर प्रोसेस करके किया जाता है. ज़्यादा जानें.

मुख्य सुविधाएं

ML Kit के GenAI API, इन सुविधाओं के साथ काम करते हैं:

AICore के ज़रिए आर्किटेक्चर

सिस्टम-लेवल मॉड्यूल के तौर पर, डिवाइस पर इन्फ़रेंस रन करने के लिए, एपीआई की सीरीज़ के ज़रिए AICore को ऐक्सेस किया जाता है. इसके अलावा, AICore में सुरक्षा से जुड़ी कई सुविधाएं पहले से मौजूद होती हैं. इससे, हमारे सुरक्षा फ़िल्टर के हिसाब से पूरी तरह से आकलन किया जा सकता है. यहां दिए गए डायग्राम में बताया गया है कि कोई ऐप्लिकेशन, उपयोगकर्ता के डिवाइस पर Gemini Nano को रन करने के लिए, AICore को कैसे ऐक्सेस करता है.

इस डायग्राम में दिखाया गया है कि Android ऐप्लिकेशन, Google AI Edge SDK का इस्तेमाल करके AICore को कैसे ऐक्सेस करता है. AICore में, Gemini Nano, LoRA, और सुरक्षा से जुड़ी सुविधाओं को मैनेज किया जाता है. साथ ही, इन्हें हार्डवेयर ऐक्सलरेटर पर चलाया जाता है.
पहला डायग्राम. AICore, आपके ऐप्लिकेशन और Gemini Nano मॉडल के बीच इंटरफ़ेस के तौर पर काम करता है. यह मॉडल के अपडेट और सुरक्षा को मैनेज करता है. साथ ही, उपयोगकर्ता के डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करता है.

उपयोगकर्ता के डेटा को निजी और सुरक्षित रखना

उपयोगकर्ता के डिवाइस पर जनरेटिव एआई, प्रॉम्प्ट को स्थानीय तौर पर रन करता है. इससे सर्वर कॉल की ज़रूरत नहीं पड़ती. इससे नेटवर्क लेटेन्सी कम हो जाती है. हालांकि, इन्फ़रेंस की स्पीड, डिवाइस के हार्डवेयर पर निर्भर करती है. इस तरीके से, डिवाइस पर संवेदनशील डेटा रखकर निजता को बेहतर बनाया जाता है. साथ ही, ऑफ़लाइन काम करने की सुविधा मिलती है और इन्फ़रेंस की लागत कम हो जाती है.

AICore, Private Compute Core के सिद्धांतों का पालन करता है. इसकी मुख्य विशेषताएं यहां दी गई हैं:

  • पैकेज बाइंडिंग पर पाबंदी: AICore को ज़्यादातर अन्य पैकेज से अलग रखा जाता है, हालांकि, कुछ खास सिस्टम पैकेज के लिए, सीमित अपवाद मौजूद हैं. अनुमति वाली इस सूची में कोई भी बदलाव, Android के पूरे ओटीए अपडेट के दौरान ही किया जा सकता है.
  • इंटरनेट का इनडायरेक्ट ऐक्सेस: AICore के पास इंटरनेट का डायरेक्ट ऐक्सेस नहीं होता. मॉडल डाउनलोड करने के सभी इंटरनेट अनुरोध, ओपन-सोर्स Private Compute Services कंपैनियन APK के ज़रिए रूट किए जाते हैं. Private Compute Services में मौजूद एपीआई को, निजता को ध्यान में रखकर डिज़ाइन किए जाने की जानकारी साफ़ तौर पर दिखानी होगी.

इसके अलावा, AICore को हर अनुरोध को अलग करने के लिए बनाया गया है. साथ ही, यह उपयोगकर्ता की निजता को सुरक्षित रखने के लिए, इनपुट डेटा या प्रोसेस करने के बाद मिलने वाले आउटपुट का कोई रिकॉर्ड सेव नहीं करता. ज़्यादा जानने के लिए, Gemini Nano के लिए निजता और सुरक्षा के बारे में जानकारी देने वाला ब्लॉग पोस्ट पढ़ें.

AICore का आर्किटेक्चर डायग्राम, जिसमें अनुरोध का फ़्लो दिखाया गया है: एपीआई सरफेस, सुरक्षा से जुड़े सिग्नल के साथ इनपुट प्रोसेसिंग, सुविधा कॉन्फ़िगरेशन, मॉडल वेट और LoRA के साथ रनटाइम, और सुरक्षा से जुड़े सिग्नल के साथ आउटपुट प्रोसेसिंग. यह Private Compute Services के ज़रिए मॉडल डाउनलोड करने की जानकारी भी दिखाता है.
दूसरी इमेज. AICore का आर्किटेक्चर, उपयोगकर्ता के डिवाइस पर एआई के लिए सुरक्षित एनवायरमेंट उपलब्ध कराने के लिए, इनपुट और आउटपुट की सुरक्षा, अनुरोध की प्रोसेसिंग, और मॉडल के वेट को मैनेज करता है.

AICore की मदद से, एआई फ़ाउंडेशन मॉडल को ऐक्सेस करने के फ़ायदे

AICore, Android OS को एआई फ़ाउंडेशन मॉडल उपलब्ध कराने और उन्हें मैनेज करने की सुविधा देता है. इससे, आपके ऐप्लिकेशन में इन बड़े मॉडल का इस्तेमाल करने की लागत काफ़ी कम हो जाती है. इसकी मुख्य वजहें यहां दी गई हैं:

  • डिप्लॉय करने में आसानी: AICore, Gemini Nano के डिस्ट्रिब्यूशन को मैनेज करता है और आने वाले समय में होने वाले अपडेट को हैंडल करता है. आपको नेटवर्क पर बड़े मॉडल डाउनलोड या अपडेट करने के बारे में चिंता करने की ज़रूरत नहीं है. साथ ही, आपके ऐप्लिकेशन के डिस्क और रनटाइम मेमोरी बजट पर पड़ने वाले असर के बारे में भी चिंता करने की ज़रूरत नहीं है.
  • इन्फ़रेंस की स्पीड बढ़ना: AICore, इन्फ़रेंस की स्पीड बढ़ाने के लिए, डिवाइस के हार्डवेयर का इस्तेमाल करता है. आपके ऐप्लिकेशन को हर डिवाइस पर सबसे अच्छी परफ़ॉर्मेंस मिलती है. साथ ही, आपको हार्डवेयर के इंटरफ़ेस के बारे में चिंता करने की ज़रूरत नहीं है.