Gemini Nano

Gemini Nano আপনাকে নেটওয়ার্ক কানেকশন বা ক্লাউডে ডেটা পাঠানোর প্রয়োজন ছাড়াই জেনারেটিভ AI-এর উন্নত অভিজ্ঞতা প্রদান করতে দেয়। কম খরচ ও গোপনীয়তা সুরক্ষা আপনার প্রধান চিন্তা হলে, অন-ডিভাইস AI হল ব্যবহারের ক্ষেত্রে একটি দারুণ সমাধান।

অন-ডিভাইস ব্যবহারের ক্ষেত্রে, আপনি Google-এর Gemini Nano ফাউন্ডেশন মডেলের সুবিধা নিতে পারবেন। Gemini Nano, Android-এর AICore সিস্টেম পরিষেবায় চলে, যা কম ইনফারেন্স লেটেন্সি চালু করতে ডিভাইস হার্ডওয়্যার ব্যবহার করে এবং মডেলকে আপ-টু-ডেট রাখে।

ML Kit GenAI API

ML Kit-এর GenAI API, আপনার অ্যাপকে টাস্ক পারফর্ম করতে সাহায্য করার জন্য Gemini Nano-এর ক্ষমতাকে কাজে লাগায়। এইসব API, হাই-লেভেল ইন্টারফেসের মাধ্যমে জনপ্রিয় ব্যবহারের ক্ষেত্রে বক্সের বাইরে কোয়ালিটি প্রদান করে। ML Kit GenAI API, AICore-এর উপরে তৈরি করা হয়েছে। এটি একটি Android সিস্টেম পরিষেবা যা GenAI ফাউন্ডেশন মডেলের অন-ডিভাইস এক্সিকিউশন চালু করে। এর ফলে, লোকালি ডেটা প্রসেস করার মাধ্যমে উন্নত অ্যাপ ফাংশনালিটি ও উন্নত ব্যবহারকারীর গোপনীয়তার মতো ফিচার প্রদান করা যায়। আরও জানুন।

মূল বৈশিষ্ট্য

ML Kit GenAI API-তে নিম্নলিখিত ফিচার কাজ করে:

  • প্রম্পট: কাস্টম শুধুমাত্র টেক্সট বা মাল্টিমোডাল প্রম্পটের উপর ভিত্তি করে টেক্সট কন্টেন্ট তৈরি করো।
  • সারসংক্ষেপ: নিবন্ধ বা কথোপকথনের সারসংক্ষেপ করে বুলেট পয়েন্টের তালিকা তৈরি করো।
  • প্রুফরিডিং: ছোট চ্যাট মেসেজ প্রুফরিড করো।
  • আবার লেখা: ছোট চ্যাট মেসেজ বিভিন্ন টোন বা স্টাইলে আবার লেখো।
  • ছবির বিবরণ: কোনও প্রদত্ত ছবির একটি সংক্ষিপ্ত বিবরণ তৈরি করো।
  • স্পিচ রিকগনিশন: বলা অডিওকে টেক্সটে ট্রান্সক্রাইব করে।

AICore-এর মাধ্যমে আর্কিটেকচার

সিস্টেম-লেভেল মডিউল হিসেবে, আপনি AICore-কে একাধিক API-এর মাধ্যমে অ্যাক্সেস করেন যাতে ডিভাইসে ইনফারেন্স রান করানো যায়। এছাড়াও, AICore-এ বেশ কিছু বিল্ট-ইন নিরাপত্তা ফিচার আছে, যা আমাদের নিরাপত্তা ফিল্টারের বিরুদ্ধে পুঙ্খানুপুঙ্খ মূল্যায়ন নিশ্চিত করে। ডিভাইসে Gemini Nano চালানোর জন্য কোনও অ্যাপ কীভাবে AICore অ্যাক্সেস করে তা নিম্নলিখিত ডায়াগ্রামে দেখানো হয়েছে।

একটি ডায়াগ্রামের মাধ্যমে দেখানো হয়েছে যে কীভাবে একটি Android অ্যাপ Google AI Edge SDK ব্যবহার করে AICore অ্যাক্সেস করে, যেখানে Gemini Nano, LoRA ও নিরাপত্তা ফিচার ম্যানেজ করা হয় এবং হার্ডওয়্যার অ্যাক্সিলারেটরে রান করে।
ছবি ১. AICore আপনার অ্যাপ ও Gemini Nano মডেলের মধ্যে ইন্টারফেস হিসেবে কাজ করে, মডেল আপডেট ও নিরাপত্তা ম্যানেজ করার পাশাপাশি অন-ডিভাইস হার্ডওয়্যার ব্যবহার করে।

ব্যবহারকারীর ডেটা ব্যক্তিগত ও সুরক্ষিত রাখা

অন-ডিভাইস জেনারেটিভ AI লোকালি প্রম্পট এক্সিকিউট করে, এর ফলে সার্ভার কল করার প্রয়োজন হয় না। এটি নেটওয়ার্ক লেটেন্সি সরিয়ে দিলেও, ইনফারেন্স স্পিড ডিভাইসের হার্ডওয়্যারের উপর নির্ভর করে। এই পদ্ধতি ডিভাইসে সংবেদনশীল ডেটা রেখে গোপনীয়তা বাড়ায়, অফলাইন কার্যকারিতা চালু করে এবং অনুমান সংক্রান্ত খরচ কমায়।

AICore Private Compute Core নীতি মেনে চলে, যার মধ্যে নিম্নলিখিত মূল বৈশিষ্ট্য রয়েছে:

  • বিধিনিষেধযুক্ত প্যাকেজ বাইন্ডিং: AICore বেশিরভাগ অন্যান্য প্যাকেজ থেকে আলাদা করা হয়েছে, নির্দিষ্ট সিস্টেম প্যাকেজের জন্য সীমিত ব্যতিক্রম সহ। এই অনুমোদিত তালিকায় কোনও পরিবর্তন শুধুমাত্র সম্পূর্ণ Android OTA আপডেট চলাকালীনই করা যেতে পারে।
  • পরোক্ষ ইন্টারনেট অ্যাক্সেস: AICore-এর সরাসরি ইন্টারনেট অ্যাক্সেস নেই। মডেল ডাউনলোড সহ সব ইন্টারনেট অনুরোধ ওপেন-সোর্স Private Compute Services কম্প্যানিয়ন APK-এর মাধ্যমে রাউট করা হয়। Private Compute Services-এর মধ্যে থাকা API-কে অবশ্যই স্পষ্টভাবে গোপনীয়তা-কেন্দ্রিক হতে হবে।

এছাড়াও, AICore প্রতিটি অনুরোধকে আলাদা করে রাখার জন্য তৈরি করা হয়েছে এবং ব্যবহারকারীর গোপনীয়তা রক্ষা করতে ইনপুট ডেটা বা প্রসেস করার পরে পাওয়া আউটপুটের কোনও রেকর্ড সেভ করে না। আরও জানতে, ব্লগ পোস্ট Gemini Nano-এর গোপনীয়তা ও নিরাপত্তা সংক্রান্ত ভূমিকা পড়ুন।

AICore-এর বিস্তারিত আর্কিটেকচার ডায়াগ্রাম যা অনুরোধের ফ্লো দেখায়: API সারফেস, নিরাপত্তা সংক্রান্ত সিগন্যাল সহ ইনপুট প্রসেসিং, ফিচার কনফিগারেশন, মডেল ওয়েট ও LoRA সহ রানটাইম এবং নিরাপত্তা সংক্রান্ত সিগন্যাল সহ আউটপুট প্রসেসিং। এছাড়াও, এটি Private Compute Services-এর মাধ্যমে মডেল ডাউনলোড দেখায়।
ছবি ২. AICore আর্কিটেকচার ইনপুট ও আউটপুট নিরাপত্তা, অনুরোধ প্রসেসিং এবং মডেল ওয়েট ম্যানেজ করে যাতে ডিভাইসে AI-এর জন্য একটি সুরক্ষিত পরিবেশ প্রদান করা যায়।

AICore-এর মাধ্যমে AI ফাউন্ডেশন মডেল অ্যাক্সেস করার সুবিধা

AICore, AI ফাউন্ডেশন মডেল প্রদান ও ম্যানেজ করার জন্য Android OS-কে সক্ষম করে। এর ফলে আপনার অ্যাপে এইসব বড় মডেল ব্যবহার করার খরচ উল্লেখযোগ্যভাবে কমে যায়, মূলত নিম্নলিখিত কারণে:

  • সহজে ডেপ্লয় করা যায়: AICore, Gemini Nano-এর ডিস্ট্রিবিউশন ম্যানেজ করে এবং ভবিষ্যতের আপডেট হ্যান্ডেল করে। নেটওয়ার্কের মাধ্যমে বড় মডেল ডাউনলোড বা আপডেট করা নিয়ে আপনাকে চিন্তা করতে হবে না, পাশাপাশি আপনার অ্যাপের ডিস্ক ও রানটাইম মেমরি বাজেটের উপরও কোনও প্রভাব পড়বে না।
  • দ্রুত ইনফারেন্স: AICore, ইনফারেন্সের গতি বাড়াতে ডিভাইসে থাকা হার্ডওয়্যার ব্যবহার করে। আপনার অ্যাপ প্রতিটি ডিভাইসে সেরা পারফর্ম্যান্স পায় এবং আপনাকে আন্ডারলাইং হার্ডওয়্যার ইন্টারফেস নিয়ে চিন্তা করতে হয় না।

কখন হাইব্রিড ইনফারেন্স ব্যবহার করতে হয়

Gemini Nano অফলাইন ও গোপনীয়তা-সংবেদনশীল টাস্কের জন্য আদর্শ হলেও, এতে অন-ডিভাইস সীমাবদ্ধতা আছে, যেমন টোকেন সীমা, ডিভাইস হার্ডওয়্যার সীমাবদ্ধতা এবং মডেলের ক্ষমতা সংক্রান্ত সীমা। এইসব পরিস্থিতিতে, আপনি লোকাল ডিভাইস ও ক্লাউডের মধ্যে AI ওয়ার্কলোড ব্যালেন্স করতে হাইব্রিড ইনফারেন্স ব্যবহার করতে পারবেন।

সব ডিভাইস জুড়ে ব্যবহারকারীর অভিজ্ঞতা একই রকম রাখতে এবং জটিল কোয়েরি হ্যান্ডেল করতে, আপনি Firebase AI Logic Hybrid API ব্যবহার করতে পারেন। এর ফলে আপনার অ্যাপ নিম্নলিখিত কাজগুলি করতে পারে:

  • সাবলীলভাবে ফল ব্যাক করা: Gemini Nano উপলভ্য না থাকলে বা ব্যবহারকারীর ডিভাইসে কাজ না করলে, ক্লাউডে Gemini Flash বা Gemini Pro মডেলে অটোমেটিক অনুরোধ রাউট করা হয়।
  • নিরাপত্তা প্রয়োগ করা: Firebase App Check (এবং এর সাথে কাজ করে এমন অ্যাটেস্টেশন প্রদানকারী, যেমন Play Integrity) ব্যবহার করে ক্লাউড ইনফারেন্স সুরক্ষিত করুন এবং সংবেদনশীল সিস্টেম প্রম্পট সার্ভার-সাইডে রাখুন।