হাইব্রিড ইনফারেন্স

ক্লাউড-ভিত্তিক ও অন-ডিভাইস ইনফারেন্স, দু'টির জন্যই Google, ইন্ডাস্ট্রি-লিডিং AI মডেল ও API-এর একটি বিস্তৃত নির্বাচন প্রদান করে। হাইব্রিড ইনফারেন্স আপনাকে লোকাল ডিভাইস ও ক্লাউডের মধ্যে AI ওয়ার্কলোড নির্বিঘ্নে ব্যালেন্স করতে, পারফর্ম্যান্স, খরচ ও উপলভ্যতা অপ্টিমাইজ করতে দেয়।

হাইব্রিড ইনফারেন্স আপনার Android অ্যাপের জন্য দুটি প্রধান সুবিধা প্রদান করে:

• রিচ সর্বাধিক করা: ডিভাইস হার্ডওয়্যার বা OS সংক্রান্ত সীমাবদ্ধতার কারণে Gemini Nano-এর মতো অন-ডিভাইস মডেল উপলভ্য না থাকলে, ক্লাউড মডেল একটি গুরুত্বপূর্ণ ফলব্যাক হিসেবে কাজ করে। এর ফলে, আপনার AI ফিচারগুলি যাতে ব্যবহারকারীর ডিভাইসের সবচেয়ে বেশি রেঞ্জ জুড়ে কাজ করতে পারে তা নিশ্চিত করা যায়।
• খরচ ও অফলাইন ক্ষমতা: ব্যবহারকারী অফলাইনে থাকলেও আপনার AI ফিচার যাতে নির্বিঘ্নে কাজ করে তা নিশ্চিত করতে অন-ডিভাইস মডেল সাহায্য করে। এছাড়াও, লোকাল ডিভাইসে রুটিন টাস্ক অফলোড করলে ক্লাউড ইনফারেন্স সংক্রান্ত খরচ কমে যায়।

অন-ডিভাইস ইনফারেন্স ও ক্লাউড ইনফারেন্সের সুবিধাগুলি নিচে উল্লেখ করা হল:

প্রয়োগ করার বিকল্প

আপনি নিম্নলিখিত পদ্ধতি ব্যবহার করে হাইব্রিড ইনফারেন্স প্রয়োগ করতে পারবেন:

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API ক্লাউড ও অন-ডিভাইস এনভায়রনমেন্টের মধ্যে ইনফারেন্স স্প্লিট করার জন্য একটি সিঙ্গেল, ইউনিফায়েড ইন্টারফেস প্রদান করে।

এতে একটি onDeviceConfig প্যারামিটার অন্তর্ভুক্ত থাকে যা ইনফারেন্স মোড নির্ধারণ করতে এবং রাউটিং ম্যানেজ করতে কন্ট্রোল প্রদান করে:

• PREFER_ON_DEVICE: অন-ডিভাইস মডেল ব্যবহার করার চেষ্টা করে, অন-ডিভাইস মডেল উপলভ্য না থাকলে বা অনুরোধের জন্য কাজ না করলে অটোমেটিক ক্লাউড-হোস্টেড মডেলে ফিরে যায়।

• PREFER_IN_CLOUD: ডিভাইস অনলাইন থাকলে এবং মডেল উপলভ্য থাকলে ক্লাউড-হোস্ট করা মডেল ব্যবহার করার চেষ্টা করে, ডিভাইস অফলাইন থাকলে তবেই অন-ডিভাইস মডেলে ফিরে যায়।

• ONLY_ON_DEVICE: অন-ডিভাইস মডেল ব্যবহার করার চেষ্টা করে, কিন্তু অনুরোধের জন্য এটি উপলভ্য না থাকলে বা কাজ না করলে ব্যতিক্রম দেখায়।

• ONLY_IN_CLOUD: ডিভাইস অনলাইন থাকলে এবং মডেল উপলভ্য থাকলে, ক্লাউড-হোস্ট করা মডেল ব্যবহার করার চেষ্টা করে। অন্যান্য সব ক্ষেত্রে ব্যতিক্রম ঘটায়।

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)
HybridInferenceSnippets.kt

প্রয়োগ সংক্রান্ত বিবরণের জন্য, Firebase ডকুমেন্টেশন পর্যালোচনা করুন এবং AI ক্যাটালগে হাইব্রিড AI স্যাম্পেল এক্সপ্লোর করুন।

কাস্টম রাউটিং

আপনার অ্যাপে নির্দিষ্ট ব্যবসা বা UX সংক্রান্ত প্রয়োজনীয়তা থাকলে, আপনি কাস্টম রাউটিং লজিকও প্রয়োগ করতে পারবেন। এর ফলে, আপনি রিয়েল-টাইম ফ্যাক্টরের উপর ভিত্তি করে ইনফারেন্স পাথ ডায়নামিক নির্ধারণ করতে পারবেন, যেমন:

• নেটওয়ার্ক লেটেন্সি
• ডিভাইস সিস্টেমের স্বাস্থ্য (যেমন, ব্যাটারি লেভেল ও প্রসেসর লোড)
• ব্যবহারকারীর কোয়েরির জটিলতা

এই কাস্টম হাইব্রিড ইনফারেন্স পদ্ধতিটি সেইসব অগ্রণী অ্যাপ ব্যবহার করে যেগুলি নির্ভরযোগ্য AI অভিজ্ঞতা প্রদান করতে নিজস্ব কাস্টম রাউটিং প্রয়োগ করেছে, এর মধ্যে রয়েছে:

• GBoard: Gboard, প্রুফরিড ও আবার লেখার মতো রাইটিং টুলকে আরও শক্তিশালী করতে কাস্টম হাইব্রিড ইনফারেন্স ব্যবহার করে।

• Kakao Mobility: Kakao Mobility তাদের পার্সেল ডেলিভারি পরিষেবার জন্য কাস্টম হাইব্রিড ইনফারেন্স ব্যবহার করে একটি এন্টিটি এক্সট্র্যাকশন টুল তৈরি করেছে যা অটোমেটিক প্রাপকের নাম, ঠিকানা এবং ফোন নম্বর ন্যাচারাল ল্যাঙ্গুয়েজ মেসেজ থেকে এক্সট্র্যাক্ট করে অর্ডার ফর্মকে স্ট্রিমলাইন করে।