Media Enhancement API কম লেটেন্সি, গোপনীয়তা সুরক্ষিত রাখা, অন-ডিভাইস AI সমাধান প্রদান করে যা হার্ডওয়্যার অ্যাক্সিলারেশন ব্যবহার করে উচ্চ-মানের মিডিয়া উন্নতি প্রদান করে, যার ফলে APK-এর আকার বৃদ্ধি পায় না। আরও তথ্যের জন্য, মিডিয়া এনহ্যান্সমেন্টের ক্ষমতা সম্পর্কে বুঝুন দেখুন।
স্ট্যাটিক বিটম্যাপ মোড (EnhancementMode.BITMAP) স্ট্যাটিক,
ডিকোড করা ছবি প্রসেস করার জন্য ডিজাইন করা হয়েছে।
বিটম্যাপ মোডে কাজ করার জন্য OS-কে আনকমপ্রেসড পিক্সেল ডেটা সিরিয়ালাইজ করতে হয় এবং সিস্টেম বাসের মাধ্যমে CPU মেমরি থেকে GPU মেমরিতে কপি করতে হয়, প্রসেস করা ফ্রেম রিভার্স কপির মাধ্যমে ফিরিয়ে দেয়। এটি সিঙ্গল-ফ্রেম এক্সিকিউশনের জন্য অপ্টিমাইজ করা হয়েছে এবং রিয়েল-টাইম ভিডিও স্ট্রিমিংয়ের সাথে মানানসই নয়।
এই ওয়ার্কফ্লোতে সেশন তৈরি করা, এটির মাধ্যমে একটি বিটম্যাপ প্রসেস করা এবং তারপরে ফলাফল ম্যানেজ করার মতো কাজ অন্তর্ভুক্ত। আগের বিভাগের কোডের উদাহরণে এই ব্যবহারের কেস বিস্তারিতভাবে কভার করা হয়েছে।
- বিকল্প কনফিগার করা:
EnhancementOptionsঅবজেক্ট তৈরি করুন, যাতেenhancementMode,EnhancementMode.BITMAP-এ সেট করা থাকে। - সেশন তৈরি করা:
EnhancementSessionতৈরি করতে আগে থেকে সংজ্ঞায়িতcreateSessionAsyncর্যাপার ব্যবহার করুন। এটি একটি হেভিওয়েট অবজেক্ট, তাই শুধুমাত্র প্রয়োজন হলেই এটি তৈরি করুন। - ছবি প্রসেস করুন: সেশন, আপনার ইনপুট বিটম্যাপ এবং আপনি যে বিকল্প চান সেটি কল করুন।
- ফলাফল ম্যানেজ করা: সাসপেন্ড ফাংশনটি সফল হলে একটি নতুন, উন্নত বিটম্যাপ রিটার্ন করে অথবা ব্যর্থ হলে একটি ব্যতিক্রম থ্রো করে।
- সেশন রিলিজ করা: GPU রিসোর্স খালি করার জন্য কাজ শেষ হয়ে গেলে
session.release()কল করা অত্যন্ত গুরুত্বপূর্ণ।
EnhancementSession হল একটি হেভিওয়েট কনটেক্সট অবজেক্ট যা একটি
পারসিস্টেন্ট GPU বা NPU মেমরি পাইপলাইন বজায় রাখে। এটি ডেডিকেটেড ভিডিও RAM (VRAM)
এবং নেটিভ সিস্টেম হ্যান্ডেল বরাদ্দ করে। গুরুতর মেমরি লিক এবং সম্ভাব্য
OutOfMemoryError ক্র্যাশ প্রতিরোধ করতে, নিম্নলিখিত লাইফসাইকেল নীতিগুলি মেনে চলুন:
- লেজি ইনস্ট্যানসিয়েশন: ব্যবহারকারী কোনও এনহ্যান্সমেন্ট অ্যাকশন শুরু না করা পর্যন্ত সেশন তৈরি করবেন না।
- কৌশলগতভাবে আবার ব্যবহার করা: একই কনফিগারেশন (ডাইমেনশন ও টগল করার বিকল্প) সহ একাধিক ছবি প্রসেস করার সময় একটি সেশন ইনস্ট্যান্স বজায় রাখা ও আবার ব্যবহার করা।
- প্রম্পট টিয়ারডাউন: শেয়ার করা হার্ডওয়্যার রিসোর্স খালি করার জন্য ভিজ্যুয়াল টাস্ক
শেষ হওয়ার সাথে সাথে
session.release()কল করুন।
এনহ্যান্সমেন্ট ইঞ্জিন শুরু করুন
এই পদ্ধতি দুই-ধাপে যাচাইকরণ পরিচালনা করে। এটি ডিভাইসের হার্ডওয়্যার অ্যাক্সিলারেশন সাপোর্ট করে কিনা তা যাচাই করে এবং তারপর প্রয়োজনীয় মেশিন লার্নিং মডিউল আছে কিনা তা নিশ্চিত করে।
এটি একটি পূর্বশর্তমূলক ধাপ হিসেবে রান করলে, আপনার অ্যাপ মিডিয়া প্রসেস করার চেষ্টা করার আগে ক্ষমতা যাচাই করে রানটাইম ইনিশিয়ালাইজেশন সংক্রান্ত ব্যর্থতা প্রতিরোধ করে।
class MediaSetupViewModel(application: Application) : AndroidViewModel(application) { private val enhancementClient = Enhancement.getClient(application) fun initializeEnhancementEngine() { viewModelScope.launch { try { // 1. Verify hardware capability. val isSupported = enhancementClient.isDeviceSupportedAsync() if (!isSupported) { notifyUiDeviceIncompatible() return@launch } // 2. Verify and download the Google Play services ML modules. val isInstalled = enhancementClient.isModuleInstalledAsync() if (!isInstalled) { notifyUiDownloadingModels() enhancementClient.installModule(installStatusCallback).await() } notifyUiEngineReady() } catch (e: Exception) { // Handle potential errors during session creation or image processing. handleInitializationError(e) } } } }
সেশন এবং বিটম্যাপ প্রসেস র্যাপার তৈরি করুন
টাস্ক-ভিত্তিক ক্লায়েন্ট কলব্যাককে স্ট্যান্ডার্ড সাসপেন্ডিং ফাংশনে পরিবর্তন করতে এই Kotlin কোরুটিন র্যাপার ব্যবহার করুন, যা আরও পরিষ্কার ও সিকোয়েন্সিয়াল এক্সিকিউশন চালু করে।
// Wraps the task-based createSession callback into a suspending function. suspend fun EnhancementClient.createSessionAsync( options: EnhancementOptions, executor: Executor ): EnhancementSession = withContext(Dispatchers.Main) { suspendCancellableCoroutine { continuation -> // EnhancementSessionCallback handles session success or failure. val callback = object : EnhancementSessionCallback { override fun onSessionCreated(session: EnhancementSession) { continuation.resume(session) } override fun onSessionCreationFailed(status: Status) { continuation.resumeWithException( Exception("Session creation failed: ${status.statusMessage} (${status.statusCode})") ) } override fun onSessionDestroyed() {} override fun onSessionDisconnected(status: Status) {} } // Handles errors during the initial request trigger. this@createSessionAsync.createSession(options, callback).addOnFailureListener(executor) { e -> if (continuation.isActive) { continuation.resumeWithException(e) } } } } // Wraps this process in a suspending function for cleaner execution. suspend fun EnhancementSession.processBitmapAsync( bitmap: Bitmap, options: EnhancementOptions ): Bitmap = suspendCancellableCoroutine { continuation -> // EnhancementCallback returns the processed bitmap or an error code. val callback = object : EnhancementCallback { override fun onBitmapProcessed(enhancedBitmap: Bitmap) { continuation.resume(enhancedBitmap) } override fun onError(statusCode: Int) { continuation.resumeWithException( Exception("Bitmap processing failed with status code: $statusCode") ) } override fun onSurfaceProcessed(timestamp: Long) {} override fun onCancelled(statusCode: Int) {} } this.process(bitmap, options, callback) }
ViewModel-এ বিটম্যাপ পাইপলাইন এক্সিকিউট করুন
আপনার অ্যাপ্লিকেশন আর্কিটেকচারে এনহ্যান্সমেন্ট পাইপলাইন ইন্টিগ্রেট করতে, সেশন লাইফসাইকেল ম্যানেজ করার জন্য
ViewModel ব্যবহার করুন। এই পদ্ধতি নিশ্চিত করে যে ViewModel মুছে ফেলা হলে
ভারী GPU রিসোর্স রিলিজ করা হয়।
// Define a data class to hold image information. data class ImageInfo(val bitmap: Bitmap) // Define a UI state class to hold loading status, errors, and enhanced image. data class EnhancementUiState( val isLoading: Boolean = false, val enhancementError: String? = null, val enhancedImage: ImageInfo? = null ) class EnhancementViewModel(application: Application) : AndroidViewModel(application) { // Backing field for UI state, initialized with default values. private val _uiState = MutableStateFlow(EnhancementUiState()) // Publicly exposed UI state flow for observation. val uiState: StateFlow<EnhancementUiState> = _uiState.asStateFlow() // Initialize client to interact with the Media Enhancement service. private val enhancementClient: EnhancementClient = Enhancement.getClient(application) // Single-thread executor for processing background enhancement tasks. private val enhancementExecutor = Executors.newSingleThreadExecutor() // Track session state to enable reuse across multiple processing calls. private var enhancementSession: EnhancementSession? = null private var sessionOptions: EnhancementOptions? = null // Primary function to trigger the enhancement workflow for a provided bitmap. fun enhanceImage(bitmap: Bitmap) { viewModelScope.launch(Dispatchers.IO) { _uiState.update { it.copy(isLoading = true, enhancementError = null) } try { // Define enhancement options (for example, enable upscale, tonemapping) based // on bitmap dimensions. val options = EnhancementOptions( bitmap.width, bitmap.height, EnhancementMode.BITMAP, isTonemappingEnabled = true, isDeblurAndDenoisePhotoEnabled = true, isUpscalePhotoEnabled = false, ) // 1. Establish the session lazily on demand. A session is configured for // specific input dimensions, so replace it when the bitmap size changes. if (enhancementSession == null || sessionOptions?.width != options.width || sessionOptions?.height != options.height ) { enhancementSession?.release() enhancementSession = null enhancementSession = enhancementClient.createSessionAsync(options, enhancementExecutor) sessionOptions = options } val session = enhancementSession ?: throw IllegalStateException("Session unavailable.") // 2. Dispatch image through the neural pipeline. val enhancedBitmap = session.processBitmapAsync(bitmap, options) // 3. Render output to UI. _uiState.update { it.copy(enhancedImage = ImageInfo(bitmap = enhancedBitmap)) } } catch (e: Exception) { _uiState.update { it.copy(enhancementError = e.message) } } finally { // Ensure loading state is reset regardless of the outcome. _uiState.update { it.copy(isLoading = false) } } } } override fun onCleared() { // 4. Critical: Release native GPU hardware resources. enhancementSession?.release() enhancementSession = null enhancementExecutor.shutdown() super.onCleared() } }
ধীরগতির নেটওয়ার্কে ছবি ধীরে ধীরে লোড করুন
স্লো নেটওয়ার্কে, আপনার অ্যাপ সম্পূর্ণ রেজোলিউশন ফাইলের পরিবর্তে কোনও ছবির আরও ছোট, আরও কম্প্রেস করা ভার্সন ডাউনলোড করতে পারে। আপনার অ্যাপ তখন ডিভাইসে ছবি আপস্কেল ও ডিব্লার করতে বিটম্যাপ মোড ব্যবহার করতে পারে। উন্নত করা ছবি ফুল-রেজোলিউশন ডাউনলোডের জায়গা নেয়, তাই ব্যবহারকারীরা বড় ফাইল ট্রান্সফার না করেই আরও শার্প ছবি দেখতে পান।
এই প্যাটার্ন কখন ব্যবহার করবেন
নিম্নলিখিত সবকটি শর্ত পূরণ হলে এই প্যাটার্নটি উপযুক্ত:
- ডিভাইসটি কাজ করে:
isDeviceSupportedAsync(),trueরিটার্ন করে। API-এর জন্য Android 11 (API লেভেল ৩০) বা তার পরবর্তী যেকোনও ভার্সন প্রয়োজন এবং এটি প্রিমিয়াম-টিয়ার ডিভাইসের জন্য অপ্টিমাইজ করা হয়েছে। - ছবিটি ডাউনলোড করা সাইজের চেয়ে বড় করে দেখানো হয়েছে: যেমন, একটি ছোট ছবি ফুল স্ক্রিনে দেখানো। ছবিটি থাম্বনেল সাইজে থাকলে, আপস্কেলিং করলে খুব একটা সুবিধা হয় না।
- এনহ্যান্সমেন্ট মডিউল আগে থেকেই ইনস্টল করা আছে:
isModuleInstalledAsync()trueরিটার্ন করে। মডিউল ইনস্টলেশন নেটওয়ার্কের মাধ্যমে মডেল ফাইল ডাউনলোড করে। ব্যবহারকারী আগে থেকেই স্লো কানেকশন ব্যবহার করলে, ইনস্টলেশন শুরু করবেন না।
এই শর্তগুলির কোনও একটি পূরণ না হলে, ডাউনলোড করা ছবি এনহ্যান্সমেন্ট ছাড়াই দেখানো হবে।
প্যাটার্ন প্রয়োগ করুন
প্যাটার্নটি এইভাবে কাজ করে:
- কম রেজোলিউশনের ছবি দেখানো: ছোট ছবি ডাউনলোড হওয়ার সাথে সাথেই সেটি রেন্ডার করা।
- ব্যাকগ্রাউন্ডে এনহ্যান্স করুন: এনহ্যান্সমেন্ট ইঞ্জিন রেডি থাকলে, আপস্কেলিং ও ডিব্লারিং চালু করে বিটম্যাপ মোডে ছবি প্রসেস করুন।
- ফলাফলে অদলবদল করুন: উন্নত বিটম্যাপ দিয়ে দেখানো ছবি পরিবর্তন করুন। একটি ছোট ক্রস-ফেড সোয়াপটিকে কম লক্ষণীয় করে তোলে।
নিম্নলিখিত ProgressiveImageEnhancer ক্লাস একবারে একটি ছবি প্রসেস করে এবং
একই সাইজের ছবির জন্য একটি সেশন আবার ব্যবহার করে। এনহ্যান্সমেন্ট ব্যর্থ হলে,
enhance() null রিটার্ন করে যাতে আপনার অ্যাপ কম রেজোলিউশনের ছবি
দেখানো চালিয়ে যায়। ক্লাসটি createSessionAsync এবং
processBitmapAsync র্যাপার ব্যবহার করে যা সেশন এবং বিটম্যাপ প্রসেস
র্যাপার তৈরি করুন-এ সংজ্ঞায়িত করা হয়েছে।
এনহ্যান্সমেন্ট ইঞ্জিন ইনিশিয়ালাইজ করুন-এ যেভাবে দেখানো হয়েছে, সেই অনুযায়ী সময়ের আগেই মডিউল ইনস্টল করুন। isDeviceSupportedAsync() এবং isModuleInstalledAsync() যদি true রিটার্ন করে,
তাহলে enhance()-কে কল করুন।
class ProgressiveImageEnhancer( private val enhancementClient: EnhancementClient, private val executor: Executor, ) { // Callers can request enhancements concurrently, but they all share one // session, so process one image at a time. private val mutex = Mutex() private var session: EnhancementSession? = null private var sessionOptions: EnhancementOptions? = null // Enhancement is optional for this pattern, so return null instead of // throwing. The caller can keep the low-resolution image without extra // error handling. suspend fun enhance(lowResBitmap: Bitmap): Bitmap? = mutex.withLock { val options = EnhancementOptions( width = lowResBitmap.width, height = lowResBitmap.height, enhancementMode = EnhancementMode.BITMAP, isDeblurAndDenoisePhotoEnabled = true, isUpscalePhotoEnabled = true, ) try { getOrCreateSession(options).processBitmapAsync(lowResBitmap, options) } catch (e: CancellationException) { // A cancelled request (for example, the user scrolled away) isn't // an enhancement failure, so let the caller's scope handle it. throw e } catch (e: Exception) { null } } // Sessions are expensive to create and are configured for specific input // dimensions, so reuse the current one until the image size changes. private suspend fun getOrCreateSession(options: EnhancementOptions): EnhancementSession { val currentSession = session val currentOptions = sessionOptions if (currentSession != null && currentOptions != null && currentOptions.width == options.width && currentOptions.height == options.height ) { return currentSession } releaseSession() return enhancementClient.createSessionAsync(options, executor).also { session = it sessionOptions = options } } // A session holds GPU memory until it's released, so free it as soon as // the images it enhances are no longer on screen. Taking the lock first // waits for any in-progress enhancement, so a session that's still being // created isn't leaked. suspend fun release() = mutex.withLock { releaseSession() } private fun releaseSession() { session?.release() session = null sessionOptions = null } }
এই প্যাটার্ন ব্যবহার করার সময়, এইসব নির্দেশিকা অনুসরণ করুন:
- একই সাইজের জন্য অনুরোধ করুন:
EnhancementSession-এ নির্দিষ্ট ইনপুট ডাইমেনশন ব্যবহার করা হয়। একই সাইজের কম রেজোলিউশনের ছবির জন্য অনুরোধ করুন যাতে আপনার অ্যাপ বিভিন্ন ছবি জুড়ে একটি সেশন আবার ব্যবহার করতে পারে। - উন্নত ফলাফল ক্যাশে করা: আপনার ইমেজ ক্যাশে উন্নত বিটম্যাপ স্টোর করুন যাতে আপনার অ্যাপ একই ছবি আবার প্রসেস না করে। আপনি আপস্কেলিং চালু করলে, উন্নত বিটম্যাপ ইনপুট বিটম্যাপের চেয়ে বড় হয়। আরও বড় বিটম্যাপের জন্য আপনার ক্যাশের সাইজ নির্ধারণ করুন।