הסבר על מחזור החיים של שיפור המדיה במצב Surface

‫Media Enhancement API הוא פתרון AI במכשיר ששומר על הפרטיות, פועל בזמן אחזור קצר ומשתמש בשיפור מהירות באמצעות חומרה כדי לשפר את איכות המדיה בלי להגדיל את קובץ ה-APK. מידע נוסף זמין במאמר הסבר על היכולות של שיפורי המדיה.

דיאגרמת הארכיטקטורה הבאה מציגה את מחזור החיים של הפעלת מצב פני השטח האסינכרוני של Media Enhancement API. במצב הזה, מאגרי הנתונים הזמניים של החומרה מקושרים ישירות כדי למנוע צוואר בקבוק בביצועים שנוצר כשמעתיקים פריימים לא דחוסים הלוך ושוב בין מאגרי הנתונים הזמניים של המעבד (CPU) והמעבד הגרפי (GPU).

דיאגרמה שממחישה את מחזור החיים האסינכרוני של Media Enhancement API, שכולל 7 שלבים.
איור 1. מחזור החיים של הפעולה במצב אסינכרוני של Surface ושבעת השלבים שניתן לבצע בצינור עיבוד הנתונים לשיפור.

תהליך השיפור מתבצע לפי השלבים הבאים:

שלב 1. הגדרת סשן השיפור

1. מספקים משטח קלט: האפליקציה מספקת ל-framework לשיפור האיכות נקודת אחיזה למשטח קלט כדי לגשת לפריימים לעיבוד.

2. הגדרת משטח הפלט: האפליקציה מקצה ומקשרת יעדי רינדור (כמו SurfaceView או TextureView) ישירות ל-framework.

שלב 2. יצירת פריים קלט

3. הכנת המדיה הבסיסית: האפליקציה מאחזרת את המדיה הבסיסית הלא דחוסה. לדוגמה, על ידי קריאת קובץ מדיסק מקומי.

4. הזרקת נתוני פריימים: האפליקציה כותבת את המטען הייעודי (payload) של התמונה הגולמית ישירות לצינור עיבוד הנתונים של משטח הקלט המקושר.

שלב 3. עיבוד ושיפור

5. הפעלת עיבוד באמצעות AI: ה-framework מעבד את הפריים ב-GPU או ב-NPU של המכשיר, ומפעיל שיפורים באמצעות למידת מכונה כמו מיפוי גוונים, הסרת טשטוש או הגדלת קנה מידה.

6. הצגת פריים משופר: המנוע מפיק את הפריים המשופר ברזולוציה מלאה ישירות למשטח הפלט המקושר.

שלב 4. הצגה או שמירה של התוצאה

7. סיום הפלט: האפליקציה מקבלת את מאגר הנתונים המעובד של החומרה כדי לעבד אותו בממשק המשתמש או לשמור אותו בחזרה באחסון.

‫EnhancementSession הוא אובייקט הקשר כבד ששומר על צינור עיבוד נתונים קבוע בזיכרון של ה-GPU או ה-NPU. הוא מקצה זיכרון RAM ייעודי לווידאו (VRAM) ומזהי מערכת מקוריים. כדי למנוע דליפות זיכרון חמורות וקריסות פוטנציאליות של OutOfMemoryError, צריך לפעול לפי העקרונות הבאים של מחזור החיים:

  • יצירת מופע עצל (lazy instantiation): אל תיצרו סשן עד שהמשתמש יתחיל פעולת שיפור.
  • שימוש חוזר אסטרטגי: כדאי לשמור על מופע סשן יחיד ולהשתמש בו שוב כשמעבדים סטרימינג או פריימים עם הגדרות זהות (מידות ואפשרויות שמופעלות).
  • פירוק מיידי של ההנחיה: מפעילים את session.release() מיד כשמשימות חזותיות מסתיימות כדי לפנות משאבי חומרה משותפים.

הפעלת מנוע השיפור

השיטה הזו מפעילה בדיקה דו-שלבית. הוא בודק אם החומרה של המכשיר תומכת בהאצה, ואז מוודא שהמודולים הנדרשים של למידת המכונה קיימים.

הפעלת השלב הזה כתנאי מוקדם מונעת כשלים באתחול בזמן הריצה, על ידי אימות היכולות לפני שהאפליקציה מנסה לעבד מדיה.

class MediaSetupViewModel(application: Application) : AndroidViewModel(application) {
    private val enhancementClient = Enhancement.getClient(application)
    fun initializeEnhancementEngine() {
        viewModelScope.launch {
            try {
                // 1. Verify hardware capability.
                val isSupported = enhancementClient.isDeviceSupportedAsync()
                if (!isSupported) {
                    notifyUiDeviceIncompatible()
                    return@launch
                }
                // 2. Verify and download the Google Play services ML modules.
                val isInstalled = enhancementClient.isModuleInstalledAsync()
                if (!isInstalled) {
                    notifyUiDownloadingModels()
                    enhancementClient.installModule(installStatusCallback).await()
                }
                notifyUiEngineReady()
            } catch (e: Exception) {
                // Handle potential errors during session creation or image
                // processing.
                handleInitializationError(e)
            }
        }
    }
}

הטמעה: מצב Surface (קלט Surface, פלט Surface)

מצב ההפעלה Surface‏ (EnhancementMode.SURFACE) מונע את התקורה של הביצועים בהעברת פריימים בין מאגרי הזיכרון של המעבד (CPU) והמעבד הגרפי (GPU). במקום זאת, ספריית השיפור ממפה מאגרי חומרה גולמיים ישירות, קוראת פריימים ממשטח קלט, מעבדת אותם באופן מקורי ומעבירה אותם ישירות למשטח פלט.

תמונות מצב של משטח בפריים בודד

השיטה הזו משמשת להחלת אפקטים ביעילות על פריים אחד של תמונה שפוענחה בחומרה.

// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
    imageReader.width,
    imageReader.height,
    EnhancementMode.SURFACE,
    enableTonemap = true,
    enableDeblurDenoise = true,
    enableFaceDetection = false
).also {
    // 2. Bind hardware surfaces
    it.setInputSurface(inputSurface)
    it.setOutputSurface(outputSurface)
}

// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()