برنامههای کاربردی موبایل مدرن برای ایجاد تعامل و حفظ کاربر، به شدت به رسانههای تولید شده توسط کاربر متکی هستند. برنامهها به دلیل طیف گستردهای از قابلیتهای دستگاه، شرایط نوری و تجربه کاربری، شاهد تنوع طبیعی در کیفیت محتوا هستند. برای برنامههایی که حجم زیادی از عکسها و ویدیوهایی را که از منابع متنوعی تهیه میشوند، مدیریت میکنند، فرصتی برای ارتقاء کیفیت پایه این محتوای تولید شده توسط کاربر وجود دارد. حفظ کیفیت مطلوب مستلزم تعادل دقیق بین فشردهسازی مورد نیاز برای عملیاتی مانند ویرایش، آپلود و دانلود، و در عین حال حفظ جزئیات کافی برای مصرف با کیفیت بالا است.
مرور کلی API بهبود رسانه
رابط برنامهنویسی کاربردی بهبود رسانه (Media Enhancement API) در سرویسهای گوگل پلی، یک راهحل جامع هوش مصنوعی روی دستگاه برای رفع این شکاف ارائه میدهد. این رابط از شتابدهی واحد پردازش گرافیکی (GPU) روی دستگاه برای ارائه بهبودهای با کیفیت بالا و تأخیر کم برای تصاویر و ویدیوها استفاده میکند. این بهبودها از طریق ویژگیهایی مانند نگاشت خودکار تُن، رفع تاری، حذف نویز و افزایش مقیاس به دست میآیند.
این API که به صورت بومی از طریق سرویسهای گوگل پلی ارائه میشود، وظایف بازیابی تصویر و ویدیو با محاسبات سنگین را مستقیماً به پردازنده گرافیکی (GPU) و واحد پردازش عصبی (NPU) دستگاه میزبان منتقل میکند. این API یک خط لوله با تأخیر کم و حفظ حریم خصوصی بدون حجم APK ارائه میدهد و مدلها را فقط در صورت نیاز دانلود میکند تا فضای دیسک دستگاه را در نظر بگیرد.
قابلیتهای اصلی و موارد استفاده
این چارچوب از طریق سه قابلیت اصلی یادگیری ماشین، نقاط شکست رسانهای خاصی را هدف قرار میدهد که میتوانید آنها را به صورت مستقل یا همزمان پیکربندی کنید:
| قابلیت | عملکرد الگوریتمی | مورد استفاده بهینه از برنامه |
|---|---|---|
| تونمپ | یک الگوریتم نگاشت تُن محلی SDR به SDR که تصاویر محدوده دینامیکی استاندارد (SDR) را برای تقلید از ویژگیهای HDR مانند کنتراست محلی بهبود یافته و سایههای روشنتر، در حالی که در محدوده SDR قابل نمایش باقی میمانند، بهبود میبخشد. این الگوریتم کممصرف و بلادرنگ برای عملکرد موبایل بهینه شده است. | نجات عکسهای منظرهی صاف و ابری یا پرترههای داخلی با نور پسزمینهی شدید. |
| دبلور | لبههای تیز را با تخمین هسته تاری ریاضی ناشی از حرکت سوژه یا لرزش دوربین بازسازی میکند. فیلتر مکانی را برای صاف کردن دانههای رنگی اعمال میکند و به عنوان یک فیلتر رفع انسداد برای کاهش مصنوعات فشردهسازی در نزدیکی لبههای تیز عمل میکند. | بازیابی عکسهای لرزان یا تار، بهبود تصاویر دانهدار در نور کم و حذف آثار مسدودکننده از تصاویر فشرده JPEG و جریانهای ویدیویی. |
| مجلل | از یک مدل مولد با وضوح فوقالعاده برای ضرب تعداد پیکسلها و بازسازی جزئیات از دست رفته با فرکانس بالا استفاده میکند. | مقیاسبندی تصاویر کوچک یا فایلهای ویدیویی با کیفیت استاندارد برای نمایش تمام صفحه. |
الزامات سختافزاری
اجرای استنتاج روی دستگاه با مدلهای یادگیری ماشین یا یادگیری عمیق زمانبر است و عملکرد آن تا حد زیادی به شتابدهندههای سختافزاری مورد استفاده دستگاه بستگی دارد. رابط برنامهنویسی کاربردی بهبود رسانه (Media Enhancement API) برای دستگاههای رده بالا مجهز به هستههای تنسور اختصاصی و حافظه با پهنای باند بالا (به عنوان مثال، Pixel 10 Pro یا Samsung Galaxy S26 Ultra) بهینه شده است.
اگر سختافزار یک دستگاه به حداقل آستانههای عملکرد نرسد، فرآیند مقداردهی اولیه متوقف میشود و وضعیت پشتیبانی نشده را گزارش میدهد تا از افت فریم یا افت حرارتی جلوگیری شود.