現代行動應用程式高度仰賴使用者生成的媒體,藉此提高參與度和留存率。由於裝置功能、光線條件和使用者體驗的差異,應用程式會觀察到內容品質的自然變化。如果應用程式管理大量來自各種來源的相片和影片,就有機會提升這類使用者原創內容的基本品質。如要維持最佳品質,必須在編輯、上傳和下載等作業所需的壓縮程度之間取得平衡,同時保留足夠的細節,確保高畫質的觀看體驗。
Media Enhancement API 總覽
Google Play 服務中的 Media Enhancement API 提供全方位的裝置端 AI 解決方案,可彌補這項差距。這項功能會使用裝置端圖形處理器 (GPU) 加速,提供高畫質、低延遲的圖片和影片強化效果。這項功能會自動執行色調映射、去模糊、去噪和放大等作業,達到強化效果。
這項 API 透過 Google Play 服務原生提供,可將運算密集的圖片和影片修復工作,直接卸載至主機裝置的原生 GPU 和神經處理單元 (NPU)。這個 API 提供低延遲、隱私權保護的管道,不會增加 APK 大小,且只在需要時才隨選下載模型,以節省裝置磁碟空間。
核心功能與用途
這個架構透過三項核心機器學習功能,針對特定媒體故障點進行處理,您可以獨立或搭配設定這些功能:
| 功能 | 演算法功能 | 最佳應用實例 |
|---|---|---|
| 色調對應 | SDR 到 SDR 局部色調映射演算法:強化標準動態範圍 (SDR) 圖片,模擬 HDR 效果 (例如改善局部對比和調亮陰影),同時保持在可顯示的 SDR 範圍內。這項即時、節能的演算法已針對行動裝置效能進行最佳化。 | 拯救平淡無奇的陰天風景照,或嚴重背光的室內肖像照。 |
| 去模糊 | 透過估算因主體移動或相機晃動而產生的數學模糊核心,重建清晰邊緣。套用空間濾鏡,使色差顆粒更平滑,並做為去塊濾鏡,減少銳利邊緣附近的壓縮偽影。 | 修正晃動或模糊的相片、改善低光源環境下拍攝的顆粒感影像,以及移除壓縮 JPEG 圖片和影片串流中的塊狀瑕疵。 |
| 高級餐廳 | 使用超高解析度生成模型,增加像素數量並重建缺漏的高頻細節。 | 將小型縮圖或標準畫質影片檔案放大,以全螢幕顯示。 |
如需結合放大和去模糊處理,處理透過慢速網路下載的低解析度圖片,請參閱「在慢速網路上逐步載入圖片」。
硬體需求
使用機器學習或深度學習模型在裝置端執行推論需要時間,效能主要取決於裝置使用的硬體加速器。Media Enhancement API 經過最佳化,適用於配備專用張量核心和高頻寬記憶體的進階級裝置 (例如 Pixel 10 Pro 或 Samsung Galaxy S26 Ultra)。
如果裝置的硬體未達最低效能門檻,初始化程序就會停止,並回報不支援狀態,避免影格遺失或溫度調節。