Aplikasi seluler modern sangat mengandalkan media buatan pengguna untuk mendorong engagement dan retensi. Aplikasi mengamati variabilitas alami dalam kualitas konten karena spektrum kemampuan perangkat, kondisi pencahayaan, dan pengalaman pengguna yang luas. Untuk aplikasi yang mengelola foto dan video dalam jumlah besar yang berasal dari berbagai sumber, ada peluang untuk meningkatkan kualitas dasar konten buatan pengguna ini. Untuk mempertahankan kualitas yang optimal, diperlukan keseimbangan yang cermat antara kompresi yang diperlukan untuk operasi seperti pengeditan, upload, dan download, sambil mempertahankan detail yang cukup untuk konsumsi dengan fidelitas tinggi.
Ringkasan Media Enhancement API
Media Enhancement API di layanan Google Play menyediakan solusi AI komprehensif di perangkat untuk menjembatani kesenjangan ini. Fitur ini menggunakan akselerasi Unit Pemrosesan Grafis (GPU) di perangkat untuk memberikan peningkatan kualitas tinggi dan latensi rendah pada gambar dan video. Peningkatan ini dicapai melalui fitur seperti pemetaan tone otomatis, penghilangan blur, penghilangan derau, dan peningkatan kualitas.
API ini, yang dikirimkan secara native melalui layanan Google Play, mengurangi beban tugas pemulihan gambar dan video yang intensif secara komputasi langsung ke GPU native dan Unit Pemrosesan Neural (NPU) perangkat host. API ini menyediakan pipeline yang menjaga privasi dan memiliki latensi rendah dengan bloat APK nol, mendownload model sesuai permintaan hanya saat diperlukan untuk menghormati ruang disk perangkat.
Kemampuan inti dan kasus penggunaan
Framework ini menargetkan titik kegagalan media tertentu melalui tiga kemampuan inti machine learning, yang dapat Anda konfigurasi secara terpisah atau bersamaan:
| Kemampuan | Fungsi algoritma | Kasus penggunaan aplikasi yang optimal |
|---|---|---|
| Pemetaan nada | Algoritma pemetaan nada lokal SDR-ke-SDR yang meningkatkan kualitas gambar rentang dinamis standar (SDR) agar menyerupai HDR—seperti kontras lokal yang lebih baik dan bayangan yang lebih terang—sekaligus tetap berada dalam rentang SDR yang dapat ditampilkan. Algoritma real-time yang hemat daya ini dioptimalkan untuk performa seluler. | Menyelamatkan foto lanskap yang datar dan mendung atau foto potret dalam ruangan yang sangat silau. |
| Penghilang Blur | Merekonstruksi tepi tajam dengan memperkirakan kernel blur matematika yang disebabkan oleh gerakan subjek atau guncangan kamera. Menerapkan pemfilteran spasial untuk menghaluskan butiran kromatik, dan bertindak sebagai filter penghilang blok untuk mengurangi artefak kompresi di dekat tepi yang tajam. | Memperbaiki foto yang goyang atau buram, meningkatkan kualitas gambar dengan pencahayaan rendah yang berbintik, dan menghapus artefak kotak-kotak dari gambar JPEG dan streaming video yang dikompresi. |
| Kelas atas | Menggunakan model generatif super-resolusi untuk melipatgandakan jumlah piksel dan merekonstruksi detail frekuensi tinggi yang hilang. | Menskalakan thumbnail kecil atau file video definisi standar untuk tampilan layar penuh. |
Persyaratan hardware
Menjalankan inferensi di perangkat dengan model machine learning atau deep learning memerlukan waktu, dan performa sebagian besar bergantung pada akselerator hardware yang digunakan perangkat. Media Enhancement API dioptimalkan untuk perangkat tingkat premium yang dilengkapi dengan core tensor khusus dan memori bandwidth tinggi (misalnya, Pixel 10 Pro atau Samsung Galaxy S26 Ultra).
Jika hardware perangkat tidak memenuhi nilai minimum performa, proses inisialisasi akan berhenti dan melaporkan status tidak didukung untuk mencegah penurunan frame atau throttling termal.