Le moderne applicazioni mobile si basano in larga misura sui contenuti multimediali generati dagli utenti per aumentare il coinvolgimento e la fidelizzazione. Le app osservano la variabilità naturale della qualità dei contenuti a causa dell'ampio spettro di funzionalità dei dispositivi, delle condizioni di illuminazione e dell'esperienza utente. Per le app che gestiscono grandi volumi di foto e video provenienti da una varietà di fonti, esiste l'opportunità di migliorare la qualità di base di questi contenuti generati dagli utenti. Per mantenere una qualità ottimale è necessario un equilibrio attento tra la compressione necessaria per operazioni come la modifica, il caricamento e il download, mantenendo al contempo dettagli sufficienti per una fruizione ad alta fedeltà.
Panoramica dell'API Media Enhancement
L'API Media Enhancement in Google Play Services fornisce una soluzione AI completa on-device per colmare questa lacuna. Utilizza l'accelerazione dell'unità di elaborazione grafica (GPU) sul dispositivo per fornire miglioramenti di alta qualità e a bassa latenza per immagini e video. Questi miglioramenti vengono ottenuti tramite funzionalità come la mappatura automatica dei toni, la riduzione della sfocatura, la riduzione del rumore e l'upscaling.
Fornita in modo nativo tramite Google Play Services, questa API trasferisce le attività di ripristino di immagini e video a elevato consumo di risorse di calcolo direttamente alla GPU e all'unità di elaborazione neurale (NPU) native del dispositivo host. L'API fornisce una pipeline a bassa latenza che tutela la privacy con zero bloat dell'APK, scaricando i modelli on demand solo quando necessario per rispettare lo spazio su disco del dispositivo.
Funzionalità e casi d'uso principali
Il framework ha come target punti di errore specifici dei contenuti multimediali tramite tre funzionalità principali di machine learning, che puoi configurare in modo indipendente o in tandem:
| Capacità | Funzionalità algoritmica | Caso d'uso ottimale dell'applicazione |
|---|---|---|
| Mappatura dei toni | Un algoritmo di mappatura locale dei toni da SDR a SDR che migliora le immagini con gamma dinamica standard (SDR) per imitare le qualità simili all'HDR, come un contrasto locale migliorato e ombre più chiare, pur rimanendo all'interno della gamma SDR visualizzabile. Questo algoritmo in tempo reale a basso consumo energetico è ottimizzato per le prestazioni sui dispositivi mobili. | Recupero di foto di paesaggi piatte e nuvolose o di ritratti interni in controluce. |
| Rimuovi sfocatura | Ricostruisce i bordi nitidi stimando il kernel di sfocatura matematica causato dal movimento del soggetto o dal movimento della videocamera. Applica il filtro spaziale per attenuare la grana cromatica e funge da filtro di deblocking per ridurre gli artefatti di compressione vicino ai bordi nitidi. | Recupero di foto mosse o sfocate, miglioramento di immagini granulose in condizioni di scarsa illuminazione e rimozione di artefatti a blocchi da immagini JPEG e flussi video compressi. |
| Elegante | Utilizza un modello generativo di super risoluzione per moltiplicare il numero di pixel e ricostruire i dettagli ad alta frequenza mancanti. | Ridimensionamento di miniature piccole o file video in definizione standard per la visualizzazione a schermo intero. |
Requisiti hardware
L'esecuzione dell'inferenza sul dispositivo con modelli di machine learning o deep learning richiede tempo e le prestazioni dipendono in gran parte dagli acceleratori hardware utilizzati dal dispositivo. L'API Media Enhancement è ottimizzata per i dispositivi di livello premium dotati di core tensore dedicati e memoria a larghezza di banda elevata (ad esempio Pixel 10 Pro o Samsung Galaxy S26 Ultra).
Se l'hardware di un dispositivo non soddisfa le soglie minime di prestazioni, la procedura di inizializzazione si interrompe e segnala uno stato non supportato per evitare cali di frame o limitazioni termiche.