Comprendre les fonctionnalités d'amélioration des contenus multimédias

Les applications mobiles modernes s'appuient fortement sur les contenus multimédias générés par les utilisateurs pour stimuler l'engagement et la rétention. Les applications observent une variabilité naturelle de la qualité du contenu en raison du large éventail de capacités des appareils, des conditions d'éclairage et de l'expérience utilisateur. Pour les applications qui gèrent de grands volumes de photos et de vidéos provenant de différentes sources, il est possible d'améliorer la qualité de base de ce contenu généré par l'utilisateur. Pour maintenir une qualité optimale, il faut trouver un juste équilibre entre la compression nécessaire pour des opérations telles que le montage, l'importation et le téléchargement, et la conservation d'un niveau de détail suffisant pour une consommation haute fidélité.

Présentation de l'API Media Enhancement

L'API Media Enhancement des services Google Play fournit une solution d'IA complète sur l'appareil pour combler cette lacune. Il utilise l'accélération du processeur graphique (GPU) sur l'appareil pour améliorer les images et les vidéos avec une qualité élevée et une faible latence. Pour cela, il utilise des fonctionnalités telles que le mappage automatique des tons, la suppression du flou, la réduction du bruit et l'upscaling.

Fournie de manière native via les services Google Play, cette API décharge les tâches de restauration d'images et de vidéos gourmandes en ressources de calcul directement sur le GPU et l'unité de traitement neuronal (NPU) natifs de l'appareil hôte. L'API fournit un pipeline à faible latence qui protège la confidentialité, sans encombrer l'APK, en téléchargeant les modèles à la demande uniquement lorsque cela est nécessaire pour respecter l'espace disque de l'appareil.

Fonctionnalités de base et cas d'utilisation

Le framework cible des points de défaillance spécifiques des médias grâce à trois fonctionnalités de machine learning principales, que vous pouvez configurer indépendamment ou conjointement :

Capacité Fonctionnalités algorithmiques Cas d'utilisation optimal de l'application
Mappage des tons Un algorithme de mappage des tons local SDR vers SDR qui améliore les images SDR (Standard Dynamic Range) pour imiter les qualités HDR, telles qu'un contraste local amélioré et des ombres éclaircies, tout en restant dans la plage SDR affichable. Cet algorithme en temps réel et économe en énergie est optimisé pour les performances mobiles. Améliorer des photos de paysages ternes et nuageux ou des portraits en intérieur fortement à contre-jour.
Défloutage Reconstitue des contours nets en estimant le noyau de flou mathématique causé par le mouvement du sujet ou le tremblement de l'appareil photo. Applique un filtrage spatial pour lisser le grain chromatique et agit comme un filtre de déblocage pour atténuer les artefacts de compression près des bords nets. Récupérer des photos tremblantes ou floues, améliorer les images granuleuses prises par faible luminosité, et supprimer les artefacts de bloc des images JPEG et des flux vidéo compressés.
Haut de gamme Utilise un modèle génératif de super-résolution pour multiplier le nombre de pixels et reconstituer les détails haute fréquence manquants. Redimensionnement de petites miniatures ou de fichiers vidéo en définition standard pour un affichage en plein écran

Pour obtenir un exemple combinant l'upscaling et le défloutage pour les images basse résolution téléchargées sur des réseaux lents, consultez Charger des images progressivement sur des réseaux lents.

Configuration matérielle requise

L'exécution de l'inférence sur l'appareil avec des modèles de machine learning ou de deep learning prend du temps, et les performances dépendent en grande partie des accélérateurs matériels utilisés par l'appareil. L'API Media Enhancement est optimisée pour les appareils haut de gamme équipés de cœurs Tensor dédiés et d'une mémoire à bande passante élevée (par exemple, le Pixel 10 Pro ou le Samsung Galaxy S26 Ultra).

Si le matériel d'un appareil ne respecte pas les seuils de performances minimaux, le processus d'initialisation s'arrête et signale un état non compatible pour éviter les pertes d'images ou la limitation thermique.