Moderne mobile Apps sind stark auf nutzergenerierte Medien angewiesen, um das Interesse und die Bindung der Nutzer zu fördern. Bei Apps ist eine natürliche Variabilität der Inhaltsqualität zu beobachten, da Gerätefunktionen, Lichtverhältnisse und Nutzererfahrung sehr unterschiedlich sein können. Bei Apps, die große Mengen an Fotos und Videos aus verschiedenen Quellen verwalten, besteht die Möglichkeit, die grundlegende Qualität dieser von Nutzern erstellten Inhalte zu verbessern. Um eine optimale Qualität zu erhalten, ist ein sorgfältiges Abwägen zwischen der für Vorgänge wie Bearbeiten, Hochladen und Herunterladen erforderlichen Komprimierung und der Beibehaltung genügend Details für die Wiedergabe in hoher Qualität erforderlich.
Media Enhancement API – Übersicht
Die Media Enhancement API in den Google Play-Diensten bietet eine umfassende KI-Lösung auf dem Gerät, um diese Lücke zu schließen. Dabei wird die GPU-Beschleunigung auf dem Gerät genutzt, um Bilder und Videos in hoher Qualität und mit geringer Latenz zu verbessern. Diese Verbesserungen werden durch Funktionen wie automatisches Tone Mapping, Unschärfe entfernen, Rauschunterdrückung und Hochskalieren erreicht.
Diese API wird nativ über die Google Play-Dienste bereitgestellt und lagert rechenintensive Aufgaben zur Wiederherstellung von Bildern und Videos direkt auf die native GPU und NPU (Neural Processing Unit) des Hostgeräts aus. Die API bietet eine datenschutzfreundliche Pipeline mit geringer Latenz und ohne APK-Bloat. Modelle werden nur bei Bedarf heruntergeladen, um den Speicherplatz auf dem Gerät zu schonen.
Wichtige Funktionen und Anwendungsfälle
Das Framework zielt auf bestimmte Media-Fehlerpunkte ab und nutzt dazu drei zentrale Machine-Learning-Funktionen, die Sie unabhängig voneinander oder gemeinsam konfigurieren können:
| Funktion | Algorithmische Funktionen | Optimaler Anwendungsfall |
|---|---|---|
| Tonemap | Ein lokaler SDR-zu-SDR-Tone-Mapping-Algorithmus, der Bilder im Standard Dynamic Range (SDR) so optimiert, dass sie HDR-ähnliche Eigenschaften aufweisen, z. B. einen verbesserten lokalen Kontrast und aufgehellte Schatten, während sie im darstellbaren SDR-Bereich bleiben. Dieser energieeffiziente Echtzeitalgorithmus ist für die Leistung auf Mobilgeräten optimiert. | Flache, trübe Landschaftsfotos oder stark gegenlichtaufgenommene Innenporträts retten |
| Unschärfe entfernen | Stellt scharfe Kanten wieder her, indem der mathematische Unschärfekern geschätzt wird, der durch Bewegungen des Motivs oder Verwacklungen der Kamera verursacht wurde. Wendet die räumliche Filterung an, um chromatisches Rauschen zu glätten, und fungiert als Deblocking-Filter, um Komprimierungsartefakte in der Nähe scharfer Kanten zu reduzieren. | Verwackelte oder unscharfe Fotos werden korrigiert, körnige Bilder, die bei wenig Licht aufgenommen wurden, werden optimiert und blockartige Artefakte werden aus komprimierten JPEG-Bildern und Videostreams entfernt. |
| Gehoben | Verwendet ein generatives Modell mit Superauflösung, um die Anzahl der Pixel zu vervielfachen und fehlende hochfrequente Details zu rekonstruieren. | Kleine Thumbnails oder Videodateien in Standardauflösung werden für die Vollbildanzeige skaliert. |
Hardwareanforderungen
Die Ausführung von Inferenz auf dem Gerät mit Modellen für maschinelles Lernen oder Deep Learning dauert eine Weile. Die Leistung hängt weitgehend davon ab, welche Hardwarebeschleuniger das Gerät verwendet. Die Media Enhancement API ist für Geräte der Premium-Klasse optimiert, die mit dedizierten Tensor-Kernen und Arbeitsspeicher mit hoher Bandbreite ausgestattet sind (z. B. das Pixel 10 Pro oder das Samsung Galaxy S26 Ultra).
Wenn die Hardware eines Geräts die Mindestleistungsanforderungen nicht erfüllt, wird der Initialisierungsprozess beendet und ein nicht unterstützter Status gemeldet, um Frame-Drops oder thermisches Throttling zu verhindern.