Moderne mobile Anwendungen sind stark auf von Nutzern erstellte Medien angewiesen, um die Interaktion und Bindung zu fördern. Apps weisen aufgrund der großen Bandbreite an Gerätefunktionen, Lichtverhältnissen und Nutzererfahrungen eine natürliche Variabilität der Inhaltsqualität auf. Bei Apps, die große Mengen an Fotos und Videos aus verschiedenen Quellen verwalten, besteht die Möglichkeit, die grundlegende Qualität dieser von Nutzern erstellten Inhalte zu verbessern. Um eine optimale Qualität zu gewährleisten, muss ein sorgfältiges Gleichgewicht zwischen der für Vorgänge wie Bearbeiten, Hochladen und Herunterladen erforderlichen Komprimierung und der Beibehaltung ausreichender Details für eine hochwertige Wiedergabe gefunden werden.
Übersicht über die Media Enhancement API
Die Media Enhancement API in den Google Play-Diensten bietet eine umfassende On-Device-KI-Lösung, um diese Lücke zu schließen. Dabei wird die GPU-Beschleunigung auf dem Gerät verwendet, um Bilder und Videos in hoher Qualität und mit geringer Latenz zu verbessern. Diese Verbesserungen werden durch Funktionen wie automatisches Tone Mapping, Unschärfe entfernen, Rauschunterdrückung und Hochskalierung erreicht.
Diese API wird nativ über die Google Play-Dienste bereitgestellt und lagert rechenintensive Aufgaben zur Bild- und Videowiederherstellung direkt auf die native GPU und die Neural Processing Unit (NPU) des Hostgeräts aus. Die API bietet eine datenschutzfreundliche Pipeline mit niedriger Latenz und ohne APK-Bloatware. Modelle werden nur bei Bedarf heruntergeladen, um den Speicherplatz auf dem Gerät zu schonen.
Wichtige Funktionen und Anwendungsfälle
Das Framework zielt über drei zentrale Funktionen für maschinelles Lernen auf bestimmte Medienfehlerpunkte ab, die Sie unabhängig voneinander oder gemeinsam konfigurieren können:
| Funktion | Algorithmische Funktionen | Optimaler Anwendungsfall |
|---|---|---|
| Tonemap | Ein SDR-zu-SDR-Algorithmus für lokales Tone Mapping, der SDR-Bilder (Standard Dynamic Range) so verbessert, dass sie HDR-ähnliche Eigenschaften aufweisen, z. B. einen verbesserten lokalen Kontrast und aufgehellte Schatten, während sie im darstellbaren SDR-Bereich bleiben. Dieser energieeffiziente Echtzeitalgorithmus ist für die Leistung auf Mobilgeräten optimiert. | Flache, bewölkte Landschaftsfotos oder Innenporträts mit starkem Gegenlicht retten. |
| Unschärfe entfernen | Scharfe Kanten werden rekonstruiert, indem der mathematische Unschärfekern geschätzt wird, der durch die Bewegung des Motivs oder durch Kameraverwacklungen verursacht wird. Wendet räumliche Filterung an, um chromatisches Rauschen zu glätten, und fungiert als Deblocking-Filter, um Komprimierungsartefakte in der Nähe scharfer Kanten zu reduzieren. | Verwackelte oder unscharfe Fotos korrigieren, körnige Bilder bei schlechten Lichtverhältnissen verbessern und blockartige Artefakte aus komprimierten JPEG-Bildern und Videostreams entfernen. |
| Gehoben | Verwendet ein generatives Modell mit verbesserter Auflösung, um die Pixelanzahl zu vervielfachen und fehlende hochfrequente Details zu rekonstruieren. | Kleine Thumbnails oder Videodateien mit Standardauflösung für die Vollbildanzeige skalieren |
Ein Beispiel, in dem Upscaling und Unschärfeentfernung für Bilder mit niedriger Auflösung kombiniert werden, die über langsame Netzwerke heruntergeladen werden, finden Sie unter Bilder in langsamen Netzwerken progressiv laden.
Hardwareanforderungen
Die Ausführung von Inferenzen auf dem Gerät mit Modellen für maschinelles Lernen oder Deep Learning nimmt Zeit in Anspruch. Die Leistung hängt weitgehend davon ab, welche Hardwarebeschleuniger das Gerät verwendet. Die Media Enhancement API ist für Premium-Geräte mit dedizierten Tensor-Kernen und Arbeitsspeicher mit hoher Bandbreite optimiert, z. B. das Pixel 10 Pro oder das Samsung Galaxy S26 Ultra.
Wenn die Hardware eines Geräts die Mindestanforderungen an die Leistung nicht erfüllt, wird der Initialisierungsprozess beendet und ein nicht unterstützter Status gemeldet, um Frame-Drops oder thermische Drosselung zu verhindern.