Nowoczesne aplikacje mobilne w dużym stopniu opierają się na multimediach generowanych przez użytkowników, aby zwiększać zaangażowanie i utrzymywać użytkowników. Aplikacje wykazują naturalną zmienność jakości treści ze względu na szerokie spektrum możliwości urządzeń, warunków oświetleniowych i wrażeń użytkowników. W przypadku aplikacji, które zarządzają dużą liczbą zdjęć i filmów pochodzących z różnych źródeł, istnieje możliwość podniesienia podstawowej jakości tych treści użytkowników. Utrzymanie optymalnej jakości wymaga starannego wyważenia kompresji potrzebnej do operacji takich jak edytowanie, przesyłanie i pobieranie, przy jednoczesnym zachowaniu wystarczającej ilości szczegółów, aby zapewnić wysoką jakość odtwarzania.
Omówienie interfejsu Media Enhancement API
Interfejs Media Enhancement API w usługach Google Play zapewnia kompleksowe rozwiązanie AI na urządzeniu, które pozwala wypełnić tę lukę. Wykorzystuje akcelerację GPU na urządzeniu, aby zapewnić wysoką jakość i niskie opóźnienia w przypadku obrazów i filmów. Ulepszenia te są możliwe dzięki takim funkcjom jak automatyczne mapowanie tonów, usuwanie rozmycia, odszumianie i skalowanie.
Ten interfejs API, dostarczany natywnie przez Usługi Google Play, przenosi wymagające dużej mocy obliczeniowej zadania przywracania obrazów i filmów bezpośrednio na natywny procesor graficzny i procesor neuronowy urządzenia hosta. Interfejs API zapewnia potok o niskim opóźnieniu, który chroni prywatność i nie zwiększa rozmiaru pliku APK, pobierając modele na żądanie tylko wtedy, gdy jest to konieczne, aby nie marnować miejsca na dysku urządzenia.
Najważniejsze funkcje i przypadki użycia
Platforma ta jest ukierunkowana na konkretne punkty awarii multimediów i wykorzystuje 3 główne funkcje uczenia maszynowego, które można skonfigurować niezależnie lub razem:
| Możliwości | Funkcje algorytmiczne | Optymalny przypadek użycia aplikacji |
|---|---|---|
| Mapowanie tonów | Algorytm mapowania tonów lokalnych SDR-SDR, który ulepsza obrazy o standardowym zakresie dynamiki (SDR), aby naśladować cechy HDR, takie jak lepszy kontrast lokalny i rozjaśnione cienie, przy jednoczesnym zachowaniu wyświetlanego zakresu SDR. Ten energooszczędny algorytm działający w czasie rzeczywistym jest zoptymalizowany pod kątem wydajności na urządzeniach mobilnych. | poprawianie płaskich, pochmurnych zdjęć krajobrazów lub portretów w pomieszczeniach z silnym podświetleniem; |
| Usuwanie rozmycia | Odtwarza ostre krawędzie, szacując matematyczny efekt rozmycia spowodowany ruchem obiektu lub drganiami aparatu. Stosuje filtrowanie przestrzenne, aby wygładzić ziarno chromatyczne, i działa jako filtr deblokujący, aby ograniczyć artefakty kompresji w pobliżu ostrych krawędzi. | poprawianie poruszonych lub rozmytych zdjęć, ulepszanie ziarnistych obrazów przy słabym oświetleniu oraz usuwanie blokowych artefaktów ze skompresowanych obrazów JPEG i strumieni wideo; |
| Miejsce luksusowe | Wykorzystuje generatywny model superrozdzielczości, aby zwiększyć liczbę pikseli i odtworzyć brakujące szczegóły o wysokiej częstotliwości. | skalowanie małych miniatur lub plików wideo w standardowej rozdzielczości do wyświetlania na pełnym ekranie; |
Przykład, który łączy skalowanie i usuwanie rozmycia w przypadku obrazów o niskiej rozdzielczości pobieranych przez wolne sieci, znajdziesz w artykule Stopniowe ładowanie obrazów w wolnych sieciach.
Wymagania sprzętowe
Wnioskowanie na urządzeniu za pomocą modeli uczenia maszynowego lub deep learningu wymaga czasu, a wydajność zależy w dużej mierze od akceleratorów sprzętowych, których używa urządzenie. Interfejs Media Enhancement API jest zoptymalizowany pod kątem urządzeń klasy premium wyposażonych w dedykowane rdzenie Tensor i pamięć o wysokiej przepustowości (np. Pixel 10 Pro lub Samsung Galaxy S26 Ultra).
Jeśli sprzęt urządzenia nie spełnia minimalnych progów wydajności, proces inicjowania zatrzymuje się i zgłasza stan nieobsługiwany, aby zapobiec gubieniu klatek lub dławieniu termicznemu.