Nowoczesne aplikacje mobilne w dużym stopniu opierają się na treściach generowanych przez użytkowników, aby zwiększać zaangażowanie i utrzymywać ich uwagę. Aplikacje wykazują naturalną zmienność jakości treści ze względu na szerokie spektrum możliwości urządzeń, warunki oświetleniowe i wrażenia użytkowników. W przypadku aplikacji, które zarządzają dużą liczbą zdjęć i filmów pochodzących z różnych źródeł, istnieje możliwość podniesienia podstawowej jakości tych treści użytkowników. Utrzymanie optymalnej jakości wymaga starannego wyważenia kompresji niezbędnej do operacji takich jak edytowanie, przesyłanie i pobieranie, przy jednoczesnym zachowaniu wystarczającej ilości szczegółów, aby zapewnić wysoką jakość.
Omówienie interfejsu Media Enhancement API
Interfejs Media Enhancement API w usługach Google Play zapewnia kompleksowe rozwiązanie AI na urządzeniu, które pozwala wypełnić tę lukę. Wykorzystuje akcelerację procesora graficznego (GPU) na urządzeniu, aby zapewnić wysoką jakość i niskie opóźnienia w przypadku obrazów i filmów. Ulepszenia te są możliwe dzięki funkcjom takim jak automatyczne mapowanie tonów, usuwanie rozmycia, odszumianie i skalowanie w górę.
Ten interfejs API, dostarczany natywnie przez Usługi Google Play, przenosi wymagające obliczeniowo zadania związane z przywracaniem obrazów i filmów bezpośrednio do natywnego procesora graficznego i jednostki przetwarzania neuronowego (NPU) urządzenia hosta. Interfejs API zapewnia potok o niskim opóźnieniu i z zachowaniem prywatności, który nie zwiększa rozmiaru pliku APK. Modele są pobierane na żądanie tylko wtedy, gdy są potrzebne, aby nie zajmować miejsca na urządzeniu.
Główne możliwości i przypadki użycia
Platforma jest ukierunkowana na konkretne punkty awarii mediów dzięki 3 głównym funkcjom uczenia maszynowego, które możesz skonfigurować niezależnie lub łącznie:
| Możliwości | Funkcje algorytmiczne | Optymalny przypadek użycia aplikacji |
|---|---|---|
| Mapowanie tonalne | Algorytm lokalnego mapowania odcieni SDR na SDR, który ulepsza obrazy o standardowym zakresie dynamiki (SDR), aby imitować jakość HDR, np. poprawia lokalny kontrast i rozjaśnia cienie, zachowując przy tym zakres SDR, który można wyświetlić. Ten wydajny algorytm działający w czasie rzeczywistym jest zoptymalizowany pod kątem urządzeń mobilnych. | ratowanie płaskich, pochmurnych zdjęć krajobrazów lub mocno oświetlonych od tyłu portretów w pomieszczeniach; |
| Usuwanie rozmycia | Odtwarza ostre krawędzie, szacując matematyczne jądro rozmycia spowodowane ruchem obiektu lub drganiami aparatu. Stosuje filtrowanie przestrzenne, aby wygładzić szum chromatyczny, i działa jako filtr odblokowujący, aby ograniczyć artefakty kompresji w pobliżu ostrych krawędzi. | przywracanie roztrzęsionych lub rozmytych zdjęć, poprawianie ziarnistych obrazów wykonanych przy słabym oświetleniu oraz usuwanie blokowych artefaktów ze skompresowanych obrazów JPEG i strumieni wideo. |
| Miejsce luksusowe | Wykorzystuje generatywny model superrozdzielczości do zwiększania liczby pikseli i odzyskiwania brakujących szczegółów o wysokiej częstotliwości. | skalowanie małych miniatur lub plików wideo w standardowej rozdzielczości do wyświetlania na pełnym ekranie; |
Wymagania sprzętowe
Wnioskowanie na urządzeniu za pomocą modeli uczenia maszynowego lub uczenia głębokiego zajmuje czas, a wydajność zależy w dużej mierze od tego, jakich akceleratorów sprzętowych używa urządzenie. Interfejs Media Enhancement API jest zoptymalizowany pod kątem urządzeń z wyższej półki wyposażonych w dedykowane rdzenie tensorowe i pamięć o dużej przepustowości (np. Pixel 10 Pro lub Samsung Galaxy S26 Ultra).
Jeśli sprzęt urządzenia nie spełnia minimalnych progów wydajności, proces inicjowania zostaje zatrzymany i zgłasza stan nieobsługiwany, aby zapobiec spadkom liczby klatek lub ograniczeniu termicznemu.