Nowoczesne aplikacje mobilne w dużej mierze opierają się na treściach generowanych przez użytkowników, aby zwiększać zaangażowanie i utrzymywać ich uwagę. Aplikacje wykazują naturalną zmienność jakości treści ze względu na szerokie spektrum możliwości urządzeń, warunki oświetleniowe i wrażenia użytkowników. Aplikacje, które zarządzają dużą liczbą zdjęć i filmów pochodzących z różnych źródeł, mogą podnieść podstawową jakość tych treści użytkowników. Utrzymanie optymalnej jakości wymaga starannego wyważenia kompresji niezbędnej do takich operacji jak edytowanie, przesyłanie i pobieranie, przy jednoczesnym zachowaniu wystarczającej ilości szczegółów, aby zapewnić wysoką jakość.
Omówienie interfejsu Media Enhancement API
Interfejs Media Enhancement API w usługach Google Play zapewnia kompleksowe rozwiązanie AI na urządzeniu, które pozwala wypełnić tę lukę. Wykorzystuje akcelerację procesora graficznego (GPU) na urządzeniu, aby zapewnić wysoką jakość i niskie opóźnienia w przypadku obrazów i filmów. Ulepszenia te są możliwe dzięki funkcjom takim jak automatyczne mapowanie tonów, usuwanie rozmycia, redukcja szumów i skalowanie w górę.
Ten interfejs API, dostarczany natywnie przez Usługi Google Play, przenosi wymagające obliczeniowo zadania związane z przywracaniem obrazów i filmów bezpośrednio do natywnego procesora graficznego (GPU) i jednostki przetwarzania neuronowego (NPU) urządzenia hosta. Interfejs API udostępnia potok o niskim opóźnieniu, który chroni prywatność i nie zwiększa rozmiaru pliku APK. Modele są pobierane na żądanie tylko wtedy, gdy są potrzebne, aby nie zajmować miejsca na urządzeniu.
Główne funkcje i przypadki użycia
Platforma ta jest ukierunkowana na konkretne punkty awarii mediów dzięki 3 głównym funkcjom uczenia maszynowego, które możesz konfigurować niezależnie lub łącznie:
| Możliwości | Funkcje algorytmiczne | Optymalny przypadek użycia aplikacji |
|---|---|---|
| Tonemap | Algorytm lokalnego mapowania odcieni SDR na SDR, który ulepsza obrazy o standardowym zakresie dynamiki (SDR), aby imitować jakość HDR, np. poprawia lokalny kontrast i rozjaśnia cienie, zachowując przy tym zakres SDR, który można wyświetlić. Ten wydajny algorytm działający w czasie rzeczywistym został zoptymalizowany pod kątem urządzeń mobilnych. | ratowanie płaskich, pochmurnych zdjęć krajobrazów lub mocno oświetlonych od tyłu portretów w pomieszczeniach; |
| Usuwanie rozmycia | Odtwarza ostre krawędzie, szacując matematyczne jądro rozmycia spowodowane ruchem obiektu lub drganiami aparatu. Stosuje filtrowanie przestrzenne, aby wygładzić ziarno chromatyczne, i działa jako filtr odblokowujący, który łagodzi artefakty kompresji w pobliżu ostrych krawędzi. | przywracanie roztrzęsionych lub rozmytych zdjęć, poprawianie ziarnistych zdjęć wykonanych przy słabym oświetleniu oraz usuwanie blokowych artefaktów ze skompresowanych obrazów JPEG i strumieni wideo. |
| Miejsce luksusowe | Wykorzystuje generatywny model superrozdzielczości do zwiększania liczby pikseli i odzyskiwania brakujących szczegółów o wysokiej częstotliwości. | skalowanie małych miniatur lub plików wideo w standardowej rozdzielczości do wyświetlania na pełnym ekranie; |
Wymagania sprzętowe
Wnioskowanie na urządzeniu za pomocą modeli uczenia maszynowego lub deep learningu zajmuje czas, a wydajność zależy w dużej mierze od tego, jakich akceleratorów sprzętowych używa urządzenie. Interfejs Media Enhancement API jest zoptymalizowany pod kątem urządzeń z wyższej półki wyposażonych w dedykowane rdzenie tensorowe i pamięć o dużej przepustowości (np. Pixel 10 Pro lub Samsung Galaxy S26 Ultra).
Jeśli sprzęt urządzenia nie spełnia minimalnych progów wydajności, proces inicjowania zostaje zatrzymany i zgłasza stan nieobsługiwany, aby zapobiec spadkom liczby klatek lub ograniczeniu termicznemu.