Современные мобильные приложения в значительной степени полагаются на пользовательский контент для повышения вовлеченности и удержания пользователей. Приложения демонстрируют естественную изменчивость качества контента из-за широкого спектра возможностей устройств, условий освещения и пользовательского опыта. Для приложений, обрабатывающих большие объемы фотографий и видео из различных источников, существует возможность повысить базовое качество этого пользовательского контента. Поддержание оптимального качества требует тщательного баланса между сжатием, необходимым для таких операций, как редактирование, загрузка и скачивание, и сохранением достаточной детализации для высококачественного просмотра.
Обзор API для улучшения мультимедиа
API улучшения медиаконтента в сервисах Google Play предоставляет комплексное решение на основе искусственного интеллекта, работающее непосредственно на устройстве и призванное устранить этот пробел. Он использует ускорение графического процессора (GPU) на устройстве для обеспечения высококачественного улучшения изображений и видео с низкой задержкой. Эти улучшения достигаются за счет таких функций, как автоматическое тональное отображение, устранение размытия, шумоподавление и масштабирование.
Этот API, предоставляемый непосредственно через сервисы Google Play, переносит ресурсоемкие задачи восстановления изображений и видео непосредственно на собственный графический процессор (GPU) и нейронный процессор (NPU) устройства. API обеспечивает конвейер с низкой задержкой и сохранением конфиденциальности, без избыточного размера APK-файлов, загружая модели по запросу только тогда, когда это необходимо, чтобы не занимать место на диске устройства.
Основные возможности и варианты использования
Данная платформа нацелена на конкретные точки отказа в передаче медиаконтента с помощью трех основных возможностей машинного обучения, которые можно настраивать независимо или совместно:
| Возможности | Алгоритмическая функциональность | Оптимальный сценарий использования приложения |
|---|---|---|
| Тоновая карта | Алгоритм локального тонального отображения SDR-to-SDR , который улучшает изображения стандартного динамического диапазона (SDR), имитируя качества HDR — такие как улучшенный локальный контраст и осветленные тени — оставаясь при этом в пределах отображаемого диапазона SDR. Этот энергоэффективный алгоритм, работающий в режиме реального времени, оптимизирован для мобильных устройств. | Спасение плоских, пасмурных пейзажных фотографий или портретов в помещении с сильным контровым освещением. |
| Размытие | Восстанавливает резкие края, оценивая математическое ядро размытия, вызванное движением объекта или дрожанием камеры. Применяет пространственную фильтрацию для сглаживания хроматической зернистости и действует как фильтр для устранения артефактов сжатия вблизи резких краев. | Восстановление дрожащих или размытых фотографий, улучшение зернистых изображений при слабом освещении и удаление блочных артефактов из сжатых изображений JPEG и видеопотоков. |
| Элитный | Использует генеративную модель сверхвысокого разрешения для увеличения количества пикселей и восстановления недостающих высокочастотных деталей. | Масштабирование небольших миниатюр или видеофайлов стандартного разрешения для отображения в полноэкранном режиме. |
Требования к оборудованию
Выполнение инференции на устройстве с использованием моделей машинного обучения или глубокого обучения занимает время, и производительность во многом зависит от того, какие аппаратные ускорители использует устройство. API улучшения мультимедиа оптимизирован для устройств премиум-класса, оснащенных выделенными тензорными ядрами и высокоскоростной памятью (например, Pixel 10 Pro или Samsung Galaxy S26 Ultra).
Если аппаратное обеспечение устройства не соответствует минимальным пороговым значениям производительности, процесс инициализации останавливается и сообщает о неподдерживаемом состоянии, чтобы предотвратить выпадение кадров или снижение производительности из-за перегрева.