Las aplicaciones para dispositivos móviles modernas dependen en gran medida del contenido multimedia generado por los usuarios para generar interacción y retención. Las apps observan la variabilidad natural en la calidad del contenido debido al amplio espectro de capacidades de los dispositivos, las condiciones de iluminación y la experiencia del usuario. En el caso de las apps que administran grandes volúmenes de fotos y videos provenientes de diversas fuentes, existe la oportunidad de mejorar la calidad básica de este contenido generado por los usuarios. Para mantener una calidad óptima, se requiere un equilibrio cuidadoso entre la compresión necesaria para operaciones como la edición, la carga y la descarga, y la conservación de suficientes detalles para un consumo de alta fidelidad.
Descripción general de la API de mejora de contenido multimedia
La API de Media Enhancement en los Servicios de Google Play proporciona una solución integral de IA integrado en el dispositivo para superar esta brecha. Utiliza la aceleración de la unidad de procesamiento gráfico (GPU) integrada en el dispositivo para proporcionar mejoras de alta calidad y baja latencia en imágenes y videos. Estas mejoras se logran a través de funciones como la asignación de tono automática, la corrección de desenfoque, la reducción de ruido y el reescalado.
Esta API, que se entrega de forma nativa a través de los Servicios de Google Play, descarga las tareas de restauración de imágenes y videos que requieren mucha capacidad de procesamiento directamente en la GPU nativa y la unidad de procesamiento neuronal (NPU) del dispositivo host. La API proporciona una canalización de baja latencia que preserva la privacidad sin aumento del tamaño del APK, y descarga modelos a pedido solo cuando es necesario para respetar el espacio en el disco del dispositivo.
Funciones y casos de uso principales
El framework se enfoca en puntos de falla específicos de los medios a través de tres capacidades principales de aprendizaje automático, que puedes configurar de forma independiente o en conjunto:
| Función | Funcionalidad algorítmica | Caso de uso óptimo de la aplicación |
|---|---|---|
| Mapa de tonos | Un algoritmo de asignación de tono local de SDR a SDR que mejora las imágenes de rango dinámico estándar (SDR) para imitar las cualidades similares al HDR, como el contraste local mejorado y las sombras iluminadas, sin dejar de estar dentro del rango de SDR que se puede mostrar. Este algoritmo en tiempo real y de bajo consumo está optimizado para el rendimiento en dispositivos móviles. | Rescatar fotos de paisajes planas y nubladas, o retratos en interiores con contraluz severo |
| Quitar el desenfoque | Reconstruye los bordes nítidos estimando el kernel de desenfoque matemático causado por el movimiento del sujeto o la vibración de la cámara. Aplica un filtro espacial para suavizar el grano cromático y actúa como un filtro de reducción del efecto bloque para mitigar los artefactos de compresión cerca de los bordes definidos. | Recupera fotos desenfocadas o borrosas, mejora las imágenes granuladas con poca luz y quita los artefactos en bloques de las imágenes JPEG comprimidas y las transmisiones de video. |
| De lujo | Usa un modelo generativo de superresolución para multiplicar el recuento de píxeles y reconstruir los detalles de alta frecuencia faltantes. | Ajustar el tamaño de miniaturas pequeñas o archivos de video en definición estándar para mostrarlos en pantalla completa |
Requisitos de hardware
La ejecución de la inferencia integrado en el dispositivo con modelos de aprendizaje automático o aprendizaje profundo lleva tiempo, y el rendimiento depende en gran medida de los aceleradores de hardware que usa el dispositivo. La API de Media Enhancement está optimizada para dispositivos de nivel premium equipados con núcleos tensores dedicados y memoria de gran ancho de banda (por ejemplo, el Pixel 10 Pro o el Samsung Galaxy S26 Ultra).
Si el hardware de un dispositivo no cumple con los umbrales mínimos de rendimiento, el proceso de inicialización se detiene y se informa un estado no compatible para evitar la pérdida de fotogramas o la regulación térmica.