Las aplicaciones móviles modernas dependen en gran medida del contenido multimedia generado por el usuario para generar participación y retención. Las apps observan la variabilidad natural en la calidad del contenido debido al amplio espectro de capacidades del dispositivo, las condiciones de iluminación y la experiencia del usuario. En el caso de las apps que administran grandes volúmenes de fotos y videos que provienen de una variedad de fuentes, existe la oportunidad de mejorar la calidad de referencia de este contenido generado por usuarios. Mantener una calidad óptima requiere un equilibrio cuidadoso entre la compresión necesaria para operaciones como la edición, la carga y la descarga, y la retención de suficientes detalles para el consumo de alta fidelidad.
Descripción general de la API de Media Enhancement
La API de Media Enhancement en los Servicios de Google Play proporciona una solución integral de IA integrado en el dispositivo para cerrar esta brecha. Utiliza la aceleración de la unidad de procesamiento gráfico (GPU) integrada en el dispositivo para proporcionar mejoras de alta calidad y baja latencia para imágenes y videos. Logra estas mejoras a través de funciones como la asignación de tono automática, la corrección de desenfoque, la reducción de ruido y el aumento de escala.
Esta API, que se entrega de forma nativa a través de los Servicios de Google Play, descarga las tareas de restauración de imágenes y videos que requieren mucha capacidad de procesamiento directamente a la GPU nativa y a la unidad de procesamiento neuronal (NPU) del dispositivo host. La API proporciona una canalización de baja latencia que preserva la privacidad sin aumento de APK, y descarga modelos a pedido solo cuando es necesario para respetar el espacio en disco del dispositivo.
Funciones principales y casos de uso
El framework se orienta a puntos de falla de contenido multimedia específicos a través de tres capacidades principales de aprendizaje automático, que puedes configurar de forma independiente o en conjunto:
| Función | Funcionalidad algorítmica | Caso de uso óptimo de la aplicación |
|---|---|---|
| Tonemap | Un algoritmo de asignación de tono local de SDR a SDR que mejora las imágenes de rango dinámico estándar (SDR) para imitar cualidades similares a HDR, como un contraste local mejorado y sombras más claras, sin dejar de estar dentro del rango SDR visible. Este algoritmo en tiempo real y de bajo consumo está optimizado para el rendimiento en dispositivos móviles. | Rescatar fotos de paisajes planas y nubladas o retratos interiores con mucha luz de fondo. |
| Deblur | Reconstruye los bordes nítidos estimando el kernel de desenfoque matemático causado por el movimiento del sujeto o la vibración de la cámara. Aplica el filtrado espacial para suavizar el grano cromático y actúa como un filtro de desbloqueo para mitigar los artefactos de compresión cerca de los bordes nítidos. | Recuperar fotos temblorosas o desenfocadas, mejorar imágenes granuladas con poca luz y quitar artefactos en bloques de imágenes JPEG comprimidas y transmisiones de video. |
| Upscale | Utiliza un modelo generativo de superresolución para multiplicar el recuento de píxeles y reconstruir los detalles de alta frecuencia faltantes. | Ajustar miniaturas pequeñas o archivos de video de definición estándar para la visualización en pantalla completa. |
Requisitos de hardware
La ejecución de inferencias integrado en el dispositivo con modelos de aprendizaje automático o aprendizaje profundo lleva tiempo, y el rendimiento depende en gran medida de los aceleradores de hardware que usa el dispositivo. La API de Media Enhancement está optimizada para dispositivos de nivel premium equipados con núcleos tensores dedicados y memoria de gran ancho de banda (por ejemplo, Pixel 10 Pro o Samsung Galaxy S26 Ultra).
Si el hardware de un dispositivo no cumple con los umbrales mínimos de rendimiento, el proceso de inicialización se detiene y muestra un estado no compatible para evitar la pérdida de fotogramas o la limitación térmica.