최신 모바일 애플리케이션은 사용자 제작 미디어를 통해 참여도와 유지율을 높이는 데 크게 의존합니다. 앱은 다양한 기기 기능, 조명 조건, 사용자 환경으로 인해 콘텐츠 품질에 자연스러운 변동이 발생합니다. 다양한 소스에서 제공되는 대량의 사진과 동영상을 관리하는 앱의 경우 이러한 사용자 제작 콘텐츠의 기준 품질을 높일 수 있습니다. 최적의 품질을 유지하려면 편집, 업로드, 다운로드와 같은 작업에 필요한 압축과 고화질 소비를 위한 충분한 세부정보 유지 간의 균형을 신중하게 유지해야 합니다.
미디어 개선 API 개요
Google Play 서비스의 미디어 개선 API는 이러한 격차를 해소하기 위한 포괄적인 온디바이스 AI 솔루션을 제공합니다. 온디바이스 그래픽 처리 장치 (GPU) 가속을 사용하여 이미지와 동영상의 고품질, 짧은 지연 시간 개선을 제공합니다. 이러한 개선사항은 자동 톤 매핑, 선명하게 하기, 노이즈 제거, 업스케일링과 같은 기능을 통해 달성됩니다.
Google Play 서비스를 통해 네이티브로 제공되는 이 API는 계산 집약적인 이미지 및 동영상 복원 작업을 호스트 기기의 네이티브 GPU 및 신경망 처리 장치 (NPU)로 직접 오프로드합니다. 이 API는 APK 블로트가 없고 지연 시간이 짧은 개인 정보 보호 파이프라인을 제공하며, 기기 디스크 공간을 고려하여 필요할 때만 온디맨드로 모델을 다운로드합니다.
핵심 기능 및 사용 사례
프레임워크는 독립적으로 또는 함께 구성할 수 있는 세 가지 핵심 머신러닝 기능을 통해 특정 미디어 실패 지점을 타겟팅합니다.
| 기능 | 알고리즘 기능 | 최적의 애플리케이션 사용 사례 |
|---|---|---|
| 톤맵 | SDR-SDR 로컬 톤 매핑 알고리즘: 표준 다이내믹 레인지(SDR) 이미지를 개선하여 HDR과 유사한 품질(예: 개선된 로컬 대비 및 밝아진 그림자)을 모방하면서 표시 가능한 SDR 범위 내에 유지합니다. 이 실시간, 전력 효율적인 알고리즘은 모바일 성능에 최적화되어 있습니다. | 흐린 날씨에 찍은 풍경 사진이나 역광이 심한 실내 인물 사진을 복구합니다. |
| 선명하게 | 피사체 움직임이나 카메라 흔들림으로 인해 발생하는 수학적 흐림 커널을 추정하여 선명한 가장자리를 재구성합니다. 공간 필터링을 적용하여 색상 그레인을 부드럽게 하고, 선명한 가장자리 근처의 압축 아티팩트를 완화하는 블록화 제거 필터 역할을 합니다. | 흔들리거나 흐린 사진 복구, 어두운 곳에서 촬영한 이미지 개선, 압축된 JPEG 이미지 및 동영상 스트림에서 블록형 아티팩트 삭제 |
| 고급 | 초해상도 생성 모델을 사용하여 픽셀 수를 곱하고 누락된 고주파 세부정보를 재구성합니다. | 전체 화면 표시를 위해 작은 썸네일이나 표준 화질 동영상 파일을 확장합니다. |
하드웨어 요구사항
머신러닝 또는 딥 러닝 모델을 사용하여 온디바이스에서 추론을 실행하는 데는 시간이 걸리며 성능은 기기에서 사용하는 하드웨어 가속기에 크게 좌우됩니다. 미디어 개선 API는 전용 텐서 코어와 고대역폭 메모리가 장착된 프리미엄 등급 기기 (예: Pixel 10 Pro 또는 삼성 갤럭시 S26 Ultra)에 최적화되어 있습니다.
기기의 하드웨어가 최소 성능 기준을 충족하지 않으면 초기화 프로세스가 중지되고 프레임 드롭이나 온도 쓰로틀링을 방지하기 위해 지원되지 않는 상태를 보고합니다.