최신 모바일 애플리케이션은 사용자 생성 미디어를 통해 참여와 유지를 유도합니다. 앱은 다양한 기기 기능, 조명 조건, 사용자 환경으로 인해 콘텐츠 품질에 자연스러운 가변성을 관찰합니다. 다양한 소스에서 제공되는 대용량의 사진과 동영상을 관리하는 앱의 경우 이 사용자 제작 콘텐츠의 기준 품질을 높일 수 있습니다. 최적의 품질을 유지하려면 편집, 업로드, 다운로드와 같은 작업에 필요한 압축과 충실도 높은 소비를 위한 충분한 세부정보 유지 간에 신중한 균형이 필요합니다.
Media Enhancement API 개요
Google Play 서비스의 Media Enhancement API는 이 격차를 해소하기 위한 포괄적인 온디바이스 AI 솔루션을 제공합니다. 온디바이스 그래픽 처리 장치 (GPU) 가속을 사용하여 이미지와 동영상에 고품질의 짧은 지연 시간 개선사항을 제공합니다. 자동 톤 매핑, 선명하게 하기, 노이즈 제거, 업스케일링과 같은 기능을 통해 이러한 개선사항을 달성합니다.
Google Play 서비스를 통해 기본적으로 제공되는 이 API는 계산 집약적인 이미지 및 동영상 복원 작업을 호스트 기기의 기본 GPU 및 신경망 처리 장치 (NPU)로 직접 오프로드합니다. 이 API는 APK 블로트가 없는 짧은 지연 시간의 개인 정보 보호 파이프라인을 제공하며, 기기 디스크 공간을 고려하기 위해 필요한 경우에만 모델을 주문형으로 다운로드합니다.
주요 기능 및 사용 사례
프레임워크는 독립적으로 또는 함께 구성할 수 있는 세 가지 핵심 머신러닝 기능을 통해 특정 미디어 실패 지점을 타겟팅합니다.
| 기능 | 알고리즘 기능 | 최적의 애플리케이션 사용 사례 |
|---|---|---|
| 톤맵 | 표시 가능한 SDR 범위 내에 유지하면서 개선된 로컬 대비 및 밝아진 그림자와 같은 HDR과 유사한 품질을 모방하도록 표준 다이내믹 레인지 (SDR) 이미지를 개선하는 SDR-SDR 로컬 톤 매핑 알고리즘입니다. 이 실시간의 전력 효율적인 알고리즘은 모바일 성능에 최적화되어 있습니다. | 평평하고 흐린 풍경 사진 또는 심하게 역광이 비치는 실내 인물 사진을 복구합니다. |
| 선명하게 | 피사체 움직임 또는 카메라 흔들림으로 인해 발생하는 수학적 블러 커널을 추정하여 선명한 가장자리를 재구성합니다. 공간 필터링을 적용하여 색상 그레인을 부드럽게 하고, 선명한 가장자리 근처의 압축 아티팩트를 완화하는 디블로킹 필터 역할을 합니다. | 흔들리거나 흐릿한 사진을 복구하고, 그레인이 많은 어두운 이미지를 개선하며, 압축된 JPEG 이미지 및 동영상 스트림에서 블록형 아티팩트를 삭제합니다. |
| 고급 | 초해상도 생성 모델을 사용하여 픽셀 수를 곱하고 누락된 고주파 세부정보를 재구성합니다. | 전체 화면 표시를 위해 작은 미리보기 이미지 또는 표준 해상도 동영상 파일의 크기를 조정합니다. |
하드웨어 요구사항
머신러닝 또는 딥러닝 모델을 사용하여 온디바이스에서 추론을 실행하는 데 시간이 걸리며, 성능은 기기에서 사용하는 하드웨어 가속기에 크게 좌우됩니다. Media Enhancement API는 전용 텐서 코어와 고대역폭 메모리가 탑재된 프리미엄 등급 기기 (예: Pixel 10 Pro 또는 삼성 갤럭시 S26 Ultra)에 최적화되어 있습니다.
기기의 하드웨어가 최소 성능 기준점을 충족하지 않으면 초기화 프로세스가 중지되고 프레임 삭제 또는 열 조절을 방지하기 위해 지원되지 않는 상태를 보고합니다.