Os aplicativos móveis modernos dependem muito da mídia gerada pelo usuário para gerar engajamento e retenção. Os apps observam a variabilidade natural na qualidade do conteúdo devido ao amplo espectro de recursos do dispositivo, condições de iluminação e experiência do usuário. Para apps que gerenciam grandes volumes de fotos e vídeos de várias fontes, há uma oportunidade de elevar a qualidade de referência desse conteúdo gerado pelo usuário. Manter a qualidade ideal exige um equilíbrio cuidadoso entre a compactação necessária para operações como edição, upload e download, mantendo detalhes suficientes para o consumo de alta fidelidade.
Visão geral da API Media Enhancement
A API Media Enhancement nos Serviços do Google Play oferece uma solução abrangente de IA no dispositivo para preencher essa lacuna. Ela usa a aceleração da unidade de processamento gráfico (GPU, na sigla em inglês) no dispositivo para oferecer melhorias de alta qualidade e baixa latência para imagens e vídeos. Ela realiza essas melhorias usando recursos como mapeamento de tons automático, remoção de desfoque, remoção de ruído e aumento de resolução.
Fornecida nativamente pelos Google Play Services, essa API descarrega tarefas de restauração de imagens e vídeos computacionalmente intensivas diretamente para a GPU nativa e a unidade de processamento neural (NPU, na sigla em inglês) do dispositivo host. A API oferece um pipeline de baixa latência e que preserva a privacidade sem inchaço de APK, fazendo o download de modelos sob demanda apenas quando necessário para respeitar o espaço em disco do dispositivo.
Recursos e casos de uso principais
A estrutura tem como destino pontos de falha de mídia específicos usando três recursos principais de machine learning, que podem ser configurados de forma independente ou em conjunto:
| Capacidade | Funcionalidade algorítmica | Caso de uso ideal do aplicativo |
|---|---|---|
| Tonemap | Um algoritmo de mapeamento de tons local SDR para SDR que melhora as imagens de intervalo dinâmico padrão (SDR, na sigla em inglês) para imitar qualidades semelhantes a HDR, como contraste local aprimorado e sombras mais claras, permanecendo dentro do intervalo SDR exibível. Esse algoritmo em tempo real e com eficiência energética é otimizado para desempenho em dispositivos móveis. | Recuperar fotos de paisagens planas e nubladas ou retratos internos com iluminação de fundo. |
| Remover desfoque | Reconstrói bordas nítidas estimando o kernel de desfoque matemático causado pelo movimento do assunto ou pela trepidação da câmera. Aplica a filtragem espacial para suavizar o grão cromático e atua como um filtro de desbloqueio para atenuar artefatos de compactação perto de bordas nítidas. | Recuperar fotos tremidas ou borradas, melhorar imagens granuladas com pouca luz e remover artefatos de blocos de imagens JPEG compactadas e streams de vídeo. |
| Sofisticado | Usa um modelo generativo de super-resolução para multiplicar a contagem de pixels e reconstruir detalhes de alta frequência ausentes. | Escalonar miniaturas pequenas ou arquivos de vídeo de definição padrão para exibição em tela cheia. |
Requisitos de hardware
A execução da inferência no dispositivo com modelos de machine learning ou aprendizado profundo leva tempo, e o desempenho depende muito de quais aceleradores de hardware o dispositivo usa. A API Media Enhancement é otimizada para dispositivos premium equipados com núcleos de tensor dedicados e memória de alta largura de banda (por exemplo, o Pixel 10 Pro ou o Samsung Galaxy S26 Ultra).
Se o hardware de um dispositivo não atender aos limites mínimos de desempenho, o processo de inicialização será interrompido e informará um status não compatível para evitar quedas de frame ou limitação térmica.