Os aplicativos modernos para dispositivos móveis dependem muito de mídia gerada pelo usuário para impulsionar o engajamento e a retenção. Os apps observam uma variabilidade natural na qualidade do conteúdo devido ao amplo espectro de recursos do dispositivo, condições de iluminação e experiência do usuário. Para apps que gerenciam grandes volumes de fotos e vídeos de várias fontes, há uma oportunidade de elevar a qualidade básica desse conteúdo gerado pelo usuário. Manter a qualidade ideal exige um equilíbrio cuidadoso entre a compactação necessária para operações como edição, upload e download, mantendo detalhes suficientes para consumo de alta fidelidade.
Visão geral da API Media Enhancement
A API Media Enhancement no Google Play Services oferece uma solução abrangente de IA no dispositivo para preencher essa lacuna. Ele usa a aceleração da unidade de processamento gráfico (GPU) no dispositivo para oferecer melhorias de alta qualidade e baixa latência para imagens e vídeos. Ele faz essas melhorias com recursos como mapeamento de tons automático, remoção de desfoque, remoção de ruído e aumento de resolução.
Disponibilizada de forma nativa pelo Google Play Services, essa API transfere tarefas de restauração de imagens e vídeos com uso intenso de recursos computacionais diretamente para a GPU e a unidade de processamento neural (NPU) nativas do dispositivo host. A API oferece um pipeline de baixa latência que preserva a privacidade sem sobrecarregar o APK, fazendo o download de modelos sob demanda apenas quando necessário para respeitar o espaço em disco do dispositivo.
Principais recursos e casos de uso
O framework segmenta pontos de falha de mídia específicos usando três recursos principais de machine learning, que podem ser configurados de forma independente ou em conjunto:
| Capacidade | Funcionalidade algorítmica | Caso de uso ideal do aplicativo |
|---|---|---|
| Mapeamento de tons | Um algoritmo de mapeamento de tons local de SDR para SDR que melhora as imagens de intervalo dinâmico padrão (SDR) para imitar qualidades semelhantes ao HDR, como contraste local aprimorado e sombras mais claras, permanecendo dentro do intervalo de SDR exibível. Esse algoritmo em tempo real e com baixo consumo de energia é otimizado para desempenho em dispositivos móveis. | Resgatar fotos de paisagens sem graça e nubladas ou retratos em ambientes internos com muita luz de fundo. |
| Remover desfoque | Reconstrói bordas nítidas estimando o kernel de desfoque matemático causado pelo movimento do objeto ou da câmera. Aplica filtragem espacial para suavizar o grão cromático e atua como um filtro de desbloqueio para reduzir artefatos de compactação perto de bordas nítidas. | Recuperar fotos tremidas ou desfocadas, melhorar imagens granuladas com pouca luz e remover artefatos em blocos de imagens JPEG compactadas e streams de vídeo. |
| Sofisticado | Usa um modelo generativo de super resolução para multiplicar a contagem de pixels e reconstruir detalhes de alta frequência ausentes. | Miniaturas pequenas ou arquivos de vídeo em definição padrão que são redimensionados para exibição em tela cheia. |
Requisitos de hardware
A execução de inferências no dispositivo com modelos de machine learning ou aprendizado profundo leva tempo, e o desempenho depende muito dos aceleradores de hardware usados pelo dispositivo. A API Media Enhancement é otimizada para dispositivos de nível premium equipados com núcleos de tensor dedicados e memória de alta largura de banda (por exemplo, o Pixel 10 Pro ou o Samsung Galaxy S26 Ultra).
Se o hardware de um dispositivo não atender aos limites mínimos de desempenho, o processo de inicialização será interrompido e informará um status não compatível para evitar quedas de frames ou limitação térmica.