Notícias sobre produtos

Melhore as transmissões da câmera em tempo real com o Modo pouca luz refinado

Leitura de 7 min
Ver o perfil de Donovan McMurray
Donovan McMurray Engenheiro de relações com desenvolvedores

Recentemente, mostramos como o Instagram permitiu que os usuários tirassem fotos incríveis com pouca luz usando o modo noturno. Esse recurso é perfeito para imagens estáticas, em que há tempo para combinar várias exposições e criar uma foto estática de alta qualidade. Mas e os momentos que acontecem entre as fotos? Os usuários precisam interagir com a câmera mais do que apenas no momento em que o botão do obturador é pressionado. Eles também usam a visualização para compor a cena ou ler QR codes.

Hoje, vamos falar sobre o Aumento do modo pouca luz (LLB), um recurso avançado que clareia os streams da câmera em tempo real. Ao contrário do Modo Noturno, que exige que você fique imóvel durante a captura, o Otimizador de Pouca Luz funciona instantaneamente na prévia ao vivo e nas gravações de vídeo. O LLB ajusta automaticamente o nível de brilho necessário com base na luz disponível, sendo otimizado para cada ambiente.

Com uma atualização recente, o LLB permite que os usuários do Instagram alinhem a foto perfeita, e a implementação do modo noturno resulta nas mesmas fotos de alta qualidade em condições de pouca luz que os usuários já aproveitam há mais de um ano.

Por que o brilho em tempo real é importante?

Enquanto o modo noturno visa melhorar a qualidade da imagem final, o Modo pouca luz refinado é destinado à usabilidade e interatividade em ambientes escuros. Outro fator importante a ser considerado é que, embora funcionem muito bem juntos, você pode usar o LLB e o Modo Noturno de forma independente. Como você vai ver em alguns desses casos de uso, o LLB tem valor por si só quando as fotos do Modo Noturno não são necessárias. Veja como o LLB melhora a experiência do usuário:

  • Melhor enquadramento e captura: em cenas com pouca luz, uma visualização de câmera padrão pode ficar totalmente escura. O LLB clareia o visor, permitindo que os usuários vejam o que estão enquadrando antes de pressionar o botão do obturador. Para essa experiência, você pode usar o Modo Noturno para conseguir o melhor resultado de foto com pouca luz ou deixar que o LLB mostre ao usuário um resultado de foto "o que você vê é o que você recebe".
  • Leitura confiável: os QR codes estão em toda parte, mas ler um deles em um restaurante escuro ou em uma garagem de estacionamento costuma ser frustrante. Com uma transmissão da câmera significativamente mais clara, os algoritmos de leitura podem detectar e decodificar QR codes de forma confiável, mesmo em ambientes muito escuros.
  • Interações aprimoradas: para apps que envolvem interações de vídeo ao vivo (como assistentes de IA ou videochamadas), o LLB aumenta a quantidade de informações perceptíveis, garantindo que os modelos de visão computacional tenham dados suficientes para trabalhar.

A diferença no Instagram

LLB_IG_demo_white_background.gif

A equipe de engenharia por trás do app Instagram para Android está sempre trabalhando para oferecer uma experiência de câmera de última geração aos usuários. No exemplo acima, você pode ver a diferença que o LLB faz em um Pixel 10 Pro. 

lowlight.png

É fácil imaginar a diferença que isso faz na experiência do usuário. Se os usuários não conseguirem ver o que estão capturando, é mais provável que abandonem o processo. 

lowlight1.png

Como escolher sua implementação

Há duas maneiras de implementar o recurso para oferecer a melhor experiência na maior variedade de dispositivos:

  1. Modo de exposição automática com Modo Pouca Luz Refinado: é um modo de exposição automática de camada de hardware. Ela oferece a mais alta qualidade e desempenho porque ajusta diretamente o pipeline do processador de sinal de imagem (ISP, na sigla em inglês). Sempre verifique isso primeiro.
  2. Otimização em Pouca Luz do Google: se o dispositivo não for compatível com o modo AE, use essa solução baseada em software fornecida pelo Google Play Services. Ele aplica o pós-processamento ao stream da câmera para clareá-lo. Como uma solução totalmente de software, ela está disponível em mais dispositivos, então essa implementação ajuda você a alcançar mais dispositivos com LLB.

Modo AE de aumento do modo pouca luz (hardware)

Mecanismo:
esse modo é compatível com dispositivos que executam o Android 15 e versões mais recentes e exige que o OEM tenha implementado o suporte na HAL (atualmente disponível em dispositivos Pixel 10). Ele se integra diretamente ao processador de sinal de imagem (ISP, na sigla em inglês) da câmera. Se você definir CaptureRequest.CONTROL_AE_MODE como CameraMetadata.CONTROL_AE_MODE_ON_LOW_LIGHT_BOOST_BRIGHTNESS_PRIORITY, o sistema da câmera vai assumir o controle.

Comportamento:
a HAL/ISP analisa a cena e ajusta os parâmetros do sensor e do processamento, geralmente aumentando o tempo de exposição, para clarear a imagem. Isso pode gerar frames com uma relação sinal-ruído (SNR, na sigla em inglês) significativamente melhor, porque o tempo de exposição estendido, em vez de um aumento no ganho do sensor digital (ISO), permite que o sensor capture mais informações de luz.

Vantagem:
potencialmente melhor qualidade da imagem e eficiência de energia, já que aproveita caminhos de hardware dedicados.

Compensação:
pode resultar em uma taxa de quadros mais baixa em condições de pouca luz, já que o sensor precisa de mais tempo para capturar a luz. A taxa de quadros pode cair para até 10 FPS em condições de pouca luz.

Otimização em Pouca Luz do Google (software pelo Google Play Services)

Mecanismo:
essa solução, distribuída como um módulo opcional pelo Google Play Services, aplica o pós-processamento ao stream da câmera. Ele usa uma tecnologia sofisticada de melhoria de imagem em tempo real chamada HDRNet.

Google HDRNet:
esse modelo de aprendizado profundo analisa a imagem em uma resolução mais baixa para prever um conjunto compacto de parâmetros (uma grade bilateral). Essa grade orienta a melhoria eficiente e espacialmente variável da imagem de resolução total na GPU. O modelo é treinado para clarear e melhorar a qualidade da imagem em condições de pouca luz, com foco na visibilidade do rosto.

Orquestração de processos:
o modelo HDRNet e a lógica que o acompanha são orquestrados pelo processador de Otimização em Pouca Luz. Isso inclui:

  1. Análise de cena:
    uma calculadora personalizada que estima o brilho real da cena usando metadados da câmera (sensibilidade do sensor, tempo de exposição etc.) e conteúdo da imagem. Essa análise determina o nível de otimização.
  2. Processamento HDRNet:
    aplica o modelo HDRNet para clarear o frame. O modelo usado é ajustado para cenas com pouca luz e otimizado para desempenho em tempo real.
  3. Mesclagem:
    os frames originais e processados pela HDRNet são mesclados. A quantidade de mesclagem aplicada é controlada dinamicamente pela calculadora de brilho da cena, garantindo uma transição suave entre os estados com e sem otimização.
low-light-boost-processor-diagram.png

Vantagem:
funciona em uma variedade maior de dispositivos (atualmente, Samsung S22 Ultra, S23 Ultra, S24 Ultra, S25 Ultra e Pixel 6 a Pixel 9) sem exigir suporte específico de HAL. Mantém o frame rate da câmera, já que é um efeito de pós-processamento.

Compensação:
como um método de pós-processamento, a qualidade é limitada pelas informações presentes nos frames fornecidos pelo sensor. Ele não consegue recuperar detalhes perdidos devido à escuridão extrema no nível do sensor.

Ao oferecer caminhos de hardware e software, o Modo pouca luz refinado é uma solução escalonável para melhorar o desempenho da câmera em ambientes com pouca iluminação no ecossistema Android. Os desenvolvedores precisam priorizar o modo AE quando disponível e usar o Google Low Light Boost como uma alternativa robusta.

Como implementar o modo de pouca luz no seu app

Agora vamos ver como implementar as duas ofertas de LLB. Você pode implementar o seguinte, seja usando a CameraX ou a Camera2 no seu app. Para melhores resultados, recomendamos implementar as etapas 1 e 2.

Etapa 1: modo AE de aumento do modo pouca luz

Disponível em alguns dispositivos com o Android 15 e versões mais recentes, o modo LLB AE funciona como um modo de exposição automática (AE, na sigla em inglês) específico.

1. Verificar disponibilidade

Primeiro, verifique se o dispositivo de câmera é compatível com o modo AE de LLB.

val cameraInfo = cameraProvider.getCameraInfo(cameraSelector)
val isLlbSupported = cameraInfo.isLowLightBoostSupported

2. Ativar o modo

Se houver suporte, você poderá ativar o modo AE de LLB usando o objeto CameraControl do CameraX.

// After setting up your camera, use the CameraInfo object to enable LLB AE Mode.
camera = cameraProvider.bindToLifecycle(...)

if (isLlbSupported) {
  try {
    // The .await() extension suspends the coroutine until the
    // ListenableFuture completes. If the operation fails, it throws
    // an exception which we catch below.
    camera?.cameraControl.enableLowLightBoostAsync(true).await()
  } catch (e: IllegalStateException) {
    Log.e(TAG, "Failed to enable low light boost: not available on this device or with the current camera configuration", e)
  } catch (e: CameraControl.OperationCanceledException) {
    Log.e(TAG, "Failed to enable low light boost: camera is closed or value has changed", e)
  }
}

3. Monitorar o estado

Só porque você solicitou o modo, não significa que ele está "turbinando" no momento. O sistema só ativa o recurso quando a cena está realmente escura. Você pode configurar um Observer para atualizar sua IU (como mostrar um ícone de lua) ou converter em um Flow usando a função de extensão asFlow().

if (isLlbSupported) {
  camera?.cameraInfo.lowLightBoostState.asFlow().collectLatest { state ->
    // Update UI accordingly
    updateMoonIcon(state == LowLightBoostState.ACTIVE)
  }
}

Leia o guia completo sobre o modo de exposição automática com Otimização em Pouca Luz aqui.

Etapa 2: Otimização em Pouca Luz do Google

Para dispositivos que não são compatíveis com o modo de AE de hardware, o Google Low Light Boost funciona como uma alternativa eficiente. Ele usa uma LowLightBoostSession para interceptar e clarear o stream.

1. Adicione dependências

Esse recurso é fornecido pelo Google Play Services.

implementation("com.google.android.gms:play-services-camera-low-light-boost:16.0.1-beta06")
// Add coroutines-play-services to simplify Task APIs
implementation("org.jetbrains.kotlinx:kotlinx-coroutines-play-services:1.10.2")

2. Inicializar o cliente

Antes de iniciar a câmera, use o LowLightBoostClient para garantir que o módulo esteja instalado e que o dispositivo seja compatível.

val llbClient = LowLightBoost.getClient(context)

// Check support and install if necessary
val isSupported = llbClient.isCameraSupported(cameraId).await()
val isInstalled = llbClient.isModuleInstalled().await()

if (isSupported && !isInstalled) {
    // Trigger installation
    llbClient.installModule(installCallback).await()
}

3. Criar uma sessão de LLB

A Google LLB processa cada frame. Por isso, você precisa fornecer sua Surface de exibição para a LowLightBoostSession, que retorna uma Surface com o clareamento aplicado. Para apps Camera2, é possível adicionar a Surface resultante com CaptureRequest.Builder.addTarget(). Para o CameraX, esse pipeline de processamento se alinha melhor com a classe CameraEffect, em que é possível aplicar o efeito com um SurfaceProcessor e fornecê-lo de volta à visualização com um SurfaceProvider, como mostrado neste código.

// With a SurfaceOutput from SurfaceProcessor.onSurfaceOutput() and a
// SurfaceRequest from Preview.SurfaceProvider.onSurfaceRequested(),
// create a LLB Session.
suspend fun createLlbSession(surfaceRequest: SurfaceRequest, outputSurfaceForLlb: Surface) {
  // 1. Create the LLB Session configuration
  val options = LowLightBoostOptions(
    outputSurfaceForLlb,
    cameraId,
    surfaceRequest.resolution.width,
    surfaceRequest.resolution.height,
    true // Start enabled
  )

  // 2. Create the session.
  val llbSession = llbClient.createSession(options, callback).await()

  // 3. Get the surface to use.
  val llbInputSurface = llbSession.getCameraSurface()

  // 4. Provide the surface to the CameraX Preview UseCase.
  surfaceRequest.provideSurface(llbInputSurface, executor, resultListener)

  // 5. Set the scene detector callback to monitor how much boost is being applied.
  val onSceneBrightnessChanged = object : SceneDetectorCallback {
    override fun onSceneBrightnessChanged(
      session: LowLightBoostSession,
      boostStrength: Float
    ) {
      // Monitor the boostStrength from 0 (no boosting) to 1 (maximum boosting)
    }
  }
  llbSession.setSceneDetectorCallback(onSceneBrightnessChanged, null)
}

4. Transmitir os metadados

Para que o algoritmo funcione, ele precisa analisar o estado de exposição automática da câmera. É necessário transmitir os resultados da captura de volta para a sessão do LLB. Na CameraX, isso pode ser feito estendendo o Preview.Builder com Camera2Interop.Extender.setSessionCaptureCallback().

Camera2Interop.Extender(previewBuilder).setSessionCaptureCallback(
  object : CameraCaptureSession.CaptureCallback() {
    override fun onCaptureCompleted(
      session: CameraCaptureSession,
      request: CaptureRequest,
      result: TotalCaptureResult
    ) {
      super.onCaptureCompleted(session, request, result)
      llbSession?.processCaptureResult(result)
    }
  }
)

As etapas detalhadas de implementação para o cliente e a sessão podem ser encontradas no guia do Google Low Light Boost.

Próximas etapas

Ao implementar essas duas opções, você garante que os usuários possam ver com clareza, ler com confiabilidade e interagir de forma eficaz, independentemente das condições de iluminação.

Para conferir esses recursos em ação em uma base de código completa e pronta para produção, confira o app Jetpack Camera no GitHub. Ele implementa o modo AE de LLB e o LLB do Google, oferecendo uma referência para sua própria integração. 

Escrito por:
Continue lendo