Extrair frames de vídeo

A classe FrameExtractor oferece uma maneira eficiente de extrair frames decodificados de um MediaItem.

Os casos de uso comuns incluem:

  • Gerar miniaturas: criar miniaturas de alta qualidade para uma galeria de vídeos ou barra de busca.
  • Prévia de edição de vídeo: mostra prévias precisas de frames em uma linha do tempo do editor, permitindo que os usuários busquem conteúdo e visualizem frames com precisão.
  • Aplicar transformações, como escalonamento, corte ou rotação, diretamente durante a extração, evitando uma etapa separada de pós-processamento.
  • Análise de conteúdo: extração de frames em intervalos para enviar a um pipeline de análise em tarefas como detecção de cena, reconhecimento de objetos ou controle de qualidade.

Visão geral

Usar FrameExtractor é um processo de duas etapas:

  1. Crie o extrator: crie uma instância usando FrameExtractor.Builder. Transmita um Context e o MediaItem que você quer inspecionar para o criador. Também é possível encadear métodos de configuração no Builder para configurações avançadas.
  2. Extrair frames: chame getFrame() para extrair um frame em um carimbo de data/hora específico ou getThumbnail() para solicitar uma miniatura representativa. Esses métodos são assíncronos e retornam um ListenableFuture. Portanto, o trabalho de decodificação complexa não bloqueia a linha de execução principal.

Kotlin

suspend fun extractFrame(context: Context, mediaItem: MediaItem) {
    try {
        // 1. Build the frame extractor.
        // `FrameExtractor` implements `AutoCloseable`, so wrap it in
        // a Kotlin `.use` block, which calls `close()` automatically.
        FrameExtractor.Builder(context, mediaItem).build().use { extractor ->
            // 2. Extract frames asynchronously.
            val frame = extractor.getFrame(5000L).await()
            val thumbnail = extractor.thumbnail.await()
            handleFrame(frame, thumbnail)
        }
    } catch (e: Exception) {
        Log.e(TAG, "Exception: $e")
    }
}

Java

public void extractFrame(Context context, MediaItem mediaItem) {
    // 1. Build the frame extractor.
    // `FrameExtractor` implements `AutoCloseable`, so use try-with-resources
    // so that the resources are automatically released.
    try (FrameExtractor frameExtractor = new FrameExtractor.Builder(context, mediaItem).build()) {
        // 2. Extract frames asynchronously.
        ListenableFuture<FrameExtractor.Frame> frameFuture = frameExtractor.getFrame(5000L);
        ListenableFuture<FrameExtractor.Frame> thumbnailFuture = frameExtractor.getThumbnail();

        ListenableFuture<List<Object>> allFutures = Futures.allAsList(frameFuture, thumbnailFuture);
        Futures.addCallback(allFutures, new FutureCallback<>() {
            @Override
            public void onSuccess(List<Object> result) {
                handleFrame(Futures.getUnchecked(frameFuture), Futures.getUnchecked(thumbnailFuture));
            }

            @Override
            public void onFailure(@NonNull Throwable t) {
                handleFailure(t);
            }
        }, MoreExecutors.directExecutor());
    }
}