Cómo extraer fotogramas de video

La clase FrameExtractor proporciona una forma eficiente de extraer fotogramas decodificados de un MediaItem.

Los casos de uso comunes incluyen los siguientes:

  • Generación de miniaturas: Creación de miniaturas de alta calidad para una galería de videos o una barra de búsqueda
  • Vistas previas de edición de video: Muestran vistas previas precisas de los fotogramas en una línea de tiempo del editor, lo que permite a los usuarios buscar contenido y visualizar fotogramas con precisión.
  • Aplicar transformaciones, como el ajuste de escala, el recorte o la rotación, directamente durante la extracción, lo que evita un paso de procesamiento posterior independiente
  • Análisis de contenido: Extrae fotogramas en intervalos para enviarlos a una canalización de análisis para tareas como la detección de escenas, el reconocimiento de objetos o el control de calidad.

Descripción general

El uso de FrameExtractor es un proceso de dos pasos:

  1. Compila el extractor: Crea una instancia con FrameExtractor.Builder. Pasa un Context y el MediaItem que deseas inspeccionar al compilador. También puedes encadenar métodos de configuración en el objeto Builder para parámetros de configuración avanzados.
  2. Extraer fotogramas: Llama a getFrame() para extraer un fotograma en una marca de tiempo específica o a getThumbnail() para solicitar una miniatura representativa. Estos métodos son asíncronos y muestran un ListenableFuture. Por lo tanto, el trabajo de decodificación complejo no bloquea el subproceso principal.

Kotlin

suspend fun extractFrame(context: Context, mediaItem: MediaItem) {
    try {
        // 1. Build the frame extractor.
        // `FrameExtractor` implements `AutoCloseable`, so wrap it in
        // a Kotlin `.use` block, which calls `close()` automatically.
        FrameExtractor.Builder(context, mediaItem).build().use { extractor ->
            // 2. Extract frames asynchronously.
            val frame = extractor.getFrame(5000L).await()
            val thumbnail = extractor.thumbnail.await()
            handleFrame(frame, thumbnail)
        }
    } catch (e: Exception) {
        Log.e(TAG, "Exception: $e")
    }
}

Java

public void extractFrame(Context context, MediaItem mediaItem) {
    // 1. Build the frame extractor.
    // `FrameExtractor` implements `AutoCloseable`, so use try-with-resources
    // so that the resources are automatically released.
    try (FrameExtractor frameExtractor = new FrameExtractor.Builder(context, mediaItem).build()) {
        // 2. Extract frames asynchronously.
        ListenableFuture<FrameExtractor.Frame> frameFuture = frameExtractor.getFrame(5000L);
        ListenableFuture<FrameExtractor.Frame> thumbnailFuture = frameExtractor.getThumbnail();

        ListenableFuture<List<Object>> allFutures = Futures.allAsList(frameFuture, thumbnailFuture);
        Futures.addCallback(allFutures, new FutureCallback<>() {
            @Override
            public void onSuccess(List<Object> result) {
                handleFrame(Futures.getUnchecked(frameFuture), Futures.getUnchecked(thumbnailFuture));
            }

            @Override
            public void onFailure(@NonNull Throwable t) {
                handleFailure(t);
            }
        }, MoreExecutors.directExecutor());
    }
}