Estrarre i fotogrammi video

La classe FrameExtractor fornisce un modo efficiente per estrarre i frame decodificati da un MediaItem.

I casi d'uso comuni includono:

  • Generazione di miniature: creazione di miniature di alta qualità per una galleria di video o una barra di ricerca.
  • Anteprime di modifica video: visualizzazione di anteprime precise dei frame in una sequenza temporale dell'editor, che consente agli utenti di cercare i contenuti e visualizzare i frame con precisione.
  • Applicazione di trasformazioni come ridimensionamento, ritaglio o rotazione direttamente durante l'estrazione, evitando un passaggio di post-elaborazione separato.
  • Analisi dei contenuti: estrazione di frame a intervalli da inviare a una pipeline di analisi per attività come il rilevamento di scene, il riconoscimento di oggetti o il controllo qualità.

Panoramica

L'utilizzo di FrameExtractor è un processo in due passaggi:

  1. Crea l'estrattore: crea un'istanza utilizzando FrameExtractor.Builder. Passa un Context e il MediaItem che vuoi ispezionare al builder. Puoi anche concatenare i metodi di configurazione su Builder per impostazioni avanzate.
  2. Estrai fotogrammi: chiama getFrame() per estrarre un fotogramma in un timestamp specifico o getThumbnail() per richiedere una miniatura rappresentativa. Questi metodi sono asincroni e restituiscono un ListenableFuture. Pertanto, il complesso lavoro di decodifica non blocca il thread principale.

Kotlin

suspend fun extractFrame(context: Context, mediaItem: MediaItem) {
    try {
        // 1. Build the frame extractor.
        // `FrameExtractor` implements `AutoCloseable`, so wrap it in
        // a Kotlin `.use` block, which calls `close()` automatically.
        FrameExtractor.Builder(context, mediaItem).build().use { extractor ->
            // 2. Extract frames asynchronously.
            val frame = extractor.getFrame(5000L).await()
            val thumbnail = extractor.thumbnail.await()
            handleFrame(frame, thumbnail)
        }
    } catch (e: Exception) {
        Log.e(TAG, "Exception: $e")
    }
}

Java

public void extractFrame(Context context, MediaItem mediaItem) {
    // 1. Build the frame extractor.
    // `FrameExtractor` implements `AutoCloseable`, so use try-with-resources
    // so that the resources are automatically released.
    try (FrameExtractor frameExtractor = new FrameExtractor.Builder(context, mediaItem).build()) {
        // 2. Extract frames asynchronously.
        ListenableFuture<FrameExtractor.Frame> frameFuture = frameExtractor.getFrame(5000L);
        ListenableFuture<FrameExtractor.Frame> thumbnailFuture = frameExtractor.getThumbnail();

        ListenableFuture<List<Object>> allFutures = Futures.allAsList(frameFuture, thumbnailFuture);
        Futures.addCallback(allFutures, new FutureCallback<>() {
            @Override
            public void onSuccess(List<Object> result) {
                handleFrame(Futures.getUnchecked(frameFuture), Futures.getUnchecked(thumbnailFuture));
            }

            @Override
            public void onFailure(@NonNull Throwable t) {
                handleFailure(t);
            }
        }, MoreExecutors.directExecutor());
    }
}