Извлечение закодированных образцов

Класс MediaExtractorCompat – это готовая замена класса MediaExtractor платформы, предоставляющая идентичные API и функции. Он позволяет извлекать демультиплексированные, обычно закодированные, медиаданные из источника данных.

Он разделяет файл-контейнер (например, MP4 или MKV) на отдельные дорожки, такие как видео, аудио и субтитры. Затем экстрактор считывает необработанные закодированные данные из этих дорожек в виде последовательности образцов (например, одного сжатого видеокадра или блока аудио), прежде чем они будут отправлены декодеру.

Примеры использования:

  • Транскодирование или ремультиплексирование – чтение закодированных образцов из дорожки, чтобы изменить кодек (транскодирование) или переупаковать потоки в новый контейнер (ремультиплексирование), например преобразовать файл MP4 в MKV.
  • Выборочное извлечение контента. Вы можете выделить и сохранить отдельную дорожку, например извлечь аудиопоток из видеофайла.
  • Отладка на низком уровне. Проверка отдельных образцов для отладки поврежденных файлов, проблем с временными метками и других ошибок.
  • Создание специальных проигрывателей. В некоторых случаях может потребоваться создать собственный проигрыватель с полным контролем над медиаконвейером.

Обзор

В приведенном ниже фрагменте кода показано, как использовать MediaExtractorCompat:

Kotlin

fun extractSamples(context: Context, mediaPath: String) {
  val extractor = MediaExtractorCompat(context)
  try {
    // 1. Setup the extractor
    extractor.setDataSource(mediaPath)

    // Find and select available tracks
    for (i in 0 until extractor.trackCount) {
      val format = extractor.getTrackFormat(i)
      extractor.selectTrack(i)
    }

    // 2. Process samples
    val buffer = ByteBuffer.allocate(10 * 1024 * 1024)
    while (true) {
      // Read an encoded sample into the buffer.
      val bytesRead = extractor.readSampleData(buffer, 0)
      if (bytesRead < 0) break

      // Access sample metadata
      val trackIndex = extractor.sampleTrackIndex
      val presentationTimeUs = extractor.sampleTime
      val sampleSize = extractor.sampleSize

      extractor.advance()
    }
  } catch (e: IOException) {
    handleFailure(e)
  } finally {
    // 3. Release the extractor
    extractor.release()
  }
}

Java

public void extractSamples(Context context, String mediaPath) {
  MediaExtractorCompat extractor = new MediaExtractorCompat(context);
  try {
    // 1. Setup the extractor
    extractor.setDataSource(mediaPath);

    // Find and select available tracks
    for (int i = 0; i < extractor.getTrackCount(); i++) {
      MediaFormat format = extractor.getTrackFormat(i);
      extractor.selectTrack(i);
    }

    // 2. Process samples
    ByteBuffer buffer = ByteBuffer.allocate(10 * 1024 * 1024);
    while (true) {
      // Read an encoded sample into the buffer.
      int bytesRead = extractor.readSampleData(buffer, 0);
      if (bytesRead < 0) {
        break;
      }

      // Access sample metadata
      int trackIndex = extractor.getSampleTrackIndex();
      long presentationTimeUs = extractor.getSampleTime();
      long sampleSize = extractor.getSampleSize();

      extractor.advance();
    }
  } catch (IOException e) {
    handleFailure(e);
  } finally {
    // 3. Release the extractor
    extractor.release();
  }
}