変換

形式間のトランスコード

Transformer のビルド時に生成する音声と動画の出力形式を指定できます。たとえば、次のコードは、H.264/AVC 動画と AAC 音声を出力するように Transformer を構成する方法を示しています。

Kotlin

Transformer.Builder(context)
  .setVideoMimeType(MimeTypes.VIDEO_H264)
  .setAudioMimeType(MimeTypes.AUDIO_AAC)
  .build()

Java

new Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H264)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build();

入力メディア形式が音声 または動画の設定と一致する場合、Transformer は自動的にトランスマルチプレクスに切り替わります。つまり、圧縮されたサンプルを入力コンテナから出力コンテナにそのままコピーします。これにより、同じ形式でデコードと再エンコードを行う際の計算コストと品質の低下を回避できます。

音声または動画を削除する

EditedMediaItem.Builder を使用して音声または動画を削除します。例:

Kotlin

EditedMediaItem.Builder(inputMediaItem).setRemoveAudio(true).build()

Java

new EditedMediaItem.Builder(inputMediaItem).setRemoveAudio(true).build();

クリップをトリミングする

入力メディア アイテムにクリッピング構成を設定すると、指定した開始タイムスタンプと終了タイムスタンプ以外のメディアを削除できます。たとえば、10 秒から 20 秒の間のメディアのみを含むクリップを生成するには:

Kotlin

val inputMediaItem =
  MediaItem.Builder()
    .setUri(uri)
    .setClippingConfiguration(
      MediaItem.ClippingConfiguration.Builder()
        .setStartPositionMs(10_000)
        .setEndPositionMs(20_000)
        .build()
    )
    .build()

Java

MediaItem inputMediaItem =
    new MediaItem.Builder()
        .setUri(uri)
        .setClippingConfiguration(
            new MediaItem.ClippingConfiguration.Builder()
                .setStartPositionMs(10_000)
                .setEndPositionMs(20_000)
                .build())
        .build();

MP4 編集リスト

Transformer は MP4 編集リストをサポートしているため、トリミングを高速化できます。これにより、動画を完全に再トランスコードすることなく、より効率的な「トリミングのみ」の編集が可能になります。この方法では、既存のエンコードされたサンプルと編集リスト内の「プリロール」を使用します。プリロールは、特定の時点から再生を開始するようにプレーヤーに指示し、不要な最初のセグメントを効果的にスキップします。

トリミングのみの編集を大幅に高速化するには、experimentalSetMp4EditListTrimEnabled(true) を呼び出します。

Kotlin

Transformer.Builder(context).experimentalSetMp4EditListTrimEnabled(true).build()

Java

new Transformer.Builder(context).experimentalSetMp4EditListTrimEnabled(true).build();
すべてのメディア プレーヤーが「プレロール」位置をサポートしているわけではないことに注意してください。つまり、このようなプレーヤーを使用する場合、開始点を指定する編集リストの情報に関係なく、エンコードされたサンプルの絶対的な先頭からファイルの再生が開始されます。

トリミングを最適化する

動画の先頭のトリミングのレイテンシを短縮するには、トリミングの最適化を有効にします。

Kotlin

Transformer.Builder(context).experimentalSetTrimOptimizationEnabled(true).build()

Java

new Transformer.Builder(context).experimentalSetTrimOptimizationEnabled(true).build();

これにより、動画のデコードと再エンコードを可能な限り少なくして、再エンコードされたデータを元の動画の残りの部分とつなぎ合わせることで、エクスポートが高速化されます。最適化は、入力ファイルの一部を新しくエンコードされた出力とつなぎ合わせることができることに依存しています。つまり、エンコーダの出力形式と入力形式に互換性がある必要があります。そのため、たとえば、ファイルが元々別のエンコーダ実装のデバイスで作成された場合、最適化を適用できない可能性があります。 最適化を成功させるには、EncoderFactory を介して Transformer に提供されるエンコーダのレベルとプロファイルが入力形式と互換性がある必要があります。

この最適化は、no-op 動画エフェクトと 90 度で割り切れる回転以外のエフェクトがない単一アセット MP4 入力でのみ機能します。最適化に失敗すると、Transformer は自動的に通常のエクスポートに戻り、ExportResult.OptimizationResult で最適化の結果を報告します。

この機能は検証中であり、今後のリリースで試験運用版ではなくなる予定です。

動画編集

EditedMediaItems には、順番に適用する音声プロセッサと動画エフェクトのリストがあります。ライブラリには、一般的なユースケース向けの動画エフェクト実装が含まれています。カスタム エフェクトを作成して、編集済みメディア アイテムのビルド時に渡すこともできます。

メディアのサイズを変更できます。これは、4K や 8K 動画など、非常に高解像度の入力を処理する場合に、処理リソースや帯域幅を節約するのに役立ちます。 たとえば、高さ 480 ピクセルに比例してスケーリングするには:

Kotlin

EditedMediaItem.Builder(MediaItem.fromUri(uri))
  .setEffects(
    Effects(
      /* audioProcessors= */ listOf(),
      /* videoEffects= */ listOf(Presentation.createForHeight(480)),
    )
  )
  .build()

Java

new EditedMediaItem.Builder(MediaItem.fromUri(uri))
    .setEffects(
        new Effects(
            /* audioProcessors= */ ImmutableList.of(),
            /* videoEffects= */ ImmutableList.of(Presentation.createForHeight(480))))
    .build();

または、指定した係数でスケーリングすることもできます。たとえば、サイズを半分にするには:

Kotlin

val editedMediaItem =
  EditedMediaItem.Builder(MediaItem.fromUri(uri))
    .setEffects(
      Effects(
        /* audioProcessors= */ listOf(),
        /* videoEffects= */ listOf(
          ScaleAndRotateTransformation.Builder().setScale(.5f, .5f).build()
        ),
      )
    )
    .build()

Java

new EditedMediaItem.Builder(MediaItem.fromUri(uri))
    .setEffects(
        new Effects(
            /* audioProcessors= */ ImmutableList.of(),
            /* videoEffects= */ ImmutableList.of(
                new ScaleAndRotateTransformation.Builder().setScale(.5f, .5f).build())))
    .build();

回転も同様に構成できます。

Kotlin

EditedMediaItem.Builder(MediaItem.fromUri(uri))
  .setEffects(
    Effects(
      /* audioProcessors= */ listOf(),
      /* videoEffects= */ listOf(
        ScaleAndRotateTransformation.Builder().setRotationDegrees(90f).build()
      ),
    )
  )
  .build()

Java

new EditedMediaItem.Builder(MediaItem.fromUri(uri))
    .setEffects(
        new Effects(
            /* audioProcessors= */ ImmutableList.of(),
            /* videoEffects= */ ImmutableList.of(
                new ScaleAndRotateTransformation.Builder().setRotationDegrees(90f).build())))
    .build();

カスタム動画エフェクト

Effects コンストラクタは、適用する音声エフェクトと動画エフェクトのリストを受け取ります。内部的には、Transformer のエフェクト フレームワークは、動画エフェクトのリストを順番に適用される GL シェーダー プログラムのシーケンスに変換します。場合によっては、エフェクト フレームワークで 1 つのシェーダー プログラムで複数のエフェクトを適用できます。 たとえば、1 つのシェーダー プログラムで複数の連続する行列変換を適用できるため、効率と品質が向上します。

動画エフェクトは、ExoPlayer.setVideoEffects を使用して、ExoPlayer でのプレビューでもサポートされています。この API の使用方法の例については、 エフェクト デモアプリをご覧ください。

デモアプリには、カスタム動画エフェクトの例が含まれています。

画像入力

Transformer は、画像を静的な動画クリップとして扱うことで、画像入力をサポートします。画像を入力ソースとして構成する手順は次のとおりです。

  • MediaItem.Builder を使用して MediaItem を作成します。setImageDurationMs を呼び出して、出力動画での画像の表示時間を指定します。

  • MediaItem をラップする EditedMediaItem を作成します。EditedMediaItem.Builder#setFrameRate を使用して、生成された動画ストリームのターゲット フレームレートを指定します。

次の例は、画像入力を構成して、1 秒あたり 30 フレームの 5 秒の動画を生成する方法を示しています。

Kotlin

val imageMediaItem =
  MediaItem.Builder()
    .setUri(imageUri)
    .setImageDurationMs(5000) // 5 seconds
    .build()

val editedImageItem =
  EditedMediaItem.Builder(imageMediaItem)
    .setFrameRate(30) // 30 frames per second
    .build()

Java

MediaItem imageMediaItem =
    new MediaItem.Builder()
        .setUri(imageUri)
        .setImageDurationMs(5000) // 5 seconds
        .build();
new EditedMediaItem.Builder(imageMediaItem)
    .setFrameRate(30) // 30 frames per second
    .build();

音声編集

音声エフェクトは、AudioProcessor インスタンスのシーケンスを未加工（PCM）音声に適用することで実装されます。ExoPlayer は、音声プロセッサを DefaultAudioSink.Builder に渡すことをサポートしています。これにより、音声編集をプレビューできます。