このページは Cloud Translation API によって翻訳されました。

Media3 Transformer を使用して基本的な動画編集アプリを作成する

Jetpack Media3 の Transformer API は、メディア編集を可能にするように設計されています。パフォーマンスと信頼性に優れていますTransformer は多くのオペレーション、含まれます。

トリミング、スケーリング、回転による動画の変更
オーバーレイやフィルタなどの効果を追加する
HDR やスローモーション動画などの特殊な形式の処理
編集を適用した後にメディアアイテムをエクスポートする

このページでは、このモジュールで取り上げる主なユースケースについて Transformer です。詳細については、このモジュールの Media3 Transformer。

始める

まず、Transformer、Effect、Common モジュールに対する依存関係を追加します。 Jetpack Media3:

implementation "androidx.media3:media3-transformer:1.4.1"
implementation "androidx.media3:media3-effect:1.4.1"
implementation "androidx.media3:media3-common:1.4.1"

1.4.1 は、ご使用のバージョンに置き換えてください。ライブラリです。詳しくは、リリースノート最新のバージョンを確認してください。

重要なクラス

クラス	目的
`Transformer`	変換を開始および停止し、実行中の変換の進行状況を確認します。
`EditedMediaItem`	処理するメディアアイテムとそれに適用する編集を表します。
`Effects`	音声エフェクトと動画エフェクトのコレクション。

出力を構成する

Transformer.Builder では、videoMimeType と audioMimetype ディレクトリの作成なしで関数を設定すれば、 TransformationRequest オブジェクト。

フォーマット間のコード変換

次のコードは、Transformer オブジェクトを H.265/AVC 動画と AAC オーディオを出力する機能:

Kotlin

val transformer = Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build()

Java

Transformer transformer = new Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build();

入力メディア形式が音声の変換リクエストとすでに一致している場合 Transformer は、Transmuxing（変換、圧縮されたサンプルが入力コンテナから出力コンテナにあります。これにより、モデルの計算コストや品質の低下を再エンコードを行います。

HDR モードを設定する

入力メディアファイルが HDR 形式の場合、数種類から選択できます Transformer による HDR 情報の処理方法に関する複数のモードがあります。おそらく HDR_MODE_KEEP_HDR または HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL。

	`HDR_MODE_KEEP_HDR`	`HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL`
説明	HDR データを保持します。つまり、HDR 出力形式は HDR 入力形式と同じです。	OpenGL トーンマッパーを使用して HDR 入力を SDR にトーンマッピングします。つまり、出力形式は SDR になります。
サポート	`FEATURE_HdrEditing` 機能を備えたエンコーダを備えたデバイスの場合、API レベル 31 以降でサポートされています。	API レベル 29 以降でサポートされています。
エラー	サポートされていない場合は、代わりに `HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL` を使用します。	サポートされていない場合は、`ExportException` がスローされます。

必要なエンコード機能をサポートし、Android 13 を搭載したデバイス（API レベル 33）以降では、Transformer オブジェクトを使用して HDR 動画を編集できます。 HDR_MODE_KEEP_HDR は、Composition オブジェクト構築時のデフォルトモードです。コードのようになります。

Kotlin

val composition = Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(HDR_MODE_KEEP_HDR)
    .build()

Java

Composition composition = new Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(Composition.HDR_MODE_KEEP_HDR)
    .build();

メディアアイテムを準備する

MediaItem は音声を表す追加できますEditedMediaItem は MediaItem を収集します。適用する変換が含まれます

動画をカットする

動画内の不要な部分を削除するには、カスタムの開始と終了を設定します MediaItem に ClippingConfiguration を追加することで、位置を変更できます。

Kotlin

val clippingConfiguration = MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build()
val mediaItem = MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build()

Java

ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build();
MediaItem mediaItem = new MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build();

組み込みのエフェクトを使用する

Media3 には、一般的な変換、次に例を示します。

クラス	効果
`Presentation`	メディアアイテムを解像度またはアスペクト比で拡大縮小する
`ScaleAndRotateTransformation`	メディアアイテムを乗数で拡大縮小するか、メディアアイテムをローテーションしてください
`Crop`	メディアアイテムを小さなフレームまたは大きなフレームに切り抜く
`OverlayEffect`	メディアアイテムの上にテキストまたはイメージオーバーレイを追加する

オーディオエフェクトの場合は、 AudioProcessor 未加工（PCM）音声データを変換する複数のインスタンスがあります。たとえば、 ChannelMixingAudioProcessor 音声チャンネルのミキシングやスケーリングを行えます。

これらのエフェクトを使用するには、そのエフェクトまたはオーディオプロセッサのインスタンスを作成し、適用する音声効果と動画効果を含む Effects のインスタンス次に、Effects オブジェクトを EditedMediaItem に追加します。

Kotlin

val channelMixingProcessor = ChannelMixingAudioProcessor()
val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build()
val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f)

val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect))

val editedMediaItem = EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build()

Java

ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor();
ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder()
    .setRotationDegrees(60f)
    .build();
Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f);

Effects effects = new Effects(
    ImmutableList.of(channelMixingProcessor),
    ImmutableList.of(rotateEffect, cropEffect)
);

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build();

カスタムエフェクトを作成する

Media3 に含まれるエフェクトを拡張することで、カスタムエフェクトを作成できます。固有のユースケースに適応できます次の例では、サブクラスを使用します。 MatrixTransformation: 動画を拡大して最初のフレーム内に収める :

Kotlin

val zoomEffect = MatrixTransformation { presentationTimeUs ->
    val transformationMatrix = Matrix()
    // Set the scaling factor based on the playback position
    val scale = min(1f, presentationTimeUs / 1_000f)
    transformationMatrix.postScale(/* x */ scale, /* y */ scale)
    transformationMatrix
}

val editedMediaItem = EditedMediaItem.Builder(inputMediaItem)
    .setEffects(Effects(listOf(), listOf(zoomEffect))
    .build()

Java

MatrixTransformation zoomEffect = presentationTimeUs -> {
    Matrix transformationMatrix = new Matrix();
    // Set the scaling factor based on the playback position
    float scale = min(1f, presentationTimeUs / 1_000f);
    transformationMatrix.postScale(/* x */ scale, /* y */ scale);
    return transformationMatrix;
};

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem)
    .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect)))
    .build();

効果の動作をさらにカスタマイズするには、 GlShaderProgram。「 queueInputFrame() メソッドは入力フレームを処理するために使用されます。たとえば、 Google Cloud の ML 機能を MediaPipe では、 MediaPipe FrameProcessor MediaPipe グラフを介して各フレームを送信しますこの例を Transformer デモアプリ。

効果をプレビュー

ExoPlayer を使用すると、効果をプレビューできます。追加する必要があります。同じ Effects オブジェクトについては、EditedMediaItem を setVideoEffects() を呼び出して ExoPlayer インスタンス。

Kotlin

val player = ExoPlayer.builder(context)
    .build()
    .also { exoPlayer ->
        exoPlayer.setMediaItem(inputMediaItem)
        exoPlayer.setVideoEffects(effects)
        exoPlayer.prepare()
    }

Java

ExoPlayer player = new ExoPlayer.builder(context).build();
player.setMediaItem(inputMediaItem);
player.setVideoEffects(effects);
exoPlayer.prepare();

ExoPlayer でオーディオエフェクトをプレビューすることもできます。カスタムモデルを構築する際は、 ExoPlayer インスタンスを設定するには、このインターフェースを構成するカスタムの RenderersFactory をのオーディオレンダラを使用して、オーディオを AudioSink に出力します。 AudioProcessor シーケンス。以下の例では、 DefaultRenderersFactory の buildAudioSink() メソッド。

Kotlin

val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) {
    override fun buildAudioSink(
        context: Context,
        enableFloatOutput: Boolean,
        enableAudioTrackPlaybackParams: Boolean,
        enableOffload: Boolean
    ): AudioSink? {
        return DefaultAudioSink.Builder(context)
            .setEnableFloatOutput(enableFloatOutput)
            .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
            .setOffloadMode(if (enableOffload) {
                     DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                } else {
                    DefaultAudioSink.OFFLOAD_MODE_DISABLED
                })
            .setAudioProcessors(arrayOf(channelMixingProcessor))
            .build()
        }
    }).build()

Java

ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) {
        @Nullable
        @Override
        protected AudioSink buildAudioSink(
            Context context,
            boolean enableFloatOutput,
            boolean enableAudioTrackPlaybackParams,
            boolean enableOffload
        ) {
            return new DefaultAudioSink.Builder(context)
                .setEnableFloatOutput(enableFloatOutput)
                .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
                .setOffloadMode(
                    enableOffload
                        ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                        : DefaultAudioSink.OFFLOAD_MODE_DISABLED)
                .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor})
                .build();
        }
    }).build();

変換を開始する

最後に、Transformer を作成して編集内容を適用し、結果として得られるメディアアイテムです。

Kotlin

val transformer = Transformer.Builder(context)
    .addListener(listener)
    .build()
transformer.start(editedMediaItem, outputPath)

Java

Transformer transformer = new Transformer.Builder(context)
    .addListener(listener)
    .build();
transformer.start(editedMediaItem, outputPath);

エクスポートプロセスも、必要に応じてキャンセルできます。 Transformer.cancel()。

進行状況の更新を確認する

Transformer.start はすぐに返され、非同期で実行されます。クエリを行うために、現在の変革の進捗状況、 Transformer.getProgress()。このメソッドは ProgressHolder を受け取り、進行状況が利用可能な場合、つまり、メソッドが PROGRESS_STATE_AVAILABLE を返した場合、指定された ProgressHolder は現在の進行状況の割合で更新されます。

また、リスナー Transformer に送信して、完了またはエラーイベントに関する通知を受け取ります。

Media3 Transformer を使用して基本的な動画編集アプリを作成する

始める

重要なクラス

出力を構成する

フォーマット間のコード変換

Kotlin

Java

HDR モードを設定する

Kotlin

Java

メディア アイテムを準備する

動画をカットする

Kotlin

Java

組み込みのエフェクトを使用する

Kotlin

Java

カスタム エフェクトを作成する

Kotlin

Java

効果をプレビュー

Kotlin

Java

Kotlin

Java

変換を開始する

Kotlin

Java

進行状況の更新を確認する

メディアアイテムを準備する

カスタムエフェクトを作成する