使用 Media3 Transformer 创建基本的视频编辑应用

Jetpack Media3 中的 Transformer API 旨在用于进行媒体编辑, 性能和可靠性Transformer 支持许多操作, 包括:

  • 通过剪辑、缩放和旋转来修改视频
  • 添加叠加层和滤镜等特效
  • 处理特殊格式,例如 HDR 和慢动作视频
  • 应用修改后导出媒体内容

本页将向您介绍 Cloud SQL 中 Transformer。有关详情,您可以参阅 Media3 Transformer

开始使用

首先,请添加对 Transformer、Effect 和 Common 模块的依赖项 Jetpack Media3:

implementation "androidx.media3:media3-transformer:1.4.1"
implementation "androidx.media3:media3-effect:1.4.1"
implementation "androidx.media3:media3-common:1.4.1"

请务必将 1.4.1 替换为您偏好的 库。您可以参阅 版本说明 以查看最新版本。

重要课程

用途
Transformer 启动和停止转换,并检查正在运行的转换的进度更新。
EditedMediaItem 表示要处理的媒体项以及要应用的修改。
Effects 音频和视频效果的集合。

配置输出

借助 Transformer.Builder,您现在可以指定 videoMimeTypeaudioMimetype 目录中,无需创建 TransformationRequest 对象。

在不同格式之间转码

以下代码展示了如何将 Transformer 对象配置为 输出 H.265/AVC 视频和 AAC 音频:

Kotlin

val transformer = Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build()

Java

Transformer transformer = new Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build();

如果输入媒体格式已与音频的转换请求匹配 或视频,Transformer 会自动切换为转换,也就是复制 压缩样本从输入容器传送到输出容器, 修改。这样可以避免 以相同的格式进行解码和重新编码。

设置 HDR 模式

如果输入媒体文件是 HDR 格式,您可以选择 Transformer 处理 HDR 信息的不同模式。您很可能 想要使用 HDR_MODE_KEEP_HDRHDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL

HDR_MODE_KEEP_HDR HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL
说明 保留 HDR 数据,即 HDR 输出格式与 HDR 输入格式相同。 使用 OpenGL 色调映射器将 HDR 输入色调映射至 SDR,这意味着输出格式将为 SDR。
支持 对于包含具有 FEATURE_HdrEditing 功能的编码器的设备,API 级别 31 及更高级别支持此设置。 在 API 级别 29 及更高级别上受支持。
错误 如果不受支持,尝试改用 HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL 如果不受支持,则会抛出 ExportException

在支持所需编码功能并搭载 Android 13 的设备上 (API 级别 33)或更高版本,Transformer 对象可让您编辑 HDR 视频。 HDR_MODE_KEEP_HDR 是构建 Composition 对象时的默认模式, 如以下代码所示:

Kotlin

val composition = Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(HDR_MODE_KEEP_HDR)
    .build()

Java

Composition composition = new Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(Composition.HDR_MODE_KEEP_HDR)
    .build();

准备媒体内容

MediaItem 表示音频 或视频内容EditedMediaItem 收集 MediaItem 以及 其中包含要应用于它的转换。

剪辑视频

要移除视频中不需要的部分,你可以设置自定义开始和结束 通过向 MediaItem 添加 ClippingConfiguration 来确定位置。

Kotlin

val clippingConfiguration = MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build()
val mediaItem = MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build()

Java

ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build();
MediaItem mediaItem = new MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build();

使用内置效果

Media3 包含许多用于常见转换的内置视频特效, 例如:

影响
Presentation 按分辨率或宽高比缩放媒体内容
ScaleAndRotateTransformation 按倍数缩放媒体项和/或旋转媒体项
Crop 将媒体项剪裁为更小或更大的帧
OverlayEffect 在媒体内容顶部添加文字图片叠加层

对于音效,您可以添加一系列 AudioProcessor 实例,用于转换原始 (PCM) 音频数据。例如,您可以使用 ChannelMixingAudioProcessor 来混合和缩放声道。

如需使用这些效果,请创建效果或音频处理器实例,构建 包含您要应用的音频和视频效果的 Effects 实例 然后将 Effects 对象添加到 EditedMediaItem 中。

Kotlin

val channelMixingProcessor = ChannelMixingAudioProcessor()
val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build()
val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f)

val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect))

val editedMediaItem = EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build()

Java

ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor();
ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder()
    .setRotationDegrees(60f)
    .build();
Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f);

Effects effects = new Effects(
    ImmutableList.of(channelMixingProcessor),
    ImmutableList.of(rotateEffect, cropEffect)
);

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build();

创建自定义效果

通过扩展 Media3 中包含的效果,你可以创建自定义效果 根据你的应用场景进行定制在以下示例中,使用子类 MatrixTransformation,用于缩放视频以填满第一个帧 播放时间(秒):

Kotlin

val zoomEffect = MatrixTransformation { presentationTimeUs ->
    val transformationMatrix = Matrix()
    // Set the scaling factor based on the playback position
    val scale = min(1f, presentationTimeUs / 1_000f)
    transformationMatrix.postScale(/* x */ scale, /* y */ scale)
    transformationMatrix
}

val editedMediaItem = EditedMediaItem.Builder(inputMediaItem)
    .setEffects(Effects(listOf(), listOf(zoomEffect))
    .build()

Java

MatrixTransformation zoomEffect = presentationTimeUs -> {
    Matrix transformationMatrix = new Matrix();
    // Set the scaling factor based on the playback position
    float scale = min(1f, presentationTimeUs / 1_000f);
    transformationMatrix.postScale(/* x */ scale, /* y */ scale);
    return transformationMatrix;
};

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem)
    .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect)))
    .build();

要进一步自定义效果的行为,请实现 GlShaderProgram。通过 queueInputFrame() 方法用于处理输入帧。例如, 充分利用 Google Cloud 的机器学习功能 MediaPipe,您可以使用 MediaPipe FrameProcessor 通过 MediaPipe 图发送每一帧。请参见 Transformer 演示应用

预览效果

借助 ExoPlayer,您可以预览效果 添加到媒体内容中,然后再开始导出。使用相同的 Effects 对象,对EditedMediaItemsetVideoEffects() ExoPlayer 实例。

Kotlin

val player = ExoPlayer.builder(context)
    .build()
    .also { exoPlayer ->
        exoPlayer.setMediaItem(inputMediaItem)
        exoPlayer.setVideoEffects(effects)
        exoPlayer.prepare()
    }

Java

ExoPlayer player = new ExoPlayer.builder(context).build();
player.setMediaItem(inputMediaItem);
player.setVideoEffects(effects);
exoPlayer.prepare();

您还可以使用 ExoPlayer 预览音效。在构建 ExoPlayer 实例,传入一个自定义 RenderersFactory,用于配置 播放器的音频渲染程序将音频输出到AudioSink,该 AudioProcessor 序列。在下面的示例中,我们通过替换 DefaultRenderersFactorybuildAudioSink() 方法。

Kotlin

val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) {
    override fun buildAudioSink(
        context: Context,
        enableFloatOutput: Boolean,
        enableAudioTrackPlaybackParams: Boolean,
        enableOffload: Boolean
    ): AudioSink? {
        return DefaultAudioSink.Builder(context)
            .setEnableFloatOutput(enableFloatOutput)
            .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
            .setOffloadMode(if (enableOffload) {
                     DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                } else {
                    DefaultAudioSink.OFFLOAD_MODE_DISABLED
                })
            .setAudioProcessors(arrayOf(channelMixingProcessor))
            .build()
        }
    }).build()

Java

ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) {
        @Nullable
        @Override
        protected AudioSink buildAudioSink(
            Context context,
            boolean enableFloatOutput,
            boolean enableAudioTrackPlaybackParams,
            boolean enableOffload
        ) {
            return new DefaultAudioSink.Builder(context)
                .setEnableFloatOutput(enableFloatOutput)
                .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
                .setOffloadMode(
                    enableOffload
                        ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                        : DefaultAudioSink.OFFLOAD_MODE_DISABLED)
                .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor})
                .build();
        }
    }).build();

启动转换

最后,创建一个 Transformer 以应用您的修改并开始导出 媒体项。

Kotlin

val transformer = Transformer.Builder(context)
    .addListener(listener)
    .build()
transformer.start(editedMediaItem, outputPath)

Java

Transformer transformer = new Transformer.Builder(context)
    .addListener(listener)
    .build();
transformer.start(editedMediaItem, outputPath);

同样,如有需要,您可以使用 Transformer.cancel()

检查进度更新

Transformer.start 会立即返回并异步运行。要查询 当前的转型进度, Transformer.getProgress()。 此方法采用 ProgressHolder,如果进度状态可用, 也就是说,如果该方法返回 PROGRESS_STATE_AVAILABLE,则提供的 系统会使用当前的进度百分比更新“ProgressHolder”。

您还可以 监听器 发送到 Transformer,以获取有关完成或错误事件的通知。