Tạo ứng dụng chỉnh sửa video cơ bản bằng Media3 Transformer

Các Transformer API trong Jetpack Media3 được thiết kế để giúp việc chỉnh sửa nội dung nghe nhìn trở nên hiệu quả và đáng tin cậy. Bộ chuyển đổi hỗ trợ một số thao tác, bao gồm:

• Sửa đổi video bằng cách cắt, điều chỉnh theo tỷ lệ và xoay
• Thêm các hiệu ứng như lớp phủ và bộ lọc
• Xử lý các định dạng đặc biệt như HDR và video chuyển động chậm
• Xuất một mục nội dung nghe nhìn sau khi áp dụng các nội dung chỉnh sửa

Trang này hướng dẫn bạn qua một số trường hợp sử dụng chính mà Transformer đề cập. Để biết thêm thông tin, bạn có thể xem hướng dẫn đầy đủ của chúng tôi về Media3 Transformer.

Bắt đầu

Để bắt đầu, hãy thêm phần phụ thuộc vào các mô-đun Transformer, Effect và Common của Jetpack Media3:

implementation "androidx.media3:media3-transformer:1.3.1"
implementation "androidx.media3:media3-effect:1.3.1"
implementation "androidx.media3:media3-common:1.3.1"

Hãy nhớ thay thế 1.3.1 bằng phiên bản thư viện mà bạn muốn. Bạn có thể tham khảo ghi chú phát hành để xem phiên bản mới nhất.

Các lớp quan trọng

Định cấu hình đầu ra

Với Transformer.Builder, giờ đây bạn có thể chỉ định thư mục videoMimeType và audioMimetype bằng cách thiết lập hàm này mà không cần tạo đối tượng TransformationRequest.

Chuyển mã giữa các định dạng

Mã sau đây cho biết cách định cấu hình đối tượng Transformer để xuất video H.265/AVC và âm thanh AAC:

val transformer = Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build()

Transformer transformer = new Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build();

Nếu định dạng nội dung đa phương tiện đầu vào đã khớp với yêu cầu biến đổi cho âm thanh hoặc video, thì Bộ biến áp sẽ tự động chuyển sang transmuxing (chuyển đổi), tức là sao chép các mẫu đã nén từ vùng chứa đầu vào sang vùng chứa đầu ra mà không cần sửa đổi. Điều này giúp tránh chi phí tính toán và khả năng làm giảm chất lượng khi giải mã và mã hoá lại ở cùng một định dạng.

Đặt chế độ HDR

Nếu tệp nội dung nghe nhìn đầu vào có định dạng HDR, bạn có thể chọn trong một vài chế độ để Transformer xử lý thông tin HDR. Bạn có thể muốn sử dụng HDR_MODE_KEEP_HDR hoặc HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL.

Trên các thiết bị hỗ trợ tính năng mã hoá bắt buộc và chạy Android 13 (API cấp 33) trở lên, các đối tượng Transformer cho phép bạn chỉnh sửa video HDR. HDR_MODE_KEEP_HDR là chế độ mặc định khi tạo đối tượng Composition, như minh hoạ trong đoạn mã sau:

val composition = Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(HDR_MODE_KEEP_HDR)
    .build()

Composition composition = new Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(Composition.HDR_MODE_KEEP_HDR)
    .build();

Chuẩn bị một mục nội dung đa phương tiện

MediaItem biểu thị một mục âm thanh hoặc video trong ứng dụng. EditedMediaItem thu thập MediaItem cùng với các phép biến đổi để áp dụng cho mục đó.

Cắt video

Để loại bỏ các phần không mong muốn của video, bạn có thể đặt vị trí bắt đầu và vị trí kết thúc tuỳ chỉnh bằng cách thêm ClippingConfiguration vào MediaItem.

val clippingConfiguration = MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build()
val mediaItem = MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build()

ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build();
MediaItem mediaItem = new MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build();

Dùng các hiệu ứng tích hợp sẵn

Media3 có một số hiệu ứng video tích hợp sẵn cho các phép biến đổi phổ biến, ví dụ:

Đối với hiệu ứng âm thanh, bạn có thể thêm một chuỗi các thực thể AudioProcessor sẽ chuyển đổi dữ liệu âm thanh thô (PCM). Ví dụ: bạn có thể dùng ChannelMixingAudioProcessor để kết hợp và mở rộng các kênh âm thanh.

Để sử dụng các hiệu ứng này, hãy tạo một thực thể của hiệu ứng hoặc trình xử lý âm thanh, tạo một thực thể của Effects có các hiệu ứng âm thanh và video mà bạn muốn áp dụng cho mục nội dung đa phương tiện, sau đó thêm đối tượng Effects vào EditedMediaItem.

val channelMixingProcessor = ChannelMixingAudioProcessor()
val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build()
val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f)

val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect))

val editedMediaItem = EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build()

ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor();
ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder()
    .setRotationDegrees(60f)
    .build();
Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f);

Effects effects = new Effects(
    ImmutableList.of(channelMixingProcessor),
    ImmutableList.of(rotateEffect, cropEffect)
);

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build();

Tạo hiệu ứng tuỳ chỉnh

Bằng cách mở rộng các hiệu ứng có trong Media3, bạn có thể tạo hiệu ứng tuỳ chỉnh dành riêng cho trường hợp sử dụng của mình. Trong ví dụ sau, hãy sử dụng lớp con MatrixTransformation để phóng to video lấp đầy khung hình trong một giây đầu tiên phát lại:

val zoomEffect = MatrixTransformation { presentationTimeUs ->
    val transformationMatrix = Matrix()
    // Set the scaling factor based on the playback position
    val scale = min(1f, presentationTimeUs / 1_000f)
    transformationMatrix.postScale(/* x */ scale, /* y */ scale)
    transformationMatrix
}

val editedMediaItem = EditedMediaItem.Builder(inputMediaItem)
    .setEffects(Effects(listOf(), listOf(zoomEffect))
    .build()

MatrixTransformation zoomEffect = presentationTimeUs -> {
    Matrix transformationMatrix = new Matrix();
    // Set the scaling factor based on the playback position
    float scale = min(1f, presentationTimeUs / 1_000f);
    transformationMatrix.postScale(/* x */ scale, /* y */ scale);
    return transformationMatrix;
};

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem)
    .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect)))
    .build();

Để tuỳ chỉnh thêm hành vi của một hiệu ứng, hãy triển khai GlShaderProgram. Phương thức queueInputFrame() được dùng để xử lý khung nhập. Ví dụ: để tận dụng khả năng học máy của MediaPipe, bạn có thể sử dụng MediaPipe FrameProcessor để gửi từng khung hình thông qua một biểu đồ MediaPipe. Hãy xem ví dụ về việc này trong ứng dụng minh hoạ về Transformer.

Xem trước hiệu ứng

Với ExoPlayer, bạn có thể xem trước các hiệu ứng được thêm vào một mục nội dung đa phương tiện trước khi bắt đầu quá trình xuất. Sử dụng cùng một đối tượng Effects như đối với EditedMediaItem, hãy gọi setVideoEffects() trên thực thể ExoPlayer.

val player = ExoPlayer.builder(context)
    .build()
    .also { exoPlayer ->
        exoPlayer.setMediaItem(inputMediaItem)
        exoPlayer.setVideoEffects(effects)
        exoPlayer.prepare()
    }

ExoPlayer player = new ExoPlayer.builder(context).build();
player.setMediaItem(inputMediaItem);
player.setVideoEffects(effects);
exoPlayer.prepare();

Bạn cũng có thể xem trước hiệu ứng âm thanh bằng ExoPlayer. Khi tạo thực thể ExoPlayer, hãy truyền một RenderersFactory tuỳ chỉnh giúp định cấu hình trình kết xuất âm thanh của người chơi để xuất âm thanh sang một AudioSink sử dụng trình tự AudioProcessor của bạn. Trong ví dụ bên dưới, chúng ta thực hiện việc này bằng cách ghi đè phương thức buildAudioSink() của DefaultRenderersFactory.

val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) {
    override fun buildAudioSink(
        context: Context,
        enableFloatOutput: Boolean,
        enableAudioTrackPlaybackParams: Boolean,
        enableOffload: Boolean
    ): AudioSink? {
        return DefaultAudioSink.Builder(context)
            .setEnableFloatOutput(enableFloatOutput)
            .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
            .setOffloadMode(if (enableOffload) {
                     DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                } else {
                    DefaultAudioSink.OFFLOAD_MODE_DISABLED
                })
            .setAudioProcessors(arrayOf(channelMixingProcessor))
            .build()
        }
    }).build()

ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) {
        @Nullable
        @Override
        protected AudioSink buildAudioSink(
            Context context,
            boolean enableFloatOutput,
            boolean enableAudioTrackPlaybackParams,
            boolean enableOffload
        ) {
            return new DefaultAudioSink.Builder(context)
                .setEnableFloatOutput(enableFloatOutput)
                .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
                .setOffloadMode(
                    enableOffload
                        ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                        : DefaultAudioSink.OFFLOAD_MODE_DISABLED)
                .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor})
                .build();
        }
    }).build();

Bắt đầu biến đổi

Cuối cùng, hãy tạo một Transformer để áp dụng các nội dung chỉnh sửa và bắt đầu xuất mục nội dung đa phương tiện thu được.

val transformer = Transformer.Builder(context)
    .addListener(listener)
    .build()
transformer.start(editedMediaItem, outputPath)

Transformer transformer = new Transformer.Builder(context)
    .addListener(listener)
    .build();
transformer.start(editedMediaItem, outputPath);

Tương tự như vậy, bạn có thể huỷ quy trình xuất nếu cần bằng Transformer.cancel().

Kiểm tra thông tin cập nhật về tiến trình

Transformer.start trả về ngay lập tức và chạy không đồng bộ. Để truy vấn tiến trình hiện tại của một phép biến đổi, hãy gọi Transformer.getProgress(). Phương thức này sẽ lấy một ProgressHolder và nếu có trạng thái tiến trình, tức là nếu phương thức trả về PROGRESS_STATE_AVAILABLE, thì ProgressHolder đã cung cấp sẽ được cập nhật theo tỷ lệ phần trăm tiến trình hiện tại.

Bạn cũng có thể đính kèm trình nghe vào Transformer để nhận thông báo về các sự kiện hoàn thành hoặc lỗi.