Transformer API ใน Jetpack Media3 ออกแบบมาเพื่อแก้ไขสื่อ มีประสิทธิภาพและเสถียร Transformer รองรับการดำเนินงานหลายอย่าง ซึ่งรวมถึง
- การแก้ไขวิดีโอด้วยการตัด ปรับขนาด และหมุน
- การเพิ่มเอฟเฟกต์ เช่น การวางซ้อนและฟิลเตอร์
- การประมวลผลรูปแบบพิเศษ เช่น HDR และวิดีโอสโลว์โมชัน
- การส่งออกรายการสื่อหลังจากใช้การแก้ไข
หน้านี้จะอธิบายถึงกรณีการใช้งานที่สำคัญบางส่วนที่ครอบคลุมโดย Transformer ดูรายละเอียดเพิ่มเติมได้ในคู่มือฉบับเต็มใน Media3 Transformer
เริ่มต้นใช้งาน
หากต้องการเริ่มต้นใช้งาน ให้เพิ่มทรัพยากร Dependency ของโมดูล Transformer, Effect และ Common ของ Jetpack Media3:
implementation "androidx.media3:media3-transformer:1.4.0" implementation "androidx.media3:media3-effect:1.4.0" implementation "androidx.media3:media3-common:1.4.0"
โปรดแทนที่ 1.4.0
ด้วยเวอร์ชันที่ต้องการ
ไลบรารี คุณสามารถดู
บันทึกประจำรุ่น
เพื่อดูเวอร์ชันล่าสุด
ชั้นเรียนที่สำคัญ
ชั้น | วัตถุประสงค์ |
---|---|
Transformer |
เริ่มและหยุดการเปลี่ยนรูปแบบ รวมถึงตรวจหาการอัปเดตความคืบหน้าในการเปลี่ยนรูปแบบที่ทํางานอยู่ |
EditedMediaItem |
หมายถึงรายการสื่อที่จะประมวลผลและการแก้ไขที่จะใช้กับรายการ |
Effects |
คอลเล็กชันเอฟเฟกต์เสียงและวิดีโอ |
กำหนดค่าเอาต์พุต
เมื่อใช้ Transformer.Builder
คุณจะระบุ videoMimeType
และ
ไดเรกทอรี audioMimetype
โดยการตั้งค่าฟังก์ชันโดยไม่ต้องสร้าง
TransformationRequest
ออบเจ็กต์
แปลงรูปแบบไฟล์
โค้ดต่อไปนี้แสดงวิธีกำหนดค่าออบเจ็กต์ Transformer
เป็น
เอาต์พุตวิดีโอ H.265/AVC และเสียง AAC:
Kotlin
val transformer = Transformer.Builder(context) .setVideoMimeType(MimeTypes.VIDEO_H265) .setAudioMimeType(MimeTypes.AUDIO_AAC) .build()
Java
Transformer transformer = new Transformer.Builder(context) .setVideoMimeType(MimeTypes.VIDEO_H265) .setAudioMimeType(MimeTypes.AUDIO_AAC) .build();
หากรูปแบบสื่ออินพุตตรงกับคำขอเปลี่ยนรูปแบบสำหรับเสียงอยู่แล้ว หรือวิดีโอ Transformer จะเปลี่ยนเป็นการแปลงสัญญาณโดยอัตโนมัติ ซึ่งก็คือการคัดลอก ตัวอย่างที่บีบอัดจากคอนเทนเนอร์อินพุตไปยังคอนเทนเนอร์เอาต์พุตโดยไม่มี การแก้ไข เพื่อหลีกเลี่ยงต้นทุนในการคํานวณและการสูญเสียคุณภาพที่อาจเกิดขึ้น การถอดรหัส และการเข้ารหัสอีกครั้งในรูปแบบเดิม
ตั้งค่าโหมด HDR
หากไฟล์สื่ออินพุตอยู่ในรูปแบบ HDR คุณสามารถเลือกได้จาก
โหมดต่างๆ สำหรับ Transformer ในการประมวลผลข้อมูล HDR คุณอาจ
ต้องการใช้ HDR_MODE_KEEP_HDR
หรือ
HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL
HDR_MODE_KEEP_HDR |
HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL |
|
---|---|---|
คำอธิบาย | เก็บรักษาข้อมูล HDR ซึ่งหมายความว่ารูปแบบเอาต์พุต HDR จะเหมือนกับรูปแบบอินพุต HDR | อินพุต HDR แบบ Tonemap ไปยัง SDR โดยใช้ Tonemapper ของ OpenGL ซึ่งหมายความว่ารูปแบบเอาต์พุตจะเป็น SDR |
การสนับสนุน | รองรับใน API ระดับ 31 ขึ้นไปสำหรับอุปกรณ์ที่มีโปรแกรมเปลี่ยนไฟล์ที่มีความสามารถ FEATURE_HdrEditing |
รองรับใน API ระดับ 29 ขึ้นไป |
ข้อผิดพลาด | หากไม่รองรับ ให้พยายามใช้ HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL แทน |
หากไม่รองรับ ให้ส่ง ExportException |
ในอุปกรณ์ที่รองรับความสามารถในการเข้ารหัสที่จำเป็นและใช้ Android 13
(API ระดับ 33) ขึ้นไป ออบเจ็กต์ Transformer
ให้คุณแก้ไขวิดีโอ HDR ได้
HDR_MODE_KEEP_HDR
คือโหมดเริ่มต้นเมื่อสร้างออบเจ็กต์ Composition
ดังที่แสดงในรหัสต่อไปนี้
Kotlin
val composition = Composition.Builder( ImmutableList.of(videoSequence)) .setHdrMode(HDR_MODE_KEEP_HDR) .build()
Java
Composition composition = new Composition.Builder( ImmutableList.of(videoSequence)) .setHdrMode(Composition.HDR_MODE_KEEP_HDR) .build();
เตรียมรายการสื่อ
MediaItem
หมายถึงเสียง
หรือรายการวิดีโอ
ในแอปของคุณ EditedMediaItem
เก็บรวบรวม MediaItem
ตาม
กับการเปลี่ยนรูปแบบไปใช้ได้จริง
ตัดวิดีโอ
หากต้องการนำส่วนที่ไม่ต้องการออกจากวิดีโอ คุณตั้งค่าจุดเริ่มต้นและสิ้นสุดที่กำหนดเองได้
โดยเพิ่ม ClippingConfiguration
ลงใน MediaItem
Kotlin
val clippingConfiguration = MediaItem.ClippingConfiguration.Builder() .setStartPositionMs(10_000) // start at 10 seconds .setEndPositionMs(20_000) // end at 20 seconds .build() val mediaItem = MediaItem.Builder() .setUri(videoUri) .setClippingConfiguration(clippingConfiguration) .build()
Java
ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder() .setStartPositionMs(10_000) // start at 10 seconds .setEndPositionMs(20_000) // end at 20 seconds .build(); MediaItem mediaItem = new MediaItem.Builder() .setUri(videoUri) .setClippingConfiguration(clippingConfiguration) .build();
ใช้เอฟเฟกต์ในตัว
Media3 มีเอฟเฟกต์วิดีโอในตัว มากมายสำหรับการเปลี่ยนรูปแบบทั่วไป เช่น
ชั้น | เอฟเฟ็กต์ |
---|---|
Presentation |
ปรับขนาดรายการสื่อตามความละเอียดหรือสัดส่วนภาพ |
ScaleAndRotateTransformation |
ปรับขนาดรายการสื่อตามตัวคูณและ/หรือหมุนรายการสื่อ |
Crop |
ครอบตัดรายการสื่อให้มีเฟรมเล็กลงหรือใหญ่ขึ้น |
OverlayEffect |
เพิ่มการวางซ้อนข้อความหรือรูปภาพที่ด้านบนของรายการสื่อ |
สำหรับเอฟเฟกต์เสียง คุณสามารถเพิ่มลำดับ
AudioProcessor
อินสแตนซ์ที่จะแปลงข้อมูลเสียงดิบ (PCM) ตัวอย่างเช่น คุณสามารถใช้
ChannelMixingAudioProcessor
เพื่อมิกซ์และปรับขนาดช่องเสียง
ในการใช้เอฟเฟกต์เหล่านี้ ให้สร้างอินสแตนซ์ของเอฟเฟกต์หรือตัวประมวลผลเสียง
อินสแตนซ์ของ Effects
ที่มีเอฟเฟกต์เสียงและวิดีโอที่คุณต้องการใช้
รายการสื่อ จากนั้นเพิ่มออบเจ็กต์ Effects
ไปยัง EditedMediaItem
Kotlin
val channelMixingProcessor = ChannelMixingAudioProcessor() val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build() val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f) val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect)) val editedMediaItem = EditedMediaItem.Builder(mediaItem) .setEffects(effects) .build()
Java
ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor(); ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder() .setRotationDegrees(60f) .build(); Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f); Effects effects = new Effects( ImmutableList.of(channelMixingProcessor), ImmutableList.of(rotateEffect, cropEffect) ); EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem) .setEffects(effects) .build();
สร้างเอฟเฟกต์ที่กำหนดเอง
การขยายเอฟเฟกต์ที่รวมอยู่ใน Media3 จะทำให้คุณสร้างเอฟเฟกต์ที่กำหนดเองได้
ตามกรณีการใช้งานของคุณโดยเฉพาะ ในตัวอย่างต่อไปนี้ ใช้คลาสย่อย
MatrixTransformation
เพื่อซูมวิดีโอให้เต็มเฟรมภาพแรก
วินาทีของการเล่น:
Kotlin
val zoomEffect = MatrixTransformation { presentationTimeUs -> val transformationMatrix = Matrix() // Set the scaling factor based on the playback position val scale = min(1f, presentationTimeUs / 1_000f) transformationMatrix.postScale(/* x */ scale, /* y */ scale) transformationMatrix } val editedMediaItem = EditedMediaItem.Builder(inputMediaItem) .setEffects(Effects(listOf(), listOf(zoomEffect)) .build()
Java
MatrixTransformation zoomEffect = presentationTimeUs -> { Matrix transformationMatrix = new Matrix(); // Set the scaling factor based on the playback position float scale = min(1f, presentationTimeUs / 1_000f); transformationMatrix.postScale(/* x */ scale, /* y */ scale); return transformationMatrix; }; EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem) .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect))) .build();
หากต้องการปรับแต่งลักษณะการทำงานของเอฟเฟกต์เพิ่มเติม ให้ใช้
GlShaderProgram
เมธอด queueInputFrame()
ใช้ในการประมวลผลเฟรมอินพุต ตัวอย่างเช่น หากต้องการ
ใช้ประโยชน์จากความสามารถ
ของแมชชีนเลิร์นนิง
MediaPipe คุณสามารถใช้
MediaPipe FrameProcessor
เพื่อส่งแต่ละเฟรมผ่านกราฟ MediaPipe ดูตัวอย่างได้ใน
แอปเดโม Transformer
ดูตัวอย่างเอฟเฟกต์
คุณสามารถดูตัวอย่างเอฟเฟกต์ได้ด้วย ExoPlayer
เพิ่มลงในรายการสื่อแล้วก่อนที่จะเริ่มกระบวนการส่งออก ใช้
Effects
สำหรับ EditedMediaItem
เรียกใช้ setVideoEffects()
บน
ExoPlayer
Kotlin
val player = ExoPlayer.builder(context) .build() .also { exoPlayer -> exoPlayer.setMediaItem(inputMediaItem) exoPlayer.setVideoEffects(effects) exoPlayer.prepare() }
Java
ExoPlayer player = new ExoPlayer.builder(context).build(); player.setMediaItem(inputMediaItem); player.setVideoEffects(effects); exoPlayer.prepare();
นอกจากนี้ คุณยังดูตัวอย่างเอฟเฟกต์เสียงด้วย ExoPlayer ได้ด้วย เมื่อคุณสร้าง
ExoPlayer
ส่งใน RenderersFactory
ที่กำหนดเองซึ่งกำหนดค่าพารามิเตอร์
ตัวแสดงผลเสียงของโปรแกรมเล่นเพื่อเอาต์พุตเสียงไปยัง AudioSink
ที่ใช้
ลำดับ AudioProcessor
ในตัวอย่างด้านล่าง เราดำเนินการนี้โดยการลบล้าง
เมธอด buildAudioSink()
ของ DefaultRenderersFactory
Kotlin
val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) { override fun buildAudioSink( context: Context, enableFloatOutput: Boolean, enableAudioTrackPlaybackParams: Boolean, enableOffload: Boolean ): AudioSink? { return DefaultAudioSink.Builder(context) .setEnableFloatOutput(enableFloatOutput) .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams) .setOffloadMode(if (enableOffload) { DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED } else { DefaultAudioSink.OFFLOAD_MODE_DISABLED }) .setAudioProcessors(arrayOf(channelMixingProcessor)) .build() } }).build()
Java
ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) { @Nullable @Override protected AudioSink buildAudioSink( Context context, boolean enableFloatOutput, boolean enableAudioTrackPlaybackParams, boolean enableOffload ) { return new DefaultAudioSink.Builder(context) .setEnableFloatOutput(enableFloatOutput) .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams) .setOffloadMode( enableOffload ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED : DefaultAudioSink.OFFLOAD_MODE_DISABLED) .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor}) .build(); } }).build();
เริ่มการเปลี่ยนรูปแบบ
สุดท้าย ให้สร้าง Transformer
เพื่อใช้การแก้ไขของคุณและเริ่มส่งออก
รายการสื่อที่เป็นผลลัพธ์
Kotlin
val transformer = Transformer.Builder(context) .addListener(listener) .build() transformer.start(editedMediaItem, outputPath)
Java
Transformer transformer = new Transformer.Builder(context) .addListener(listener) .build(); transformer.start(editedMediaItem, outputPath);
ในทำนองเดียวกัน คุณก็สามารถยกเลิกกระบวนการส่งออกได้หากจำเป็น
Transformer.cancel()
ตรวจหาการอัปเดตความคืบหน้า
Transformer.start
จะแสดงผลทันทีและทำงานแบบไม่พร้อมกัน ในการค้นหา
ความคืบหน้าปัจจุบันของการเปลี่ยนรูปแบบ, การโทร
Transformer.getProgress()
วิธีนี้ต้องใช้ ProgressHolder
และหากมีสถานะความคืบหน้า
กล่าวคือ ถ้าเมธอดแสดง PROGRESS_STATE_AVAILABLE
ค่าที่ระบุ
ระบบจะอัปเดต ProgressHolder
ตามเปอร์เซ็นต์ความคืบหน้าปัจจุบัน
นอกจากนี้ คุณยังแนบไฟล์
ผู้ฟัง
ไปยัง Transformer
ของคุณเพื่อรับแจ้งเตือนเกี่ยวกับเหตุการณ์ความสำเร็จหรือข้อผิดพลาด