Jetpack Media3 में मौजूद Transformer API, मीडिया में बदलाव करने की प्रोसेस को बेहतर और भरोसेमंद बनाने के लिए डिज़ाइन किए गए हैं. Transformer, कई तरह की कार्रवाइयों के लिए काम करता है. इनमें ये शामिल हैं:
- वीडियो को ट्रिम करना, स्केल करना, और घुमाना
- ओवरले और फ़िल्टर जैसे इफ़ेक्ट जोड़ना
- एचडीआर और स्लो-मोशन वीडियो जैसे खास फ़ॉर्मैट को प्रोसेस करना
- बदलाव करने के बाद, मीडिया आइटम को एक्सपोर्ट करना
इस पेज पर, Transformer के कुछ अहम इस्तेमाल के उदाहरण दिए गए हैं. ज़्यादा जानकारी के लिए, Media3 Transformer से जुड़ी हमारी पूरी गाइड देखें.
शुरू करें
शुरू करने के लिए, Jetpack Media3 के Transformer, Effect, और Common मॉड्यूल पर डिपेंडेंसी जोड़ें:
implementation "androidx.media3:media3-transformer:1.10.0" implementation "androidx.media3:media3-effect:1.10.0" implementation "androidx.media3:media3-common:1.10.0"
ध्यान रखें कि 1.10.0 को लाइब्रेरी के अपने पसंदीदा वर्शन से बदलें. सबसे नया वर्शन देखने के लिए,
रिलीज़ नोट
देखें.
अहम क्लास
| क्लास | मकसद |
|---|---|
Transformer |
ट्रांसफ़ॉर्मेशन शुरू और बंद करना. साथ ही, चल रहे ट्रांसफ़ॉर्मेशन की प्रोग्रेस के बारे में अपडेट देखना. |
EditedMediaItem |
प्रोसेस किए जाने वाले मीडिया आइटम और उस पर लागू किए जाने वाले बदलावों को दिखाता है. |
Effects |
ऑडियो और वीडियो इफ़ेक्ट का कलेक्शन. |
आउटपुट को कॉन्फ़िगर करना
Transformer.Builder की मदद से, अब TransformationRequest ऑब्जेक्ट बनाए बिना, फ़ंक्शन सेट करके videoMimeType और audioMimetype डायरेक्ट्री तय की जा सकती है.
फ़ॉर्मैट के बीच ट्रांसकोड करना
यहां दिए गए कोड में, H.265/AVC वीडियो और AAC ऑडियो आउटपुट करने के लिए, Transformer ऑब्जेक्ट को कॉन्फ़िगर करने का तरीका दिखाया गया है:
Kotlin
val transformer = Transformer.Builder(context) .setVideoMimeType(MimeTypes.VIDEO_H265) .setAudioMimeType(MimeTypes.AUDIO_AAC) .build()
Java
Transformer transformer = new Transformer.Builder(context) .setVideoMimeType(MimeTypes.VIDEO_H265) .setAudioMimeType(MimeTypes.AUDIO_AAC) .build();
अगर इनपुट मीडिया का फ़ॉर्मैट, ऑडियो या वीडियो के लिए ट्रांसफ़ॉर्मेशन के अनुरोध से मेल खाता है, तो Transformer अपने-आप ट्रांसमक्सिंग पर स्विच हो जाता है. इसका मतलब है कि कंप्रेस किए गए सैंपल को, इनपुट कंटेनर से आउटपुट कंटेनर में बिना किसी बदलाव के कॉपी किया जाता है. इससे, एक ही फ़ॉर्मैट में डिकोड करने और फिर से एनकोड करने में लगने वाली कंप्यूटिंग लागत और क्वालिटी में होने वाले संभावित नुकसान से बचा जा सकता है.
एचडीआर मोड सेट करना
अगर इनपुट मीडिया फ़ाइल, एचडीआर फ़ॉर्मैट में है, तो Transformer, एचडीआर की जानकारी को कैसे प्रोसेस करता है, इसके लिए कुछ अलग-अलग मोड चुने जा सकते हैं. आम तौर पर, HDR_MODE_KEEP_HDR या HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL का इस्तेमाल किया जाता है.
HDR_MODE_KEEP_HDR |
HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL |
|
|---|---|---|
| ब्यौरा | एचडीआर डेटा को बनाए रखना. इसका मतलब है कि एचडीआर आउटपुट का फ़ॉर्मैट, एचडीआर इनपुट के फ़ॉर्मैट जैसा ही होगा. | OpenGL टोन-मैपर का इस्तेमाल करके, एचडीआर इनपुट को एसडीआर में टोनमैप करना. इसका मतलब है कि आउटपुट का फ़ॉर्मैट एसडीआर में होगा. |
| सहायता | एपीआई लेवल 31 या उससे नए वर्शन वाले उन डिवाइसों पर काम करता है जिनमें FEATURE_HdrEditing की सुविधा के साथ एनकोडर शामिल है. |
एपीआई लेवल 29 या उससे नए वर्शन वाले डिवाइसों पर काम करता है. |
| गड़बड़ियां | अगर यह सुविधा काम नहीं करती है, तो इसके बजाय HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL का इस्तेमाल करने की कोशिश की जाती है. |
अगर यह सुविधा काम नहीं करती है, तो ExportException दिखता है. |
जिन डिवाइसों पर ज़रूरी एनकोडिंग की सुविधाएं काम करती हैं और Android 13 (एपीआई लेवल 33) या उससे नया वर्शन मौजूद है उन पर, Transformer ऑब्जेक्ट की मदद से एचडीआर वीडियो में बदलाव किए जा सकते हैं.
Composition ऑब्जेक्ट बनाते समय, HDR_MODE_KEEP_HDR डिफ़ॉल्ट मोड होता है. जैसा कि यहां दिए गए कोड में दिखाया गया है:
Kotlin
val composition = Composition.Builder( ImmutableList.of(videoSequence)) .setHdrMode(HDR_MODE_KEEP_HDR) .build()
Java
Composition composition = new Composition.Builder( ImmutableList.of(videoSequence)) .setHdrMode(Composition.HDR_MODE_KEEP_HDR) .build();
मीडिया आइटम तैयार करना
A MediaItem, आपके ऐप्लिकेशन में ऑडियो
या वीडियो आइटम को दिखाता है. एक EditedMediaItem, MediaItem के साथ-साथ उस पर लागू किए जाने वाले ट्रांसफ़ॉर्मेशन को इकट्ठा करता है.
वीडियो को ट्रिम करना
वीडियो के अनचाहे हिस्सों को हटाने के लिए, MediaItem में ClippingConfiguration जोड़कर, वीडियो के शुरू और खत्म होने की जगह को अपनी पसंद के मुताबिक सेट किया जा सकता है.
Kotlin
val clippingConfiguration = MediaItem.ClippingConfiguration.Builder() .setStartPositionMs(10_000) // start at 10 seconds .setEndPositionMs(20_000) // end at 20 seconds .build() val mediaItem = MediaItem.Builder() .setUri(videoUri) .setClippingConfiguration(clippingConfiguration) .build()
Java
ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder() .setStartPositionMs(10_000) // start at 10 seconds .setEndPositionMs(20_000) // end at 20 seconds .build(); MediaItem mediaItem = new MediaItem.Builder() .setUri(videoUri) .setClippingConfiguration(clippingConfiguration) .build();
बिल्ट-इन इफ़ेक्ट इस्तेमाल करना
Media3 में, सामान्य ट्रांसफ़ॉर्मेशन के लिए कई बिल्ट-इन वीडियो इफ़ेक्ट शामिल हैं. जैसे:
| क्लास | इफ़ेक्ट |
|---|---|
Presentation |
रिज़ॉल्यूशन या आसपेक्ट रेशियो के हिसाब से, मीडिया आइटम को स्केल करना |
ScaleAndRotateTransformation |
मल्टीप्लायर के हिसाब से, मीडिया आइटम को स्केल करना और/या मीडिया आइटम को घुमाना |
Crop |
मीडिया आइटम को छोटे या बड़े फ़्रेम में क्रॉप करना |
OverlayEffect |
मीडिया आइटम के ऊपर टेक्स्ट या इमेज ओवरले जोड़ना |
ऑडियो इफ़ेक्ट के लिए,
AudioProcessor
इंस्टेंस का क्रम जोड़ा जा सकता है. इससे, रॉ (पीसीएम) ऑडियो डेटा को ट्रांसफ़ॉर्म किया जाएगा. उदाहरण के लिए, ऑडियो चैनलों को मिक्स और स्केल करने के लिए,
ChannelMixingAudioProcessor
का इस्तेमाल किया जा सकता है.
इन इफ़ेक्ट का इस्तेमाल करने के लिए, इफ़ेक्ट या ऑडियो प्रोसेसर का इंस्टेंस बनाएं. इसके बाद, उन ऑडियो और वीडियो इफ़ेक्ट के साथ Effects का इंस्टेंस बनाएं जिन्हें मीडिया आइटम पर लागू करना है. फिर, Effects ऑब्जेक्ट को EditedMediaItem में जोड़ें.
Kotlin
val channelMixingProcessor = ChannelMixingAudioProcessor() val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build() val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f) val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect)) val editedMediaItem = EditedMediaItem.Builder(mediaItem) .setEffects(effects) .build()
Java
ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor(); ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder() .setRotationDegrees(60f) .build(); Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f); Effects effects = new Effects( ImmutableList.of(channelMixingProcessor), ImmutableList.of(rotateEffect, cropEffect) ); EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem) .setEffects(effects) .build();
कस्टम इफ़ेक्ट बनाना
Media3 में शामिल इफ़ेक्ट को बढ़ाकर, अपने इस्तेमाल के उदाहरणों के हिसाब से कस्टम इफ़ेक्ट बनाए जा सकते हैं. यहां दिए गए उदाहरण में, वीडियो को ज़ूम करके, पहले सेकंड के प्लेबैक के दौरान फ़्रेम में फ़िट करने के लिए, सबक्लास MatrixTransformation का इस्तेमाल करें:
Kotlin
val zoomEffect = MatrixTransformation { presentationTimeUs -> val transformationMatrix = Matrix() // Set the scaling factor based on the playback position val scale = min(1f, presentationTimeUs / 1_000f) transformationMatrix.postScale(/* x */ scale, /* y */ scale) transformationMatrix } val editedMediaItem = EditedMediaItem.Builder(inputMediaItem) .setEffects(Effects(listOf(), listOf(zoomEffect)) .build()
Java
MatrixTransformation zoomEffect = presentationTimeUs -> { Matrix transformationMatrix = new Matrix(); // Set the scaling factor based on the playback position float scale = min(1f, presentationTimeUs / 1_000f); transformationMatrix.postScale(/* x */ scale, /* y */ scale); return transformationMatrix; }; EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem) .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect))) .build();
किसी इफ़ेक्ट के व्यवहार को और ज़्यादा पसंद के मुताबिक बनाने के लिए, GlShaderProgram लागू करें. queueInputFrame() तरीके का इस्तेमाल, इनपुट फ़्रेम को प्रोसेस करने के लिए किया जाता है. उदाहरण के लिए,
MediaPipe की मशीन लर्निंग की सुविधाओं का फ़ायदा पाने के लिए,
MediaPipe FrameProcessor
का इस्तेमाल करके, हर फ़्रेम को MediaPipe ग्राफ़ के ज़रिए भेजा जा सकता है. इसका एक उदाहरण,
Transformer के डेमो ऐप्लिकेशन में देखें.
इफ़ेक्ट की झलक देखना
ExoPlayer की मदद से, एक्सपोर्ट की प्रोसेस शुरू करने से पहले, मीडिया आइटम में जोड़े गए इफ़ेक्ट
की झलक देखी जा सकती है. EditedMediaItem के लिए इस्तेमाल किए गए
Effects ऑब्जेक्ट का इस्तेमाल करके, अपने
ExoPlayer इंस्टेंस पर setVideoEffects() को कॉल करें.
Kotlin
val player = ExoPlayer.builder(context) .build() .also { exoPlayer -> exoPlayer.setMediaItem(inputMediaItem) exoPlayer.setVideoEffects(effects) exoPlayer.prepare() }
Java
ExoPlayer player = new ExoPlayer.builder(context).build(); player.setMediaItem(inputMediaItem); player.setVideoEffects(effects); exoPlayer.prepare();
ExoPlayer की मदद से, ऑडियो इफ़ेक्ट की झलक भी देखी जा सकती है. ExoPlayer इंस्टेंस बनाते समय, कस्टम RenderersFactory पास करें. यह प्लेयर के ऑडियो रेंडरर को, AudioSink में ऑडियो आउटपुट करने के लिए कॉन्फ़िगर करता है. यह AudioSink, आपके AudioProcessor क्रम का इस्तेमाल करता है. यहां दिए गए उदाहरण में, हम DefaultRenderersFactory के buildAudioSink() तरीके को बदलकर ऐसा करते हैं.
Kotlin
val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) { override fun buildAudioSink( context: Context, enableFloatOutput: Boolean, enableAudioTrackPlaybackParams: Boolean, enableOffload: Boolean ): AudioSink? { return DefaultAudioSink.Builder(context) .setEnableFloatOutput(enableFloatOutput) .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams) .setOffloadMode(if (enableOffload) { DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED } else { DefaultAudioSink.OFFLOAD_MODE_DISABLED }) .setAudioProcessors(arrayOf(channelMixingProcessor)) .build() } }).build()
Java
ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) { @Nullable @Override protected AudioSink buildAudioSink( Context context, boolean enableFloatOutput, boolean enableAudioTrackPlaybackParams, boolean enableOffload ) { return new DefaultAudioSink.Builder(context) .setEnableFloatOutput(enableFloatOutput) .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams) .setOffloadMode( enableOffload ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED : DefaultAudioSink.OFFLOAD_MODE_DISABLED) .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor}) .build(); } }).build();
ट्रांसफ़ॉर्मेशन शुरू करना
आखिर में, अपने बदलाव लागू करने और मीडिया आइटम को एक्सपोर्ट करने के लिए, Transformer बनाएं.
Kotlin
val transformer = Transformer.Builder(context) .addListener(listener) .build() transformer.start(editedMediaItem, outputPath)
Java
Transformer transformer = new Transformer.Builder(context) .addListener(listener) .build(); transformer.start(editedMediaItem, outputPath);
ज़रूरत पड़ने पर, एक्सपोर्ट की प्रोसेस को रद्द भी किया जा सकता है
Transformer.cancel().
प्रोग्रेस के बारे में अपडेट देखना
Transformer.start तुरंत काम करता है और एसिंक्रोनस तरीके से चलता है. ट्रांसफ़ॉर्मेशन की मौजूदा प्रोग्रेस के बारे में क्वेरी करने के लिए, कॉल करें
Transformer.getProgress().
यह तरीका, ProgressHolder लेता है. अगर प्रोग्रेस की स्थिति उपलब्ध है, यानी अगर यह तरीका PROGRESS_STATE_AVAILABLE दिखाता है, तो दिए गए ProgressHolder को मौजूदा प्रोग्रेस प्रतिशत के साथ अपडेट किया जाएगा.
पूरा होने या गड़बड़ी वाले इवेंट के बारे में सूचना पाने के लिए, अपने Transformer में
लिसनर
भी जोड़ा जा सकता है.