Créer une application de montage vidéo basique à l'aide de Media3 Transformer

Les API Transformer de Jetpack Media3 sont conçues pour rendre le montage multimédia performant et fiable. Transformer est compatible avec un certain nombre d'opérations, y compris:

• Modifier une vidéo avec le découpage, la mise à l'échelle et la rotation
• Ajouter des effets tels que des superpositions et des filtres
• Traitement de formats spéciaux tels que la technologie HDR et le ralenti
• Exporter un élément multimédia après application des modifications

Cette page vous présente certains des principaux cas d'utilisation traités par Transformer. Pour en savoir plus, vous pouvez consulter nos guides complets sur Media3 Transformer.

Commencer

Pour commencer, ajoutez une dépendance aux modules Transformer, Effect et Common de Jetpack Media3:

implementation "androidx.media3:media3-transformer:1.3.1"
implementation "androidx.media3:media3-effect:1.3.1"
implementation "androidx.media3:media3-common:1.3.1"

Veillez à remplacer 1.3.1 par la version de votre choix de la bibliothèque. Reportez-vous aux notes de version pour afficher la dernière version.

Classes importantes

Configurer le résultat

Avec Transformer.Builder, vous pouvez maintenant spécifier les répertoires videoMimeType et audioMimetype en définissant la fonction sans avoir à créer un objet TransformationRequest.

Transcodage d'un format à un autre

Le code suivant montre comment configurer un objet Transformer pour générer de la vidéo H.265/AVC et de l'audio AAC:

val transformer = Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build()

Transformer transformer = new Transformer.Builder(context)
    .setVideoMimeType(MimeTypes.VIDEO_H265)
    .setAudioMimeType(MimeTypes.AUDIO_AAC)
    .build();

Si le format du support d'entrée correspond déjà à la requête de transformation pour l'audio ou la vidéo, Transformer passe automatiquement au transmuxing, c'est-à-dire en copiant les échantillons compressés du conteneur d'entrée vers le conteneur de sortie sans les modifier. Cela permet d'éviter les coûts de calcul et la perte potentielle de qualité du décodage et du réencodage dans le même format.

Définir le mode HDR

Si le fichier multimédia d'entrée est au format HDR, vous avez le choix entre plusieurs modes de traitement des informations HDR par Transformer. Vous souhaiterez probablement utiliser HDR_MODE_KEEP_HDR ou HDR_MODE_TONE_MAP_HDR_TO_SDR_USING_OPEN_GL.

Sur les appareils compatibles avec les fonctionnalités d'encodage requises et équipés d'Android 13 (niveau d'API 33) ou version ultérieure, les objets Transformer vous permettent de modifier des vidéos HDR. HDR_MODE_KEEP_HDR est le mode par défaut lors de la création de l'objet Composition, comme indiqué dans le code suivant:

val composition = Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(HDR_MODE_KEEP_HDR)
    .build()

Composition composition = new Composition.Builder(
    ImmutableList.of(videoSequence))
    .setHdrMode(Composition.HDR_MODE_KEEP_HDR)
    .build();

Préparer un élément multimédia

Un MediaItem représente un élément audio ou vidéo dans votre application. Un EditedMediaItem collecte un MediaItem avec les transformations à lui appliquer.

Couper une vidéo

Pour supprimer des parties indésirables d'une vidéo, vous pouvez définir des positions de début et de fin personnalisées en ajoutant un ClippingConfiguration au MediaItem.

val clippingConfiguration = MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build()
val mediaItem = MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build()

ClippingConfiguration clippingConfiguration = new MediaItem.ClippingConfiguration.Builder()
    .setStartPositionMs(10_000) // start at 10 seconds
    .setEndPositionMs(20_000) // end at 20 seconds
    .build();
MediaItem mediaItem = new MediaItem.Builder()
    .setUri(videoUri)
    .setClippingConfiguration(clippingConfiguration)
    .build();

Utiliser des effets intégrés

Media3 inclut un certain nombre d'effets vidéo intégrés pour les transformations courantes, par exemple:

Pour les effets audio, vous pouvez ajouter une séquence d'instances AudioProcessor qui transformeront les données audio brutes (PCM). Par exemple, vous pouvez utiliser un ChannelMixingAudioProcessor pour mélanger et mettre à l'échelle les canaux audio.

Pour utiliser ces effets, créez une instance de l'effet ou du processeur audio, créez une instance de Effects avec les effets audio et vidéo que vous souhaitez appliquer à l'élément multimédia, puis ajoutez l'objet Effects à un EditedMediaItem.

val channelMixingProcessor = ChannelMixingAudioProcessor()
val rotateEffect = ScaleAndRotateTransformation.Builder().setRotationDegrees(60f).build()
val cropEffect = Crop(-0.5f, 0.5f, -0.5f, 0.5f)

val effects = Effects(listOf(channelMixingProcessor), listOf(rotateEffect, cropEffect))

val editedMediaItem = EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build()

ChannelMixingAudioProcessor channelMixingProcessor = new ChannelMixingAudioProcessor();
ScaleAndRotateTransformation rotateEffect = new ScaleAndRotateTransformation.Builder()
    .setRotationDegrees(60f)
    .build();
Crop cropEffect = new Crop(-0.5f, 0.5f, -0.5f, 0.5f);

Effects effects = new Effects(
    ImmutableList.of(channelMixingProcessor),
    ImmutableList.of(rotateEffect, cropEffect)
);

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(mediaItem)
    .setEffects(effects)
    .build();

Créer des effets personnalisés

En étendant les effets inclus dans Media3, vous pouvez créer des effets personnalisés spécifiques à vos cas d'utilisation. Dans l'exemple suivant, utilisez la sous-classe MatrixTransformation pour zoomer sur la vidéo afin de remplir l'image pendant la première seconde de lecture:

val zoomEffect = MatrixTransformation { presentationTimeUs ->
    val transformationMatrix = Matrix()
    // Set the scaling factor based on the playback position
    val scale = min(1f, presentationTimeUs / 1_000f)
    transformationMatrix.postScale(/* x */ scale, /* y */ scale)
    transformationMatrix
}

val editedMediaItem = EditedMediaItem.Builder(inputMediaItem)
    .setEffects(Effects(listOf(), listOf(zoomEffect))
    .build()

MatrixTransformation zoomEffect = presentationTimeUs -> {
    Matrix transformationMatrix = new Matrix();
    // Set the scaling factor based on the playback position
    float scale = min(1f, presentationTimeUs / 1_000f);
    transformationMatrix.postScale(/* x */ scale, /* y */ scale);
    return transformationMatrix;
};

EditedMediaItem editedMediaItem = new EditedMediaItem.Builder(inputMediaItem)
    .setEffects(new Effects(ImmutableList.of(), ImmutableList.of(zoomEffect)))
    .build();

Pour personnaliser davantage le comportement d'un effet, implémentez un GlShaderProgram. La méthode queueInputFrame() permet de traiter les frames d'entrée. Par exemple, pour exploiter les fonctionnalités de machine learning de MediaPipe, vous pouvez utiliser un FrameProcessor MediaPipe pour envoyer chaque image via un graphique MediaPipe. Consultez un exemple dans l'application de démonstration Transformer.

Prévisualiser les effets

Avec ExoPlayer, vous pouvez prévisualiser les effets ajoutés à un élément multimédia avant de lancer le processus d'exportation. En utilisant le même objet Effects que pour EditedMediaItem, appelez setVideoEffects() sur votre instance ExoPlayer.

val player = ExoPlayer.builder(context)
    .build()
    .also { exoPlayer ->
        exoPlayer.setMediaItem(inputMediaItem)
        exoPlayer.setVideoEffects(effects)
        exoPlayer.prepare()
    }

ExoPlayer player = new ExoPlayer.builder(context).build();
player.setMediaItem(inputMediaItem);
player.setVideoEffects(effects);
exoPlayer.prepare();

Vous pouvez également prévisualiser des effets audio avec ExoPlayer. Lorsque vous créez votre instance ExoPlayer, transmettez un RenderersFactory personnalisé qui configure les moteurs de rendu audio du joueur pour qu'ils sortent le contenu audio vers un AudioSink qui utilise votre séquence AudioProcessor. Dans l'exemple ci-dessous, nous effectuons cette opération en remplaçant la méthode buildAudioSink() d'un DefaultRenderersFactory.

val player = ExoPlayer.Builder(context, object : DefaultRenderersFactory(context) {
    override fun buildAudioSink(
        context: Context,
        enableFloatOutput: Boolean,
        enableAudioTrackPlaybackParams: Boolean,
        enableOffload: Boolean
    ): AudioSink? {
        return DefaultAudioSink.Builder(context)
            .setEnableFloatOutput(enableFloatOutput)
            .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
            .setOffloadMode(if (enableOffload) {
                     DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                } else {
                    DefaultAudioSink.OFFLOAD_MODE_DISABLED
                })
            .setAudioProcessors(arrayOf(channelMixingProcessor))
            .build()
        }
    }).build()

ExoPlayer player = new ExoPlayer.Builder(context, new DefaultRenderersFactory(context) {
        @Nullable
        @Override
        protected AudioSink buildAudioSink(
            Context context,
            boolean enableFloatOutput,
            boolean enableAudioTrackPlaybackParams,
            boolean enableOffload
        ) {
            return new DefaultAudioSink.Builder(context)
                .setEnableFloatOutput(enableFloatOutput)
                .setEnableAudioTrackPlaybackParams(enableAudioTrackPlaybackParams)
                .setOffloadMode(
                    enableOffload
                        ? DefaultAudioSink.OFFLOAD_MODE_ENABLED_GAPLESS_REQUIRED
                        : DefaultAudioSink.OFFLOAD_MODE_DISABLED)
                .setAudioProcessors(new AudioProcessor[]{channelMixingProcessor})
                .build();
        }
    }).build();

Lancer une transformation

Enfin, créez un Transformer pour appliquer vos modifications et commencer à exporter l'élément multimédia obtenu.

val transformer = Transformer.Builder(context)
    .addListener(listener)
    .build()
transformer.start(editedMediaItem, outputPath)

Transformer transformer = new Transformer.Builder(context)
    .addListener(listener)
    .build();
transformer.start(editedMediaItem, outputPath);

Vous pouvez également annuler le processus d'exportation si nécessaire avec Transformer.cancel().

Vérifier la progression

Transformer.start renvoie immédiatement un résultat et s'exécute de manière asynchrone. Pour interroger la progression actuelle d'une transformation, appelez Transformer.getProgress(). Cette méthode utilise un objet ProgressHolder. Si l'état de progression est disponible, c'est-à-dire si la méthode renvoie PROGRESS_STATE_AVAILABLE, l'objet ProgressHolder fourni sera mis à jour avec le pourcentage de progression actuel.

Vous pouvez également associer un écouteur à votre Transformer pour être informé des événements d'achèvement ou d'erreur.