Adobe taquine les outils vidéo d’IA générative

Lundi, Adobe a annoncé son intention d’ajouter des outils de synthèse vidéo IA à Premiere Pro et After Effects, a rapporté Reuters . Cela fait suite à l’annonce de la semaine dernière selon laquelle le montage vidéo alimenté par l’IA arriverait sur Premiere Pro en mai.

Adobe Generator Video Effects sera fourni par Adobe Firefly. Firefly, le mode de synthèse d’images que nous avons présenté en mars, sera étendu pour inclure des outils de création vidéo et audio. Premiere Pro est l’application de montage vidéo phare d’Adobe et l’outil préféré du secteur pour le montage d’émissions de télévision et de films hollywoodiens.

De nos jours, effectuer certains effets spéciaux ou certaines tâches de montage peut souvent prendre du temps. Adobe vise à simplifier ce processus grâce à l’intelligence artificielle générative. Dans une vidéo de démonstration publiée sur leur blog, Adobe a montré « Firefly for Video » générant une bande sonore de fond, générant des effets sonores, changeant la saison visuelle dans une vidéo, créant un effet visuel pour le mot « fondu », localisant et éclaircissant le visage d’une personne , ainsi que la création d’enregistrements audio à l’aide de commandes textuelles.

Dans son blog promotionnel, Adobe mentionne les fonctionnalités que l’on pourrait attendre de ses nouveaux outils d’IA, dont certaines de celles listées ci-dessus (comme la création d’effets sonores et de musique), ainsi que des améliorations de la couleur du texte, des animations de texte et de logo, des storyboards de création automatique et la créativité. co-pilotes » qui peuvent soi-disant générer des conseils pratiques pour aider les utilisateurs à acquérir des compétences d’édition.

Si de tels outils de montage vidéo basés sur du texte vous semblent familiers, c’est parce que Runway a annoncé des capacités similaires en septembre, bien que Runway n’ait pas encore tenu ces promesses avec la précision indiquée dans le teaser. De même, il est probablement sage de prendre une vidéo marketing Adobe avec un grain de sel jusqu’à la sortie du produit.

(Et seul le temps nous dira si Adobe Firefly pourra jamais créer une vidéo de Will Smith mangeant des spaghettis qui puisse rivaliser avec le chef-d’œuvre développé par ModelScope, un modèle de synthèse vidéo open source.)

Dans une annonce distincte mais connexe la semaine dernière, Adobe a annoncé l’intégration de l’édition de texte vidéo dans Adobe Premiere Pro, qui permettra aux éditeurs de découper et de réorganiser les vidéos en fonction des transcriptions vocales détectées automatiquement extraites des clips vidéo. Voici comment Adobe décrit la fonctionnalité :

Premiere Pro est le seul logiciel de montage professionnel qui inclut l’édition basée sur le texte, révolutionnant la façon dont les créateurs abordent leur métier, rendant l’édition vidéo aussi simple que copier et coller du texte. L’édition de texte optimisée par Adobe Sensei analyse et transcrit automatiquement les clips afin que les éditeurs, les producteurs et les assistants puissent simplement copier et coller des phrases dans l’ordre de leur choix et les voir apparaître instantanément sur la chronologie. Les transcriptions peuvent être recherchées dans la fenêtre de transcription pour identifier des mots et des phrases exacts.

Adobe a initialement annoncé une capacité d’édition de texte vidéo similaire dans le cadre de « Project Blink » en octobre, bien qu’Adobe affirme maintenant que ces fonctionnalités proviennent de son cadre « Adobe Sensei ». Il n’est pas clair si la différence est technique ou juste une marque. Il convient de noter que Descript offre une fonctionnalité similaire pour l’édition de vidéos et de podcasts.

Adobe indique que ses fonctionnalités Firefly pour la vidéo commenceront à être déployées « plus tard cette année » et permettront aux gens de s’inscrire pour essayer Firefly, qui est actuellement en version bêta fermée. En attendant, Adobe promet que le montage vidéo textuel arrivera sur Adobe Premiere Pro en mai.