Adobe plaagt generatieve AI-videotools

Maandag kondigde Adobe plannen aan om tools voor AI-videosynthese toe te voegen aan Premiere Pro en After Effects, meldde Reuters . Dit volgt op de aankondiging van vorige week dat videobewerking op basis van AI in mei naar Premiere Pro zou komen.

Adobe Generator-video-effecten worden geleverd door Adobe Firefly. Firefly, de modus voor beeldsynthese die we in maart hebben gebruikt, wordt uitgebreid met hulpmiddelen voor het maken van video en audio. Premiere Pro is het paradepaardje van Adobe voor videobewerking en de favoriete tool in de branche voor het bewerken van tv-programma’s en Hollywood-films.

Tegenwoordig kan het uitvoeren van bepaalde speciale effecten of bewerkingstaken vaak tijdrovend zijn. Adobe wil dit proces vereenvoudigen met generatieve kunstmatige intelligentie. In een demovideo op hun blog liet Adobe zien dat “Firefly for Video” een achtergrondsoundtrack genereert, geluidseffecten genereert, het visuele seizoen in een video verandert, een visueel effect creëert voor het woord “gesmolten”, iemands gezicht lokaliseert en opfleurt , en ook audio-opnamen maken met behulp van tekstopdrachten.

In zijn promotieblog vermeldt Adobe de functies die we kunnen verwachten van zijn nieuwe AI-tools, waaronder enkele van de hierboven genoemde (zoals het maken van geluidseffecten en muziek), evenals tekstkleurverbeteringen, tekst- en logo-animaties, automatisch gemaakte storyboards en creativiteit. co-piloten” die zogenaamd praktische tips kunnen genereren om gebruikers te helpen bewerkingsvaardigheden te leren.

Als dergelijke op tekst gebaseerde videobewerkingstools bekend in de oren klinken, komt dat omdat Runway in september soortgelijke mogelijkheden aankondigde, hoewel Runway die beloften nog moet waarmaken met de nauwkeurigheid die in de teaser wordt getoond. Evenzo is het waarschijnlijk verstandig om een ​​Adobe-marketingvideo met een korreltje zout te nemen totdat het product wordt uitgebracht.

(En alleen de tijd zal uitwijzen of Adobe Firefly ooit een video kan maken van Will Smith die spaghetti eet die kan wedijveren met het meesterwerk dat is ontwikkeld door ModelScope, een open source videosynthesemodel.)

In een aparte maar gerelateerde aankondiging vorige week kondigde Adobe de integratie aan van videotekstbewerking in Adobe Premiere Pro, waarmee editors video’s kunnen bijsnijden en opnieuw ordenen op basis van automatisch gedetecteerde spraaktranscripties die uit videoclips zijn gehaald. Hier is hoe Adobe de functie beschrijft :

Premiere Pro is de enige professionele bewerkingssoftware die op tekst gebaseerde bewerking bevat, wat een revolutie teweegbrengt in de manier waarop makers hun vak benaderen, waardoor videobewerking net zo eenvoudig wordt als het kopiëren en plakken van tekst. Tekstbewerking, mogelijk gemaakt door Adobe Sensei, ontleedt en transcribeert clips automatisch, zodat redacteuren, producenten en assistenten eenvoudig zinnen in elke gewenste volgorde kunnen kopiëren en plakken en ze meteen op de tijdlijn kunnen zien verschijnen. Transcripties kunnen worden doorzocht in het transcriptievenster om exacte woorden en woordgroepen te identificeren.

Adobe kondigde oorspronkelijk in oktober een vergelijkbare mogelijkheid voor het bewerken van videotekst aan als onderdeel van “Project Blink”, hoewel Adobe nu zegt dat deze functies afkomstig zijn van het ” Adobe Sensei” -framework. Het is niet duidelijk of het verschil technisch is of slechts een handelsmerk. Het is vermeldenswaard dat Descript een vergelijkbare functie biedt voor het bewerken van video’s en podcasts.

Adobe zegt dat de Firefly-functies voor video “later dit jaar” zullen worden uitgerold en dat mensen zich kunnen aanmelden om Firefly uit te proberen , dat zich momenteel in een gesloten bèta bevindt. In de tussentijd belooft Adobe dat op tekst gebaseerde videobewerking in mei naar Adobe Premiere Pro komt.