MoviEdit néven új videószerkesztő mesterséges intelligencia rendszert mutattak be az Adobe Research és a dél-koreai KAIST kutatói. A generatív mesterséges intelligencia egyetlen szöveges utasítás alapján több egymást követő videójeleneten is végrehajthatja ugyanazt a módosítást, miközben megpróbálja következetesen megőrizni a szereplők és tárgyak megjelenését. A kutatók 87 ezer tanítópárt használtak fel, és akár 25 másodperces videók szerkesztését is bemutatták.
Az Adobe Research és a KAIST kutatócsoportja november 2-án tette közzé a MoviEdit működését bemutató tanulmányt. A fejlesztés egy olyan problémára keres megoldást, amely a hagyományos generatív videószerkesztő rendszereknél gyakran jelentkezik. Ha egy videó több kameranézetből vagy egymást követő jelenetből áll, a mesterséges intelligencia nem feltétlenül képes minden részletben következetesen végrehajtani ugyanazt a módosítást. Egy szereplő ruházata, egy tárgy színe vagy egy hozzáadott elem a vágás után megváltozhat, eltűnhet, vagy váratlanul más formában jelenhet meg.
A MoviEdit kétlépcsős feldolgozási módszert használ. Az első szakaszban egy kisebb felbontású, időben tömörített videón megtervezi az egész felvételre vonatkozó változtatást. A második szakaszban részletesebben kidolgozza az egyes jeleneteket, miközben figyelembe veszi az előző képkockákban már kialakított módosításokat. A felhasználó egyszerű szöveges utasítással, például egy tárgy hozzáadásának vagy egy szereplő megjelenésének megváltoztatásával irányíthatja a szerkesztést. A rendszer akár egyetlen, kézzel módosított referenciaképkockából is kiindulhat.
A kutatók 61 251 eredeti videóból automatikus adatfeldolgozással összesen 86 619 tanítópárt állítottak elő. A modell teljesítményét külön létrehozott, MoviEdit-Bench nevű tesztkörnyezetben értékelték, amely 128 szerkesztési feladatot tartalmaz. A szöveges utasításokkal végzett szerkesztési tesztben a MoviEdit 79 százalékos összesített sikerességet ért el, míg az összehasonlításban szereplő Runway Aleph 2.0 76,4 százalékot. A rendszer egy 15 másodperces, 540p felbontású videót a kutatók saját tesztjeiben 11,8 másodperc alatt dolgozott fel nyolc NVIDIA H100 grafikus processzoron. Ezek kutatói benchmarkeredmények, nem általános felhasználói teljesítményadatok.
Olvasd el: ChatGPT-ből és Claude-ból is kereshet a generatív mesterséges intelligencia többórás videótárakban
Mennyivel változhat meg a videógyártás, ha a szerkesztőnek már nem kell külön-külön módosítania minden jelenetet, mert a mesterséges intelligencia az egész felvételen következetesen alkalmazza ugyanazt az utasítást?
A fejlesztés hosszabb távon különösen a reklámfilmek, közösségi médiás videók és rövidebb kreatív produkciók készítésénél lehet érdekes. Egy termék színe, egy szereplő ruházata vagy a teljes jelenet vizuális stílusa több kameranézeten keresztül is módosítható lehetne. Ez a jelenlegi, gyakran manuális maszkolást, követést és képkockánkénti ellenőrzést igénylő feladatok egy részét csökkenthetné. A MoviEdit megközelítése azért is figyelemre méltó, mert a szerkesztési utasítás végrehajtásához nem kell feltétlenül a teljes videót egyszerre, teljes felbontásban feldolgozni.
Az eredmény ugyanakkor még nem jelent azonnal használható professzionális videószerkesztő alkalmazást. A kutatók a modell súlyait és teljes működő rendszerét nem tették nyilvánosan elérhetővé, jelenleg elsősorban a tanulmány, a tesztkörnyezet és a bemutatott eredmények vizsgálhatók. A 25 másodperces kísérletek szintén jóval rövidebbek egy teljes reklámfilmnél vagy dokumentumvideónál, a bemutatott 540p felbontás pedig elmarad a mai professzionális videógyártásban gyakran használt formátumoktól. A kutatói összehasonlításokat további független tesztekkel is szükséges megerősíteni.
A MoviEdit kutatása mégis egy fontos technikai akadály leküzdésének lehetőségét mutatja. A generatív mesterséges intelligencia videós rendszerei egyre látványosabb új felvételeket hoznak létre, de a meglévő, több jelenetből álló anyagok pontos és következetes szerkesztése továbbra is nehéz feladat. Ha a most bemutatott módszerek később a kereskedelmi szoftverekbe is bekerülnek, a videókészítésben az egyszerű szöveges utasítások és a hagyományos szerkesztői kontroll szorosabban kapcsolódhatnak össze. A technológia valódi jelentőségét az mutatja majd meg, mennyire tudja megőrizni a vizuális következetességet hosszabb és összetettebb felvételeknél.
Olvasd el ezt is: A világ élvonalába került a Microsoft új generatív mesterséges intelligencia képszerkesztője
Források: Adobe Research, KAIST, arXiv, ExplainX, Efe Anidi
CS.SZ.
