FastFrames néven új, valós idejű videógenerálásra fejlesztett mesterséges intelligencia modellcsaládot mutattak be az Apple és a Cornell Egyetem kutatói. A kisebb változat egy nagy teljesítményű grafikus processzoron mindössze 36 ezredmásodperc alatt képes új képkockát előállítani, miközben a kutatók szerint a korábbi rendszerekkel összevethető képminőséget biztosít. A technológia interaktív virtuális világok és valós időben irányítható generált jelenetek létrehozását is lehetővé teheti.
Az Apple és a Cornell Egyetem kutatói november 17-én tették közzé FastFrames című tanulmányukat, amely a generatív videómodellek működésének felgyorsítására kínál új módszert. A jelenlegi videógeneráló rendszerek egyre látványosabb felvételeket készítenek, de az előállításukhoz gyakran jelentős számítási idő szükséges. Ez különösen akkor jelent problémát, ha a felhasználó nem egy előre meghatározott videót szeretne létrehozni, hanem folyamatosan módosítaná a jelenetet. Az ilyen alkalmazásoknál a rendszernek szinte azonnal reagálnia kell a kameramozgásra vagy más vezérlési utasításokra.
A FastFrames úgynevezett autoregresszív diffúziós videómodellekre épül, amelyek a korábbi képkockák és az új bemeneti információk felhasználásával állítják elő a következő képet. A kutatók azt vizsgálták, mely számítási műveletek lassítják leginkább a teljes folyamatot. Megállapították, hogy nem kizárólag a képgenerálás alapvető lépései jelentenek szűk keresztmetszetet. A képi információk visszaalakítása és a korábbi állapotokat tároló gyorsítótár frissítése is jelentős késleltetést okozhat. Ezért a fejlesztők több hagyományos számítási elemet egyszerűbb, gyorsabb alternatívával helyettesítettek.
A kutatás egyik legfontosabb eredménye, hogy az 1,3 milliárd paraméteres FastFrames modell egyetlen NVIDIA B200 grafikus processzoron, 480p felbontás mellett 36 ezredmásodperces képkockánkénti késleltetést ért el. Ez másodpercenként körülbelül 28 új bemenetre adott képi reakciónak felel meg. A kutatók szerint a modell az összehasonlításban szereplő korábbi rendszernél 7,6-szer gyorsabban működött, miközben hasonló vizuális minőséget biztosított. A nagyobb, 14 milliárd paraméteres változat nyolc B200 processzor alkalmazásával 45 ezredmásodperces késleltetést ért el.
Olvasd el: A generált világ már emlékszik arra is, mit tettünk benne korábban

Mennyiben változhat meg a videojátékok és digitális szimulációk működése, ha a mesterséges intelligencia a felhasználó mozdulataira szinte azonnal képes új képi tartalmat előállítani?
A FastFrames egyik legérdekesebb felhasználási területe az interaktív virtuális környezetek létrehozása lehet. Egy hagyományos generált videóban a jelenetek előre meghatározott sorrendben követik egymást, míg egy valós idejű rendszerben a felhasználó folyamatosan befolyásolhatja a történéseket. A kutatók kameramozgással és fizikai feltételekkel vezérelt videógenerálást is bemutattak. Ez hosszabb távon olyan digitális világok kialakítását segítheti, amelyekben a felhasználó mozgása vagy döntése közvetlenül módosítja a látványt. Hasonló technológia a robotikai szimulációkban és a virtuális képzési rendszerekben is hasznos lehet.
Az eredmények értékelésekor ugyanakkor fontos figyelembe venni a kísérleti környezetet. A 36 ezredmásodperces késleltetést nagy teljesítményű NVIDIA B200 processzoron mérték, nem pedig átlagos otthoni számítógépen vagy mobiltelefonon. A kisebb modell 480p felbontás mellett érte el a bemutatott sebességet, a nagyobb változat pedig nyolc grafikus processzort igényelt. A kutatás ezért még nem jelenti azt, hogy a valós idejű generatív videó minden felhasználó számára azonnal elérhetővé vált. A módszer emellett hosszabb jeleneteknél további pontossági és következetességi kihívásokkal is szembesülhet.
A FastFrames mégis fontos áttörést jelezhet a generatív mesterséges intelligencia videós fejlődésében. A kutatás ugyanis azt mutatja, hogy a látványminőség javítása mellett a teljes feldolgozási folyamat optimalizálása is jelentős előrelépést hozhat. A következő években egyre nagyobb figyelem irányulhat azokra a modellekre, amelyek nem csupán előre elkészített videókat generálnak, hanem a felhasználók döntéseire és a környezet változásaira is képesek folyamatosan reagálni. Ha ezek a technológiák kisebb számítási kapacitással is működőképessé válnak, a generatív mesterséges intelligencia új interaktív alkalmazások alapjává válhat.
Olvasd el ezt is: Már a fizikai események következményeit is videón modellezi a generatív mesterséges intelligencia
Források: Apple, Cornell University, arXiv – FastFrames: Video Generation at Interactive Latency
CS.SZ.


