Új szintre lépett a generatív videó: a PixVerse szeptemberben elindított R2 rendszere nem egy lezárt klipet készít, hanem folyamatosan futó, valós időben alakítható virtuális világot. A felhasználó új utasításai menet közben változtatják meg a történetet, a rendszer pedig megőrzi a korábbi események állapotát.
A hagyományos videógenerátorok működése viszonylag egyszerű: a felhasználó megad egy utasítást, a modell létrehoz egy néhány másodperces klipet, majd a folyamat véget ér. Ha más történetet vagy mozdulatot szeretnénk, új generálást kell indítani. Az R2 ezzel szemben folyamatos videófolyamként kezeli a létrehozott világot, amely akkor is tovább fejlődik, amikor új utasítás érkezik.
A rendszer egyik legfontosabb újítása a tartós világállapot. Ha a felhasználó megváltoztat valamit egy jelenetben, annak hatása a későbbi eseményekben is megmaradhat. A modell szöveget, referenciaanyagokat, hangot és cselekvési utasításokat egyaránt képes figyelembe venni, miközben szinkronizált kép- és hangfolyamot generál. A cél az, hogy az interakciók ne egymástól elszigetelt klipek, hanem ugyanannak a folyamatos történetnek a részei legyenek.
A technológia már nem kizárólag kutatási bemutatóként működik. A PixVerse korábban elindított Game Engine rendszere is az R2-re állt át, a vállalat pedig több interaktív világot tett nyilvánosan kipróbálhatóvá. Ezekben a felhasználó nem előre rögzített választási lehetőségek közül dönt, hanem természetes nyelvű utasításokkal vagy cselekvésekkel alakíthatja a jelenetet.
Olvasd el: Generatív mesterséges intelligencia ügynökök előtt nyitja meg az okosotthont a Google
Mi történik a játékokkal és filmekkel, ha a történetet már nem előre írják meg teljesen, hanem a mesterséges intelligencia minden játékosnak menet közben generálja tovább?
Az R2 technikai alapját az úgynevezett Omni Causal AR architektúra és egy valós idejű gyorsítási réteg adja. A fejlesztők célja az volt, hogy a modell hosszabb időn keresztül is megőrizze a szereplők, tárgyak és események közötti kapcsolatokat, miközben nem veszti el a valós idejű reagálás képességét. Ez nehezebb feladat, mint egy rövid videó elkészítése, mert minden új képkockának a korábban létrehozott világgal is következetesnek kell maradnia.
Az eredményeknél azonban egyelőre indokolt az óvatosság. Az R2 képességeiről szóló részletes teljesítményállítások elsősorban a PixVerse saját technikai anyagaiból származnak, és jelenleg nincs széles körben elfogadott, független benchmark arra, hogy két valós idejű világmodell mennyire következetesen őriz meg egy hosszú történetet. A bemutatók tehát igazolják, hogy az interaktív rendszer működik, de nem bizonyítják, hogy minden hosszú vagy összetett helyzetben megőrzi a kívánt koherenciát.
A fejlesztés mégis érdekes irányváltást jelez. A generatív mesterséges intelligencia eddig jellemzően dokumentumokat, képeket, zenéket vagy rövid videókat állított elő. A világmodellek ezzel szemben nem kész végterméket akarnak létrehozni, hanem egy olyan folyamatos környezetet, amely reagál a felhasználóra. Ha ez kellően stabilan és olcsón működik, a jövő mesterséges intelligencia alapú tartalma nem feltétlenül olyan lesz, amit csak megnézünk, hanem olyan, amelybe belépünk és menet közben alakítjuk.
Olvasd el ezt is: Felére vágta két új GPT-6 modell API-árát az OpenAI
Források: PixVerse, PixVerse R2 Technical Report, Business Wire
CS.SZ.
