Az emberi alvás és emlékezet működéséből merített ötlettel fejlesztett új mesterséges intelligencia tanulási módszert a Google Research. A Sleep Framework nevű kutatási rendszer aktív működési és különálló „alvási” szakaszokat használ, amelyek során a modell a korábban megszerzett információkat tartósabb tudássá alakíthatja. A kutatók egy speciális vizsgálatban akár tízmillió tokennyi információ megőrzését is tesztelték.
A Google Research október 27-én mutatta be új kutatási eredményét, amely a nagy nyelvi modellek egyik alapvető korlátját próbálja kezelni. A jelenlegi rendszerek jelentős része a betanítás után viszonylag állandó tudással működik, és az új információkat gyakran csak az aktuális beszélgetés vagy a csatlakoztatott adatforrások segítségével használja. A kutatók olyan megközelítést kerestek, amelynek segítségével egy modell a működése során megszerzett tapasztalatokat hosszabb távon is beépítheti saját tudásába anélkül, hogy közben elveszítené korábban megtanult képességeit.
A Sleep Framework az emberi memória két különböző működési szakaszából merít inspirációt. Az aktív, ébrenléthez hasonlított fázisban a modell új információkat fogad és feladatokat végez, miközben az új tapasztalatok ideiglenes memóriastruktúrákba kerülnek. Az ezt követő „alvási” szakaszban a rendszer nem új felhasználói kéréseket dolgoz fel, hanem a korábban összegyűjtött információkat rendezi és építi be tartósabb paraméterstruktúrákba. A kutatók külön „álmodási” folyamatot is alkalmaznak, amelyben a modell mesterséges tanulási példákat készít, majd ezek segítségével próbálja javítani saját működését.
A Google kutatói több különböző tesztben vizsgálták az új megközelítést. A BABILong hosszú kontextusú értékelésében a módszerrel akár tízmillió tokennyi információ feldolgozásához kapcsolódó memóriamegőrzést is teszteltek. A tényszerű tudás beépítését vizsgáló kísérletekben 48,9 százalékos eredményt közöltek az egyik feladaton, míg matematikai értékelésekben az AIME és a HMMT feladatokon is javulást mutattak ki meghatározott összehasonlításokhoz képest. Ezek kutatási környezetben elért eredmények, ezért nem jelentik azt, hogy a jelenlegi kereskedelmi chatbotok automatikusan tízmillió tokennyi tartalmat tudnának tartósan megjegyezni.
Olvasd el: Világszerte megkapja az Intelligent UI-t a ChatGPT generatív mesterséges intelligencia rendszere
Mennyivel válhatnak hasznosabbá a jövő mesterséges intelligencia asszisztensei, ha nemcsak az aktuális beszélgetésben kapott információkra emlékeznek, hanem hosszabb idő alatt valóban új tudást és képességeket sajátíthatnak el?
A kutatás egyik legfontosabb problémája az úgynevezett katasztrofális felejtés. Ez akkor jelentkezhet, amikor egy mesterséges intelligencia modellt új feladatra vagy adatokra tanítanak tovább, és közben romlik a korábban megszerzett tudásának egy része. A Google módszere külön memóriaterületeket és szakértőkeverékes struktúrákat használ, hogy az új információk beépítése kevésbé zavarja a régi képességeket. Az „álmodási” szakasz mesterséges példákat állít elő, majd ezek közül a hasznosabbakat választja ki a további tanuláshoz. A módszer hosszabb távon olyan digitális asszisztensek fejlesztését segítheti, amelyek folyamatosan alkalmazkodnak új feladatokhoz és környezetekhez.
Az emberi alvással való párhuzamot ugyanakkor nem szabad szó szerint értelmezni. A rendszer nem alszik és nem álmodik emberi értelemben, hanem előre meghatározott számítási és tanulási műveleteket hajt végre. A Google által ismertetett eredmények kísérleti modellekhez és meghatározott értékelő feladatokhoz kapcsolódnak, ezért további független vizsgálatok szükségesek annak bizonyítására, hogy a módszer nagyobb, éles környezetben működő rendszereknél is tartós előnyöket biztosít. A folyamatos tanulás emellett biztonsági kihívásokat is felvet, mert a modellbe kerülő új információk pontosságát és megbízhatóságát külön ellenőrizni kell.
A Sleep Framework mégis egy lényeges fejlődési irányra világít rá. A mesterséges intelligencia modellek jelenlegi működését sok esetben a betanítás és a használat éles elválasztása jellemzi, miközben a valós munkakörnyezetben az új tapasztalatok folyamatosan keletkeznek. Ha a kutatók képesek lesznek ezeket biztonságosan és megbízhatóan beépíteni a modellek tartós tudásába, a jövő rendszerei egyre kevésbé működhetnek statikus digitális eszközként. A következő nagy kihívás az lehet, hogy a mesterséges intelligencia ne csak gyorsabban válaszoljon, hanem hosszabb távon is képes legyen tanulni a korábbi feladataiból anélkül, hogy közben elfelejtené a már megszerzett tudást.
Olvasd el ezt is: Valódi kódbázisokon tanult dolgozni a JetBrains új generatív mesterséges intelligencia modellje
Források: Google Research, Cornell University
CS.SZ.
