2024. 10. 02. - 08:40
Komoly bajba sodorhatja az internetet a generatív mesterséges intelligencia?
A kétségtelenül igen kreatív generatív mesterséges intelligencia modellek képzése akkora mennyiségű adatot igényel, hogy a fejlesztők már a közeljövőben kimeríthetik a képzési erőforrásokat. Elegendő friss, valós adat nélkül a jövőbeli generatív modellek őrültségre vannak ítélve - állapították meg a kutatók.
Megtörheti az internetet a generatív mesterséges intelligencia. Az MI-rendszerek szintetikus adatokkal kapcsolatos képzése negatív következményekkel járhat – figyelmeztettek a kutatók.
A generatív mesterséges intelligencia (genMI) modellek, amilyen például az OpenAI GPT-4o vagy a Stability AI Stable Diffusion-je, meglepően jól képesek új szövegek, kódok, képek és videók létrehozására.
A képzésük azonban olyan hatalmas mennyiségű adatot igényel, hogy a fejlesztők már most is a kínálati korlátokba ütköznek - hamarosan teljesen kimeríthetik a képzési erőforrásokat.
Olcsóbb szintetikus adatok - de milyen áron?
Az adathiány hátterében a szintetikus adatok használata a mesterséges intelligencia modellek jövőbeli generációinak betanítására csábító lehetőségnek tűnhet a nagy technológia számára, több okból is.
Többek között azért, mert az MI által szintetizált adatok olcsóbbak, mint a valósak és a szállításuk gyakorlatilag korlátlan és kevesebb adatvédelmi kockázatot jelentenek (mint az orvosi adatok esetében). Bizonyos esetekben a szintetikus adatok akár javíthatják is a mesterséges intelligencia teljesítményét. Olvasd el: Megint "gyárthat" embereket a Google mesterséges intelligenciája
Komoly bajba sodorhatja az internetet a generatív mesterséges intelligencia?
A Rice Egyetem Digital Signal Processing csoportjának legutóbbi munkája azonban felfedezte, hogy a szintetikus adatok „étrendje” jelentős negatív hatással lehet a generatív MI modellek jövőbeli iterációira.
„Problémák akkor adódnak, ha ez a szintetikus adatképzés elkerülhetetlenül megismétlődik, egyfajta visszacsatolási hurkot képezve – amit autofágnak, avagy önfogyasztó huroknak nevezünk” - mondta Richard Baraniuk, az egyetem Rice C. Sidney Burrus elektronika- és számítástechnika professzora.
„Csoportunk sokat dolgozott az ilyen visszacsatolási hurkon és a rossz hír az, hogy az új modellek még néhány generációnyi képzés után is helyrehozhatatlanul megsérülhetnek” – tette hozzá.
Mint mondta, ezt egyesek - legutóbb a kollégáik – „modellösszeomlásnak” nevezték. A területen a nagy nyelvi modellek (LLM) összefüggésében azonban a „modell autofágia-rendellenesség” (MAD) kifejezést találták találóbbnak, a kergemarhakór analógiájára, amely mint ismert, halálos idegrendszeri degeneratív betegség.
A kergemarhakór annak eredményeként terjedt el, hogy a teheneket levágott társaik feldolgozott maradékaival etették – innen ered a görög auto- szóból eredő „autofágia” kifejezés.
A Self-Consuming Generative Models Go MAD című tanulmány az első lektorált munka a mesterséges intelligencia-autofágiával kapcsolatban - olyan generatív képmodellekre összpontosít, mint a népszerű DALL·E 3, a Midjourney és a Stable Diffusion.
„Úgy döntöttünk, vizuális mesterséges intelligencia modelleken dolgozunk, hogy jobban rávilágítsunk az autofág képzés hátrányaira, de ugyanazok a kergemarha-problémák fordulnak elő az LLM-ekkel is, ahogyan erre más csoportok is rámutattak” - mondta Baraniuk.
Nagy az esély az önfogyasztó hurkokra
Általában az internet a generatív mesterséges intelligencia modellek betanítási adatkészleteinek forrása, így a szintetikus adatok online terjedésével valószínűleg a modellek minden egyes generációjával önfogyasztó hurkok jelennek meg.
Annak érdekében, hogy betekintést nyerjenek a különböző forgatókönyvekbe – vagyis, hogy miként játszódhat ez le - Baraniuk és csapata az önfogyasztó képzési hurkok három változatát tanulmányozta, azzal a céllal, hogy valósághű ábrázolást nyújtsanak arról, hogyan kombinálódnak a valós és szintetikus adatok a generatív modellek képzési adatkészleteivé.
A ciklusok progresszív iterációi felfedték, hogy idővel és elegendő friss valós adat hiányában a modellek egyre torzabb kimeneteket generálnak – ezekből pedig hiányzik a minőség, a diverzitás vagy mindkettő.
Más szóval, minél több friss adat, annál egészségesebb a mesterséges intelligencia.
A modellek egymást követő generációiból származó képi adatkészletek egymás melletti összehasonlítása például kísérteties képet fest a lehetséges mesterséges intelligencia jövőjéről.
A számokból álló adatkészletek megfejthetetlen firkákká alakulnak, az emberi arcokból álló adatkészleteket egyre inkább rácsszerű hegek csíkozzák.
„Elméleti és empirikus elemzéseink lehetővé tették számunkra, hogy extrapoláljuk, mi történhet, amikor a generatív modellek mindenütt jelen vannak és a jövő modelljeit önfogyasztó hurkokra oktatjuk. Egyes következmények egyértelműek: elegendő friss valós adat nélkül a jövőbeli generatív modellek őrültségre vannak ítélve” – mondta el a professzor.
B.A.
