A Muse Glimmer a nagy felhős rendszerek helyett közvetlenül Macen vagy PC-n is működhet. A Meta nyílt súlyokkal tette elérhetővé az új modellt, amelyet hosszabb, önállóan végrehajtott feladatokra fejlesztettek.
A Meta augusztus 10-én mutatta be Muse Glimmer nevű új generatív mesterséges intelligencia modelljét, amelyet kifejezetten helyi futtatásra tervezett. A Reuters beszámolója szerint a rendszer egy Macen vagy PC-n, egyetlen megfelelő grafikus kártyával is használható. Ez jelentős különbség a legnagyobb modellekhez képest, amelyek működtetéséhez jellemzően nagy adatközpontokra és folyamatos felhőkapcsolatra van szükség.
A Meta hivatalos dokumentációja szerint a Muse Glimmer 30 milliárd paraméteres modell, amely Apache 2.0 licenccel és nyílt súlyokkal érhető el. A rendszer eszközhasználatra, hosszabb feladatok végrehajtására és hibák utáni helyreállásra is optimalizált. A generatív mesterséges intelligencia így nemcsak válaszokat adhat, hanem egy folyamat több egymást követő lépését is kezelheti.
A Business Insider szerint a modell olyan feladatokhoz használható, mint a programozás vagy különböző adminisztratív munkák. A helyi működés előnye, hogy bizonyos adatoknak nem feltétlenül kell külső felhőszolgáltatóhoz kerülniük, miközben a használat sem minden esetben jár folyamatos tokenalapú költséggel. A Muse Glimmer ugyanakkor kisebb rendszer a vezető felhős csúcsmodelleknél, ezért nem minden összetett feladatra ezek közvetlen helyettesítője.
Olvasd el: 300 millió előfizető után új generatív zenei piacot épít a Spotify
A generatív mesterséges intelligencia következő nagy lépése az lehet, hogy a felhőből visszaköltözik a saját számítógépeinkre?
A helyben működő modellek különösen olyan vállalatok és fejlesztők számára lehetnek érdekesek, amelyek nagyobb ellenőrzést szeretnének az adatok és a rendszer működése felett. A nyílt súlyok lehetővé teszik a modell módosítását és saját alkalmazásokba történő beépítését is. Ez más üzleti modellt jelent, mint amikor a felhasználó kizárólag egy külső szolgáltató programozási felületén keresztül fér hozzá a generatív mesterséges intelligenciához.
A kisebb modellméret természetesen kompromisszumokkal járhat. Egy helyben futó rendszer számítási kapacitása korlátozottabb lehet a hatalmas adatközpontokban működő modellekénél, miközben az eszközhasználatra épülő automatizálás biztonsági ellenőrzést is igényel. A megfelelő feladatra kiválasztott helyi modell mégis kedvezőbb lehet, ha a gyorsaság, az adatkezelés vagy az üzemeltetési költség fontosabb a maximális modellképességnél.
A Meta jelezte, hogy további és nagyobb nyílt súlyú modelleket is tervez megjelentetni. A Muse Glimmer ezért nem egyszerűen egy újabb modell a kínálatban, hanem egy olyan fejlesztési irány része, amelyben a generatív mesterséges intelligencia közvetlenül a felhasználó saját hardverén végezhet hosszabb munkafolyamatokat. A helyi és a felhőalapú rendszerek közötti választás ezzel egyre fontosabb technológiai döntéssé válhat.
Olvasd el ezt is: A Meta generatív mesterséges intelligenciája már egész szoftverprojekten dolgozik
Források: Meta, Reuters, Business Insider
CS.SZ.
