Sequora Core IP néven új processzormagot mutatott be a BrainChip, amellyel generatív mesterséges intelligencia és nagy nyelvi modellek közvetlenül akkumulátorról működő eszközökön futhatnak. A vállalat szerint az architektúra néhány millió paraméteres modellektől egészen körülbelül 3 milliárd paraméterig skálázható.
A BrainChip október 14-én jelentette be a Sequora Core IP kereskedelmi rajtját. Fontos különbség, hogy nem egy új, boltokban megvásárolható processzorról van szó, hanem licencelhető félvezetőipari szellemi tulajdonról: a chip- és rendszertervező vállalatok a Sequora magját saját rendszerchipjeikbe építhetik. A BrainChip így az Akida érzékelési és neuromorf technológiája mellé már generatív mesterséges intelligencia futtatására tervezett feldolgozómagot is kínál.
A Sequora egyik technikai alapja az úgynevezett state-space, vagyis állapottér-alapú modellarchitektúra. A BrainChip szerint ennek előnye, hogy a memóriaigény nem növekszik folyamatosan attól függően, milyen hosszú adatfolyamot vagy beszélgetést dolgoz fel a rendszer. Ez különösen olyan kisméretű eszközöknél lehet fontos, ahol nincs lehetőség a nagy felhős gyorsítókhoz hasonló memóriakapacitás és energiafelvétel biztosítására.
A vállalat szerint a Sequora néhány millió paraméteres modellektől megközelítőleg 3 milliárd paraméteres rendszerekig használható. A lehetséges alkalmazások között hangalapú asszisztensek, helyben működő MI-ügynökök, viselhető eszközök, szenzorok, robotikai rendszerek és más, folyamatos felhőkapcsolat nélkül dolgozó berendezések szerepelnek. A BrainChip azt is tervezi, hogy a Sequora és az Akida együtt olyan rendszereket alkothat, amelyek előbb érzékelik a környezetet, majd helyben értelmezik és megválaszolják a beérkező információt.
Olvasd el: Rivális mesterséges intelligencia chipeket kapcsolna össze egyetlen hálózatba az Upscale
Mi változik meg, ha a generatív mesterséges intelligenciának egyre kevesebb feladatnál kell adatot küldenie a felhőbe, mert maga az eszköz képes értelmezni és megválaszolni a kérést?
A helyben futó generatív mesterséges intelligencia több problémára egyszerre adhat választ. Rövidebb lehet a reakcióidő, kevesebb adatot kell hálózaton továbbítani, és bizonyos érzékeny információk úgy dolgozhatók fel, hogy nem hagyják el az eszközt. Akkumulátoros termékeknél azonban mindez csak akkor jelent valódi előnyt, ha a számítás energiaigénye is elég alacsony marad, ezért ezen a területen a modellek mérete mellett a memóriahasználat és az energiahatékonyság is központi kérdés.
A mostani bejelentést ugyanakkor nem szabad úgy értelmezni, mintha a BrainChip már bizonyította volna, hogy bármely 3 milliárd paraméteres modell hosszú ideig működtethető egy apró akkumulátoros eszközön. A vállalat nem közölt olyan független összehasonlító akkumulátortesztet, amelyből általános üzemidő következne. A Sequora ráadásul integrálható processzormag, így a kész termék teljesítményét a memória, a gyártástechnológia, a rendszer többi eleme és a futtatott modell is jelentősen befolyásolja.
A Sequora ezért elsősorban irányváltást jelez. A generatív mesterséges intelligencia fejlesztése eddig nagyrészt egyre nagyobb adatközpontokhoz és gyorsítókhoz kapcsolódott, miközben most egyre több szereplő próbál használható modelleket közvetlenül a végberendezésekre vinni. Ha az ilyen architektúrák a gyakorlatban is megfelelő minőséget tudnak alacsony fogyasztással biztosítani, a következő generációs okoseszközök egy része már nem egyszerűen adatot gyűjthet a felhő számára, hanem helyben értelmezheti és fel is dolgozhatja azt.
Olvasd el ezt is: Valódi kódbázisokon tanult dolgozni a JetBrains új generatív mesterséges intelligencia modellje
Források: BrainChip, TipRanks, Kalkine Media
CS.SZ.
