Kilencszer kisebb méretben is megőrizheti egy nagy generatív mesterséges intelligencia teljesítményének jelentős részét az új Ternary Bonsai 2 27B. A PrismML modellje mindössze 5,9 gigabájtos, s a vállalat tesztjei alapján a teljes pontosságú változat teljesítményének 98,2 százalékát megtartja.
Jelentősen kisebb helyen is képes megőrizni egy nagy generatív mesterséges intelligencia teljesítményét az új Ternary Bonsai 2 27B. A PrismML fejlesztése mindössze 5,9 gigabájtos, miközben a vállalat tesztjei szerint az eredeti modell teljesítményének 98,2 százalékát megtartja.
Kilencszer kisebb lehet
A Ternary Bonsai 2 27B a Qwen3.8 27B modellre épül, ám speciális, úgynevezett ternáris tömörítést alkalmaz. Ennek köszönhetően a modell mérete az eredeti, teljes pontosságú változathoz képest több mint kilencszer kisebb.
A PrismML szerint a rendszer mindössze 5,9 GB memóriát igényel, szemben a teljes pontosságú modell nagyjából 54 gigabájtos méretével.
Ez azért lehet fontos, mert így egy 27 milliárd paraméteres generatív MI már nem feltétlenül csak nagy teljesítményű adatközpontokban használható.
Ez a generatív MI akár laptopon is működhet
A fejlesztők célja, hogy a Bonsai 2 27B helyben, akár egy hagyományosabb számítógépen vagy egyetlen grafikus processzoron is futtatható legyen.
A modell szöveges és képi bemeneteket is kezel, 262 ezer tokenes kontextusablakkal rendelkezik, s a vállalat szerint alkalmas összetettebb gondolkodási, programozási és MI-ügynöki feladatokra is.
Ez azt jelentheti, hogy bizonyos feladatokhoz nincs szükség arra, hogy az adatokat folyamatosan egy távoli felhőszolgáltatásba küldjék. A helyi futtatás adatvédelmi szempontból is érdekes lehet olyan esetekben, amikor érzékeny információkkal dolgozik a felhasználó.
A teljesítmény nagy részét megtartja
A PrismML 14 különböző benchmarkon vizsgálta a modellt. A Ternary Bonsai 2 27B átlagosan 84,78 pontot ért el, míg a Qwen3.8 27B teljes pontosságú változata 86,32 pontot.
A vállalat számítása szerint ez az eredeti teljesítmény 98,2 százalékának megőrzését jelenti. A tesztek alapján különösen a matematikai és programozási feladatoknál maradt közel a teljes pontosságú változathoz.
Mesterséges intelligencia-ügynökök számára is készül
A fejlesztés nem kizárólag hagyományos chatbotként használható. A PrismML szerint a modell agentikus feladatokra és eszközhasználatra is alkalmas, vagyis képes lehet olyan munkafolyamatokban részt venni, amelyekben az MI nemcsak válaszokat ad, hanem külső eszközökkel is dolgozik.
A vállalat szerint a kisebb memóriaigény, a helyi futtatás és az alacsonyabb energiaigény együtt új lehetőségeket teremthet a generatív MI használatában a számítógépeken.
A PrismML saját bemutatása alapján a Bonsai 2 27B nagyjából kilencszer kisebb memóriaigényt és akár ötször alacsonyabb energiaigényt céloz meg a teljes pontosságú változathoz képest.
A Ternary Bonsai 2 27B jelenleg Apache 2.0 licenc alatt érhető el, így a fejlesztők számára is hozzáférhetővé vált.
A fejlesztés jól mutatja, hogy a generatív mesterséges intelligencia fejlődésének egyik fontos iránya már nem feltétlenül a még nagyobb modellek létrehozása, hanem az, hogy a nagy modellek teljesítményét egyre kisebb méretben és kisebb hardverigénnyel lehessen elérni.
Olvasd el ezt is: Saját dokumentum- és prezentációs felületet kapott a Claude
Forrás: headsupai.io
B.A.
