Hy4 Flash néven új, kedvezőbb árú mesterséges intelligencia modellt vezetett be a Tencent, amelynek használata a nagyobb Hy4 rendszerhez képest lényegesen olcsóbb lehet. A generatív mesterséges intelligencia egymillió tokenes kontextusablakkal, képfeldolgozási képességekkel és automatizált munkafolyamatok támogatásával érkezett. A vállalat célja, hogy az összetettebb MI-feladatok a kisebb fejlesztők és vállalkozások számára is megfizethetőbbé váljanak.
A Tencent november 16-án jelentette be Hy4 Flash nevű modelljének megjelenését, amely a korábban bemutatott Hy4 modellcsalád gyorsabb és költséghatékonyabb tagjaként került piacra. A kínai technológiai vállalat az új rendszert elsősorban a gyakran ismétlődő, nagy mennyiségű információ feldolgozását igénylő feladatokra optimalizálta. A fejlesztés különösen azoknak a vállalkozásoknak és szoftverfejlesztőknek lehet érdekes, amelyeknél a mesterséges intelligencia naponta több ezer vagy akár több millió lekérdezést kezel. Ilyen felhasználásnál már viszonylag kis egységár-különbségek is számottevő költségmegtakarítást eredményezhetnek.
A Hy4 Flash úgynevezett mixture-of-experts architektúrát alkalmaz, amelyben a modell nem minden paraméterét használja fel egyszerre egy adott feladat megoldásához. A Tencent közlése szerint a rendszer összesen 224 milliárd paramétert tartalmaz, de egy token feldolgozásakor ezekből körülbelül 12 milliárd aktív. Ez a megközelítés csökkentheti a számítási igényt a teljes modellmérethez képest. Az új változat emellett szöveges és képi bemeneteket is kezel, egymillió tokenes kontextusablaka pedig hosszabb dokumentumok, programkódok és összetett munkafolyamatok feldolgozását is lehetővé teszi.
A vállalat által közzétett listaár egymillió bemeneti tokenenként megközelítőleg 0,07 dollár, egymillió kimeneti tokenenként pedig 0,281 dollár. A gyorsítótárból újra felhasznált bemeneti adatok feldolgozása ennél is olcsóbb, egymillió tokenenként körülbelül 0,003 dollár. A Tencent árazása alapján a Hy4 Flash bemeneti egységára a nagyobb Hy4 modell árának mintegy tizenketted része. A vállalat november 30-ig külön bevezetési kedvezményt is biztosít a Tencent Cloud TokenHub szolgáltatásban, miközben a WorkBuddy alkalmazásban korlátozott ideig díjmentesen is kipróbálható az új modell.
Olvasd el: Már számítógépes alkalmazásokat is kezel a Tencent új generatív mesterséges intelligenciája

Mekkora változást hozhat a vállalati automatizálásban, ha a mesterséges intelligencia működtetésének költsége már nem jelent komoly akadályt a nagy mennyiségű feladat feldolgozásánál?
A Hy4 Flash elsősorban azokban a feladatokban lehet előnyös, amelyek nem igénylik minden esetben a legnagyobb modellek teljes következtetési kapacitását. Egy webáruház például termékleírások feldolgozására, ügyfélkérdések osztályozására vagy dokumentumok összefoglalására használhat kisebb és olcsóbb modellt, miközben a bonyolultabb döntéseket egy nagyobb rendszerre bízza. Hasonló megoldás alkalmazható szoftverfejlesztési munkafolyamatokban, belső vállalati tudásbázisokban és ügyfélszolgálati alkalmazásoknál. Az ilyen, több modellből álló rendszerekben az egységár mellett különösen fontos a válaszidő és a hibaarány alakulása.
Az alacsonyabb ár azonban önmagában nem bizonyítja, hogy a Hy4 Flash minden feladatban azonos teljesítményt nyújt a nagyobb modellekkel. A Tencent saját tesztjei szerint az új rendszer több általános és multimodális feladatban versenyképes eredményt ér el, ezek azonban meghatározott mérési környezetekre vonatkoznak. A valós üzleti alkalmazásoknál a pontosságot, a válaszidőt és a teljes működtetési költséget külön kell vizsgálni. Egy olcsóbb modell ugyanis akkor sem feltétlenül gazdaságosabb, ha hibás válaszai miatt több ellenőrzést vagy ismételt feldolgozást igényel.
A Tencent fejlesztése jól mutatja, hogy a generatív mesterséges intelligencia piacán a teljesítmény mellett egyre fontosabb versenytényezővé válik a működtetés gazdaságossága. A következő időszakban a vállalkozások számára nem feltétlenül az lesz a legjobb stratégia, hogy minden feladatot a legnagyobb modellre bíznak. Sokkal hatékonyabbá válhat az a megközelítés, amely a feladat összetettségéhez igazítja a felhasznált mesterséges intelligencia képességeit. A Hy4 Flash megjelenése újabb lépés ebbe az irányba, és tovább fokozhatja az árversenyt a nemzetközi modellpiacon.
Olvasd el ezt is: Felére csökkent az OpenAI új generatív mesterséges intelligencia modelljének használati ára
Források: Tencent, Tencent Cloud TokenHub, PR Newswire, ArtificialWatch
CS.SZ.

