Mercury 3 néven új nyelvi modellt mutatott be az Inception, amely a hagyományos szöveggenerálástól eltérő módszerrel dolgozik. A generatív mesterséges intelligencia a vállalat mérései szerint másodpercenként 1068 tokent képes előállítani, miközben akár egymillió token hosszúságú szövegkörnyezetet kezelhet.
Az Inception október 19-én jelentette be a Mercury 3 modellt, amely a diffúziós nyelvi modellek új generációját képviseli. A fejlesztés elsősorban azoknak a feladatoknak szól, amelyeknél a válasz minősége mellett a reakcióidő is kritikus. Ilyen lehet az élő ügyfélszolgálat, a valós idejű oktatás, a programozói segítség vagy egy olyan digitális ügynök működése, amelynek folyamatosan új információkra kell reagálnia. A modellt a vállalat saját API-ján, valamint több külső fejlesztői platformon keresztül is elérhetővé tette.
A Mercury 3 egyik legfontosabb különbsége a hagyományos nagy nyelvi modellekhez képest a szöveg előállításának módja. Az általánosan használt autoregresszív modellek jellemzően egymás után állítják elő a tokeneket, míg a diffúziós megközelítés több részletet párhuzamosan finomít. Ez lehetővé teheti, hogy a rendszer kevesebb egymást követő lépésből alakítsa ki a választ. A technológia nem jelenti azt, hogy a modell minden feladatot egyszerre old meg, de a megfelelő infrastruktúrán jelentősen csökkentheti a válasz előállításához szükséges időt.
Az Inception NVIDIA-grafikus processzorokon másodpercenként 1068 tokenes teljesítményt közölt, és saját összehasonlításai alapján négy-nyolcszoros sebességelőnyről számolt be bizonyos versenytársmodellekhez képest. A kontextusablak mérete egymillió token, a normál API-ár pedig egymillió bemeneti tokenenként 0,20 dollár, ugyanennyi kimeneti tokenenként 0,70 dollár. A bevezetéskor ezekre az árakra ötvenszázalékos kedvezményt kínálnak. A tényleges sebesség és költség ugyanakkor a feladat hosszától, a kiszolgálási környezettől és a terheléstől is függ.
Olvasd el: 75 százalékkal olcsóbb működést ígér az Anthropic új generatív mesterséges intelligencia modellje
Elérkezhet az a pont, amikor a mesterséges intelligencia kiválasztásánál már nem a legmagasabb tesztpontszám, hanem a válasz gyorsasága és a feladat teljes költsége lesz a döntő?
A nagyobb sebesség különösen az összetett, több lépésből álló munkafolyamatoknál lehet értékes. Egy digitális ügynöknek gyakran nem egyetlen választ kell megírnia, hanem dokumentumokat kell átvizsgálnia, adatokat feldolgoznia, más rendszereket meghívnia és közben újabb döntéseket hoznia. Ha minden modellhívás rövidebb ideig tart, a teljes munkafolyamat is gyorsabban lezárulhat. Az Inception ezért nem egyszerűen új chatbotként, hanem valós idejű alkalmazásokhoz használható alapmodellként pozicionálja a Mercury 3-at.
A vállalat eredményeit ugyanakkor nem szabad minden alkalmazásra érvényes sebességrekordként kezelni. Az 1068 tokenes érték meghatározott hardverkörnyezetben mért teljesítmény, az összehasonlítások pedig a gyártó által kiválasztott tesztekre épülnek. Egy éles vállalati alkalmazásban a válasz minősége, a hibák száma, az adatkezelés és a rendszer megbízhatósága legalább annyira fontos lehet, mint a generálás sebessége. A diffúziós módszer általános előnyeinek megítéléséhez további független vizsgálatok szükségesek.
A Mercury 3 megjelenése mégis fontos jelzés a generatív mesterséges intelligencia piacának. A fejlesztők egyre több energiát fordítanak arra, hogy ne csupán nagyobb modelleket készítsenek, hanem magát a szöveggenerálási folyamatot is hatékonyabbá tegyék. Ha a diffúziós nyelvi modellek a valós alkalmazásokban is megfelelő minőséget tudnak biztosítani, új verseny indulhat a hagyományos modellek és a párhuzamosabb feldolgozást használó architektúrák között. Ennek végső nyertesei azok a felhasználók lehetnek, akik gyorsabb és olcsóbb mesterséges intelligencia szolgáltatásokhoz jutnak.
Olvasd el ezt is: Valódi kódbázisokon tanult dolgozni a JetBrains új generatív mesterséges intelligencia modellje
Források: Inception, Inception Technical Documentation
CS.SZ.
