Nemotron 3.5 Transcribe néven új, nyílt súlyú beszédfeldolgozó mesterséges intelligencia modellt adott ki az NVIDIA. A rendszer negyven nyelven készíthet átiratot, több beszélőt is elkülöníthet, valamint a szöveg megjelenítését természetes nyelvű utasításokhoz igazíthatja. A vállalat szerint a fejlesztés a nyilvános beszédfelismerési tesztekben a legerősebb nyílt súlyú modellek közé került.
Az NVIDIA október 28-án tette közzé a Nemotron 3.5 Transcribe modellt és a hozzá tartozó technikai dokumentációt. A fejlesztés célja, hogy egyetlen rendszerben kapcsolja össze a hagyományos beszédfelismerést, a beszélők azonosítását, a fordítást és a szövegformázást. A vállalat emellett bemutatta Granary-v2 nevű nyílt beszédadat-készletét is, amely további beszédalapú mesterséges intelligencia rendszerek tanításához és testre szabásához használható. A modell elsősorban rögzített hanganyagok feldolgozására készült.
A Nemotron 3.5 Transcribe egyik fontos újdonsága, hogy az átírás módját a felhasználó külön utasítással határozhatja meg. Ugyanabból a hangfelvételből készülhet szó szerinti átirat, olvashatóbbá szerkesztett szöveg vagy speciális szakmai kifejezéseket figyelembe vevő változat. A rendszer a beszélők elkülönítését és az egyes szavak időbélyegzését is támogatja, így megállapítható lehet, ki és mikor szólalt meg egy megbeszélésen. Ez különösen olyan felvételeknél hasznos, amelyekben többen beszélnek, egymás szavába vágnak vagy eltérő nyelvi háttérrel rendelkeznek.
Az NVIDIA technikai jelentése szerint a modell negyven nyelven támogatja a beszédfelismerést, 31 nyelv esetében angolra vagy angolról történő fordítást is kínál, és akár egyórás hangfelvételeket kezelhet. Az Open ASR Leaderboard angol tesztjein átlagosan 4,71 százalékos, a többnyelvű tesztben 4,62 százalékos szóhibaarányt közölt a vállalat. A Nemotron 3.5 Transcribe egy nagyobb, szakértőkeverékes nyelvi modellre épül, amelyből feldolgozás közben körülbelül 4,3 milliárd paraméter aktív. A mérési eredmények meghatározott adatkészletekre és tesztfeltételekre vonatkoznak, ezért nem jelentenek minden nyelven garantált hibaarányt.
Olvasd el: A generatív mesterséges intelligencia már teljes ügyfélhívásokat is végigvihet a Grok Voice 3.0-val
Mekkora változást hozhat a vállalati és egészségügyi adminisztrációban, ha a mesterséges intelligencia már nemcsak felismeri a beszédet, hanem a résztvevőket és a szakkifejezéseket is pontosabban értelmezi?
A beszédfeldolgozó modellek egyik legfontosabb alkalmazási területe az üzleti megbeszélések és az egészségügyi dokumentáció előkészítése lehet. Egy több résztvevős értekezletből például könnyebben készülhet pontos, beszélőkhöz rendelt átirat, míg egy egészségügyi felvételnél a speciális szakkifejezések felismerése segítheti a dokumentáció elkészítését. Az NVIDIA szerint a modell az előre megadott személynevek és szakkifejezések segítségével bizonyos tesztekben lényegesen csökkenteni tudta a tulajdonnevek felismerési hibáit. Ez az eredmény azonban nem helyettesíti az érzékeny dokumentumok szakmai ellenőrzését.
A rendszer egyik fontos korlátja, hogy jelenlegi formájában nem elsősorban élő, folyamatos telefonos beszélgetések azonnali feldolgozására készült. A rögzített hanganyagok feldolgozása és a valós idejű beszédértés eltérő technikai feladat. Az átírás ráadásul zajos felvételeken, erős akcentusoknál, ritka neveknél és szokatlan szakkifejezéseknél továbbra is hibázhat. Az egészségügyi és más érzékeny felhasználási területeken ezért különösen fontos a személyes adatok megfelelő kezelése, a jogosultságok ellenőrzése és az emberi felülvizsgálat.
A Nemotron 3.5 Transcribe megjelenése azt mutatja, hogy a mesterséges intelligencia alapú hangfeldolgozás egyre inkább összetett, utasításokkal irányítható rendszerré válik. A cél már nem pusztán a kimondott szavak szöveggé alakítása, hanem azok pontosabb strukturálása, a beszélők elkülönítése és a szakmai környezet figyelembevétele is. A nyílt súlyú hozzáférés lehetővé teheti, hogy a fejlesztők saját feladataikra alakítsák a modellt, miközben az adatok kezelését is jobban ellenőrizhetik. A következő fontos lépés a többnyelvű pontosság és a valós idejű feldolgozás további fejlesztése lehet.
Olvasd el ezt is: Valódi kódbázisokon tanult dolgozni a JetBrains új generatív mesterséges intelligencia modellje
Források: NVIDIA Research, NVIDIA Nemotron Technical Report, TechCrunch
CS.SZ.
