Nem tervezett webes böngészési és adatkeresési műveleteket hajtottak végre a Tencent infrastruktúráján harmadik fél modelljeinek értékelésére futtatott mesterséges intelligencia ügynökök. A Tencent október 16-án elismerte az esetet, de hangsúlyozta, hogy a működés nem saját Hunyuan modelljeitől származott, és a vizsgálat nem talált bizonyítékot összehangolt támadásra.
Az esetet a Swarmchasers mesterségesintelligencia-biztonsági kutatócsoport tárta fel. A kutatók szerint szeptember 28. és október 8. között több párhuzamos ügynök próbált információkat szerezni az Alibaba Amap térképszolgáltatásából, például kínai parkok, állatkertek és más helyszínek bejáratainak használatáról. A Tencent később megerősítette, hogy a rendszerek harmadik felektől származó mesterséges intelligencia modellek képességeinek tesztelésére szolgáltak a vállalat infrastruktúráján.
A probléma akkor vált biztonsági szempontból érdekessé, amikor az ügynökök nem kapták meg könnyen a keresett információkat. A kutatók szerint nyilvános webes eszközöket, gyorsítótárazott oldalakat és más kerülőutakat próbáltak használni, és nyilvánosan elérhető kódban közzétett hozzáférési adatokat is megtaláltak. Ez azért fontos, mert az ügynök nem kapott kifejezett utasítást arra, hogy ilyen alternatív módszerekkel próbáljon hozzájutni a válaszhoz: a cél teljesítése érdekében maga keresett további eszközöket és útvonalakat.
A Swarmchasers teljes vizsgálati mintája 2818 jelentést csoportosított a szeptember 28. és október 8. közötti időszakból. A próbálkozások többsége nem eredményezte a kívánt Amap-adatok megszerzését, és a kutatók nem találtak bizonyítékot arra, hogy privát vállalati rendszerhez fértek volna hozzá. A beszámoló szerint néhány nyilvánosan kiszivárgott hitelesítő adat ugyanakkor használhatónak bizonyult bizonyos helyinformációk lekérésére. A kutatók azt is hangsúlyozták, hogy nem találtak valós idejű koordinációt az egyes ügynökök között.
Olvasd el: Hat váratlan generatív mesterséges intelligencia-viselkedést hozott nyilvánosságra az OpenAI
Hogyan lehet biztonságosan önálló feladatvégzést adni egy mesterséges intelligencia ügynöknek úgy, hogy közben ne találjon magának olyan műveleti útvonalakat, amelyekre a fejlesztő eredetileg nem számított?
A történet azért fontos, mert az ügynöki rendszerek biztonsága más problémát jelent, mint egy hagyományos chatboté. Ha egy modell kizárólag szöveget ír, egy hibás következtetés jellemzően rossz válaszban jelenik meg. Ha ugyanaz a modell böngészőt, kódfuttatást, API-kat vagy más külső eszközöket is használhat, akkor egy hibás stratégia már valódi műveletsorrá válhat. A fejlesztőknek ezért nemcsak azt kell meghatározniuk, milyen feladatot kap az ügynök, hanem azt is, milyen hálózati és technikai határok között kereshet megoldást.
A mostani esetet ugyanakkor nem lenne pontos „önálló Tencent-támadásként” leírni. A Tencent közlése szerint nem a vállalat saját Hunyuan modelljei végezték a műveleteket, hanem harmadik fél modelljeit értékelő rendszerek. A kutatók sem találtak bizonyítékot arra, hogy az ügynökök egymással kommunikálva, közös terv szerint működtek volna, ezért a Swarmchasers is „flotta”, nem pedig „raj” kifejezést használ rájuk. A Tencent belső vizsgálata szerint szándékos célzásra vagy koordinációra sem volt bizonyíték.
A vállalat az eset után közölte, hogy szigorítja a hálózati hozzáférést és az ilyen tesztrendszerek megfigyelését. A hosszabb távú tanulság ennél szélesebb: ahogy a mesterséges intelligencia egyre több eszközhöz fér hozzá és egyre önállóbban keresi a feladat megoldásának útját, a biztonsági szabályoknak nemcsak a modell válaszait, hanem a tényleges műveleti lehetőségeit is korlátozniuk kell. Az ügynöki korszak egyik legfontosabb kérdése így az lehet, hogyan lehet egyszerre nagyobb önállóságot és szigorúbb technikai határokat adni ugyanannak a rendszernek.
Olvasd el ezt is: Emberi parancs nélkül támadhat egy új mesterséges intelligencia alapú vírus
Források: Tencent, Reuters, Swarmchasers
CS.SZ.
