2025. 01. 07. - 08:30
Adatok nélkül nincs mesterséges intelligencia – ilyen kihívásokkal szembesül
A mesterséges intelligencia számára a pontos adatok létfontosságúak - anélkül a rendszerek torz vagy félrevezető eredményeket produkálhatnak.
Mesterséges intelligencia nem létezik adatok nélkül. Utóbbiak mindig is a megalapozott döntések alapját képezték.
Napjainkban, az MI korszakában kritikus fontosságú a generatív mesterséges intelligencia modellek és alkalmazások pontos adatokkal történő ellátása. Enélkül a mesterséges intelligencia elfogult vagy félrevezető eredményeket produkálhat, ami hibás döntéshozatalhoz és elpazarolt erőforrásokhoz vezethet.
MI kihívás: az adatok elérhetővé tétele
Manapság az jelent kihívást, hogy minden megfelelő adatot elérhetővé tegyenek a szakemberek a mesterséges intelligencia számára.
Ez nem túl egyszerű. A különféle forrásokból származó adatok integrálása eredendően bonyolult. Olvasd el: Komoly bajba sodorhatja az internetet a generatív mesterséges intelligencia?
A mesterséges intelligencia adatforrásának logikai kiindulópontja a szervezetben meglévő adatok. A legnagyobb alapvető probléma minden szervezetnél, hogy minden üzleti egységben vannak ún. egyedi adatsilók - így a kihívás az összes adat holisztikus áttekintése, az adatok pontosságának, elérhetőségének és megfelelőségének biztosítása mellett.
De miről van szó pontosan? Érdemes azzal kezdeni, hogy a megfelelő adatokat egy helyen szerezzük be. Az adatátviteli platformok adatokat vehetnek át egy forrásból és áthelyezhetik azokat egy célba, hogy adatfolyamokat építsenek ki. A kihívások itt az alábbiak.
-Rendelkezni kell az adatfolyamatok létrehozásához szükséges összes különböző adatforráshoz és célhoz csatlakozókkal.
-Hozzáférés minden adathoz – strukturált (gondoljunk adatbázisokra) és strukturálatlan (például dokumentumok). Ezenkívül az összes kinyert adatot szükséges újraformázni, indexelni, csonkolni, beágyazni és vektoradatbázisokba tölteni, mielőtt a generatív mesterséges intelligencia értéket származtathatna belőle.
A nyílt adatok jelentősége
Itt jön képbe a „nyílt adatok” jelentősége. Egyetlen adatmozgatási szállító sem tud készen támogatni valamennyi csatlakozót, amelyre minden vállalatnak szüksége van.
Például a marketing funkciónál több mint 10 ezer adatforrás lehetséges, amelyekből potenciálisan lekérhetők az adatok.
A probléma egyetlen megoldása egy nyílt platform, amely lehetővé teszi a felhasználói közösség számára, hogy könnyedén építsenek összekötőket és megosszák azokat, hogy bárki használhassa őket egy piactéren keresztül.
Ez lehetővé teszi, hogy az adatmozgatási platform idővel lefedje a legtöbb csatlakozót, amellett, hogy a rendelkezésükre álló csatlakozóépítő technológiával a csapatok saját igényeiket kielégíthetik. Itt az válik kulcsfontosságúvá, hogy mennyire egyszerű új csatlakozót építeni, ugyanis minél egyszerűbb, annál több csatlakozó lesz a piacon.
A Wakefield Research nemrégiben készült jelentése feltárta, hogy az adatmérnökök idejük átlagosan 44 százalékát adatfolyamok karbantartásával töltik - ami évente körülbelül 520 ezer dollárba kerül a szervezeteknek. Vagyis a probléma megoldása minden cég számára fontos.
Végül, de nem utolsósorban lényeges a hozzáférés-vezérlési lista (ACL) tiszteletben tartása - így egyetlen alkalmazott sem férhet hozzá azokhoz az adatokhoz és információkhoz, amelyekhez a generatív mesterséges intelligencia-kérdések és válaszok révén nem kellene hozzáférniük.
Kritikus szempontok
Összefoglalva, amennyiben az adatokra és a mesterséges intelligencia infrastruktúrájára gondolunk, valamint arra, hogy az adatokon felül hogyan lehet a generatív mesterséges intelligencia-használati eseteket felhatalmazni, íme néhány kritikus szempont, amelyek az adatmozgatási infrastruktúrával kapcsolatban azonosíthatók.
-Támogatja a vektoros adatbázis-célhelyeket (ilyen például a Pinecone, a Weaviate, a Milvus) és MI-optimalizált raktárakat (például a Snowflake Cortex és a PGVector).
-Támogatja a strukturált és strukturálatlan adatforrásokat (S3, Google Drive stb.)
-Támogatja a dokumentumokká konvertálást minden adattípushoz, darabolást és beágyazást a dobozból.
-Támogatja az olyan átalakításokat, mint a személyazonosításra alkalmas adatok maszkolása és a hozzáférés-vezérlési lista, mivel nem szabad, hogy minden csapat hozzáférjen minden olyan információhoz, amelyet az MI-nek biztosítania kell.
-A mesterséges intelligencia, a gépi tanulás és a strukturálatlan adatok által meghatározott következő hullám korszakának előmozdítása érdekében a nyitott megközelítést alkalmazó rugalmas adatinfrastruktúra az egyetlen módja annak, hogy a szervezetek lépést tarthassanak a mesterséges intelligenciát támogató strukturált, illezve strukturálatlan adatok mennyiségével és összetettségével.
B.A.
