2024. 10. 08. - 08:30
Fényből készült neurális hálózatok a fenntartható gépi tanulásért?
Új módszert javasolnak a neurális hálózat optikai rendszerrel történő megvalósítására a tudósok, amely a gépi tanulást a jövőben fenntarthatóbbá teheti.
Új módszert javasolnak a neurális hálózat optikai rendszerrel megvalósítására a kutatók, amely fenntarthatóbbá teheti a gépi tanulást a jövőben.
A Max Planck intézet (Max Planck Institute for the Science of Light) kutatói a Nature Physics folyóiratban publikálták a megoldást, amely a korábbi megközelítéseknél sokkal egyszerűbb módszert mutat be.
A gépi tanulás és a mesterséges intelligencia egyre szélesebb körben terjed - a számítógépes látástól a szöveggenerálásig terjedő alkalmazásokban, amint azt a ChatGPT is reprezentálta. Ezek az összetett feladatok azonban egyre bonyolultabb neurális hálózatokat igényelnek, sokmilliárd paraméterrel.
A neurális hálózatok méretének rohamos növekedése fenntarthatatlan pályára állította a technológiákat az exponenciálisan növekvő energiafogyasztás és a képzési idő miatt.
Becslések szerint például a GPT-3 képzése több mint 1000 MWh energiát fogyasztott, ami egy kisváros napi elektromos energiafogyasztásának felel meg. Ez a trend gyorsabb, energia- és költséghatékonyabb alternatívák iránti igényt teremtett, ami elindította a neuromorf számítástechnika gyorsan fejlődő területét. Olvasd el: Mély neurális hálózat mutatja ki a betegségek biomarkereit
Fényből készült neurális hálózatok a fenntartható gépi tanulásért?
A terület célja, hogy a digitális számítógépeinken található neurális hálózatokat fizikai neurális hálózatokra cseréljük. Ezeket úgy tervezték, hogy a szükséges matematikai műveleteket fizikailag, potenciálisan gyorsabban és energiahatékonyabban végrehajtsák.
Az optika és a fotonika különösen ígéretes platformnak számít a neuromorf számítástechnika számára, mivel az energiafogyasztás minimálisra csökkenthető.
A számításokat párhuzamosan rendkívül nagy sebességgel lehet végrehajtani, csak a fénysebesség jelent korlátot. Eddig azonban két jelentős kihívással kellett szembenéznie: az egyik, hogy a szükséges összetett matematikai számítások megvalósítása nagy lézerteljesítményt igényel. A másik kihívás az ilyen fizikai neurális hálózatok hatékony általános képzési módszerének hiánya.
Mindkét kihívás leküzdhető azonban azzal az új módszerrel, amelyet Clara Wanjura és Florian Marquardt, a Max Planck Fénytudományi Intézet munkatársa javasolt a Nature Physics új cikkében.
„Az adatbevitelt általában a fénymezőre nyomtatják. Új módszereinkben azonban azt javasoljuk, hogy a bemenetet a fényáteresztés megváltoztatásával készítjük” - magyarázta Florian Marquardt, az Intézet igazgatója. Ily módon a bemeneti jel tetszőleges módon feldolgozható.
Ez akkor is igaz, ha maga a fénymező a lehető legegyszerűbb módon viselkedik, amikor a hullámok interferálnak anélkül, hogy más módon befolyásolnák egymást.
Ezért a kutatók megközelítése lehetővé teszi a bonyolult fizikai kölcsönhatások elkerülését a szükséges matematikai függvények megvalósításához, amelyek egyébként nagy teljesítményű fénytereket igényelnének. Ennek a fizikai neurális hálózatnak a kiértékelése és betanítása igen egyszerűvé válna.
„Valóban olyan egyszerű lenne, mint fényt küldeni a rendszeren keresztül és megfigyelni a kibocsátott fényt. Ez lehetővé teszi a hálózat kimenetének értékelését, de alkalmas a képzéshez szükséges összes információ mérésére” – mondta Clara Wanjura, a tanulmány első szerzője.
A szerzők szimulációkkal bizonyították, hogy megközelítésükkel a digitális neurális hálózatokkal azonos pontossággal lehet képosztályozási feladatokat végrehajtani.
A jövőben kísérleti csoportokkal terveznek együttműködést módszerük megvalósításának feltárására.
Mivel javaslatuk jelentősen enyhíti a kísérleti követelményeket, számos fizikailag nagyon eltérő rendszerre alkalmazható. Ez új lehetőségeket nyit meg a neuromorf eszközök előtt, amelyek lehetővé teszik a fizikai edzést platformok széles skáláján.
B.A.
