2024. 11. 05. - 08:25
Nincs messze a neurális hálózatok megvalósítása IoT eszközökön?
Elérhető közelségbe került a neurális hálózatok megvalósítása az IoT edge eszközein. A kutatók egy új, mágneses RAM-alapú architektúrát javasolnak hatékonyabb MI-képes áramkörök létrehozására.
Nincs már messze a neurális hálózatok megvalósítása az IoT edge (él) eszközökön? A kutatók egy új, mágneses RAM-alapú architektúrát javasolnak, amely a spintronikát használja fel kisebb, hatékonyabb mesterséges intelligencia-képes áramkörök megvalósítására.
Az IoT fejlődése és kihívásai
Manapság kétségtelenül két széles technológiai terület van, amely az elmúlt évtizedben egyre gyorsabb ütemben fejlődött a mesterséges intelligencia (AI) és a tárgyak internete (IoT).
Az olyan feladatokban, mint az adatelemzés, a képfelismerés és a természetes nyelvi feldolgozás, az MI-rendszerek tagadhatatlanul hatékony eszközökké váltak mind a tudományos, mind az ipari környezetben.
Mindeközben a miniatürizálás és az elektronika fejlődése lehetővé tette az internethez kapcsolódni képes funkcionális eszközök méretének jelentős csökkentését. A mérnökök és a kutatók olyan világot látnak előre, ahol az IoT-eszközök mindenütt jelen vannak és egy erősen összekapcsolt világ alapját képezik.
Komoly kihívást jelent azonban az MI-képességek átadása az IoT edge eszközökre. A mesterséges neurális hálózatok (ANN-ok) – az egyik legfontosabb MI-technológia – jelentős számítási erőforrásokat igényelnek. Olvasd el: Többezer IoT-eszköz között teremt stabil egyidejű kommunikációt egy új rendszer
Nincs messze a neurális hálózatok megvalósítása IoT eszközökön?
Eközben az IoT edge eszközök eredendően kicsik, korlátozott teljesítményűek, feldolgozási sebességük és áramköri helyük korlátozott. Komoly akadályt jelent az olyan ANN-ok fejlesztése, amelyek hatékonyan tanulhatnak, telepíthetnek és működhetnek az él (edge) eszközökön.
Reagálva a kihívásra, a Tokiói Tudományos Egyetem két munkatársa, Takayuki Kawahara professzor és Yuya Fujiwara kemény munkába fogott, hogy elegáns megoldásokat találjon a problémára.
Innovatív algoritmus
Az IEEE Access folyóiratban közzétett legújabb tanulmányukban új betanító algoritmust vezettek be egy speciális ANN-típushoz, az úgynevezett bináris neurális hálózathoz (BNN), valamint ennek az algoritmusnak egy innovatív megvalósítását egy élvonalbeli számítástechnikában – ez az IoT-eszközökhöz alkalmas in-memory (CiM) architektúra.
„A BNN-ek olyan ANN-ok, amelyek csak -1 és +1 súlyokat és aktiválási értékeket alkalmaznak és minimalizálhatják a hálózat által igényelt számítási erőforrásokat, azzal, hogy a legkisebb információegységet csak egy bitre csökkentik - magyarázta Kawahara. - Az aktiválási értékek egyetlen bitben tárolhatók a következtetés során, a súlyok és a gradiensek valós számok a tanulás során, és a tanulás alkalmával végzett számítások többsége is valós számok. Emiatt nehéz volt tanulási képességeket biztosítani a BNN-eknek az IoT edge szempontjából.”
A probléma kiküszöbölésére a kutatók kifejlesztettek egy új, három kulcsfontosságú újítást tartalmazó képzési algoritmust, az úgynevezett ternarized gradient BNN (TGBNN).
Ez előszöris hármas gradienseket alkalmaz tanulás közben, miközben a súlyokat és az aktiválásokat binárisan tartja. Másodszor, továbbfejlesztették a Straight Through Estimator nevű becslő eszközt (STE), javítva a gradiens visszaterjesztésének vezérlését a hatékony tanulás érdekében. Harmadszor, valószínűségi megközelítést alkalmaztak a paraméterek frissítésére az MRAM cellák viselkedésének kihasználásával.
Ezt követően a kutatócsoport egy új TGBNN algoritmust valósított meg egy CiM architektúrában – egy olyan modern tervezési paradigmában, ahol a számításokat közvetlenül a memóriában hajtják végre, nem pedig egy dedikált processzorban, hogy helyet és energiát takarítsanak meg.
Ennek létrehozása érdekében egy teljesen új XNOR logikai kaput fejlesztettek ki a mágneses véletlen hozzáférésű memória (MRAM) tömb építőelemeként. Ez a kapu mágneses alagút csomópontot alkalmaz az információ tárolására, mágnesezett állapotában.
Az egyes MRAM cellák tárolt értékének megváltoztatásához a kutatók két különböző mechanizmust használtak. Az első a spin-pálya forgatónyomatéka volt – az az erő, amely akkor lép fel, amikor elektron spináramot injektálnak egy anyagba. A második pedig a feszültségvezérelt mágneses anizotrópia, amely az anyag különböző mágneses állapotai között fennálló energiagát manipulálására utal.
Ezeknek a módszereknek köszönhetően az összeg-szorzat számítási áramkör mérete a hagyományos mértékegységek felére csökkent.
Kiemelkedő pontosság és sokrétű felhasználhatóság
A kutatócsapat tesztelte a javasolt MRAM-alapú CiM rendszer teljesítményét a BNN-ekhez az MNIST kézírási adatkészlet segítségével, amely az ANN-oknak fel kell ismernie az egyes kézzel írt számjegyek képét.
„Az eredmények azt mutatták, hogy a ternarizált BNN gradiensünk több mint 88 százalékos pontosságot ért el hibajavító kimeneti kódok (ECOC) alapú tanulással, miközben megfelelt az azonos szerkezetű normál BNN-ek pontosságának és gyorsabb konvergenciát ért el az edzés során - jegyezte meg Kawahara. - Úgy gondoljuk, a kialakításunk hatékony BNN-eket tesz lehetővé az élvonalbeli eszközökön, megőrizve tanulási és alkalmazkodási képességüket.”
Ez az áttörés megnyithatja az utat a hatékony IoT-eszközök felé, amelyek nagyobb mértékben képesek kihasználni a mesterséges intelligenciát.
Ennek számos gyorsan fejlődő területre van jelentős hatása. Például a hordható állapotfigyelő eszközök hatékonyabbá, kisebbé és megbízhatóbbá válhatnak anélkül, hogy működésükhöz mindig szükséges lenne a felhőkapcsolat. Hasonlóképpen, az intelligens házak bonyolultabb feladatokat is képesek lennének ellátni és gyorsabban működnének.
Ezen és minden más lehetséges felhasználási eset mellett a javasolt kialakítás csökkentheti az energiafogyasztást is - hozzájárulva a fenntarthatósági célokhoz.
B.A.
