Cosmos3-H-Dreams néven új műtéti szimulációs modellt mutatott be az NVIDIA. A generatív mesterséges intelligencia valódi robotsebészeti felvételekből tanulva képes olyan videós környezetet előállítani, amely a sebészeti robot karjainak mozgására valós időben reagál. A fejlesztés egyelőre kutatási eszköz, nem betegellátásban alkalmazható autonóm sebészeti rendszer.
Az NVIDIA október 20-án ismertette a Cosmos3-H-Dreams fejlesztést, amelyet a CMR Surgical Versius robotsebészeti rendszerével végzett epehólyag-eltávolító műtétek felvételein tanítottak tovább. A modell egy műtéti kameraképből és a robot műszereinek vezérlési adataiból próbálja megjósolni, hogyan változna a látott jelenet a következő mozdulatok hatására. A cél egy olyan interaktív digitális gyakorlókörnyezet, amelyben a kutatók és robotfejlesztők valódi betegek veszélyeztetése nélkül vizsgálhatnak különböző mozgási stratégiákat.
A rendszer a Cosmos 3 világmodell-architektúrájára épül, és a sebészeti videókat a robotkarok mozgásával kapcsolatos adatokkal kapcsolja össze. A modell két műszer vezérlését követi, összesen 28 dimenziós műveleti információ alapján. Ezek az adatok többek között a karok helyzetét, forgását, a megfogó szerkezetek állapotát és egyes vezérlőfunkciókat írják le. A generált videó így nem előre elkészített animáció, hanem a megadott műveletekre reagáló, folyamatosan változó szimuláció.
Az NVIDIA közlése szerint a gyorsított változat egyetlen RTX PRO 6000 grafikus processzoron is interaktívan futtatható. A modell 832 × 480 képpontos felbontásban, másodpercenként tíz képkockás ütemben dolgozik, és a videót rövidebb, egymásra épülő szakaszokban állítja elő. A fejlesztéshez felhasznált alapadatok valódi műtéti felvételekből és a sebészeti robot vezérlési naplóiból származnak. Ezek az adatok azonban meghatározott beavatkozásokhoz és műszerkonfigurációhoz kötődnek.
Olvasd el: 15 perc alatt digitalizálhat egy 100 négyzetméteres teret a Hesai új Kosmo rendszere
Képesek lehetnek a jövő sebészeti robotjai először több ezer virtuális műtétet végiggyakorolni, mielőtt egyáltalán valódi műtőbe kerülnének?
Az ilyen szimulációs rendszerek egyik lehetséges előnye, hogy a robotsebészeti fejlesztésekhez nem minden kísérletet kell fizikai berendezésen vagy valós szöveten elvégezni. A kutatók különböző vezérlési stratégiákat tesztelhetnek, megvizsgálhatják a robotok reakcióit, és mesterségesen előállított felvételekkel egészíthetik ki a tanítóadatokat. A generatív megközelítés különösen ott lehet érdekes, ahol a hagyományos fizikai szimuláció számára nehéz pontosan modellezni a szövetek mozgását, a fényviszonyokat vagy a műszerek által okozott takarást.
A fejlesztés legfontosabb korlátját maga az NVIDIA is hangsúlyozza: a vizuálisan élethű videó nem bizonyítja, hogy a szövetek valódi fizikai viselkedése helyesen jelenik meg. A modell tévesen is ábrázolhat anatómiai részleteket, szöveti reakciókat vagy műszermozgásokat. A jelenlegi változat meghatározott epehólyagműtéti helyzetekre és jellemzően két látható műszerre specializált. Nem alkalmas önmagában műtéti döntéshozatalra, betegellátásra vagy egy sebészeti robot közvetlen irányítására.
A Cosmos3-H-Dreams ezért nem azt bizonyítja, hogy a mesterséges intelligencia már képes önállóan operálni. A fejlesztés sokkal inkább a robotikai kutatások egyik fontos akadályát próbálja csökkenteni: a valósághű, interaktív tanulókörnyezetek előállításának nehézségét. Ha a generált jelenetek fizikai pontossága és ellenőrizhetősége tovább javul, az ilyen rendszerek hozzájárulhatnak a sebészeti robotok biztonságosabb fejlesztéséhez. A klinikai alkalmazásig azonban további alapos vizsgálatokra és külön biztonsági igazolásra lesz szükség.
Olvasd el ezt is: Saját első autonóm mesterséges intelligencia laboratóriumát építi a Danaher
Források: NVIDIA Research, NVIDIA Cosmos3-H-Dreams Model Card, Hugging Face
CS.SZ.
