PTE-kutatás: tanulmány az AI rendszerek laboratóriumi pontosságáról

Valódi segítséget jelenthet a mesterséges intelligencia a gyógyszerbiztonságban, különösen a kórházakban, ahol az automatizált rendszerek csökkenthetik az egészségügyi dolgozók terhelését. A Pécsi Tudományegyetem honlapján megjelent tanulmány szerint ugyanakkor az AI-rendszerek laboratóriumi pontossága nem jelent automatikusan megbízható működést a klinikai gyakorlatban.

Kórházi környezetben vizsgálták az AI-rendszereket

A Pécsi Tudományegyetem Gyógyszerésztudományi Kara és a Pannon Egyetem kutatóinak közös tanulmánya szerint a felismerés pontosságát sok esetben jobban befolyásolják a klinikai körülmények – például a fényviszonyok, az eszközhasználat vagy az emberi tényezők – mint maga a technológiai platform.

A mindennapi egészségügyi gyakorlatban a gyógyszerek azonosítása sokszor nem ideális körülmények között, jelentős betegforgalom és időnyomás mellett történik. Emiatt világszerte egyre nagyobb figyelem irányul azokra a mesterségesintelligencia-alapú képfelismerő rendszerekre, amelyek támogathatják a gyógyszerbiztonságot. A JMIR Medical Informatics felületén megjelent kutatás ugyanakkor arra hívja fel a figyelmet, hogy az AI csak akkor lehet valódi segítség, ha a rendszereket valós környezetre készítik fel.

A pécsi kutatócsoport már 2024-ben is beszámolt egy MI-alapú gyógyszerfelismerő rendszer fejlesztéséről, amelyet Pécsen, Kaposváron és Komlón teszteltek. Az új tanulmány ezt a munkát fejleszti tovább: négy eltérő technológiai megközelítést hasonlítottak össze ugyanazon adatok alapján, hogy feltérképezzék azok pontosságát, költségét és hibamintázatait a klinikai gyakorlatban.

Négy különböző AI-megoldást hasonlítottak össze

A kutatásban a PTE Gyógyszerésztudományi Kar részéről dr. Ashraf Amir Reza adjunktus és dr. Fittler András egyetemi docens, a kar dékánja vett részt, míg a Pannon Egyetem Műszaki Informatikai Karáról dr. Vörösházi Zsolt és Rádli Richárd dolgozott a projekten.

A kutatók azt vizsgálták, hogy a mesterséges intelligencia segítségével automatizálható-e biztonságosan és megbízhatóan a gyógyszerazonosítás a mindennapi egészségügyi gyakorlatban.

A vizsgálat során egy nyílt forráskódú képfeldolgozó rendszert (YOLO11), valamint a Google, az Amazon és a Microsoft felhőalapú AutoML-rendszereit elemezték. Az elemzésbe harminc, a klinikai gyakorlatban gyakran alkalmazott gyógyszert vontak be, a modelleket pedig eltérő méretű képadatkészletekkel tanították be.

„Olyan mélytanuláson alapuló rendszereket is górcső alá vettünk, amelyek ellenőrzött körülmények között 90 százalék feletti pontosságot mutattak, kórházi környezetből származó adatokon azonban a teljesítményük drasztikusan visszaesett” – fogalmazott a tanulmány fő szerzője, Ashraf Amir Reza.

A klinikai környezet erősen befolyásolja a pontosságot

A kutatás szerint a felismerési pontosságot sok esetben nem maga az AI-platform határozta meg, hanem olyan tényezők, mint a megvilágítás, az eszközök minősége vagy az emberi használat módja.

A tanulmány külön figyelmet szentelt az AutoML-rendszereknek is, amelyek gyors bevezetést tesznek lehetővé, ugyanakkor gyakran „fekete dobozként” működnek, vagyis a döntési folyamatok nem átláthatók a felhasználók számára. A kutatók olyan példákat is találtak, amikor a rendszer inkább nem azonosított gyógyszert, csak hogy elkerülje a téves felismerést.

„A tanulmányunk hangsúlyozza, hogy a mesterséges intelligencia nem önálló döntéshozó, hanem eszköz, amelynek használata felelősséggel jár. Az egészségügyben nem létezik egységesen alkalmazható megoldás. Minden rendszert helyben, valós adatokkal, a konkrét környezethez igazítva kell tesztelni” – emelte ki a kutatás vezetője.

Valós körülmények között is tesztelték a rendszereket

A tesztelés ugyanakkor nemcsak laboratóriumi körülmények között zajlott: a rendszereket három különböző kórházból származó klinikai képeken is kipróbálták. Emellett ellenőrzött, ideális körülmények között készült felvételeken is vizsgálták az algoritmusok teljesítményét.

A kutatók nemcsak a felismerési pontosságot elemezték, hanem azt is, mennyire stabilak az egyes rendszerek különböző környezetekben, milyen költségekkel jár a használatuk, illetve mennyire könnyen vezethetők be az egészségügyi gyakorlatban.

„A kutatás tanulsága túlmutat a konkrét projekten; az egészségügyi MI-rendszereknél sem a legfejlettebb technológia, sem a legnagyobb tanító adatkészlet nem garantálja önmagában a klinikai megbízhatóságot. Minden bevezetés előtt helyi, valós körülmények közötti validációra van szükség. A fejlesztéseknek pedig nem az orvosok és gyógyszerészek szakmai kompetenciáinak helyettesítését kellene megcélozniuk, hanem azok maximális támogatását a mindennapi munkafolyamatokban" — tette hozzá Ashraf Amir Reza.