Egyelőre jobbak a radiológus hallgatók a mesterséges intelligenciánál

Az AI in Precision Oncology folyóiratban jelent meg a Capital Health and Bayta Systems kutatóinak cikke, amelyben a szerzők különböző nagy nyelvi modell alapú mesterséges intelligencia rendszerek (LLM-ek) teljesítményét értékelték az onkológiai radiológia területén - ismertette a medicalonline.hu.

Az AI rendszerek számára a kutatók egy 300 feladatból álló vizsgasort állítottak össze, amelyben statisztikai és klinikai kérdések, képelemzési feladatok egyaránt szerepeltek. A vizsgálat érdekessége az volt, hogy ugyanezt a vizsgát radiológus hallgatókkal is elvégeztették.

Az eredmények szerint a legjobb teljesítményt az OpenAI terméke, a GPT-4-turbo nyújtotta 74,2%-os helyes válaszaránnyal, míg mindhárom Llama-2 modell csúnyán alulteljesített. Az LLM-ek általában jól szerepeltek a statisztikai kérdések során, de a klinikai területen rossz eredményt nyújtottak a GPT-4-turbo kivételével. Ez a modell jobban teljesített, mint az alsóbb évfolyamokba járó egyetemisták, de a felsőbb évfolyamokba járó radiológus hallgatók végső pontszámai jobbnak bizonyultak a mesterséges intelligenciánál.