科技日?qǐng)?bào)北京4月13日電 (記者張佳欣)盡管人工智能(AI)在醫(yī)療領(lǐng)域的應(yīng)用日益增多,但其“像醫(yī)生一樣思考”的能力仍存在明顯短板。由美國(guó)麻省總醫(yī)院MESH孵化器團(tuán)隊(duì)開展的一項(xiàng)最新研究發(fā)現(xiàn),生成式AI在臨床推理關(guān)鍵環(huán)節(jié)仍顯不足,尚不具備獨(dú)立承擔(dān)臨床診療任務(wù)的能力。相關(guān)成果發(fā)表在最新一期《JAMA Network Open》上。
團(tuán)隊(duì)選取包括ChatGPT、DeepSeek、Claude、Gemini和Grok在內(nèi)的21種大語(yǔ)言模型,在29個(gè)已發(fā)表的臨床病例中進(jìn)行測(cè)試,并通過逐步提供患者信息(從基本癥狀到實(shí)驗(yàn)室和影像結(jié)果)來模擬真實(shí)診療過程。結(jié)果顯示,當(dāng)獲得完整信息時(shí),所有模型在超過90%的案例中能給出正確的最終診斷。
然而,在關(guān)鍵的早期診斷階段,這些模型普遍表現(xiàn)欠佳。研究發(fā)現(xiàn),超過80%的情況下,模型未能提出合理的“鑒別診斷”,即對(duì)多種可能疾病進(jìn)行系統(tǒng)性分析與篩選。這一能力被認(rèn)為是臨床推理的核心,也是醫(yī)生決策的重要基礎(chǔ)。
為更全面評(píng)估模型能力,團(tuán)隊(duì)提出了一種名為PrIME-LLM的新指標(biāo),從提出潛在診斷、選擇檢查手段、給出最終診斷到制定治療方案等多個(gè)環(huán)節(jié)對(duì)模型進(jìn)行綜合評(píng)價(jià)。結(jié)果顯示,各模型整體評(píng)分在64%至78%之間,表現(xiàn)存在明顯差異。
團(tuán)隊(duì)指出,大語(yǔ)言模型更擅長(zhǎng)在信息完備的情況下“給出答案”,但在信息不充分、需要開放性推理的情境中表現(xiàn)較弱。隨著實(shí)驗(yàn)室數(shù)據(jù)和影像資料的加入,模型表現(xiàn)有所提升,且新一代模型整體優(yōu)于舊版本,表明相關(guān)技術(shù)正在持續(xù)改進(jìn)。
團(tuán)隊(duì)表示,當(dāng)前大語(yǔ)言模型尚不適合在缺乏監(jiān)督的情況下直接用于臨床實(shí)踐,其價(jià)值更在于輔助醫(yī)生決策,而非取而代之。
(責(zé)任編輯:王婉瑩)