清華新聞網(wǎng)11月11日電 近日，清華大學(xué)軟件學(xué)院徐楓副教授團(tuán)隊(duì)在醫(yī)療人工智能方向取得重要進(jìn)展，提出面向呼吸系統(tǒng)疾病診療需求的多模態(tài)基礎(chǔ)模型MedMPT。該模型基于154274例胸部CT影像及其對(duì)應(yīng)放射學(xué)報(bào)告開(kāi)展多模態(tài)自監(jiān)督學(xué)習(xí)，能夠處理臨床中多源異構(gòu)數(shù)據(jù)，支持多類(lèi)典型臨床任務(wù)，在肺部疾病診斷、放射學(xué)報(bào)告生成和用藥推薦等多個(gè)應(yīng)用場(chǎng)景中取得領(lǐng)先性能，為通用醫(yī)療人工智能在真實(shí)臨床環(huán)境中的落地提供了新的技術(shù)路徑。
呼吸系統(tǒng)疾病是全球范圍內(nèi)的重要公共衛(wèi)生問(wèn)題，相關(guān)診療工作通常涉及影像檢查、實(shí)驗(yàn)室檢驗(yàn)及臨床隨訪(fǎng)等多個(gè)環(huán)節(jié)。隨著醫(yī)學(xué)影像與信息化技術(shù)的快速發(fā)展，醫(yī)療場(chǎng)景中產(chǎn)生的數(shù)據(jù)類(lèi)型與規(guī)模不斷增長(zhǎng)，對(duì)臨床醫(yī)師提出了更高的信息整合與決策支持需求。然而，現(xiàn)有醫(yī)療人工智能系統(tǒng)多聚焦于單一數(shù)據(jù)模態(tài)或局部診療步驟，難以適配真實(shí)臨床工作流程中多模態(tài)協(xié)同和連續(xù)性決策的場(chǎng)景，限制了其推廣應(yīng)用和臨床可解釋性。構(gòu)建能夠理解多源醫(yī)療信息并支持多類(lèi)臨床任務(wù)的通用模型，已成為推動(dòng)智慧醫(yī)療發(fā)展的關(guān)鍵方向。
圖1.多模態(tài)臨床數(shù)據(jù)在呼吸系統(tǒng)疾病診療中的協(xié)同應(yīng)用
針對(duì)這一需求，研究團(tuán)隊(duì)提出面向呼吸系統(tǒng)疾病的多模態(tài)基礎(chǔ)模型MedMPT。通過(guò)多尺度、多模態(tài)自監(jiān)督學(xué)習(xí)框架，在無(wú)需額外人工標(biāo)注的前提下，從大規(guī)模胸部影像及文本報(bào)告中自動(dòng)提取醫(yī)學(xué)語(yǔ)義關(guān)聯(lián)特征。進(jìn)一步融合實(shí)驗(yàn)室檢測(cè)指標(biāo)、臨床文本信息及藥物關(guān)系網(wǎng)絡(luò)等多類(lèi)醫(yī)療數(shù)據(jù)，該模型能夠?yàn)椴煌R床任務(wù)提供統(tǒng)一表示基礎(chǔ)，并支持根據(jù)臨床場(chǎng)景進(jìn)行靈活調(diào)優(yōu)。
圖2.MedMPT多模態(tài)自監(jiān)督預(yù)訓(xùn)練框架與多種臨床任務(wù)微調(diào)策略
在臨床應(yīng)用層面，MedMPT能夠在統(tǒng)一模型框架下處理影像、文本、檢驗(yàn)結(jié)果及藥物先驗(yàn)關(guān)系等多源醫(yī)學(xué)信息，輔助醫(yī)師完成疾病識(shí)別、影像分析、初步診斷意見(jiàn)形成及用藥方案制定等多個(gè)診療環(huán)節(jié)。通過(guò)整合多源信息，模型可提供清晰一致的決策支持，助力提升整體診斷效率。在藥物推薦環(huán)節(jié)，得益于大規(guī)模真實(shí)臨床用藥數(shù)據(jù)中潛在模式與關(guān)聯(lián)的融合，模型能夠?yàn)樗幬镞x擇和方案制定提供具有實(shí)踐參考價(jià)值的建議。同時(shí)，模型具備可解釋性可視化能力，能夠?yàn)槠浞治鼋Y(jié)果提供相應(yīng)依據(jù)，有助于增強(qiáng)醫(yī)師對(duì)模型決策過(guò)程的理解與信任。
圖3.MedMPT在多模態(tài)臨床任務(wù)中實(shí)現(xiàn)綜合性能提升
此外，團(tuán)隊(duì)與臨床專(zhuān)家開(kāi)展了合作評(píng)估。MedMPT可在影像報(bào)告撰寫(xiě)過(guò)程中提供結(jié)構(gòu)化、連貫、專(zhuān)業(yè)的影像描述，幫助醫(yī)生快速聚焦病灶信息，提升報(bào)告撰寫(xiě)效率。同時(shí)，模型輸出具備較高的醫(yī)學(xué)專(zhuān)業(yè)性和信息完整度，有助于減少報(bào)告內(nèi)容遺漏，特別是在經(jīng)驗(yàn)相對(duì)不足的醫(yī)生群體中，對(duì)提升報(bào)告規(guī)范性和一致性作用明顯。結(jié)果顯示，MedMPT能夠與臨床專(zhuān)家形成良好協(xié)同，在保持醫(yī)生的專(zhuān)業(yè)判斷主體地位的同時(shí)，有效優(yōu)化日常工作流程，展現(xiàn)出良好的臨床應(yīng)用潛力。
圖4.MedMPT通過(guò)人機(jī)協(xié)同顯著提升醫(yī)學(xué)影像報(bào)告撰寫(xiě)的效率和報(bào)告質(zhì)量
這一工作為多模態(tài)醫(yī)療人工智能在真實(shí)臨床場(chǎng)景中的應(yīng)用提供了可行路徑與實(shí)踐依據(jù)。未來(lái)，團(tuán)隊(duì)將進(jìn)一步推進(jìn)多中心驗(yàn)證與拓展應(yīng)用場(chǎng)景，持續(xù)推動(dòng)人機(jī)協(xié)同在臨床診療中的深度融合。
研究成果以“面向呼吸系統(tǒng)疾病多場(chǎng)景臨床應(yīng)用的視覺(jué)–語(yǔ)言預(yù)訓(xùn)練模型”（ A vision–language pretrained transformer for versatile clinical respiratory disease applications）為題，于11月6日發(fā)表于《自然·生物醫(yī)學(xué)工程》（Nature Biomedical Engineering）。
清華大學(xué)軟件學(xué)院2021級(jí)博士生馬靚笛為論文第一作者，清華大學(xué)軟件學(xué)院副教授徐楓、信息國(guó)家研究中心副研究員郭雨晨，廣州醫(yī)科大學(xué)附屬第一醫(yī)院教授何建行、醫(yī)生梁恒瑞為論文共同通訊作者。研究由清華大學(xué)軟件學(xué)院、信息國(guó)家研究中心、腦與認(rèn)知科學(xué)研究院、廣州醫(yī)科大學(xué)附屬第一醫(yī)院、北京天壇醫(yī)院、貴州省人民醫(yī)院等單位合作完成。研究得到國(guó)家自然科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃等項(xiàng)目的支持。
論文鏈接：
https://www.nature.com/articles/s41551-025-01544-z
供稿：軟件學(xué)院
編輯：李華山
審核：郭玲
