清華新聞網(wǎng)11月12日電 近期，針對(duì)臨床代謝磁共振采集慢和圖像模糊的長(zhǎng)期痛點(diǎn)，清華大學(xué)生物醫(yī)學(xué)工程學(xué)院宋小磊課題組通過(guò)自適應(yīng)微調(diào)AI技術(shù)和病人自身結(jié)構(gòu)像參考，實(shí)現(xiàn)了腦腫瘤病人的代謝圖像超分辨增強(qiáng)。

多對(duì)比度磁共振成像（Multi-contrast MRI）可“無(wú)創(chuàng)無(wú)標(biāo)記”實(shí)現(xiàn)人體多器官結(jié)構(gòu)、功能、代謝一站式成像，已成為臨床診療和轉(zhuǎn)化研究中的重要工具。然而，受“分辨率-掃描時(shí)長(zhǎng)”的關(guān)聯(lián)制約，在臨床病人掃描的有限時(shí)長(zhǎng)內(nèi)，很難同時(shí)獲得高空間分辨率的多對(duì)比度圖像。宋小磊課題組長(zhǎng)期根植于“代謝磁共振與多模影像”，2023年率先采用此類(lèi)技術(shù)進(jìn)行代謝磁共振的超分超譜增強(qiáng)。近期，針對(duì)多對(duì)比度超分技術(shù)臨床落地的兩大難點(diǎn)，即不同醫(yī)院的設(shè)備、采集參數(shù)差異和新型對(duì)比技術(shù)如代謝MRI缺乏可用于有監(jiān)督學(xué)習(xí)的大規(guī)模數(shù)據(jù)集，團(tuán)隊(duì)提出了“先在公開(kāi)數(shù)據(jù)集上有監(jiān)督訓(xùn)練，再在臨床數(shù)據(jù)上開(kāi)展測(cè)試時(shí)自適應(yīng)（Test-time adaptation，TTA）微調(diào)”的二階段框架。該微調(diào)策略和以病人自身結(jié)構(gòu)像為參照的超分辨新方法，在腦腫瘤病人代謝APTw圖像和聯(lián)影5T的腹部圖像中均取得了SOTA的良好效果。

團(tuán)隊(duì)所提方法以病人自身結(jié)構(gòu)像為參考，實(shí)現(xiàn)了對(duì)低分辨輸入APTw圖像的超分重建，使得20分鐘的掃描時(shí)間縮短至約5分鐘（圖1）。值得一提的是，訓(xùn)練采用正常受試及不含APT的公開(kāi)數(shù)據(jù)集，所提方法使得僅需4個(gè)腫瘤病人即達(dá)成收斂，證明可遷移至不同臨床場(chǎng)景的泛化性（圖2）。

圖1.輸入低分辨代謝像（LR）和高分辨結(jié)構(gòu)像參照（Ref），輸出代謝像高分辨

圖2.在訓(xùn)練集和測(cè)試集存在較大偏差情況下，所提微調(diào)網(wǎng)絡(luò)僅需4個(gè)腫瘤病人即達(dá)成收斂

圖3.在下游腫瘤分割任務(wù)上，證明ISG+FT超分辨網(wǎng)絡(luò)可更好定義腫瘤邊界

針對(duì)多對(duì)比MRI臨床需求，團(tuán)隊(duì)在前期DANCE框架下提出了“先在公開(kāi)數(shù)據(jù)集上有監(jiān)督訓(xùn)練，再在臨床數(shù)據(jù)上開(kāi)展測(cè)試時(shí)自適應(yīng)（Test-time adaptation，TTA）”的二階段框架。具體創(chuàng)新點(diǎn)在于，在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上提出了隱式采樣與生成（Implicit Sampling and Generation，ISG）。ISG網(wǎng)絡(luò)利用基于學(xué)習(xí)的采樣和隱式自注意力機(jī)制，注重于提取語(yǔ)義豐富區(qū)域特征，有效提升了超分圖像細(xì)節(jié)的保真性。此外，不同醫(yī)院采集的圖像分辨率不一致，所需的超分上采樣倍數(shù)也不相同。研究團(tuán)隊(duì)考慮到此點(diǎn)，所提出的ISG網(wǎng)絡(luò)支持任意尺度輸入、任意尺度上采樣倍數(shù)（Arbitrary-Scale SR）。

圖4.ISG網(wǎng)絡(luò)的具體結(jié)構(gòu)

在訓(xùn)練范式上，為了解決真實(shí)臨床數(shù)據(jù)與預(yù)訓(xùn)練的公開(kāi)數(shù)據(jù)集之間的Domain Gap，團(tuán)隊(duì)提出了基于多對(duì)比度MRI數(shù)據(jù)自相關(guān)性的測(cè)試時(shí)自適應(yīng)框架，即神經(jīng)網(wǎng)絡(luò)輸出的超分結(jié)果應(yīng)當(dāng)具有豐富的高頻細(xì)節(jié)，使其可以反向地作為“參考圖像”，參與指導(dǎo)另一張低分辨率圖像的超分。上述過(guò)程稱(chēng)為互惠學(xué)習(xí)（Reciprocal Learning）。圖5紅色箭頭描述了互惠學(xué)習(xí)的實(shí)際過(guò)程，利用超分輸出（I^Out）指導(dǎo)原參考圖像的低分副本（I^Ref_LR），通過(guò)約束生成的（I^Ref_Rcp）從而間接優(yōu)化ISG網(wǎng)絡(luò)。

圖5.無(wú)監(jiān)督測(cè)試時(shí)自適應(yīng)框架

研究重新審視了如何將多對(duì)比度超分算法推向?qū)嶋H臨床應(yīng)用，提出“在公開(kāi)數(shù)據(jù)集上預(yù)訓(xùn)練、在臨床數(shù)據(jù)上無(wú)監(jiān)督微調(diào)”的解決方案。論文首次正式報(bào)道了對(duì)腦腫瘤病人代謝圖像的超分辨重建，并在圖像質(zhì)量主觀(guān)評(píng)價(jià)和下游腫瘤分割任務(wù)上獲得了放射科醫(yī)師的高度認(rèn)可。

研究成果以“腦腫瘤多對(duì)比度MRI超分辨：任意尺度隱式采樣與無(wú)監(jiān)督微調(diào)”（Multi-contrast MRI super-resolution in brain tumors: arbitrary-scale implicit sampling and unsupervised fine-tuning）為題，于11月3日發(fā)表于《IEEE醫(yī)學(xué)成像匯刊》（IEEE Transactions on Medical Imaging）。

清華大學(xué)生物醫(yī)學(xué)工程學(xué)院2021級(jí)博士生陳文軒為論文第一作者，清華大學(xué)生物醫(yī)學(xué)工程學(xué)院副教授宋小磊與上?？萍即髮W(xué)生物醫(yī)學(xué)工程學(xué)院教授沈定剛為論文通訊作者。合作者包括北京清華長(zhǎng)庚醫(yī)院主任醫(yī)師鄭卓肇和醫(yī)師趙本琦。

論文鏈接：

https://doi.org/10.1109/TMI.2025.3628113

供稿：生醫(yī)工程學(xué)院

編輯：李華山

審核：郭玲