清華新聞網(wǎng)2月13日電 在癌癥診斷領(lǐng)域，病理圖像分析是癌癥診斷的“金標(biāo)準(zhǔn)”。隨著掃描技術(shù)的進(jìn)步，傳統(tǒng)病理組織標(biāo)本已逐步數(shù)字化為全切片圖像（Whole Slide Image, WSI），這一變革為計(jì)算機(jī)輔助診斷提供了新的機(jī)遇。然而，由于全切片圖像具有超高分辨率（如單張圖像可達(dá)4萬(wàn)×4萬(wàn)像素）且缺乏細(xì)粒度標(biāo)注，傳統(tǒng)深度學(xué)習(xí)方法難以直接應(yīng)用。多實(shí)例學(xué)習(xí)（Multiple Instance Learning, MIL）作為弱監(jiān)督學(xué)習(xí)范式，僅需圖像級(jí)標(biāo)簽即可實(shí)現(xiàn)分類(lèi)與腫瘤定位，成為當(dāng)前研究熱點(diǎn)。然而，MIL范式固有的弱監(jiān)督信號(hào)與WSI中陰陽(yáng)性實(shí)例分布失衡的雙重挑戰(zhàn)，造成模型對(duì)于陽(yáng)性特征的學(xué)習(xí)不足，進(jìn)而導(dǎo)致注意力定位偏差，影響模型性能與臨床可應(yīng)用性。
面對(duì)這一挑戰(zhàn)，清華大學(xué)深圳國(guó)際研究生院王潤(rùn)銘團(tuán)隊(duì)與哈爾濱工業(yè)大學(xué)（深圳）團(tuán)隊(duì)攜手合作，針對(duì)全切片病理圖像分類(lèi)中注意力機(jī)制定位不準(zhǔn)確的難題，提出了名為“FAMIL”的新型多實(shí)例學(xué)習(xí)框架。該框架采用了雙分支結(jié)構(gòu)，并結(jié)合了兩種創(chuàng)新的在線(xiàn)數(shù)據(jù)增強(qiáng)策略：基于注意力的混合（ABMix）和基于注意力的掩蔽（ABMask）。FAMIL框架中的ABMix策略強(qiáng)調(diào)了陽(yáng)性實(shí)例的重要性，在MIL場(chǎng)景中推廣了Mixup。而ABMask策略則靈活地識(shí)別具有挑戰(zhàn)性的陽(yáng)性實(shí)例，以?xún)?yōu)化特征學(xué)習(xí)。值得注意的是，F(xiàn)AMIL具備即插即用特性，可以靈活嵌入現(xiàn)有注意力模型，從而提升模型的性能與泛化能力。
圖1.FAMIL網(wǎng)絡(luò)架構(gòu)
研究團(tuán)隊(duì)還選取了ABMIL、DSMIL、TransMIL三種主流注意力MIL方法作為基線(xiàn)模型，并在涵蓋不同癌癥類(lèi)型的多組數(shù)據(jù)集上進(jìn)行了驗(yàn)證。實(shí)驗(yàn)表明，經(jīng)FAMIL優(yōu)化后的所有基線(xiàn)模型性能均得到了顯著提升。同時(shí)，研究團(tuán)隊(duì)還將經(jīng)過(guò)FAMIL優(yōu)化后模型與其他先進(jìn)的MIL方法進(jìn)行了比較，進(jìn)一步驗(yàn)證了研究架構(gòu)的有效性和先進(jìn)性。
對(duì)比實(shí)驗(yàn)結(jié)果
此外，F(xiàn)AMIL框架中的ABMix為陽(yáng)性區(qū)域構(gòu)建多樣化陰性環(huán)境，ABMask對(duì)WSI中陽(yáng)性硬實(shí)例進(jìn)行靈活挖掘，兩大策略共同增強(qiáng)了模型對(duì)陽(yáng)性特征表征學(xué)習(xí)，改進(jìn)了基于注意力的MIL方法腫瘤定位能力，顯著改善了陽(yáng)性WSI中注意力定位不準(zhǔn)確和陰性WSI中注意力分布不平衡的問(wèn)題。
圖2.注意力可視化圖
相關(guān)研究成果以“集中注意力：基于注意力修正的全玻片病理圖像分類(lèi)多實(shí)例學(xué)習(xí)”（Focus Your Attention: Multiple Instance Learning with Attention Modification for Whole Slide Pathological Image Classification）為題，發(fā)表于《IEEE電路與系統(tǒng)視頻技術(shù)匯刊》（IEEE Transactions on Circuits and Systems for Video Technology, TCSVT）。
清華大學(xué)深圳國(guó)際研究生院2022級(jí)碩士生程海倫為論文的第一作者，清華大學(xué)深圳國(guó)際研究生院王潤(rùn)銘助理教授為論文通訊作者，哈爾濱工業(yè)大學(xué)（深圳）張永兵教授為共同通訊作者。論文的共同作者還包括哈爾濱工業(yè)大學(xué)（深圳）2022級(jí)博士生黃沈錦、2023級(jí)博士生蔡凌翰，清華大學(xué)深圳國(guó)際研究生院2022級(jí)碩士生徐煬帆。研究得到清華大學(xué)深圳國(guó)際研究生院交叉基金、國(guó)家自然科學(xué)基金的支持。
論文鏈接：
https://doi.org/10.1109/TCSVT.2025.3528625
供稿：深圳國(guó)際研究生院
編輯：李華山
審核：郭玲
