清華新聞網(wǎng)3月17日電 近日，清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組，聯(lián)合中國(guó)科學(xué)院生物物理研究所李棟課題組、美國(guó)霍華德休斯醫(yī)學(xué)研究所（HHMI）詹妮弗·利平科特-施瓦茨（Jennifer Lippincott-Schwartz）博士提出了一套合理化深度學(xué)習(xí)（rationalized deep learning，rDL）顯微成像技術(shù)框架，將光學(xué)成像模型及物理先驗(yàn)與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)相融合，合理化網(wǎng)絡(luò)訓(xùn)練、預(yù)測(cè)過(guò)程，從而實(shí)現(xiàn)了高性能、高保真的顯微圖像去噪與超分辨重建，并結(jié)合實(shí)驗(yàn)室自主研發(fā)、搭建的多模態(tài)結(jié)構(gòu)光照明顯微鏡（Multi-SIM）與高速晶格光片顯微鏡（LLSM），將傳統(tǒng)超分辨活體成像速度與時(shí)程提升30倍以上，實(shí)現(xiàn)了當(dāng)前國(guó)際最快（684Hz）、成像時(shí)程最長(zhǎng)（最長(zhǎng)可達(dá)3小時(shí)、60,000時(shí)間點(diǎn)以上）的活體細(xì)胞成像性能，首次對(duì)高速擺動(dòng)纖毛（>30Hz）中轉(zhuǎn)運(yùn)蛋白（IFT）的多種運(yùn)輸行為以及完整細(xì)胞分裂過(guò)程中核仁液液相分離（liquid-liquid phase separation）過(guò)程進(jìn)行快速、多色、長(zhǎng)時(shí)程、超分辨觀(guān)測(cè)。
圖1.合理化深度學(xué)習(xí)超分辨顯微成像技術(shù)文章封面與神經(jīng)網(wǎng)絡(luò)架構(gòu)
具體而言，研究團(tuán)隊(duì)提出的合理化深度學(xué)習(xí)結(jié)構(gòu)光超分辨重建架構(gòu)（rDL SIM）不同于現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的端到端（end-to-end）訓(xùn)練模式，而是采用分步重建策略，首先利用所提出的融合成像物理模型和結(jié)構(gòu)光照明先驗(yàn)的神經(jīng)網(wǎng)絡(luò)對(duì)原始SIM圖像進(jìn)行去噪和高頻信息增強(qiáng)，然后再通過(guò)經(jīng)典解析算法進(jìn)行SIM重建以獲得最終的超分辨圖像。相比于該團(tuán)隊(duì)去年在《自然·方法》（Nature Methods）期刊上提出的傅立葉注意力超分辨重建神經(jīng)網(wǎng)絡(luò)模型（DFCAN/DFGAN），合理化深度學(xué)習(xí)超分辨成像技術(shù)可將超分辨重建結(jié)果的不確定性降低3~5倍，并實(shí)現(xiàn)更高的保真度和重建質(zhì)量；相比于其他去噪算法，該方法可完美恢復(fù)出調(diào)制在原始圖像中的莫爾條紋，并將高頻信息增強(qiáng)10倍以上。
此外，針對(duì)晶格光片顯微鏡、共聚焦顯微鏡等寬場(chǎng)照明或點(diǎn)掃描成像模態(tài)，研究團(tuán)隊(duì)提出了一種可學(xué)習(xí)的傅立葉域噪聲抑制模塊（FNSM），該模塊可以利用光學(xué)傳遞函數(shù)信息對(duì)顯微圖像中的噪聲進(jìn)行自適應(yīng)濾除。然后，他們以此構(gòu)建了嵌入傅立葉域噪聲抑制模塊的通道注意力去噪神經(jīng)網(wǎng)絡(luò)架構(gòu)，并基于顯微成像數(shù)據(jù)本身的時(shí)空連續(xù)性，提出了時(shí)空交織采樣自監(jiān)督訓(xùn)練策略（TiS/SiS-rDL），無(wú)需額外采集訓(xùn)練數(shù)據(jù)、亦無(wú)需保證時(shí)序數(shù)據(jù)具有時(shí)間連續(xù)性，即可實(shí)現(xiàn)媲美監(jiān)督學(xué)習(xí)效果的去噪神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，解決了實(shí)際生物成像實(shí)驗(yàn)中高質(zhì)量訓(xùn)練數(shù)據(jù)難以獲取的難題。
圖2.合理化深度學(xué)習(xí)超分辨顯微成像方法應(yīng)用概覽
合理化深度學(xué)習(xí)超分辨顯微成像方法能夠適用于包括二維/三維結(jié)構(gòu)光照明顯微鏡（2D/3D-SIM）、晶格光片顯微鏡（LLSM）等在內(nèi)的多種顯微成像模態(tài)，提供高分辨率、高保真的顯微圖像重建性能，相較于傳統(tǒng)方法大幅提升成像時(shí)程和速度。借助合理化深度學(xué)習(xí)超分辨成像技術(shù)，研究團(tuán)隊(duì)進(jìn)行了諸多過(guò)去的成像手段無(wú)法開(kāi)展的超分辨活體成像實(shí)驗(yàn)，包括以下五項(xiàng)實(shí)驗(yàn)。
對(duì)滴落在玻片上的U2OS細(xì)胞貼壁生長(zhǎng)過(guò)程進(jìn)行了雙色、長(zhǎng)時(shí)程（1小時(shí)以上）、超分辨（97nm分辨率）觀(guān)測(cè)，清晰、真實(shí)地記錄了細(xì)胞粘附和遷移的動(dòng)力學(xué)現(xiàn)象，而不會(huì)干擾這一漫長(zhǎng)、脆弱的生命過(guò)程；對(duì)高速擺動(dòng)纖毛以當(dāng)前最快的684Hz成像速率進(jìn)行了長(zhǎng)達(dá)60,000個(gè)時(shí)間點(diǎn)的連續(xù)超分辨觀(guān)測(cè)，過(guò)程中無(wú)明顯光漂白或細(xì)胞活性損傷；同時(shí)對(duì)擺動(dòng)纖毛及纖毛內(nèi)轉(zhuǎn)運(yùn)蛋白（IFT）進(jìn)行了超快、超分辨雙色成像，首次揭示了IFT在行進(jìn)途中碰撞、重組、掉頭等多種新行為；通過(guò)對(duì)與DNA結(jié)合的循環(huán)GMP-AMP合成酶（cGAS-DNA）與內(nèi)質(zhì)網(wǎng)（ER）進(jìn)行雙色、長(zhǎng)時(shí)程、超分辨成像，觀(guān)測(cè)到cGAS-DNA在保持與內(nèi)質(zhì)網(wǎng)持續(xù)接觸過(guò)程中的定向運(yùn)動(dòng)、轉(zhuǎn)向或擴(kuò)散等行為，拓展了對(duì)膜性細(xì)胞器與無(wú)膜細(xì)胞器相互作用機(jī)制的認(rèn)知；對(duì)HeLa 細(xì)胞分裂過(guò)程中的核仁磷酸蛋白（NPM1）、RNA聚合酶I亞基RPA49以及染色質(zhì)（H2B）進(jìn)行超長(zhǎng)時(shí)程（12秒采集間隔，2.5小時(shí)以上）的三維超分辨活體成像，首次實(shí)現(xiàn)了對(duì)完整有絲分裂過(guò)程中核仁磷酸蛋白與RPA49兩種結(jié)構(gòu)形態(tài)變化的三維超分辨活體連續(xù)觀(guān)測(cè)，揭示了細(xì)胞有絲分裂過(guò)程中核仁形成以及核仁磷酸蛋白、RPA49兩種無(wú)膜亞細(xì)胞結(jié)構(gòu)的相變、互作規(guī)律；以10Hz的全細(xì)胞體成像幀率對(duì)高爾基體進(jìn)行了長(zhǎng)達(dá)10,000時(shí)間點(diǎn)的連續(xù)拍攝，并實(shí)現(xiàn)了對(duì)完整細(xì)胞分裂過(guò)程內(nèi)質(zhì)網(wǎng)、溶酶體、線(xiàn)粒體等亞細(xì)胞結(jié)構(gòu)的三色、高速（秒量級(jí)）、超長(zhǎng)時(shí)程（小時(shí)量級(jí)，>1000個(gè)時(shí)間點(diǎn)）三維觀(guān)測(cè)，深入探究了細(xì)胞有絲分裂過(guò)程中細(xì)胞器在子代細(xì)胞中的均勻分配機(jī)制。
近日，上述成果在《自然·生物技術(shù)》（Nature Biotechnology）期刊發(fā)表題為“基于合理化深度學(xué)習(xí)超分辨顯微成像的快速、長(zhǎng)時(shí)程活體亞細(xì)胞過(guò)程觀(guān)測(cè)”（Rationalized deep learning super-resolution microscopy for sustained live imaging of rapid subcellular processes）的論文。《自然·生物技術(shù)》雜志以封面文章的形式對(duì)這一研究成果進(jìn)行報(bào)道，同時(shí)發(fā)表了《研究簡(jiǎn)述》（Research Briefing）文章對(duì)其重點(diǎn)介紹。
清華大學(xué)自動(dòng)化系博士后喬暢，中國(guó)科學(xué)院生物物理所正高級(jí)工程師李迪、助理研究員劉勇、張思微為該論文共同第一作者，清華大學(xué)自動(dòng)化系教授戴瓊海，中國(guó)科學(xué)院生物物理所研究員李棟和霍華德休斯醫(yī)學(xué)研究所研究員詹妮弗·利平科特-施瓦茨（Jennifer Lippincott-Schwartz）為共同通訊作者。
該研究得到國(guó)家自然科學(xué)基金委、科技部、中國(guó)科學(xué)院、中國(guó)博士后科學(xué)基金、騰訊“科學(xué)探索獎(jiǎng)”、清華大學(xué)“水木學(xué)者”計(jì)劃的資助。
論文鏈接：
https://www.nature.com/articles/s41587-022-01471-3
供稿：自動(dòng)化系
題圖設(shè)計(jì)：梁晨
編輯：李華山
審核：郭玲
