清華新聞網(wǎng)1月23日電 1月21日，清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院戴瓊海課題組與中國(guó)科學(xué)院生物物理所李棟課題組在《自然?方法》（Nature Methods）期刊發(fā)表了題為“光學(xué)顯微成像中超分辨卷積神經(jīng)網(wǎng)絡(luò)的測(cè)評(píng)和發(fā)展”（Evaluation and development of deep neural networks for image super-resolution in optical microscopy）的論文，該文綜合測(cè)評(píng)了現(xiàn)有超分辨卷積神經(jīng)網(wǎng)絡(luò)模型在顯微圖像超分辨任務(wù)上的表現(xiàn)，提出傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)（DFCAN, Deep Fourier Channel Attention Network）和傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像條件下實(shí)現(xiàn)最優(yōu)的顯微圖像超分辨預(yù)測(cè)和結(jié)構(gòu)光超分辨重建效果，并觀(guān)測(cè)到線(xiàn)粒體內(nèi)脊、線(xiàn)粒體擬核、內(nèi)質(zhì)網(wǎng)、微絲骨架等生物結(jié)構(gòu)的動(dòng)態(tài)互作新行為。
深度學(xué)習(xí)超分辨顯微成像方法觀(guān)測(cè)細(xì)胞骨架的交錯(cuò)結(jié)構(gòu)
為測(cè)評(píng)現(xiàn)有多種超分辨神經(jīng)網(wǎng)絡(luò)在顯微圖像超分辨任務(wù)中的表現(xiàn)，以及建立基于深度學(xué)習(xí)的顯微圖像超分辨算法研究生態(tài)，戴瓊海/李棟聯(lián)合課題組首先利用自主搭建的整合了全內(nèi)反射結(jié)構(gòu)光照明顯微鏡（TIRF-SIM）、非線(xiàn)性結(jié)構(gòu)光照明顯微鏡（Nonlinear-SIM）【Science，2015】和掠入射結(jié)構(gòu)光照明顯微鏡（GI-SIM）【Cell，2018】等多種超分辨成像模態(tài)的多模態(tài)結(jié)構(gòu)光超分辨顯微鏡系統(tǒng)對(duì)不同生物結(jié)構(gòu)進(jìn)行成像，建立了一個(gè)包含4種不同復(fù)雜度的生物結(jié)構(gòu)、9種不同信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高質(zhì)量超分辨顯微成像公開(kāi)數(shù)據(jù)集，命名為BioSR。以此為基礎(chǔ)，該團(tuán)隊(duì)測(cè)試了多個(gè)現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的性能，并提出測(cè)評(píng)矩陣（assessmentmatrix）方法，將超分辨神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)線(xiàn)性結(jié)構(gòu)光照明超分辨技術(shù)（Linear-SIM）和非線(xiàn)性結(jié)構(gòu)光照明超分辨技術(shù)（Nonlinear-SIM）的效果進(jìn)行比較，得到了不同模型的優(yōu)越區(qū)域（priorityregion），即給出了不同模型實(shí)現(xiàn)足夠好的超分辨成像效果、能夠用于日常生物成像實(shí)驗(yàn)的成像條件。
但通過(guò)分析評(píng)測(cè)矩陣結(jié)果發(fā)現(xiàn)，現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的優(yōu)越區(qū)域主要集中在低復(fù)雜度生物結(jié)構(gòu)和提升2倍分辨率（即Linear-SIM）的成像條件下，而在生物成像實(shí)驗(yàn)通常使用的中、高信噪比條件下的性能則低于傳統(tǒng)超分辨成像方法。為進(jìn)一步拓展卷積神經(jīng)網(wǎng)絡(luò)在顯微圖像超分辨中的適用范圍，提升超分辨成像和重建效果，戴瓊海/李棟聯(lián)合課題組基于高、低分辨率圖像頻譜覆蓋范圍的顯著差異，提出了傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)模型（DFCAN）和傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)模型（DFGAN），實(shí)現(xiàn)了比其他現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)模型更魯棒的顯微圖像超分辨預(yù)測(cè)效果，依據(jù)測(cè)評(píng)矩陣結(jié)果，其優(yōu)越區(qū)域可以拓展至中高信噪比，可在實(shí)際生物成像實(shí)驗(yàn)中替代現(xiàn)有超分辨成像方法，應(yīng)用場(chǎng)景得到較大程度的拓展。
傅立葉注意力機(jī)制和基于傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)（DFCAN）、傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)（DFGAN）結(jié)構(gòu)光超分辨重建的活細(xì)胞成像
應(yīng)用傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)（DFCAN）和傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)模型（DFGAN）單張顯微圖像超分辨率預(yù)測(cè)和結(jié)構(gòu)光照明超分辨重建方法，研究人員能夠以更低的激光功率、更快和拍攝速度、更長(zhǎng)的拍攝時(shí)程和超越衍射極限和分辨率來(lái)觀(guān)測(cè)亞細(xì)胞尺度的生物結(jié)構(gòu)互作。例如：
（1）細(xì)胞中的線(xiàn)粒體內(nèi)膜和線(xiàn)粒體擬核之間的相互作用，成像時(shí)程（大于1200張超分辨圖像）達(dá)到傳統(tǒng)活體超分辨成像方法的10倍以上，觀(guān)察到伴隨著線(xiàn)粒體內(nèi)脊形變的擬核分離和聚合現(xiàn)象；
（2）細(xì)胞中環(huán)形線(xiàn)粒體的行為，觀(guān)察到環(huán)形線(xiàn)粒體會(huì)在細(xì)胞質(zhì)流的推動(dòng)下進(jìn)行雙向旋轉(zhuǎn)，表明除植物細(xì)胞外，動(dòng)物細(xì)胞一定程度上也用渦旋細(xì)胞質(zhì)流來(lái)調(diào)節(jié)胞內(nèi)穩(wěn)態(tài)；
（3）細(xì)胞內(nèi)吞過(guò)程中細(xì)胞微絲（F-actin）和網(wǎng)格蛋白小窩（CCPs）的相互作用，觀(guān)察到在內(nèi)吞過(guò)程伊始時(shí)細(xì)胞微絲與網(wǎng)格蛋白小窩接觸較少，而在內(nèi)吞即將結(jié)束時(shí)細(xì)胞微絲頻繁接觸網(wǎng)格蛋白小窩，以幫助其脫離細(xì)胞膜；
（4）細(xì)胞中線(xiàn)粒體和內(nèi)質(zhì)網(wǎng)之間的相互作用，觀(guān)察到線(xiàn)粒體的分裂和融合往往發(fā)生在其與內(nèi)質(zhì)網(wǎng)的接觸位點(diǎn)附近。
清華大學(xué)自動(dòng)化系戴瓊海教授與中國(guó)科學(xué)院生物物理所李棟研究員為該論文的共同通訊作者。清華大學(xué)自動(dòng)化系博士生喬暢、中國(guó)科學(xué)院生物物理研究所副研究員李迪、博士后郭玉婷、博士生劉沖為該論文共同第一作者。本研究得到了國(guó)家自然科學(xué)基金委、科技部、中國(guó)科學(xué)院、中國(guó)博士后科學(xué)基金、騰訊“科學(xué)探索獎(jiǎng)”的資助。
文章鏈接：
https://www.nature.com/articles/s41592-020-01048-5
供稿：自動(dòng)化系
編輯：邱收
審核：周襄楠
