清華新聞網(wǎng)10月6日電 近日，清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海課題組提出一套實(shí)時(shí)熒光成像去噪架構(gòu)（DeepCAD-RT），將此前開(kāi)發(fā)的基于自監(jiān)督學(xué)習(xí)的智能圖像去噪方法進(jìn)行了深度的整合和優(yōu)化，通過(guò)將模型預(yù)測(cè)過(guò)程融合到成像流程中，在雙光子熒光顯微鏡上實(shí)現(xiàn)了實(shí)時(shí)的（30Hz）熒光成像去噪。借助此方法，在使用顯微系統(tǒng)對(duì)生物樣本進(jìn)行熒光成像時(shí)，研究人員就能夠?qū)崟r(shí)地得到增強(qiáng)之后的圖像，將成像所需的熒光光子的數(shù)目縮減10倍以上，實(shí)現(xiàn)了超越光子噪聲極限的實(shí)時(shí)超靈敏熒光成像。該方法被應(yīng)用于小鼠、斑馬魚(yú)、果蠅等多種模式動(dòng)物的神經(jīng)鈣成像實(shí)驗(yàn)，觀(guān)測(cè)范圍涵蓋細(xì)胞體、神經(jīng)纖維、樹(shù)突棘等多個(gè)尺度。此方法還被應(yīng)用于觀(guān)測(cè)免疫細(xì)胞在急性腦損傷之后的三維遷移過(guò)程，以及大腦皮層中胞外信使ATP（腺嘌呤核苷三磷酸）在損傷點(diǎn)位周?chē)陌l(fā)放過(guò)程，在國(guó)際上首次做到對(duì)ATP發(fā)放過(guò)程的長(zhǎng)時(shí)程（1小時(shí)）三維（350×350×60 μm3）觀(guān)測(cè)，并給出了關(guān)于發(fā)放位置、時(shí)間、發(fā)放點(diǎn)位的三維形狀等量化特征的完整統(tǒng)計(jì)結(jié)論。
圖1. DeepCAD-RT實(shí)時(shí)超靈敏熒光成像框架
熒光顯微鏡是生命科學(xué)不可或缺的研究工具。熒光成像的一個(gè)基本挑戰(zhàn)是光子探測(cè)不可避免的隨機(jī)性導(dǎo)致的光子散粒噪聲，這是由光的量子本質(zhì)決定的。從根本上說(shuō)，所有測(cè)量過(guò)程都服從量子力學(xué)定律，最直接的表現(xiàn)就是任何測(cè)量過(guò)程都存在精度的上限，光學(xué)成像領(lǐng)域的這個(gè)極限被稱(chēng)為光子噪聲極限，光子噪聲是前沿科學(xué)觀(guān)測(cè)中繞不開(kāi)的障礙。在理論上，光子噪聲極限規(guī)定了成像信噪比的上界；在實(shí)踐上，固有的光子噪聲會(huì)增加測(cè)量的不確定性，降低圖像質(zhì)量，并限制成像的分辨率、速度和靈敏度等各個(gè)方面。
為了解決固有的光子噪聲給成像帶來(lái)的一系列難題，戴瓊海院士團(tuán)隊(duì)繼2021年在《自然·方法》（Nature Methods）期刊上發(fā)文首次提出針對(duì)神經(jīng)鈣成像的自監(jiān)督去噪基礎(chǔ)架構(gòu)后，進(jìn)一步從網(wǎng)絡(luò)結(jié)構(gòu)和硬件部署兩個(gè)方面對(duì)該方法進(jìn)行了全面的整合優(yōu)化，在有效提升去噪性能和可靠性的同時(shí)，將模型體量壓縮16倍，內(nèi)存消耗降低27倍，處理時(shí)間縮減20倍，并設(shè)計(jì)多線(xiàn)程最優(yōu)調(diào)度方法實(shí)現(xiàn)和顯微鏡硬件系統(tǒng)的融合，最終在雙光子顯微鏡上實(shí)現(xiàn)了實(shí)時(shí)去噪。除了在模型預(yù)測(cè)階段的提升之外，該工作在訓(xùn)練階段也進(jìn)行了多方面的提升：通過(guò)設(shè)計(jì)12倍數(shù)據(jù)增廣來(lái)有效降低訓(xùn)練過(guò)程的數(shù)據(jù)依賴(lài)性，僅需1000幀時(shí)序圖像就能訓(xùn)練出性能優(yōu)越的模型；模型縮減和數(shù)據(jù)增廣共同作用消除了過(guò)擬合，有效提升了方法的準(zhǔn)確性和可靠性。同時(shí)，其自監(jiān)督的內(nèi)核賦予該方法從原始數(shù)據(jù)中學(xué)習(xí)清晰圖像的能力，即使網(wǎng)絡(luò)沒(méi)見(jiàn)過(guò)任何高信噪比或者清晰的圖像，僅從原始的低信噪比圖像中就能學(xué)出真實(shí)的信號(hào)，解決了活體成像中由于樣本得到高速動(dòng)態(tài)特性導(dǎo)致的真值缺失問(wèn)題。該工作通過(guò)豐富的生命科學(xué)實(shí)驗(yàn)，論證了其超越光子噪聲極限的超靈敏成像能力。
圖2. 實(shí)時(shí)超靈敏熒光成像方法在多種模式動(dòng)物、多種生命現(xiàn)象上的應(yīng)用
該超靈敏成像能力表現(xiàn)在下列實(shí)驗(yàn)中：一，對(duì)清醒小鼠大腦皮層第一層（L1）樹(shù)突棘尺度的神經(jīng)活動(dòng)進(jìn)行了高信噪比的記錄，清晰地揭示了蘑菇狀樹(shù)突棘和粗短狀樹(shù)突棘的形態(tài)學(xué)異質(zhì)性；二，對(duì)用GCaMP6s鈣探針標(biāo)記的斑馬魚(yú)視頂蓋（optic tectum）神經(jīng)群落進(jìn)行了高速的連續(xù)拍攝，以高信噪比完整揭示了神經(jīng)元群落的細(xì)胞分布和時(shí)間信號(hào)；三，果蠅等低等級(jí)的模式動(dòng)物對(duì)光毒性的耐受力更低，該工作使用低激發(fā)功率記錄成年果蠅蘑菇體神經(jīng)元的自發(fā)活動(dòng)，從被噪聲淹沒(méi)的圖像中準(zhǔn)確恢復(fù)神經(jīng)元的胞體以及神經(jīng)纖維等亞細(xì)胞結(jié)構(gòu)；四，對(duì)急性腦損傷后，小鼠大腦皮層中性粒細(xì)胞的遷移過(guò)程進(jìn)行了高信噪比的三維記錄，有效避免了光漂白、光毒性等光致?lián)p傷對(duì)免疫反應(yīng)的干擾，成功觀(guān)測(cè)到了炎癥消除后，大批中性粒細(xì)胞從損傷位點(diǎn)逐漸彌散的整個(gè)三維過(guò)程；五，借助北京大學(xué)李毓龍教授實(shí)驗(yàn)室開(kāi)發(fā)的新一代ATP熒光探針GRABATP1.0，在國(guó)際上首次實(shí)現(xiàn)對(duì)大腦皮層中胞外信使ATP發(fā)放過(guò)程的低功率、長(zhǎng)時(shí)程（1小時(shí)）、三維（350×350×60 μm3）觀(guān)測(cè)，并給出了關(guān)于發(fā)放位置、時(shí)間、發(fā)放點(diǎn)位的三維形狀等量化特征的完整統(tǒng)計(jì)結(jié)論。
光子噪聲是光學(xué)測(cè)量中繞不開(kāi)的障礙。作為一種在多種模式動(dòng)物、多種生命過(guò)程上均表現(xiàn)出強(qiáng)大性能的去噪技術(shù)，該實(shí)時(shí)去噪方法有望應(yīng)用到更多的成像場(chǎng)景中，比如深層組織成像、超分辨成像、光場(chǎng)三維成像等，通過(guò)在數(shù)據(jù)處理的最前端有效降低光子噪聲帶來(lái)的不確定性，有望解決噪聲帶來(lái)的固有的成像難題并帶來(lái)新的生命科學(xué)發(fā)現(xiàn)。除了熒光成像，該方法還可以擴(kuò)展到相位成像、天文觀(guān)測(cè)、夜視成像等其他光學(xué)成像領(lǐng)域。
上述研究成果于9月26日發(fā)表在《自然·生物技術(shù)》（Nature Biotechnology）期刊上，論文題目為“實(shí)時(shí)去噪允許超越光子噪聲極限的超靈敏熒光延時(shí)成像”（Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit）。
清華大學(xué)自動(dòng)化系2018級(jí)博士生李欣陽(yáng)，復(fù)旦大學(xué)信息學(xué)院2022級(jí)博士生李奕昕為該論文共同第一作者。清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院、清華-IDG/麥戈文腦科學(xué)研究院戴瓊海教授，清華大學(xué)電子系方璐副教授，清華大學(xué)深圳國(guó)際研究生院王好謙教授為該論文共同通訊作者。本研究得到了國(guó)家自然科學(xué)基金委、科技部、深圳科技創(chuàng)新項(xiàng)目、中國(guó)博士后創(chuàng)新人才項(xiàng)目的支持。
論文鏈接：
https://www.nature.com/articles/s41587-022-01450-8
供稿：自動(dòng)化系
題圖設(shè)計(jì)：劉雨田
編輯：李華山
審核：呂婷
