2021年1月21日，中國(guó)科學(xué)院生物物理所、廣州生物島實(shí)驗(yàn)室李棟課題組與清華大學(xué)自動(dòng)化系、清華大學(xué)腦與認(rèn)知科學(xué)研究院戴瓊海課題組在Nature Methods雜志以長(zhǎng)文(Article)形式發(fā)表題為Evaluation and development of deep neural networks for image super-resolution in optical microscopy的論文，該文綜合測(cè)評(píng)了現(xiàn)有超分辨卷積神經(jīng)網(wǎng)絡(luò)模型在顯微圖像超分辨任務(wù)上的表現(xiàn)，提出傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)(DFCAN, Deep Fourier Channel Attention Network)和傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)(DFGAN，Deep Fourier Generative Adversarial Network)模型，在不同成像條件下實(shí)現(xiàn)最優(yōu)的顯微圖像超分辨預(yù)測(cè)和結(jié)構(gòu)光超分辨重建效果，并觀測(cè)到線粒體內(nèi)脊、線粒體擬核、內(nèi)質(zhì)網(wǎng)、微絲骨架等生物結(jié)構(gòu)的動(dòng)態(tài)互作新行為。

傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)將寬場(chǎng)熒光圖像重建成超分辨圖像，準(zhǔn)確解析了微絲細(xì)胞骨架微結(jié)構(gòu)。

為測(cè)評(píng)現(xiàn)有多種超分辨神經(jīng)網(wǎng)絡(luò)在顯微圖像超分辨任務(wù)中的表現(xiàn)，以及建立基于深度學(xué)習(xí)的顯微圖像超分辨算法研究生態(tài)，李棟/戴瓊海聯(lián)合課題組首先利用自主開(kāi)發(fā)了多模態(tài)結(jié)構(gòu)光超分辨顯微鏡系統(tǒng)，集成了TIRF-SIM、Nonlinear-SIM【Science，2015】和GI-SIM【Cell，2018】等多種超分辨成像模態(tài)，并利用這一系統(tǒng)建立了一個(gè)包含四種不同復(fù)雜度的生物結(jié)構(gòu)、九檔信噪比，以及提高2倍(Linear-SIM)、3倍(Nonlinear-SIM)分辨率的高質(zhì)量超分辨顯微圖像數(shù)據(jù)集，命名為BioSR。以此為基礎(chǔ)，該團(tuán)隊(duì)測(cè)試了多個(gè)現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出測(cè)評(píng)矩陣(assessment matrix)方法，將超分辨神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)Linear-SIM和Nonlinear-SIM的效果進(jìn)行比較，得到了不同模型的優(yōu)越區(qū)域(priority region)，即給出了不同模型實(shí)現(xiàn)足夠好的超分辨成像效果，能夠用于日常生物成像實(shí)驗(yàn)的成像條件。

但通過(guò)分析評(píng)測(cè)矩陣結(jié)果發(fā)現(xiàn)，現(xiàn)有超分辨神經(jīng)網(wǎng)絡(luò)模型的優(yōu)越區(qū)域主要集中在低復(fù)雜度生物結(jié)構(gòu)和提升2倍分辨率(即Linear-SIM)的成像條件下，而在生物成像實(shí)驗(yàn)通常使用的中、高信噪比條件下的性能則低于傳統(tǒng)超分辨成像方法。為進(jìn)一步拓展卷積神經(jīng)網(wǎng)絡(luò)在顯微圖像超分辨中的適用范圍，提升超分辨成像和重建效果，李棟/戴瓊海聯(lián)合課題組基于高、低分辨率圖像頻譜覆蓋范圍的顯著差異，提出了傅立葉域注意力卷積神經(jīng)網(wǎng)絡(luò)模型(DFCAN)和傅立葉域注意力生成對(duì)抗網(wǎng)絡(luò)模型(DFGAN)，實(shí)現(xiàn)了比其它超分辨神經(jīng)網(wǎng)絡(luò)模型更魯棒的顯微圖像超分辨成像效果，依據(jù)測(cè)評(píng)矩陣結(jié)果，其優(yōu)越區(qū)域可以拓展至中、高信噪比成像條件，可在實(shí)際生物成像實(shí)驗(yàn)中替代現(xiàn)有超分辨成像方法，大大拓展了深度學(xué)習(xí)超分辨成像方法的適用范圍。

上圖為傅立葉域注意力機(jī)制深度學(xué)習(xí)算法框架圖。下圖是基于DFCAN和DFGAN結(jié)構(gòu)光超分辨重建活細(xì)胞內(nèi)的線粒體內(nèi)膜結(jié)構(gòu)(綠色)和內(nèi)質(zhì)網(wǎng)(紫紅色)，撲捉到線粒體在內(nèi)質(zhì)網(wǎng)與線粒體接觸位點(diǎn)線粒體融合的動(dòng)態(tài)過(guò)程。

應(yīng)用DFCAN和DFGAN單張顯微圖像超分辨率預(yù)測(cè)和結(jié)構(gòu)光照明超分辨重建方法，研究人員能夠以更低的激光功率、更快的成像速度、更長(zhǎng)的成像時(shí)程和超越衍射極限的分辨率來(lái)觀測(cè)亞細(xì)胞尺度生物結(jié)構(gòu)的動(dòng)態(tài)演變過(guò)程。例如：

(1)細(xì)胞中的線粒體內(nèi)膜和線粒體擬核之間的相互作用。成像時(shí)程(>1200張超分辨圖像)達(dá)到傳統(tǒng)活細(xì)胞超分辨成像方法的10倍以上，首次觀察到伴隨著線粒體內(nèi)脊形變的擬核分離和聚合現(xiàn)象;

(2)細(xì)胞中環(huán)形線粒體的旋轉(zhuǎn)行為。揭示環(huán)形線粒體會(huì)在細(xì)胞質(zhì)流的推動(dòng)下進(jìn)行雙向旋轉(zhuǎn)，表明除植物細(xì)胞外，動(dòng)物細(xì)胞一定程度上也用渦旋細(xì)胞質(zhì)流來(lái)調(diào)節(jié)胞內(nèi)穩(wěn)態(tài);

(3)細(xì)胞內(nèi)吞過(guò)程中細(xì)胞微絲(F-actin)和網(wǎng)格蛋白小窩(CCPs)的相互作用。觀察到在內(nèi)吞過(guò)程伊始時(shí)F-actin與CCPs接觸較少，而在內(nèi)吞即將結(jié)束時(shí)F-actin頻繁接觸CCPs，以幫助其脫離細(xì)胞膜;

(4)細(xì)胞中線粒體和內(nèi)質(zhì)網(wǎng)之間的相互作用。觀察到線粒體的分裂和融合往往發(fā)生在其與內(nèi)質(zhì)網(wǎng)的接觸位點(diǎn)附近。

中國(guó)科學(xué)院生物物理所、廣州生物島實(shí)驗(yàn)室李棟研究員和清華大學(xué)自動(dòng)化系戴瓊海教授為共同通訊作者。清華大學(xué)自動(dòng)化系博士生喬暢、中國(guó)科學(xué)院生物物理研究所副研究員李迪、博士后郭玉婷、博士生劉沖為該論文共同第一作者。本研究得到了國(guó)家自然科學(xué)基金委、科技部、中國(guó)科學(xué)院、中國(guó)博士后科學(xué)基金、騰訊"科學(xué)探索獎(jiǎng)"的資助。