【ZiDongHua 之智能自動化收錄關(guān)鍵詞： 中國科學(xué)院自動化研究所 曾毅 人工智能 神經(jīng)網(wǎng)絡(luò)】

　　

　　

　　近日，中國科學(xué)院自動化研究所曾毅研究員領(lǐng)導(dǎo)的“類腦認知智能研究組”在權(quán)威期刊IEEE Transactions on Pattern Analysis and Machine Intelligence（IEEE TPAMI）上發(fā)表了一篇題為“Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks”的新研究。他們?nèi)诤仙锬X多尺度發(fā)育可塑性機制，例如：樹突棘動態(tài)可塑性、局部突觸可塑性和活動依賴的神經(jīng)元脈沖跡等，基于“用進廢退”的原則設(shè)計自適應(yīng)剪枝策略去除網(wǎng)絡(luò)中冗余的突觸和神經(jīng)元，探索腦發(fā)育可塑性如何賦予深度神經(jīng)網(wǎng)絡(luò)以動態(tài)結(jié)構(gòu)調(diào)整能力，使其像生物腦一樣逐步“發(fā)育”為更高效的結(jié)構(gòu)。研究所提出的通用發(fā)育可塑性自適應(yīng)剪枝（DPAP）方法在深度神經(jīng)網(wǎng)絡(luò)（DNNs）和脈沖神經(jīng)網(wǎng)絡(luò)（SNNs）中均對性能和效率有顯著提升。

　　

　　研究亮點

　　

　　本研究融合樹突棘動態(tài)發(fā)育可塑性、突觸可塑性和神經(jīng)元脈沖跡等多尺度時空結(jié)構(gòu)發(fā)育可塑性機制來評估突觸和神經(jīng)元的重要性為高效結(jié)構(gòu)發(fā)育提供依據(jù)。

　　

　　本研究基于“用進廢退”的原則設(shè)計了自適應(yīng)剪枝策略，借鑒樹突棘收縮先于突觸衰減，突觸剪枝先于神經(jīng)元消亡的發(fā)育規(guī)律，逐步的剪枝網(wǎng)絡(luò)中冗余的突觸和神經(jīng)元。

　　

　　所提通用剪枝算法在深度神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)中的動態(tài)結(jié)構(gòu)剪枝符合大腦先快后慢逐步穩(wěn)定的發(fā)育剪枝過程，在與大腦相似的約50%稀疏度時達到了最佳性能。同時，算法提高了學(xué)習性能和速度，降低了能量消耗。

　　

　　論文簡介

　　

　　腦發(fā)育可塑性通過塑造生物腦動態(tài)結(jié)構(gòu)對復(fù)雜環(huán)境變化展現(xiàn)出靈活的適應(yīng)性，以極低的能耗逐步習得和完善諸多復(fù)雜的認知功能。自嬰兒出生以來，突觸爆炸式增長，在兩三歲時達到頂峰。隨后，根據(jù)“用進廢退”的原則，突觸數(shù)量經(jīng)歷了先指數(shù)型下降，后逐步穩(wěn)定的過程。通過與環(huán)境不斷的相互作用和自發(fā)學(xué)習，基于樹突棘、突觸和神經(jīng)元多尺度共同作用，相互協(xié)同的發(fā)育可塑性通過動態(tài)修剪冗余突觸和神經(jīng)元自適應(yīng)和靈活地調(diào)整了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，提升網(wǎng)絡(luò)自適應(yīng)性的同時降低了能量消耗。受此啟發(fā)，本研究認為針對日益復(fù)雜和規(guī)模不斷擴大的人工神經(jīng)網(wǎng)絡(luò)，如何有效融合發(fā)育可塑性機制以獲得更高效和高度自適應(yīng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是推進人工智能進一步發(fā)展所需的深刻和迫切的研究。

 

　　

　　圖1：腦發(fā)育機制啟發(fā)的自適應(yīng)剪枝方法

　　

　　研究深度融合受生物腦多尺度發(fā)育可塑性變化機制啟發(fā)的策略，如圖1所示。依據(jù)樹突棘收縮先于突觸衰減，突觸剪枝先于神經(jīng)元消亡的發(fā)育規(guī)律，使用基于脈沖跡的Bienenstock-Cooper-Munros（BCM）突觸可塑性評估突觸重要性；使用綜合神經(jīng)元脈沖跡和 BCM 突觸可塑性的樹突棘動態(tài)可塑性評估神經(jīng)元重要性。此外，根據(jù)“用進廢退”的原則，研究設(shè)計了突觸和神經(jīng)元的存活函數(shù)來綜合其長期重要性。當存活函數(shù)多次小于0時，對應(yīng)的突觸和神經(jīng)元才會被剪枝，以確保剪枝的準確性。

　　

　　研究提出的通用自適應(yīng)剪枝算法對DNNs和SNNs均適用，特別地對于事件驅(qū)動的 SNNs，引入了空間和時間維度的聯(lián)合剪枝。其中，空間維度重要性以時間脈沖序列為基礎(chǔ)計算，時間維度剪枝考慮了空間中突觸前后神經(jīng)元狀態(tài)。在多個空間數(shù)據(jù)集和神經(jīng)形態(tài)數(shù)據(jù)集的不同任務(wù)中，DPAP方法實現(xiàn)了類腦的剪枝過程和稀疏結(jié)構(gòu)，針對DNNs和SNNs都提高了收斂速度和正確率的同時降低了能耗如圖2。特別是所提出的時空聯(lián)合剪枝方法在神經(jīng)形態(tài)數(shù)據(jù)集上為 SNNs 帶來了最先進的性能，能耗僅為原固定基礎(chǔ)網(wǎng)絡(luò)的 6.00%。

 

　　

　　圖2：所提DPAP方法提高了模型性能和學(xué)習速度，降低能量消耗

　　

　　論文的第一作者博士生韓冰說:

　　

　　“我們的研究遵循生物腦結(jié)構(gòu)發(fā)育可塑性過程，融合多尺度樹突棘、突觸和神經(jīng)元動態(tài)結(jié)構(gòu)變化提出了一種通用的自適應(yīng)剪枝算法。通過生物合理的可塑性建模，我們發(fā)現(xiàn)所提出的DPAP方法的整體剪枝優(yōu)化過程和結(jié)果符合大腦的宏觀發(fā)育修剪規(guī)律。在大腦中，剪枝是一個與學(xué)習同時進行的在線過程，神經(jīng)剪枝速率先快后慢，最后趨于穩(wěn)定。我們的實驗顯示，在DPAP方法的學(xué)習過程中，網(wǎng)絡(luò)中的連接總數(shù)首先急劇下降，然后逐漸保持穩(wěn)定如圖3，符合大腦的剪枝過程。此外，不同于其它剪枝方法稀疏度增高性能下降的現(xiàn)象，所提方法的性能隨稀疏度的增高先提升后下降，并在約50%左右達到最佳性能，這與成年大腦的稀疏度一致。”

 

　　

　　圖3：基于腦發(fā)育可塑性的剪枝實現(xiàn)類腦的結(jié)構(gòu)優(yōu)化過程

　　

　　論文的共同第一作者趙菲菲副研究員說:

　　

　　“我們的方法具有很高的生物合理性，并從多個方面為理解發(fā)育中大腦的自然剪枝過程提供了啟示。在大腦中，樹突棘的收縮和消亡是神經(jīng)元活動和突觸可塑性降低的結(jié)果，同時，樹突棘消亡以及突觸剪枝是神經(jīng)元修剪的先決條件。因而，依據(jù)樹突棘收縮先于突觸衰減，突觸剪枝先于神經(jīng)元消亡的發(fā)育機制，DPAP方法修剪突觸或神經(jīng)元并不是一個瞬間的沖動決定，而經(jīng)歷了持續(xù)多次基于多尺度可塑性的綜合評估。只有連續(xù)衰減的突觸和神經(jīng)元才會被逐漸剪枝，確保了被修剪的突觸或神經(jīng)元是多余的，也符合大腦中樹突棘、突觸和神經(jīng)元相互影響，逐步修剪的發(fā)育規(guī)律。我們將所提到的發(fā)育可塑性成功引入深度和脈沖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化中表明發(fā)育規(guī)則使神經(jīng)元能夠自組織形成類腦高效神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。”

　　

　　論文的通訊作者曾毅研究員說：

　　

　　“我們的研究可以說是腦科學(xué)與人工智能雙向啟發(fā)又一個典型的案例。我們在同一個神經(jīng)網(wǎng)絡(luò)計算模型中融合了腦發(fā)育過程中多尺度的突觸、神經(jīng)元自適應(yīng)新生與消亡機制，探索了這些原理在計算層面的協(xié)同，通過計算建模進一步驗證了腦發(fā)育原理。在此基礎(chǔ)上提出基于類腦發(fā)育可塑性的通用結(jié)構(gòu)學(xué)習理論，受此啟發(fā)構(gòu)建結(jié)構(gòu)動態(tài)發(fā)育的低能耗、高性能類腦神經(jīng)網(wǎng)絡(luò)。這項研究揭示了發(fā)育可塑性在助力神經(jīng)網(wǎng)絡(luò)自適應(yīng)形成類腦高效結(jié)構(gòu)方面的重要價值和關(guān)鍵作用，同時也從一個側(cè)面驗證了這些原理對于生物腦在發(fā)育過程中將大腦塑造為更具自適應(yīng)性的結(jié)構(gòu)。融合學(xué)習-發(fā)育-演化原理的類腦人工智能是我們團隊在人工智能科學(xué)創(chuàng)新方面的持久努力和我們近10年來的理論研究重要核心，此項研究是我們實驗室在類腦發(fā)育神經(jīng)網(wǎng)絡(luò)方面的又一新進展，并已開源開放，匯入我們面向通用智能的類腦認知智能引擎“智脈(BrainCog)”，為發(fā)展高適應(yīng)性、高性能的類腦人工智能模型與平臺提供了有力的理論與技術(shù)支持。”

　　

　　論文標題：

　　

　　Developmental Plasticity-inspired Adaptive Pruning for Deep Spiking and Artificial Neural Networks

　　

　　論文地址：

　　

　　https://ieeexplore.ieee.org/document/10691937

　　

　　論文源碼：

　　

　　https://github.com/BrainCog-X/Brain-Cog/tree/main/examples/Structural_Development/DPAP

　　

　　作者簡介：

　　

　　韓冰

　　

　　中國科學(xué)院自動化研究所類腦認知智能研究組2021級博士研究生，導(dǎo)師為曾毅研究員，研究方向為腦發(fā)育機制啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)模型。目前已在IEEE TPAMI、IEEE TAI、IJCAI、Patterns、iScience、Information Sciences、Scientific Reports等發(fā)表論文多篇。

　　

　　趙菲菲

　　

　　中國科學(xué)院自動化研究所類腦認知智能研究組副研究員。研究方向為類腦決策、發(fā)育及演化脈沖神經(jīng)網(wǎng)絡(luò)。相關(guān)成果發(fā)表于Cell出版社旗下Patterns、iScience、IEEE TPAMI、IEEE TAI、IEEE TCDS、Neural Computation、Information Sciences、Scientific Reports、Cognitive Computation等國際期刊及國際會議IJCAI等。

　　

　　曾毅

　　

　　中國科學(xué)院自動化研究所研究員、類腦認知智能研究組負責人、腦圖譜與類腦智能實驗室副主任、人工智能倫理與治理研究中心主任；中國科學(xué)院大學(xué)崗位教授、博士生導(dǎo)師；中國人工智能學(xué)會心智計算專委會主任；國家新一代人工智能治理專委會委員；聯(lián)合國人工智能高層顧問機構(gòu)專家；聯(lián)合國教科文組織人工智能倫理特設(shè)專家組專家。研究方向為：類腦人工智能、人工智能倫理、治理與可持續(xù)發(fā)展。被美國《時代周刊TIME》評為人工智能最具影響力100人。

　　

　　相關(guān)成果發(fā)表于PNAS、Cell Press旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports，以及Science出版社旗下Science Advances、人工智能領(lǐng)域重要期刊IEEE TPAMI、TVLSI、TCAD、TCDS、TAI、Neural Networks以及人工智能領(lǐng)域重要國際會議NeurIPS、CVPR、IJCAI和AAAI等。

　　

　　申國斌

　　

　　中國科學(xué)院自動化研究所類腦認知智能研究組2021級博士研究生，導(dǎo)師為曾毅研究員，研究方向為腦發(fā)育機制啟發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)模型。目前已在PNAS、Patterns、Neural Networks、Information Sciences、IEEE TVLSI、IEEE TCAD、CVPR、NeurIPS、IJCAI, AAAI、MM、FPL等發(fā)表論文多篇。

　　

　　類腦認知智能實驗室

　　

　　類腦認知智能實驗室(BrainCog Lab)隸屬于中國科學(xué)院自動化研究所，實驗室成立于2013年，是從事類腦人工智能前沿理論和腦與智能交叉創(chuàng)新的研究團隊。由中國科學(xué)院自動化研究所腦圖譜與類腦智能實驗室副主任曾毅研究員擔任團隊負責人。

　　

　　類腦認知智能實驗室以構(gòu)建面向通用人工智能的類腦認知智能模型與應(yīng)用為主要研究內(nèi)容，特別是在類腦脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習、發(fā)育與演化機理、類腦可塑性理論體系、類腦知識表征與推理、類腦決策理論、意識計算模型、情感與倫理道德的類腦模型等方面開展研究。

　　

　　實驗室研制的類腦認知智能引擎“智脈(BrainCog)”致力于為新一代人工智能前沿探索打造基于脈沖神經(jīng)網(wǎng)絡(luò)的通用人工智能引擎，服務(wù)于人類與人工智能的和諧共生。

　　

　　類腦認知智能實驗室(BrainCog Lab)主頁：http://www.braincog.ai

　　

　　類腦認知智能引擎“智脈(BrainCog)”主頁：http://www.brain-cog.network/