【ZiDongHua 之創(chuàng)新自科文收錄關(guān)鍵詞：人工智能   可持續(xù)發(fā)展  智能實(shí)驗(yàn)室  類腦脈沖  智能機(jī)制 】

　　

　　

　　生成式人工智能模型一般為數(shù)據(jù)驅(qū)動(dòng)的人工神經(jīng)網(wǎng)絡(luò)模型，缺乏生物合理性并具有較高功耗。而現(xiàn)有脈沖神經(jīng)網(wǎng)絡(luò)生成模型一般是對(duì)基于人工神經(jīng)網(wǎng)絡(luò)的生成式人工智能模型進(jìn)行轉(zhuǎn)換。近日, 由曾毅博士領(lǐng)導(dǎo)的中國(guó)科學(xué)院自動(dòng)化研究所類腦認(rèn)知智能團(tuán)隊(duì)和遠(yuǎn)期人工智能研究中心聯(lián)合提出了一種類腦生成式人工智能模型，該模型的核心是由星形膠質(zhì)細(xì)胞調(diào)控的類腦生成式脈沖神經(jīng)網(wǎng)絡(luò)，將神經(jīng)元-星形膠質(zhì)細(xì)胞相互作用融入計(jì)算范式中，并據(jù)此構(gòu)建了第一個(gè)類腦脈沖神經(jīng)網(wǎng)絡(luò)大語(yǔ)言對(duì)話模型，并在保持高生物合理性和計(jì)算可行性的同時(shí)，展現(xiàn)了數(shù)據(jù)和能源效率方面的顯著優(yōu)勢(shì)。相關(guān)文章于2023年12月12日在線發(fā)表于arXiv。

　　

　　數(shù)據(jù)驅(qū)動(dòng)的生成式人工智能在行為和用戶體驗(yàn)上近期達(dá)到了前所未有的高度，然而由于其在智能機(jī)制機(jī)理上與自然演化塑造的人腦有顯著差異，使得這種方法是否能支持實(shí)現(xiàn)真正意義的人工通用智能這個(gè)問題廣受關(guān)注。類腦人工智能被認(rèn)為是實(shí)現(xiàn)基于自然機(jī)制與機(jī)理發(fā)展人工智能更為堅(jiān)實(shí)的途徑。更具生物合理性的類腦脈沖神經(jīng)網(wǎng)絡(luò)以脈沖神經(jīng)元作為基本的計(jì)算單元，通過脈沖序列進(jìn)行信息傳遞與智能信息處理。

　　

　　然而，盡管脈沖神經(jīng)網(wǎng)絡(luò)在設(shè)計(jì)上具有生物合理性和相對(duì)創(chuàng)新性，它們也面臨著諸多挑戰(zhàn)。這些模型往往只展現(xiàn)出有限的、單一的特性，與人腦神經(jīng)元的豐富多樣響應(yīng)形成鮮明對(duì)比。此外，它們的設(shè)計(jì)通常無(wú)法在時(shí)間上實(shí)現(xiàn)解耦，缺乏并行處理能力，這反過來(lái)限制了大規(guī)模脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和應(yīng)用。以往的研究主要集中于神經(jīng)元之間的互動(dòng)，而忽視了神經(jīng)膠質(zhì)細(xì)胞，特別是星形膠質(zhì)細(xì)胞的重要作用?？紤]到神經(jīng)膠質(zhì)細(xì)胞在神經(jīng)行為和信息處理中的關(guān)鍵影響，忽略它們可能會(huì)阻礙我們對(duì)神經(jīng)系統(tǒng)的全面理解，類腦智能模型中僅有神經(jīng)元模型更可能忽略了自然智能體的系統(tǒng)性設(shè)計(jì)。 

　　

　　星形膠質(zhì)細(xì)胞作為中樞神經(jīng)系統(tǒng)不可或缺的一部分，與突觸前和突觸后的神經(jīng)元共同構(gòu)成了三方突觸結(jié)構(gòu)，通過釋放膠質(zhì)遞質(zhì)積極介入神經(jīng)元之間的信息交互。這種調(diào)節(jié)機(jī)制對(duì)神經(jīng)網(wǎng)絡(luò)在信息處理方面的能力至關(guān)重要。

　　

　　本研究第一作者博士生申國(guó)斌介紹：在本研究中，研究團(tuán)隊(duì)將星形膠質(zhì)細(xì)胞引入類腦脈沖神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，構(gòu)建了星形膠質(zhì)細(xì)胞調(diào)控的脈沖神經(jīng)網(wǎng)絡(luò)（AstroSNN）。如下圖所示，研究將星形膠質(zhì)細(xì)胞納入脈沖神經(jīng)網(wǎng)絡(luò)模型之中，它們通過與多個(gè)神經(jīng)元突觸的連接，為脈沖神經(jīng)網(wǎng)絡(luò)(SNNs)增加了一個(gè)額外的、長(zhǎng)期的信息處理層。這些細(xì)胞不僅在物理上提升了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，而且在功能上引入了新的維度。它們通過調(diào)節(jié)突觸活動(dòng)和神經(jīng)遞質(zhì)的釋放，為神經(jīng)網(wǎng)絡(luò)帶來(lái)了時(shí)間維度的信息記憶和處理能力。特別是，星形膠質(zhì)細(xì)胞的引入使得SNNs能夠捕捉并維持輸入信號(hào)之間的長(zhǎng)期關(guān)聯(lián)，這在傳統(tǒng)基于神經(jīng)元的網(wǎng)絡(luò)模型中是難以實(shí)現(xiàn)的。在處理長(zhǎng)期記憶和復(fù)雜序列分析任務(wù)時(shí)，這種新的網(wǎng)絡(luò)結(jié)構(gòu)顯示出顯著優(yōu)勢(shì)。

　　

　　

　　

　　本研究主要作者之一趙東城博士介紹：傳統(tǒng)的LIF脈沖神經(jīng)元模型雖然受到生物腦神經(jīng)元啟發(fā)，但對(duì)真實(shí)世界的神經(jīng)元行為進(jìn)行了相當(dāng)簡(jiǎn)化的抽象。它們的主要局限是將神經(jīng)元表示為標(biāo)量實(shí)體, 具體體現(xiàn)在神經(jīng)元的隱狀態(tài)不存在向量操作。這種方法阻礙了神經(jīng)元之間的交流，因?yàn)樗鼈儫o(wú)法有效傳遞一系列數(shù)值或復(fù)雜信息, 這與生物神經(jīng)系統(tǒng)大相徑庭。這種標(biāo)量性質(zhì)雖然計(jì)算效率高，但卻犧牲了豐富的表征和適應(yīng)性，從而限制了網(wǎng)絡(luò)捕捉復(fù)雜模式和依賴關(guān)系的能力。得益于星形膠質(zhì)細(xì)胞的引入, 星形細(xì)胞調(diào)制的脈沖單元 (AM-SU)具有更豐富的隱藏狀態(tài)表示 (神經(jīng)元數(shù)量的平方倍)，這賦予了它更強(qiáng)的記憶和信息處理能力。通過合并脈沖神經(jīng)元的動(dòng)態(tài)時(shí)間行為和星形膠質(zhì)細(xì)胞的調(diào)節(jié)影響，AM-SU可以捕捉到更廣泛的神經(jīng)元活動(dòng)和依賴關(guān)系。與LIF神經(jīng)元相比，AM-SU的設(shè)計(jì)確保了更好的并行處理和更廣泛的狀態(tài)表征（如下圖所示）。

　　

　　

　　

　　在星形細(xì)胞調(diào)制的脈沖單元 (AM-SU)中，不同時(shí)刻的內(nèi)部狀態(tài)線性相關(guān), 非線性的操作僅存在于對(duì)于輸入和輸出的處理。這樣的設(shè)計(jì)實(shí)現(xiàn)了AM-SU內(nèi)部狀態(tài)的時(shí)間上的解耦。在知道之前時(shí)刻所有的輸入刺激, 就能夠通過O(1)的復(fù)雜度并行化計(jì)算出之前所有時(shí)刻的神經(jīng)元的輸出。我們?cè)谟⑻貭?13900K CPU 上進(jìn)行了分析，比較了AstroSNN 和 GPT2的推理開銷, 結(jié)果如圖3所示，顯示了 AstroSNN 在不同序列長(zhǎng)度下的延遲、吞吐量和內(nèi)存使用方面的卓越性能。

　　

　

　　基于此, 我們?cè)诰哂?00GB語(yǔ)料的預(yù)訓(xùn)練數(shù)據(jù)集The Pile上訓(xùn)練了一個(gè)擁有 15 億個(gè)參數(shù)的類腦生成式人工智能模型AstroSNN, 該模型能夠具有一定的對(duì)話能力。這也是就研究團(tuán)隊(duì)所知第一個(gè)基于脈沖神經(jīng)網(wǎng)絡(luò)模型的具有對(duì)話能力的大語(yǔ)言對(duì)話模型。對(duì)話的樣例如圖4所示.

　　

　　基于膠質(zhì)細(xì)胞-脈沖神經(jīng)元協(xié)同的類腦生成式脈沖神經(jīng)網(wǎng)絡(luò)模型AstroSNN將腦啟發(fā)的神經(jīng)科學(xué)原理與先進(jìn)的計(jì)算技術(shù)深度融合，并在大規(guī)模生成式人工智能方面取得應(yīng)用，為生成式人工智能、類腦智能、神經(jīng)形態(tài)計(jì)算引入了新思想與實(shí)質(zhì)進(jìn)展。與當(dāng)前主流的基于人工神經(jīng)網(wǎng)絡(luò)的大模型不同，AstroSNN采用了類腦脈沖神經(jīng)網(wǎng)絡(luò)，并巧妙地引入了星形膠質(zhì)細(xì)胞，這種創(chuàng)新方法解決了基于 LIF 的傳統(tǒng) SNN 固有的局限性，顯著提升了模型的表征能力和處理復(fù)雜時(shí)間依賴關(guān)系的能力。這些膠質(zhì)細(xì)胞通過與眾多脈沖神經(jīng)元的突觸連接，為脈沖神經(jīng)網(wǎng)絡(luò)增添了一個(gè)全新的、長(zhǎng)期的信息處理維度。它們的加入，使得AstroSNN能夠捕捉到更加豐富和深入的神經(jīng)活動(dòng)及其相互依賴關(guān)系。在面對(duì)復(fù)雜的語(yǔ)言理解和生成任務(wù)時(shí)，AstroSNN不僅顯示出與大型語(yǔ)言模型相媲美的能力，而且其運(yùn)行時(shí)的計(jì)算負(fù)擔(dān)僅是后者的一小部分。

　　

　　該項(xiàng)研究的負(fù)責(zé)人曾毅博士說(shuō)：“我們所塑造的類腦生成式人工智能(Brain-inspired Generative AI)與傳統(tǒng)生成式人工智能具有顯著不同的理念，長(zhǎng)遠(yuǎn)目標(biāo)是自然與生物智能機(jī)制機(jī)理啟發(fā)、相對(duì)小數(shù)據(jù)、低功耗、高智能。學(xué)習(xí)了大規(guī)模數(shù)據(jù)的類腦智能模型如果在機(jī)理機(jī)制上具備生物意義的智能，必將有潛力達(dá)到人工通用智能。基于膠質(zhì)細(xì)胞-脈沖神經(jīng)元協(xié)同的類腦生成式脈沖神經(jīng)網(wǎng)絡(luò)模型AstroSNN不僅是對(duì)現(xiàn)有生成式人工智能模型的反思與變革，更是對(duì)下一代人工智能的探索。它在保持高智能處理能力的同時(shí)，展現(xiàn)了數(shù)據(jù)和能源效率方面的顯著優(yōu)勢(shì)，為未來(lái)的生成式人工智能、人工通用智能提供了新的方向”。

　　

　

　　作者簡(jiǎn)介：

　　

　　申國(guó)斌

　　

　　中國(guó)科學(xué)院自動(dòng)化研究所類腦認(rèn)知智能研究組2021級(jí)博士研究生，導(dǎo)師曾毅研究員。主要研究方向?yàn)轭惸X脈沖神經(jīng)網(wǎng)絡(luò)可塑性建模。目前已在PNAS, Patterns、Neural、Networks Information Sciences、IEEE TVLSI、ACM ToMM、NeurIPS、IJCAI, AAAI等發(fā)表論文多篇。

　　

 

　　

　　趙東城

　　

　　中國(guó)科學(xué)院自動(dòng)化研究所類腦認(rèn)知智能研究組助理研究員，遠(yuǎn)期人工智能研究中心首席研究員。研究方向?yàn)轭惸X脈沖神經(jīng)網(wǎng)絡(luò)、類腦深度神經(jīng)網(wǎng)絡(luò)。目前已在PNAS、IEEE TVLSI、Scientific Data、Patterns、Neural Networks、Information Sciences、NeurIPS、AAAI、IJCAI等發(fā)表論文多篇。

　　

 

　　

　　董一廷

　　

　　中國(guó)科學(xué)院自動(dòng)化研究所類腦認(rèn)知智能研究組2020級(jí)博士研究生。導(dǎo)師曾毅研究員。主要研究方向?yàn)轭惸X脈沖神經(jīng)網(wǎng)絡(luò)不同監(jiān)督方式和可塑性研究。目前已在PNAS、Patterns、Neural Networks、Scientific Data、NeurIPS等發(fā)表論文多篇。

　　

 

　　

　　李楊

　　

　　中國(guó)科學(xué)院自動(dòng)化研究所類腦認(rèn)知智能研究組2019級(jí)博士生，導(dǎo)師為曾毅研究員。研究方向?yàn)轭惸X脈沖神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。目前已在Scientific Data，Neural Networks，Information Sciences，F(xiàn)rontiers in Computational Neuroscience，IJCAI、NeurIPS等發(fā)表論文多篇。

　　

　　

　　李金東

　　

　　中國(guó)科學(xué)院自動(dòng)化研究所類腦認(rèn)知智能研究組2022級(jí)碩士研究生在讀。主要研究方向?yàn)轭惸X脈沖神經(jīng)網(wǎng)絡(luò)軟硬件協(xié)同創(chuàng)新與實(shí)現(xiàn)。目前已在IEEE TVLSI發(fā)表論文。

　　

　　

　　孫康

　　

　　遠(yuǎn)期人工智能研究中心副主任，研究方向?yàn)槿斯ぶ悄馨踩?、倫理與治理，類腦人工智能。目前已在AI and Ethics、IPSJ Magazine等發(fā)表論文多篇。

　　

 

　　

　　曾毅

　　

　　中國(guó)科學(xué)院自動(dòng)化研究所研究員、類腦認(rèn)知智能研究組負(fù)責(zé)人、腦圖譜與類腦智能實(shí)驗(yàn)室副主任、人工智能倫理與治理研究中心主任；中國(guó)科學(xué)院大學(xué)崗位教授、博士生導(dǎo)師；遠(yuǎn)期人工智能研究中心創(chuàng)始主任；中國(guó)人工智能學(xué)會(huì)心智計(jì)算專委會(huì)主任；國(guó)家新一代人工智能治理專委會(huì)委員；聯(lián)合國(guó)人工智能高層顧問機(jī)構(gòu)專家；聯(lián)合國(guó)教科文組織人工智能倫理特設(shè)專家組專家。研究方向?yàn)椋侯惸X人工智能、人工智能倫理、治理與可持續(xù)發(fā)展。被美國(guó)《時(shí)代周刊(TIME)》評(píng)為人工智能最具影響力100人。

　　

　　代表性成果發(fā)表在PNAS、Cell Press旗下期刊Patterns、iScience，Nature出版社旗下Scientific Data、Scientific Reports、Humanities and social sciences communications，以及Science出版社旗下Science Advances、IEEE Transactions、Neural Networks以及人工智能領(lǐng)域重要國(guó)際會(huì)議NeurIPS、IJCAI和AAAI等。

　　

　　類腦認(rèn)知智能實(shí)驗(yàn)室

　　

　　類腦認(rèn)知智能實(shí)驗(yàn)室(BrainCog Lab)隸屬于中國(guó)科學(xué)院自動(dòng)化研究所，實(shí)驗(yàn)室成立于2013年，是從事類腦人工智能前沿理論和腦與智能交叉創(chuàng)新的研究團(tuán)隊(duì)。由中國(guó)科學(xué)院自動(dòng)化研究所腦圖譜與類腦智能實(shí)驗(yàn)室副主任曾毅研究員擔(dān)任團(tuán)隊(duì)負(fù)責(zé)人。

　　

　　類腦認(rèn)知智能實(shí)驗(yàn)室以構(gòu)建面向通用人工智能的類腦認(rèn)知智能模型與應(yīng)用為主要研究?jī)?nèi)容，特別是在類腦脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、發(fā)育與演化機(jī)理、類腦可塑性理論體系、類腦知識(shí)表征與推理、類腦決策理論、意識(shí)計(jì)算模型、情感與倫理道德的類腦模型等方面開展研究。

　　

　　實(shí)驗(yàn)室研制的類腦認(rèn)知智能引擎“智脈(BrainCog)”致力于為新一代人工智能前沿探索打造基于脈沖神經(jīng)網(wǎng)絡(luò)的通用人工智能引擎，服務(wù)于人類與人工智能的和諧共生。

　　

　　類腦認(rèn)知智能實(shí)驗(yàn)室(BrainCog Lab)主頁(yè)：http://www.braincog.ai

　　

　　類腦認(rèn)知智能引擎“智脈(BrainCog)”主頁(yè)：http://www.brain-cog.network/

　　

　　遠(yuǎn)智觀點(diǎn)(Views on Long-term AI)關(guān)注人工智能倫理與治理近期與長(zhǎng)遠(yuǎn)發(fā)展的理論研究、觀點(diǎn)分析與實(shí)踐，旨在培育領(lǐng)域前瞻思想，促進(jìn)國(guó)內(nèi)、國(guó)際觀點(diǎn)對(duì)話與交流，助力領(lǐng)域共識(shí)、規(guī)范與政策的形成。主要涉及近期與長(zhǎng)遠(yuǎn)人工智能的風(fēng)險(xiǎn)與挑戰(zhàn)、人工智能倫理與治理理論與實(shí)踐、通用人工智能與超級(jí)智能的發(fā)展途經(jīng)及其社會(huì)影響、國(guó)防人工智能與軍控、人工智能促進(jìn)世界和平、人工智能助力可持續(xù)發(fā)展。