【ZiDongHua 之自動(dòng)化學(xué)院派收錄關(guān)鍵詞： 機(jī)器學(xué)習(xí) 神經(jīng)計(jì)算 腦機(jī)交互 中國科學(xué)院自動(dòng)化研究所】
 
 
　　自動(dòng)化所團(tuán)隊(duì)構(gòu)建人腦基礎(chǔ)情感空間，揭示細(xì)粒度情緒在大腦中的拓?fù)浔碚髂Ｊ?/strong>
 
 
　　導(dǎo)讀 | 近日，中國科學(xué)院自動(dòng)化研究所神經(jīng)計(jì)算與腦機(jī)交互團(tuán)隊(duì)基于機(jī)器學(xué)習(xí)方法和神經(jīng)影像數(shù)據(jù)構(gòu)建了人腦基礎(chǔ)情感空間，揭示了人腦在自然視覺刺激下的細(xì)粒度情緒編碼模式。相關(guān)研究成果以Topographic representation of visually evoked emotional experiences in the human cerebral cortex 為題發(fā)表于細(xì)胞出版社旗下期刊 iScience。
　　
 
　　情感體驗(yàn)在人類大腦中的空間表征模式一直存在“定位論”和“構(gòu)建論”之爭。探究人類情緒體驗(yàn)的神經(jīng)機(jī)制一直是情感神經(jīng)科學(xué)研究的熱點(diǎn)問題。早期關(guān)于情緒在大腦中表示的研究主要集中在Ekman從人類面部表情中發(fā)現(xiàn)的六類基本情緒類別（快樂，悲傷，憤怒，厭惡，恐懼，驚訝）。近年來，隨著心理學(xué)的發(fā)展，研究人員發(fā)現(xiàn)了人類可以表達(dá)出更加細(xì)粒度的情緒類別，如Admiration（欣賞）、Adoration（崇拜）等。盡管先前的研究已經(jīng)提出了基本情緒類別的定位主義理論，即離散的情緒類別由大腦的特定區(qū)域獨(dú)立編碼，但是這一理論難以揭示更加細(xì)粒度的情緒類別在大腦中表示的神經(jīng)機(jī)制。
 
　　為了探究上述問題，中國科學(xué)院自動(dòng)化研究所神經(jīng)計(jì)算與腦機(jī)交互團(tuán)隊(duì)結(jié)合自然視覺刺激下的神經(jīng)影像數(shù)據(jù)構(gòu)建體素級(jí)神經(jīng)編碼模型，從中挖掘出人腦基礎(chǔ)情感空間，并基于此解析出細(xì)粒度情緒（27類）在大腦中的編碼模式（圖1）。研究數(shù)據(jù)來源于5名被試在觀看短視頻片段時(shí)的fMRI響應(yīng)以及多名標(biāo)注者對(duì)這些短視頻片段的細(xì)粒度情緒評(píng)分。
 
　
 
　　圖1. 本論文研究框架。為了探究細(xì)粒度情緒類別在大腦中表示的神經(jīng)機(jī)制，該研究進(jìn)行了一系列分析。（第一行）首先，被試觀看短視頻片段并且獲取其fMRI響應(yīng)。（中間行）接下來，構(gòu)建體素級(jí)神經(jīng)編碼模型并應(yīng)用主成分分析獲取人腦基礎(chǔ)情感空間。（最后一行）對(duì)該空間進(jìn)行深入探究，發(fā)現(xiàn)了4條連續(xù)延展的情緒梯度，并利用假設(shè)的情感維度對(duì)該空間進(jìn)行解釋。
 
　　>>>>
 
　　研究發(fā)現(xiàn)
 
　　研究發(fā)現(xiàn)，人腦對(duì)細(xì)粒度的情緒類別的編碼廣泛分布在大腦皮層的多個(gè)區(qū)域。與此同時(shí)，人腦的基礎(chǔ)情感空間揭示了細(xì)粒度的情緒類別在大腦皮層上呈現(xiàn)出連續(xù)的梯度編碼模式，而這些梯度可以在一定程度上被另一種情緒模型——情感維度（Affective dimension）所解釋。
 
　　1. 情緒相關(guān)體素的皮層分布
 
　　細(xì)粒度的情緒類別在大腦中的表示廣泛分布在如顳頂交界區(qū)（temporo-parietal junction，TPJ）、下頂葉頂角皮層（inferior parietal lobule，IPL）以及外側(cè)枕葉（lateral occipital，LO）等多個(gè)區(qū)域（圖2），這與傳統(tǒng)的定位主義假說相矛盾。
 
　
 
　　圖2. 編碼模型的性能。（A）模型的預(yù)測(cè)精度在皮層上的投影，預(yù)測(cè)效果較好的體素呈現(xiàn)為黃色。（B）部分重要ROI中預(yù)測(cè)顯著的體素比例。（C）所有體素預(yù)測(cè)精度的直方圖。
 
　　2. 人腦的基礎(chǔ)情感空間和情緒梯度
 
　　研究人員構(gòu)建了人腦基礎(chǔ)情感空間（圖3），這一情感空間在多個(gè)被試之間存在一致性（圖3B），并由此發(fā)現(xiàn)了4條連續(xù)延展的情緒梯度（圖4），這些梯度絕大部分分布在默認(rèn)模式網(wǎng)絡(luò)中（default mode network，DMN）。研究人員進(jìn)一步發(fā)現(xiàn)，與行為學(xué)情感空間不同，細(xì)粒度的情緒類別在人腦中的表示并不是簡單地沿著積極和消極分布（圖3C,D），這也反映了人腦自發(fā)的響應(yīng)模式和人類行為模式之間的差異性。
 
　　
 
　　圖3. 人腦基礎(chǔ)情感空間和皮層投影。（A）使用主成分分析從編碼模型中獲取人腦基礎(chǔ)情感空間并且采用Watcher方法確定情感空間維度。（B）人腦基礎(chǔ)情感空間的跨被試一致性。（C）人腦基礎(chǔ)情感空間的2D可視化。（D）行為學(xué)情感空間的2D可視化。（E）人腦基礎(chǔ)情感空間在大腦皮層上的投影。（F）人腦基礎(chǔ)情感空間的每一維度在皮層上的投影。
 
　　
 
　　圖4. 從人腦基礎(chǔ)情感空間中發(fā)現(xiàn)的4條連續(xù)的情緒梯度。梯度1起始于下頂葉頂角皮層（IPL）后側(cè)，并向前扣帶回皮層（ACC）轉(zhuǎn)移；梯度2起始于顳頂交界區(qū)（TPJ）后側(cè)，并終止于顳下區(qū)（TE）。從PC1觀察到的這兩個(gè)梯度的一端位于單模態(tài)區(qū)域，而另一端位于跨模態(tài)區(qū)域（IPL和TPJ），與從抑制到刺激情緒的過渡相關(guān)（Arousal）。梯度3起始于頂枕溝，穿過頂枕（PC）并結(jié)束于后中央旁區(qū)。這個(gè)梯度從PC2中得出，與Approach維度相關(guān)。梯度4起始于背外側(cè)前額葉皮層后側(cè)（DLPFC），并向背內(nèi)側(cè)前額葉皮層（DMPFC）轉(zhuǎn)移。該梯度位于前額葉皮層，主要在PC3(Attention)中反映出來，同時(shí)也與PC4(Commitment)相關(guān)。這些梯度大部分位于默認(rèn)模式網(wǎng)絡(luò)（包括TPJ,IPL,PC以及DMPFC）。
 
　　3. 利用假設(shè)的情感維度對(duì)情感空間進(jìn)行解釋
 
　　為了進(jìn)一步對(duì)人腦基礎(chǔ)情感空間進(jìn)行解釋，研究人員將該空間的每一維度與假設(shè)的14個(gè)情感維度（如Arousal、Valence、Dominance等）進(jìn)行相關(guān)性分析（圖5）。研究發(fā)現(xiàn)人腦基礎(chǔ)情感空間的前四維可以在一定程度上分別由Arousal、Approach、Attention、Commitment進(jìn)行解釋。這也可以看作是視覺感知中的視網(wǎng)膜拓?fù)溆成淅碚撛谌祟惽榫w感知中的推廣。
 
　　

 
　　圖5. 人腦基礎(chǔ)情感空間與假設(shè)的情感維度空間之間的關(guān)系。（A）每一條線代表著對(duì)應(yīng)的PC和假設(shè)的情感維度之間的標(biāo)準(zhǔn)化皮爾遜相關(guān)系數(shù)，只顯示了具有強(qiáng)相關(guān)的部分，如PC1和Arousal。（B）所有PC和假設(shè)的情感維度之間的標(biāo)準(zhǔn)化皮爾遜相關(guān)系數(shù)矩陣。
 
　　綜上所述，相關(guān)發(fā)現(xiàn)為細(xì)粒度情緒體驗(yàn)的神經(jīng)機(jī)制研究提供了新的見解，為情緒在大腦中表示的構(gòu)建主義理論提供了新的依據(jù)，同時(shí)也在人腦基礎(chǔ)情感空間中調(diào)和了情緒類別和情感維度兩種情緒模型的爭論。面向未來類腦情感智能模型的研發(fā)以及提升大模型的情感理解能力，該研究也將提供有效的理論支撐。
 
　　本論文由中國科學(xué)院自動(dòng)化研究所副研究員杜長德和博士生付鎧城作為共同第一作者，何暉光研究員為通訊作者，中國科學(xué)院腦智卓越中心文彬丞博士生也參與了此項(xiàng)研究。研究工作得到了科技部科技創(chuàng)新2030—“新一代人工智能”重大項(xiàng)目、基金委項(xiàng)目、以及CAAI-華為MindSpore學(xué)術(shù)獎(jiǎng)勵(lì)基金及智能基座等項(xiàng)目的支持。為促進(jìn)該領(lǐng)域的持續(xù)發(fā)展，研究團(tuán)隊(duì)已將代碼和相關(guān)數(shù)據(jù)集開源。