【ZiDongHua 之自動化學(xué)院派收錄關(guān)鍵詞：華中科技大學(xué) 機器人 生理信號情緒識別 】
　　
　　CBS |華中科技大學(xué)團(tuán)隊提出基于領(lǐng)域泛化和殘差網(wǎng)絡(luò)的生理信號情緒識別
　　
　　隨著社會智能技術(shù)使用頻率快速增加，情緒識別已廣泛應(yīng)用于機器人、營銷、教育、工業(yè)等各個領(lǐng)域。許多研究集中在基于面部表情、口頭文本、音頻和身體行為的情緒識別上，但這些方法可能無法準(zhǔn)確反映人類的情緒。
　　
　　相比之下，生理信號情緒識別（ERPS）更可靠，因為大多數(shù)人無法通過主觀意愿來操縱生理指標(biāo)。目前用于情緒識別的生理信號有很多，如腦電圖（EEG）、心電圖（ECG）、心率變異性（HRV）、血量脈搏（BVP）、皮膚溫度（TEMP）、皮電活動（EDA）。這些信號是非平穩(wěn)時間序列，所以提取獨特模式具有挑戰(zhàn)性。
　　
　　ERPS可以分為單信號法和多信號法。多信號方法理論上具有更高的準(zhǔn)確性，因為它添加了多個生理信號。然而，同時提取同一信號的時間相關(guān)性和不同信號之間的空間相關(guān)性是一個難題。研究者們采用了一些方法來解決這個問題。例如，Oh等人放棄了時間特征的提取，將每個時間步的生理數(shù)據(jù)作為輸入。Kanjo等人使用滑動窗口將生理信號切割，并將其作為單個圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)（CNN）中進(jìn)行特征提取。
　　
　　生理信號情緒識別（ERPS）是一種受到廣泛關(guān)注的技術(shù)，可以應(yīng)用于許多領(lǐng)域。然而，由于生理信號是高頻非平穩(wěn)時間序列，從中提取特征比較困難。此外，ERPS還存在兩個挑戰(zhàn)：如何捕捉生理信號的時間相關(guān)性和空間相關(guān)性以及如何減少時間協(xié)變量偏移（TCS）的負(fù)面影響。
　　
　　為了解決這些問題，研究人員提出了一種新的方法，稱為DGR-ERPS。研究人員先從原始數(shù)據(jù)中提取時域和頻域特征，然后將它們轉(zhuǎn)換為3D圖像數(shù)據(jù)，并使用基于殘差網(wǎng)絡(luò)的特征編碼器進(jìn)行處理。另外，研究人員還引入了一種基于領(lǐng)域泛化的技術(shù)來緩解TCS的負(fù)面影響。通過在兩個真實數(shù)據(jù)集上進(jìn)行了廣泛的實驗，結(jié)果表明DGR-ERPS在TCS和非TCS場景下都取得了卓越的性能。相關(guān)研究近日以A Domain Generalization and Residual Network Based Emotion Recognition from Physiological Signals 為題發(fā)表在中國科技期刊卓越行動計劃高起點新刊Cyborg and Bionic Systems上。
　　
　　
　　
　　論文鏈接：
　　
　　https://spj.science.org/doi/10.34133/cbsystems.0074
　　
　　01
　　
　　方法
　　
　　如圖1所示，文獻(xiàn)中的DGR-ERPS主要由特征預(yù)提取、3D圖像數(shù)據(jù)生成、領(lǐng)域分割、基于殘差的特征編碼器和領(lǐng)域?qū)R組成。
　　
　
　　
　　圖1  DGR-ERPS的總體框架如下：研究人員從原始時間序列中提取時域和頻域特征，并將它們轉(zhuǎn)換為3D圖像數(shù)據(jù)，作為特征編碼器的輸入。在訓(xùn)練階段，研究人員使用Kmeans++算法將訓(xùn)練集分割成多個域，并將它們輸入到編碼器中。然后，根據(jù)最大熵原理對這些域進(jìn)行對齊，同時執(zhí)行情緒識別任務(wù)。
　　
　　特征預(yù)提取
　　
　　在這項工作中，研究人員對每個子序列預(yù)先提取了七個特征，包括兩個時域特征和五個頻域特征。時域特征是每個子序列中數(shù)值的平均值和標(biāo)準(zhǔn)差。為了提取頻域特征，研究人員計算了子序列的功率譜密度（PSD），將其從時域轉(zhuǎn)換到頻域?；赑SD，研究人員提取了五個頻域特征，包括譜熵、重力頻率、頻率均值、頻率標(biāo)準(zhǔn)差和均方根頻率。
　　
　　
　　
　　圖2 特征預(yù)提取示意圖
　　
　　3D 圖像數(shù)據(jù)生成
　　
　　在時間序列分析領(lǐng)域，長短期記憶（LSTM）和Transformer因其強大的語義關(guān)系提取能力而被廣泛采用。然而，它們也存在一些缺陷。LSTM難以提取全局信息，無法直接捕獲時間序列中的長距離依賴關(guān)系；Transformer過于關(guān)注全局信息而容易忽略時間順序信息。因此，研究人員設(shè)計了一個基于殘差的特征編碼器（RBFE）來處理時間序列。為了滿足RBFE的輸入要求，研究人員通過格拉米亞角求和場（GASF）將多元時間序列轉(zhuǎn)換為3D圖像數(shù)據(jù)。
　　
　　基于殘差的特征編碼器
　　
　　受殘差網(wǎng)絡(luò)的啟發(fā)，研究人員構(gòu)建了一個基于殘差的特征編碼器（RBFE），如圖3所示。RBFE是一個雙流網(wǎng)絡(luò)，它接受局部3D圖像和全局3D圖像作為輸入。單流網(wǎng)絡(luò)的結(jié)構(gòu)如下：輸入層包括3D卷積層（卷積核大小為3x3x3）、批量歸一化層、ReLU激活函數(shù)和3D最大池化層。輸入層之后是由多個殘差塊組成的殘差網(wǎng)絡(luò)，最后是一個線性層。將兩個單流網(wǎng)絡(luò)的輸出連接起來，并將其輸入到由線性層構(gòu)成的分類器中，用于情緒分類。
　　
　　圖RBFE的網(wǎng)絡(luò)結(jié)構(gòu)
　　
　　實驗使用兩種類型的殘差塊，一種包含下采樣層，另一種不包含下采樣層，如圖4所示。在本工作中，研究人員使用了8個殘差塊，其中第3、5和7個殘差塊包含下采樣層，其他殘差塊沒有下采樣層。
　　
　　殘差塊的結(jié)構(gòu)
　　
　　領(lǐng)域分割和對齊
　　
　　為了解決非平穩(wěn)時間序列中時間協(xié)變量平移（TCS）引起的問題，研究人員采用了基于領(lǐng)域泛化的技術(shù)對訓(xùn)練數(shù)據(jù)集進(jìn)行領(lǐng)域分割和對齊。將訓(xùn)練集中相同情緒的樣本分割成多個域（簇），使用分段數(shù)據(jù)進(jìn)行模型訓(xùn)練。在訓(xùn)練階段，除了主要的情緒分類任務(wù)外，研究人員還添加了領(lǐng)域?qū)R的輔助任務(wù)，即逼近這些域的特征分布。
　　
　　領(lǐng)域分割的目的是最大化不同域之間的差異，而域?qū)R的目的是使模型學(xué)習(xí)一組網(wǎng)絡(luò)參數(shù)，將這些域拉在一起。通過領(lǐng)域分割和對齊，模型能夠在數(shù)據(jù)分布最差的情況下表現(xiàn)出色，從而在未知分布的數(shù)據(jù)中也能獲得良好的性能。圖5展示了領(lǐng)域分割和對齊的整體流程。
　
　　領(lǐng)域分割和對齊的過程
　　
　　02
　　
　　實驗
　　
　　數(shù)據(jù)集
　　
　　研究人員通過進(jìn)行了大量實驗來驗證我們的模型在基于生理信號的時間序列數(shù)據(jù)集WESAD和DEAP上的性能。
　　
　　WESAD數(shù)據(jù)集包含8個通道的6種生理信號，包括血容量脈搏（BVP，64Hz）、心電圖（ECG，700Hz）、皮電活動（EDA，700Hz、4Hz）、肌電圖（EMG，700Hz）、呼吸（RESP，700Hz）、溫度（TEMP，700Hz、4Hz）。這些數(shù)據(jù)來自胸部傳感器和手腕傳感器。該數(shù)據(jù)集收集了15名健康成年人在4種情緒狀態(tài)（中性、壓力、娛樂、冥想）下的生理信號。
　　
　　DEAP數(shù)據(jù)集包含32通道腦電信號和8通道外周生理信號。在本文中，研究人員僅使用了外周生理信號，包括兩個通道眼電圖（EOG）、兩個通道肌電圖以及一個通道EDA、RESP、體積描記器（PG）和TEMP，均以128Hz采樣。該數(shù)據(jù)集中有兩個常用的情緒標(biāo)簽，分別是效價和喚醒度，取值范圍都是1到9分。
　　
　　對比結(jié)果
　　
　　表 1 和表 2 分別顯示了本文方法和基線方法在 WESAD 和 DEAP 數(shù)據(jù)集上的性能比較?？傮w而言，所提出的 DGR-ERPS 在非 TCS（隨機分割數(shù)據(jù)集）和 TCS（按時間順序分割數(shù)據(jù)集）情況下都實現(xiàn)了出色的性能。值得注意的是，所提出方法的性能在 TCS 環(huán)境中急劇下降。WESAD 數(shù)據(jù)集上的 2 個性能指標(biāo)分別下降至 94.7% 和 94.0%。DEAP數(shù)據(jù)集上的退化更為嚴(yán)重，準(zhǔn)確率下降了近20%，這表明TCS對模型性能產(chǎn)生了非常嚴(yán)重的負(fù)面影響。
　　
　　表1 WESAD 數(shù)據(jù)集上的性能比較
　　
　　表2 DEAP 數(shù)據(jù)集上的性能比較
　　
　　消融結(jié)果
　　
　　研究人員進(jìn)行了消融研究，旨在驗證特征預(yù)處理、雙流網(wǎng)絡(luò)結(jié)構(gòu)和領(lǐng)域?qū)R的有效性。針對四種設(shè)置進(jìn)行了試驗：無特征預(yù)提?。╳/o FPE）、不帶雙流結(jié)構(gòu)（w/o DSS）、沒有領(lǐng)域?qū)R（w/o DoA）和沒有以上所有模塊（w/o All）。圖6展示了在WESAD和DEAP數(shù)據(jù)集上進(jìn)行的消融實驗結(jié)果。從實驗結(jié)果可以看出，去除任意一個模塊都會導(dǎo)致模型性能下降。其中，當(dāng)移除所有模塊時，模型表現(xiàn)最差。
 
　　 WESAD和DEAP消融研究結(jié)果
　　
　　時間協(xié)變量偏移的影響
　　
　　圖7展示了Non-TCS和TCS情況下訓(xùn)練集、驗證集和測試集的準(zhǔn)確率曲線，非TCS情況下WESAD和DEAP數(shù)據(jù)集上的這三條曲線高度重疊，表明該模型沒有過擬合或過擬合程度很低，證明DGR-ERPS模型具有強大的情緒分類能力。在TCS情況下，WESAD和DEAP數(shù)據(jù)集都存在不同程度的過擬合現(xiàn)象，因為TCS導(dǎo)致訓(xùn)練集、驗證集和測試集分布不一致。此外，在DEAP數(shù)據(jù)集上過擬合現(xiàn)象更嚴(yán)重，說明TCS問題在該數(shù)據(jù)集上更加嚴(yán)重。
　　
　　TCS 和非 TCS 情況下的準(zhǔn)確度差異
　　
　　研究人員將數(shù)據(jù)集按時間順序分為16部分，第一部分是訓(xùn)練集，后15部分是測試集，這些測試集按時間順序標(biāo)記步驟1∼15。對比完整模型和去除領(lǐng)域?qū)R（w/o DoA）模型的性能，結(jié)果顯示在圖8中?？偟膩碚f，兩個數(shù)據(jù)集上識別精度隨著時間步長增加而下降，但下降幅度逐漸變小，說明測試集和訓(xùn)練集之間的分布差異隨著時間的推移逐漸增大。此外，圖中藍(lán)色曲線高于或接近紅色曲線，這證明DoA模塊可以在一定程度上緩解TCS的負(fù)面影響。
　　
　　TCS情況下的識別結(jié)果
　　
　　混淆矩陣分析
　　
　　通過分析了WESAD和DEAP數(shù)據(jù)集上的混淆矩陣，揭示了不同情緒的分類結(jié)果。由圖9可知在WESAD數(shù)據(jù)集上，最高誤分類率是“娛樂”類別，有8.8%的“娛樂”樣本被誤分類為“冥想”。最低誤判率是“壓力”類別，準(zhǔn)確率達(dá)到98.2%。圖10表示在DEAP數(shù)據(jù)集上，高效價和高喚醒的識別精度低于低效價和低喚醒?？傮w而言，DEAP數(shù)據(jù)集的準(zhǔn)確率低于WESAD數(shù)據(jù)集，可能是因為WESAD數(shù)據(jù)集的標(biāo)簽來源更客觀、更準(zhǔn)確。
　　
　　 WESAD 的混淆矩陣
 
　　DEAP的混淆矩陣
　　
　　03
　　
　　結(jié)論
　　
　　研究人員提出了一種名為DGR-ERPS的方法來解決生理信號情緒識別（ERPS）的困境。該方法利用領(lǐng)域泛化和殘差網(wǎng)絡(luò)，將長時間序列分割并提取時域和頻域特征，以降低計算復(fù)雜度。通過將這些時間序列轉(zhuǎn)換為局部和全局的3D圖像數(shù)據(jù)，可以捕捉不同生理信號之間的相關(guān)性。
　　
　　同時，研究人員借鑒了殘差網(wǎng)絡(luò)的思想構(gòu)建了基于殘差的特征編碼器。與現(xiàn)有的ERPS方法相比，DGR-ERPS考慮了生理信號的非平穩(wěn)性，即時間協(xié)變量漂移問題。在研究中引入了基于領(lǐng)域泛化的技術(shù)，通過Kmeans++和最大熵原理實現(xiàn)領(lǐng)域分割和對齊。經(jīng)過大量實驗驗證，DGR-ERPS優(yōu)于以前的方法，并證明了其有效性。研究中提出的方法是一個通用框架，可以輕松擴展到其他具有非生理信號的時間序列任務(wù)。
　　
　　作者介紹：王小平，華中科技大學(xué)人工智能與自動化學(xué)院教授，博士生導(dǎo)師，IEEE Senior Member，湖北省系統(tǒng)工程學(xué)會常務(wù)理事。研究興趣包括類腦計算、類腦智能、憶阻器及其應(yīng)用、情感計算、智能感知等。授權(quán)國家發(fā)明專利8項，發(fā)表學(xué)術(shù)論文60多篇，其中30余篇發(fā)表在IEEE Transactions等國際著名期刊上。在多個國際學(xué)術(shù)會議上擔(dān)任程序委員會主席或組織委員會主席。作為項目負(fù)責(zé)人承擔(dān)了國家自然科學(xué)基金重點、面上、青年、國家重點研發(fā)計劃子課題、教育部博士點基金、企業(yè)橫向合作等多項科研項目。
　　
　　Cyborg and Bionic Systems 《類生命系統(tǒng)》期刊是由北京理工大學(xué)(BIT)和美國科學(xué)促進(jìn)會(AAAS)/ Science 共同打造的綜合性高水平國際化英文科技期刊。本刊是美國科學(xué)促進(jìn)會(AAAS)自1880年創(chuàng)建Science期刊以來首個面向類生命仿生系統(tǒng)交叉領(lǐng)域的伙伴期刊，主要涵蓋機器人、生物醫(yī)學(xué)工程及神經(jīng)工程三大交叉領(lǐng)域。期刊文章于2021年1月正式上線，入選“中國科技期刊卓越行動計劃高起點新刊”項目，已被ESCI、EI、Scopus、Pubmed、CNKI、DOAJ等數(shù)據(jù)庫收錄。
　　
　　官網(wǎng)鏈接：https://spj.science.org/journal/cbsystems/