基于共同空間模式的情感腦電信號的空域特征提取

閆夢夢，呂 釗,2，孫文慧

基于共同空間模式的情感腦電信號的空域特征提取

閆夢夢1，呂 釗1,2，孫文慧1

(1. 安徽大學計算機科學與技術學院，安徽 合肥 230601；2. 杭州電子科技大學腦機協同智能技術浙江省重點實驗室，浙江 杭州 310018)

為了改善基于腦電(EEG)的情感分類性能，提高多分類情況下的識別準確率，提出了一種基于共同空間模式(CSP)的空域濾波算法。首先使用傳統的CSP方法設計空域濾波器，并通過該濾波器對3種情感類型(即積極、中性和消極)的EEG信號進行線性投影，以提取空域特征。此外，考慮到傳統近似聯合對角化(JAD)算法是使用“得分最高的特征值”準則進行特征向量的選擇，該情況可能導致無法有效區分多分類的情感狀態，因此針對最高分特征值位置存在的所有可能情況設計了不同的特征值選擇方法。對實驗室自主采集數據集，使用支持向量模型(SVM)作為分類器進行對比實驗。結果表明基于CSP的空域特征提取方法在三分類情感識別中平均準確率達到了87.54%，證明其在情感識別應用中具有可行性。

情感腦-機交互；共同空間模式；近似聯合對角化；空域濾波；情感識別

腦-機接口(brain-computer interface，BCI)是一種由神經活動直接驅動的特殊人機交互技術[1-2]。通過非侵入性BCI系統測量大腦活動，并將其直接轉換為操作外部設備的控制命令，以實現用戶與計算機之間的信息交互。然而，由于情緒感知能力較弱，很多系統都無法根據用戶的心理狀態來調整交互模式，這極大地限制了BCI系統的功能和應用[3]。幸運的是，情感識別技術在用戶和計算機之間建立了情緒感知的橋梁，可以提供一種類似于人們之間交流的自然互動方式。此外，有研究[4]表明，在康復醫療護理領域，積極情感可以促進患者身體功能的恢復，而負面情感往往會導致情緒低落，長期處于這種狀態將不利于患者身體功能的恢復。如果能夠根據患者的情感狀態采取不同的護理措施，護理質量將得到明顯改善。因此，將情感識別引入到傳統的BCI系統中已成為人工智能和認知科學等眾多跨學科領域的重要研究熱點[5-6]。

為了實現基于腦電(electroencephalogram，EEG)的情感BCI系統，人們情感信息的有效獲取和識別成為至關重要的一步[7]。近年來，為了實現這一目標，一些比較成功的情感腦電特征提取方法相繼被提出。例如，文獻[8]從5個與情感相關的頻帶中提取出的微分熵(differential entropy，DE)和功率譜密度(power spectral density，PSD)特征，在三分類的情感識別中獲得了86.08%的平均識別率。文獻[9]提出一種基于時-頻域的分析方法，在二分類的情感識別任務中取得平均識別率為86.52%。盡管這些研究在支持情感計算的理論、方法、以及實驗上都取得顯著成功，但其關注的是時域或時-頻域的特征分析，而忽略了腦電信號中與情感計算相關的空域特征。為了有效解決該問題，本文進行了一些分析實驗，以探索空域特征是否能夠對基于EEG的情感狀態識別提供更有價值的情感信息。

1 實驗設計和數據獲取

本實驗所用的全部數據均為實驗室自己采集，受試者6位，分別為2男4女(所有受試者均為在校學生，雙眼視力正?；虺C正后正常，年齡在23~26歲)。在實驗過程中，所記錄的數據是30通道的情感腦電信號，其中采樣率為250 Hz，精度為16位。頭皮電極位置符合國際標準10-20系統[10]。

關于情感誘發材料的選擇，考慮到視頻片段包含場景和聲音、具有視聽雙重的刺激，可以讓受試者接觸到更多的真實場景，從而引發出更強烈的主觀和生理變化?，F有的研究已經表明視頻作為情感刺激誘發材料的有效性[11]。此外，考慮到本土文化在情感識別實驗中也會起到重要的作用，因此，最終選擇了具有母語和相關文化背景的帶有情感因素的電影片段作為刺激材料。在實驗前，所有受試者均被告知參與的實驗目的和過程。在實驗進行中，要求被試者靜坐在桌前，集中注意力觀看正前方的視頻片段，并且在影片播放中盡量保持不動，以免增加劇烈的肌電等干擾。具體實驗場景如圖1所示。

圖1 實驗場景圖

數據采集實驗范式如圖2所示。每個大的單次實驗(Trial)總時長為75 s，共分3部分。實驗開始時，計算機發出“嘀”的提示音，同時屏幕上出現提示字“準備”，表示此次實驗正式開始。隨后，計算機會隨機播放時長為60 s的3種不同類型的情感電影片段(積極、中性、消極)。最后電腦屏幕上出現“休息”字樣，受試者此時可以進行10 s的適當休息等待下一次實驗。每個受試者有3種情感狀態，每種情感狀態均有12個大的單次實驗(持續時長為60 s)，因此，每個受試者所擁有大的單次實驗總數是3′12=36。在后續的數據處理中，情感基本單元(利用滑動窗實現數據段的劃分)被設置為=6 s，并且滑動步長為/3。最終，每個受試者共有3′324=972個小的單次實驗(用于分類訓練和測試的總樣本數)。實驗選用的分類模型是支持向量模型(support vector model，SVM)，其中懲罰因子為1，核函數為多項式核函數。

圖2 實驗范式圖

2 方 法

該算法的目的是探索基于共同空間模式(common spatial pattern，CSP)的空域特征提取方法，提高腦電情感識別準確率。算法的具體流程如圖3所示，主要包括4個部分：對采集到的30通道腦電信號進行數據預處理、基于近似聯合對角化(joint approximation diagonalization，JAD)算法的空域濾波器設計、腦電信號的空域特征提取以及最終情感狀態的分類識別。

圖3 基于CSP空域濾波方法的流程圖

2.1 數據預處理

為了去除眼電(electrooculogram，EOG)、肌電(electromyography，EMG)和工頻干擾等偽跡對情感識別效果的影響，同時為了保留更有效的情感腦電成分，首先通過人工檢查波形情況手動去除了干擾較為明顯的數據片段。其次采用8~60 Hz (包含有效的情感響應頻帶)的帶通濾波器對EEG數據進行濾波。最后對實驗數據進行窗長的劃分進而實現數據的分段，選取不同時長和不同頻段的腦電信號進行更深一步的分析，具體細節部分在實驗對比部分給出。

2.2 基于CSP的情感識別

在傳統的二分類CSP算法[12]中，訓練集會根據情感類型的標簽劃分為2個子集合，然后分別計算其平均協方差矩陣和廣義特征值分解，最終選擇最大特征值所對應的特征向量構成CSP空域濾波器{1,2}。由于當前工作主要研究的是基于三分類的情感識別，在此基礎上本文選擇JAD方法[13]實現多分類的擴展。

JAD方法與傳統的兩分類CSP算法之間有很多的相似性，主要區別在于特征值的選擇準則。為了解決在多分類問題中，當其中某一類特征值最大時，另外兩類特征值差異也能達到最大化。JAD方法設置了如下的一個score()函數[14]用于特征值的選擇。

2.3 改進的多分類CSP算法

在設計CSP空濾波器的過程中，經過多次實驗發現使用傳統的JAD方法在解決多分類問題時存在一個嚴重缺陷。即，針對不同情感狀態得分最高的特征值在特征值對角矩陣中處于同一位置。在這種情況下，不同情感狀態的EEG數據會對應于同一個特征向量，所設計的空域濾波器也是相同的。此時3種情感狀態對應的空域特征沒有被準確區分開，所設計的空域濾波器是無效的，影響最終的識別性能。

為了有效的解決上述問題，針對3種情感任務得到的特征值所在對角矩陣中的位置情況，提出一種改進的算法，即“I_JAD”算法。主要實現原理是：將特征值按照由score()函數計算的得分由高到低降序排序，并將每種情感狀態下得分最高的特征值在原對角陣中的位置情況存儲在,(=1,2,3)中，通過比較其中存儲的數字實現了3種不同的特征值選擇方法U1，U2和U3的設計。其中，如果得分最高的特征值的位置情況全部不同(即,(=1,2,3)中存儲的數字相同的個數為0)，此時選擇U1方法。算法流程如圖4所示。

3 結 果

3.1 單次實驗的最優長度選擇

對于基于CSP的空域濾波方法，為了獲得情感基本單元的最優長度，選取了持續時間從2~10 s (以2 s為時間間隔)這5個不同長度的時間窗作對比。對不同長度的時間窗對應的EEG信號進行空域濾波，利用所映射的空域特征對情感狀態進行分類。實驗結果如圖5所示。

從圖5可以看出，與其他長度的時間窗相比，該方法在時間窗為2 s時獲得最低的平均識別率(82.53%)。隨著持續時間長度的增加，平均識別率也逐漸提高，當持續時間達到6 s時，所有受試者的平均識別率達到最高值(87.54%)。隨著持續時間的繼續增加識別率無明顯變化甚至有輕微下降的趨勢。分析產生這種現象的原因主要有2個：①情感基本單元(單次樣本持續時間)過短，無法有效激發受試者的真實情感，但持續時間過長可能會導致多種情緒狀態在同一個數據段內同時存在。②單次Trial持續時間的長短影響著實驗樣本的數量，數量過少不能夠有效的反映情感EEG信號的真實統計特征，過多則可能會增加計算量。經分析最終選擇了情感基本單元的最佳長度為6 s。

圖4 基于JAD實現不同的特征值選擇方法(帶有箭頭的直線表示特征值按降序排序)

圖5 不同時長的單次Trial對比結果(S1~S5表示受試者的編號)

3.2 關鍵頻帶分析

為了提取有效的空域特征，對delta (1~3 Hz)，theta (4~7 Hz)，alpha (8~12 Hz)，beta (13~30 Hz)和gamma (31~60 Hz)這5個常用生理頻段的EEG信號進行了對比，實驗結果如圖6所示。

圖6 處于不同頻段EEG信號的識別結果

圖6所顯示的結果表明alpha (8~12 Hz)，beta (13~30 Hz)和gamma (31~60 Hz)這3個頻段的識別性能明顯優于其他頻段，這表明高頻段的EEG信號相較于低頻段對情感認知活動的關聯性更強。同時，在當前階段也有相關的研究[15-16]在一定程度上證實了這3個頻段對于情感識別的重要性。綜上，在實驗分析中，選擇8～60 Hz (包含alpha，beta和gamma)的頻段對于情感識別的研究更有價值，同時本文將此頻段命名為‘α-β-γ’。

3.3 對比傳統方法

為了驗證所提I_JAD算法的有效性，將其與以下2種方法進行比較。方法1：從delta，theta，alpha，beta和gamma這5個頻段中提取左右腦的PSD和譜不對稱性特征。方法2：利用傳統的基于“得分最高的特征值”準則的JAD方法。實驗比較結果如圖7所示。

從圖7可以明顯的觀察到，空域濾波方法(方法2與I_JAD方法)相較于傳統的時-頻域方法(方法1)，整體識別率都有所提升。方法1取得的平均識別率為74.24%，比方法2和I_JAD方法分別低了2.75%和13.3%。而所提出的I_JAD與方法2相比，平均識別率則增加了10.55%。

圖7 不同方法下的識別結果比較

分析造成這種結果差異的原因是由于傳統的時-頻域分析方法對實際實驗中的環境非常敏感，如電極的輕微移動、無意識產生的肌電、脈沖噪聲等，這些都可能造成噪聲與有用的EEG信號在頻譜上的重疊。方法2考慮了時-頻域特征的缺點，能在一定程度上抑制干擾噪聲的影響，因此與方法1相比，識別性能有了一定的提升。但方法2可能會存在濾波器設計無效的問題，降低空域特征分析在情感識別上的應用性能?？沼驗V波方法的原理是通過使得各個情感任務能量差異的最大化，來實現有效情感空域特征的提取。這種差異即使在低信噪比(signal-to-noise ratio，SNR)情況下依然存在。因此，提出的I_JAD方法的識別性能要高于上述2種方法，具有一定的魯棒性。

4 結束語

本文提出了一種基于腦電情感識別的空域濾波方法，利用改進的CSP空域濾波算法在三分類情感腦電信號的識別中達到了87.54%的平均識別率。并且通過一系列對比實驗選取了最優的情感基本單元和相關的頻帶分布。最后與傳統的時頻域方法進行了比較，結果表明空域特征的獲取對于情感識別的應用有顯著的性能提升。未來的工作重點將放在對提出的算法進行改進，包括實現噪聲抑制與EEG信號質量評估，對CSP算法中的參數進行優化等，并希望將其應用到情感BCI系統的實現中。

[1] RAMADAN R A, VASILAKOS A V. Brain computer interface: control signals review[J]. Neurocomputing, 2017, 223: 26-44.

[2] 于淑月, 李想, 于功敬, 等. 腦機接口技術的發展與展望[J]. 計算機測量與控制, 2019, 27(10): 5-12. YU S Y, LI X, YU G J, et al. Development and prospect of brain computer interface technology[J]. Computer Measurement & Control, 2019, 27(10): 5-12 (in Chinese).

[3] ODA T, KUDOH N S. Heuristic BCI system recognizing the cognitive situation from various EEG patterns induced by the same cognitive task[C]//2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). New York: IEEE Press, 2018: 3842-3846.

[4] WIDGE A S, DOUGHERTY D D, MORITZ C T. Affective brain-computer interfaces as enabling technology for responsive psychiatric stimulation[J]. Brain-Computer Interfaces, 2014, 1(2): 126-136.

[5] 宗立成. 產品情感配色的計算機輔助設計及其評價方法[J]. 圖學學報, 2018, 39(4): 623-628. ZONG L C. On Computer Aided Design of Product Emotion Color Matching and Its Evaluation Method[J]. Journal of Graphics, 2018, 39(4): 623-628 (in Chinese).

[6] DALY I. Affective brain–computer interfacing and methods for affective state detection[M]// Brain–Computer Interfaces Handbook. Boca Raton: Taylor & Francis, CRC Press, 018: 147-164.

[7] 林麗, 陽明慶, 張超, 等. 產品情感研究及情感測量的關鍵技術[J]. 圖學學報, 2013, 34(1): 122-127. LIN L, YANG M Q, ZHANG C, et al. The product emotion and key technologies for emotional measurement[J]. Journal of Graphics, 2013, 34(1): 122-127 (in Chinese).

[8] ZHENG W L, LU B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162-175.

[9] HADJIDIMITRIOU S K, HADJILEONTIADIS L J. Toward an EEG-based recognition of music liking using time-frequency analysis[J]. IEEE Transactions on Biomedical Engineering, 2012, 59(12): 3498-3510.

[10] HERWIG U, SATRAPI P, SCH?NFELDT-LECUONA C. Using the international 10-20 EEG system for positioning of transcranial magnetic stimulation[J]. Brain Topography, 2003, 16(2): 95-99.

[11] SCHAEFER A, NILS F, SANCHEZ X, et al. Assessing the effectiveness of a large database of emotion-eliciting films: a new tool for emotion researchers[J]. Cognition & Emotion, 2010, 24(7): 1153-1172.

[12] ARVANEH M, GUAN C T, ANG K K, et al. Optimizing spatial filters by minimizing within-class dissimilarities in electroencephalogram-based brain–computer interface[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 24(4): 610-619.

[13] 呂釗, 陸雨, 周蚌艷, 等. 基于共同空間模式的掃視信號特征提取算法[J]. 華中科技大學學報:自然科學版, 2016, 44(10): 123-127. LV Z, LU Y, ZHOU B Y. Research on feature parameters extracting algorithm of saccade signals based on common spatial pattern[J]. Huazhong Univ. of Sci. & Tech: Natural Science Edition, 2016, 44(10): 123-127.)

[14] NGUYEN T H, PARK S M, KO K E, et al. Multi-class stationary CSP for optimal feature separation of brain source in BCI system[C]//2012 12th International Conference on Control, Automation and Systems. New York: IEEE Press, 2012: 1035-1039.

[15] 陳曾, 劉光遠. 腦電信號在情感識別中的應用[J]. 計算機工程, 2010, 36(9): 168-170. CHEN C, LIU G Y. Application of EEG signal in emotion recognition[J]. Computer Engineering, 2010, 36(9): 168-170 (in Chinese).

[16] WANG X W, NIE D, LU B L. Emotional state classification from EEG data using machine learning approach[J]. Neurocomputing, 2014, 129: 94-106.

Extraction of spatial features of emotional EEG signals based on common spatial pattern

YAN Meng-meng1, LV Zhao1,2, SUN Wen-hui1

(1. School of Computer Science and Technology, Anhui University, Hefei Anhui 230601, China; 2. Zhejiang Key Laboratory for Brain-Machine Collaborative Intelligence, Hangzhou Dianzi University, Hangzhou Zhejiang 310018, China)

In order to enhance the performance of electroencephalogram (EEG)-based emotion recognition and improve the accuracy of multi-classification, a spatial filtering algorithm using the common spatial pattern (CSP) was proposed. Firstly, the traditional CSP method was used to design the spatial domain filter. On this basis, three types of emotion recognition EEG signals (i.e., positive, neutral, and negative) were linearly projected by this filter, so as to extract spatial features. Furthermore, considering that the traditional joint approximation diagonalization (JAD) algorithm using the “highest score eigenvalue” criterion may result in the failure to distinguish the multi-classification emotional states, different eigenvalue selection methods were designed in terms of the position of the eigenvalues with the highest scores. Under our lab environment, the comparative experiments using the support vector model (SVM) as a classifier have been carried out. The results show that the CSP-based spatial feature extraction method has an impressive accuracy of 87.54% on average in three-class emotion state recognition, proving the feasibility of the method in the application of emotion recognition.

affective-brain computer interaction; common spatial pattern; joint approximation diagonalization; spatial filtering; emotion recognition

TP 391

10.11996/JG.j.2095-302X.2020030424

A

2095-302X(2020)03-0424-06

2019-11-17；

2019-12-12

國家自然科學基金項目(61972437)；安徽省高等學校自然科學基金項目(KJ2018A0008)；腦機協同智能技術浙江省重點實驗開放基金(BMCI2018-001)

閆夢夢(1995-)，女，安徽宿州人，碩士研究生。主要研究方向為生物醫學信號處理與人機交互。E-mail：ymm199566@163.com

呂 釗(1979-)，男，安徽宿州人，教授，博士，博士生導師。主要研究方向為智能信息處理、人機交互等。E-mail：kjlz@ahu.edu.cn