基于排列熵與多重分形指數結合的特征提取算法在情感識別中的應用①

李 昕 齊曉英 田彥秀 孫小棋 范夢頔 蔡二娟

(*燕山大學電氣工程學院生物醫學工程研究所 秦皇島 066004)(**河北省測試計量技術及儀器重點實驗室 秦皇島 066004)(***北京工業大學 生命科學與生物工程學院 北京 100124)

?

基于排列熵與多重分形指數結合的特征提取算法在情感識別中的應用①

李 昕②******齊曉英***田彥秀***孫小棋***范夢頔***蔡二娟***

(*燕山大學電氣工程學院生物醫學工程研究所 秦皇島 066004)
(**河北省測試計量技術及儀器重點實驗室 秦皇島 066004)
(***北京工業大學 生命科學與生物工程學院 北京 100124)

通過對腦電信號的熵分析，進行了情感識別研究，并根據腦電信號的非線性特性以及多重分形特性的特點，提出了一種排列熵與多重分形指數相結合的情感腦電特征提取算法。該算法采用排列熵、Hurst指數、質量指數和奇異譜寬度相結合，實現情感腦電的特征提取，采用支持向量機(SVM))實現情感識別。結果顯示，該算法兩兩情感識別，測試集最高正確率達到92.8%，除去激動對可怕外，正確率均在80%以上；與單獨使用排列熵和分形指數特征的方法相比，最高正確率分別提高41.9%和31.2%。進一步分析了對積極和消極兩類情感狀態的識別效果，測試集平均正確率為78.3%，比排列熵與多重分形特征，測試集正確率分別提高了26.7%和1.6%。結果表明，基于排列熵與多重分形指數相結合的特征提取算法，能夠充分挖掘腦電信號的非線性特性與多重分形特征信息，是一種有效的情感腦電特征提取算法。

腦電(EEG)信號，排列熵(PE)，多重分形指數，支持向量機(SVM)

0 引 言

1997年，麻省理工學院的Picard教授在她的專著《Affective Computing》中首次提出了“情感計算”這一概念，指出：“情感計算是與情感相關，來源于情感或能夠對情感施加影響的計算”[1]，而情感識別是實現情感計算的基礎和核心內容。腦電信號能夠充分反映人的生理與心理變化，同時腦電采集具有無創、便捷、低成本和高時間分辨率等特點，因此，基于腦電信號實現情感識別具有一定的研究意義與應用價值。

為了更好地實現基于腦電信號的情感識別，情感腦電特征提取至關重要，基于熵與非線性動力學特征實現腦電特征提取，取得了一定進展。Murugappan等研究不同小波變換函數、腦電頻段以及電極個數對情感識別的影響，基于熵特征進行情感識別，正確率達到83.04%[2]。Hosseini等采集了FP1、FP2、T3、T4和Pz等電極的腦電信號，提取腦電信號的近似熵作為特征，利用支持向量機(support vector machine, SVM)算法進行情感識別，正確率為73.25%[3]。呂寶糧等使用共同空間模式提取腦電中γ波事件相關/事件去相關特征作為特征，區分高興和悲傷兩種情感，基于支持向量機進行識別，識別率達到93.5%[4]。

排列熵是Bandt提出的一種基于復雜性測度的非線性參數算法，用于計算一維時間序列的復雜性，與李雅普若夫指數相似，但運算步驟和運算時間都相對較少，運算效率較高。排列熵算法適用于任何時間序列，例如規律的、混沌或含有噪聲的時間序列[5]。李谷等基于排列熵對睡眠腦電進行分析，利用支持向量機進行睡眠期識別，平均正確率達79.6%[6]。Edordo等人利用頭皮腦電排列熵作為預測癲癇的工具，計算每一個通道的排列熵，并按照排列熵大小分為高、中、低隨機性。研究發現失神癲癇病患者前腦區域出現高隨機性，在后腦區域出現低隨機性，與正常人相反，說明失神癲癇患者發生了多灶性腦改變[7]。Xiaoli L等用排列熵預測遺傳性缺失癲癇疾病，結果發現排列熵可以跟蹤腦電的動態變化，相對于樣本熵能夠較好地預測癲癇疾病[8]。

多重分形去趨勢波動分析算法由Kantelhardt[9]等提出，是由多個標度指數組成，可以描述不同層次的分形特征，即長程相關性和標度不變性。張翔等研究了癲癇發作期腦電的多重分形特征，同時與癲癇腦電熵特征進行了比較，結果顯示，基于多重分形的癲癇檢測性能相對穩定[10]。葛家怡等研究了睡眠腦電的多重分形特性，提取了廣義Hurst指數，發現不同睡眠時期的Hurst指數不同，并且隨著時間尺度的增加而增大，變化趨勢一致，清醒狀態下腦電Hurst指數最大[11]。Akash等將多重分形去趨勢波動方法應用到音樂刺激腦電中研究了腦電節律變化。他們采集了前額腦電，利用經驗模態分解和小波變化得到腦電節律，基于多重分形去趨勢波動方法研究了節律復雜度的變化，發現音樂刺激時β和α節律的奇異譜寬度增加[12]。利用多重分形指數實現腦電情感識別的研究正逐漸引起領域學者的重視。

腦電信號具有長程相關性，同時也具有短程去相關性，所以單一參數對腦電的描述都不充分。本文針對腦電信號的非線性與混沌分形的特性，提出了一種排列熵與多重分形去趨勢波動分析方法相結合的情感腦電特征提取算法。該研究采用DEAP國際標準數據庫，基于支持向量機分類實現了該算法的情感腦電識別，將其性能與其他算法的性能進行了對比。

1 排列熵與多重分形去趨勢波動分析

1.1 排列熵

排列熵基本原理是相鄰數據之間的比較，適用于分析非線性信息，具有很好的魯棒性，而且能夠很好地抑制噪聲。

根據嵌入定理，設任一時間序列X={x(1),x(2),…,x(n)}，按照Takens定理對這一時間序列進行重構，如下式

j=1,2,…,K, K=n-(m-1)τ (1)

所示。矩陣中的每一行作為一個分量，按照升序重新排列，如式

x(j+(q1-1)τ)≤x(j+(q2-1)τ)≤… ≤x(j+(qm-1)τ)

(2)

所示，其中m為嵌入維數，τ為延遲時間。q1,q2,…,qm分別為各個元素所在列的索引。如果存在相等的情況，則按照索引qm大小進行排序，例如qi

(3)

當序列為周期性序列時，排列熵最小為零，當序列為噪聲序列時，排列熵達到最大，最大值為ln(m!)，

通常利用ln(m!)對HP(m)進行歸一化處理，如下式所示：

0≤HP=Hp(m)/ln(m!)≤1

(4)

歸一化排列熵反映了時間序列的隨機程度，排列熵越小，時間序列越規則，相反時間序列接近于隨機時間序列，反映了時間序列中的細微變化。

1.2 多重分形去趨勢波動分析

腦電的長程相關性和冪指數規律特性，表明腦電具有標度不變性，即分形特性，同時腦電也具有類似噪聲的短程去相關性。多重分形從不同維數描述腦電信號，更適合于腦電的分析。它是由多個標度指數組成，表示的是奇異測度，即用奇異譜函數描述不同層次的分形特征。

多重分形去趨勢波動分析方法是一種新的多重分形分析法，即可以描述長程相關性和標度不變性，也可以判斷時間序列是否具有多重分形特性。

若時間序列不是隨機游走序列，則將時間序列轉化為隨機游走序列，如下式所示：

(5)

將隨機游走序列{Y(i)}分成m個長度為s的不重疊區間，對每一個區間v(v=1,2,…,m)內的點進行最小二乘法擬合得到n階擬合多項式yv(i)，如下式(6)所示：

yv(i)=…a1ik+a2ik+…+aki+ak+1，

i=1,2,…,s； k=1,2,…,n (6)

由下式(7)計算局部趨勢函數并計算方差：

(7)

對所有區間上的方差取均值，得到q階波動函數，如下式(8)所示：

(8)

針對每一個q值，Fq(s)和s的關系可以表示為

Fq(s)～sh(q)

(9)

公式(9)兩邊分別取對數，log(Fq(s))和logs為線性函數，線性函數的斜率H(q)即為Hurst指數，Hurst指數與q一般成非線性，如果為線性函數，則時間序列為單分形。

通過Hurst指數計算質量指數τ(q)，如式(10)所示：

τ(q)=qH(q)-1

(10)

質量指數計算奇異指數α和奇異維數f(α)，如下式(11)表示：

f(α)=q·α(q)-τ(q)

(11)

奇異指數反映了區間奇異程度，與奇異性成反比。奇異維數反映了分形結構上的不均勻性，代表奇異指數的維數。Δα=αmax-αmin表示分形譜的寬度，奇異譜寬度代表最大概率和最小概率之間的差別，Δα越大，時間序列分布越不均勻，多重分形越明顯。所以多重分形去趨勢波動指數包括Hurst指數、質量指數、奇異指數、奇異維數和奇異譜寬度。

2 基于排列熵與多重分形去趨勢波動分析結合的情感腦電特征提取

2.1 數據選擇

采用Koelstra等提出的分析人類情感狀態的多通道數據庫DEAP[13]，該實驗數據記錄了32位健康受試者觀看40個時長為一分鐘的不同音樂視頻時的腦電信號和外周生理信號。受試者的平均年齡26.9歲，男女各半。數據集已經過預處理，除去眼電等噪聲信號，采樣頻率為128Hz，采用4.0～45Hz濾波，可以直接進行分析。根據文獻[14]得知，激動、可怕、高興情感在C4通道腦電特征較明顯，抑郁、柔和、難過情感在F3通道較明顯，本文只針對這6種情感腦電信號進行分析。

數據長度的選擇對分析結果具有一定的影響，本文中采用的數據庫每一組共包含8064個數據點，前三秒屬于基線數據，不用于分析，所以用于分析的數據點變為7680個，本文分別對1000、3000和5000個數據點進行比較分析，選出較為合適的數據長度。

以高興和難過兩類情感為例，分別計算了3種數據點兩種算法的運算時間和識別正確率，如表1所示。

通過表1對比，1000個數據點排列熵運算時間最短，正確率較低，3000個數據點和5000個數據點正確率雖然較高但是運算時間較長，而且正確率相對于1000個數據點僅僅提高了0.4%，所以排列熵算法選擇1000個數據點。對于多重分形算法，1000個數據點不管是運算時間還是正確率都顯示出優勢。所以本文算法選擇1000個數據點進行分析。

表1 情感數據選擇

2.2 基于排列熵情感腦電特征提取

本文選取32個被試者的情感數據1000個，嵌入維數m取值為5，延遲時間τ為1，即每一維連續取5個數據點，所以重構時間序列的符號序列共有120種。六種情感腦電排列熵如圖1所示，六種情感依次為激動、可怕、高興、憂郁、柔和與難過，每一種情感包含32個排列熵，即圖中前32個點代表激動，33～64個點代表可怕，依次類推。前四種情感波動較為明顯，排列熵的浮動較大，說明六種情感具有差異性。

圖1 情感排列熵

為了進一步分析六種情感排列熵的差異，對六種情感的32組數據求取均值，如圖2所示。憂郁情感腦電排列熵較大，難過情感腦電排列熵較小，激動、柔和和難過三種情感排列熵明顯低于其他三種。六種情感的排列熵差別并不顯著，差值只有千分之一。

基于支持向量機分類器實現兩兩情感識別，正確率如表2所示，表明：排列熵特征情感識別正確率僅為50%左右，并不能充分挖掘情感腦電信號的特征本質。

圖2 情感排列熵均值

2.3 多重分形去趨勢波動分析

基于多重分形去趨勢波動方法提取的情感腦電特征參數主要包括Hurst指數、質量指數、奇異指數和奇異譜寬度等。Hurst指數主要判斷時間序列是否具有混沌性，Hurst指數不同，數據相關性也不同，Hurst指數接近1時說明時間序列相關性最強。 質量指數與階數之間若為曲線，證明情感腦電具有多重分形特性，若為線性，則為單分形特性。奇異指數用來描述各個區間不同的奇異程度，與奇異性成反比，奇異譜寬度指在一定階數范圍內奇異指數的范圍。本文中取階數范圍為[-5 5]，在這個范圍內Hurst指數大部分在[0.5 1]之間。

基于多重分形指數分析六種情感，如圖3為六種情感的多重分形奇異譜圖。六種情感多重分形譜圖都為單峰拱形，說明情感數據具有分形特性。

圖3 情感多重分形譜

同樣計算六種情感的奇異譜寬度均值，進行對比，如圖4所示。由圖可知，六種情感的奇異譜寬度雖然有差異，但較小，所以基于單個多重分形指數進行情感識別效果可能會不理想。

圖4 情感奇異譜寬度均值

基于奇異譜寬度實現情感腦電特征提取，通過支持向量機進行情感識別，結果如表2所示。結果顯示，基于多重分形奇異譜寬度進行情感識別測試正確率高于排列熵的正確率，均達到50%以上，其中激動對難過正確率提高了13.6%，但是基于奇異譜寬度的識別效果也并不理想，最高達到64.5%，最低為52.8%，并不能對六種情感進行一對一識別。

綜合腦電信號的Hurst指數、質量指數、奇異譜寬度三個多重分形參數特征實現情感識別，識別率如表2所示。

表2 情感腦電識別正確率對比

由表2得出多個多重分形指數的識別正確率明顯高于單一指數的識別正確率，最高提高了19.0%，測試集正確率都在60%以上，最高達到76.0%，說明基于多個多重分形進行情感識別效果較好。為了進一步提高識別正確率，本文將熵與多重分形指數結合進行了6種不同情感的識別。

2.4 基于排列熵與多重分形相結合的情感腦電提取算法

基于以上分析，提出了一種基于排列熵與多重分形相結合的情感腦電提取算法。算法流程如圖5所示。

算法充分考慮腦電信號的非線性特點以及多重分形特征，結合排列熵、Hurst指數、質量指數和奇異譜寬度，實現情感腦電特征提取。采用支持向量分類(C-SVC)模型以及徑向基函數(RBF)，通過遺傳算法(GA)尋求最優懲罰系數C和核參數σ，首先選擇實值編碼策略，設置種群大小取20代，最大進化代數設定為100，交叉和變異概率分別設為0.4和0.01。為了防止排列熵與多重分形指數產生過擬合，本文采用主成分分析對特征進行特征融合。

圖5 排列熵與多重分形情感特征提取算法流程圖

選取32組情感腦電數據點，循環分類10次，取測試識別正確率平均值進行結果分析，結果如表2所示。

排列熵與多重分形指數相結合實現情感狀態識別，測試集正確率在80%以上，可怕對高興達到92.8%。相對于單獨使用熵或分形指數正確率明顯提高，只有激動對可怕正確率有所降低，可能原因是這兩種情感在某種情況下相似。

將激動和高興作為積極情感，抑郁和難過作為消極情感，基于本文算法對兩種不同反應的情感狀態進行識別，結果見表3。

表3表明本文算法提高了情感識別的正確率，對積極和消極情感狀態的識別了測試集正確率達到78.3%，相對于其他三種方法分別提高了27.7%、19.9%和1.6%，說明用本文算法進行情感識別是可行的。

本文算法對可怕與高興兩種情感狀態識別的正確率較高，激動對可怕識別率較低，分析原因是這兩種情感較為接近，例如感到高興時，情緒有可能是激動狀態，其余任何兩種情感識別正確率都達到了80%以上，其中激動對難過、可怕對高興、可怕對抑郁、高興對柔和與抑郁對柔和識別率都達到90%以上，說明排列熵與多重分形標度指數結合可以很好地識別兩種不同情感。同時本文算法對積極和消極情感進行識別，識別率達到70%以上，說明基于本文算法進行情感識別是有效的。

表3 積極和消極情感狀態識別率

為了評估本文算法性能，分析比較了本文算法與其他研究組的工作，如表4所示。由于表4中所采用的情感腦電數據來源不同，特征提取和個數不同，所以本文只是對各個研究組的結果予以簡單比較說明。表4表明，選擇支持向量機作為分類器實現情感識別，識別正確率均在70%以上，Murugappan采用k近鄰(KNN)分類器，識別最高正確率達到83.04%，本文算法最高正確率達到92.80%。

表4 情感識別正確率比較

3 結 論

本文提出了一種基于排列熵與多重分形去趨勢波動指數相結合的情感腦電特征提取算法，以支持向量機作為分類器實現情感識別，并對算法在情感腦電識別中的性能進行了比較。積極與消極兩類情感狀態識別結果顯示：基于本文算法測試集正確率達到78.3%，相對于其他特征選擇方法較高。六種情感狀態一對一識別結果表明：測試集識別正確率最高達到92.8%，除了激動對可怕外，其余都在80%以上。本文算法與單獨使用排列熵、多重分形特征相比，測試集識別正確率分別提高了41.6%和31.2%?；谂帕徐嘏c多重分形指數相結合，是一種高效的情感腦電特征提取算法，可以有效地提取腦電的非線性和分形特性特征。

[ 1] Picard R W, Healey J. Affective wearables .PersonalTechnologies, 1997, 1(4): 231-240

[ 2] Murugappan M, Nagarajan R, Yaacob S. Combining spatial filtering and wavelet transform for classifying human emotions using EEG signals.JournalofMedicalandBiologicalEngineering, 2011, 31(1): 45-51

[ 3] Hosseini S A, Naghbi-Sistani M B. Emotion recognition method using entropy analysis of EEG signals.InternationalJournalofImage,GraphicsandSignalProcessing(IJIGSP), 2011,3(5): 30-36

[ 4] Li M, Lu B L. Emotion Classification Based on gamma-band EEG. In: Proceedings of the IEEE Engineering in Medicine and Biology Society,Minnesota, USA, 2009. 1223-1226

[ 5] Bandt C, Pompe B. Permutation entropy:a natural complexity measure for time series.PhysicalReviewLetters, 2002, 88(17): 1595-1602

[ 6] 李谷, 范影樂, 龐全. 基于排列組合熵的腦電信號睡眠分期研究. 生物醫學工程雜志 2009,26(4): 869-872

[ 7] Edoardo F, Nadia M, Vittoria C, et al. Permutation entropy of scalp EEG: A tool to investigate epilepsies Suggestions from absence epilepsies.ClinicalNeurophysiology, 2014, 1(125):13-20

[ 8] Xiaoli L, Gaoxian O, Douglas A R. Predictability analysis of absence seizures with permutation entropy.EpilepsyResearch, 2007, 1(77):70-74

[ 9] Kantelhardt J W, Zschiegner S A, Bunde E K, et al. Multifractal detrended fluctuation analysis of nonstationary time series.PhysicaA:StatisticalMechanicsanditsApplications, 2002, 316(1/4): 87-114

[10] 張翔, 丁勇, 劉小峰. MF-DFA在癲癇發作期及發作強度檢測中的應用. 數據采集與處理 2013, 28(5): 664-671

[11] 葛家怡, 周鵬, 趙欣等. 睡眠腦電信號的多重分形去趨勢波動分析. 天津大學學報, 2008, 41(10): 1148-1151

[12] Akash K M, Ruchira P, Anubrato M, et al. Mutifractal detrended fluctuation analysis of alpha and theta EEG rhythms with musical stimuli.Chaos,SolitonsandFractals, 2015, 1(18):52-67

[13] Koelstra S, Muhl C, Soleymani M, et al. DEAP: A database for emotion analysis using physiological signals.AffectiveComputing, 2012,3(1): 18-31

[14] 李紅紅. 腦電數據分析方法及其在壓力情感狀態評估中的應用：[碩士學位論文]. 秦皇島: 燕山大學生物醫學工程系, 2014. 19-34

doi：10.3772/j.issn.1002-0470.2016.07.002

Application of the feature extraction based on combination of permutation entropy and multi-fractal index to emotion recognition

Li Xin******, Qi Xiaoying***, Tian Yanxiu***, Sun Xiaoqi***, Fan Mengdi***, Cai Erjuan***

(*Institute of Biomedical Engineering, Yanshan University, Qinhuangdao 066004)(**Measurement Technology and Instrumentation Key Lab of Hebei Province, Qinhuangdao 066004)(***The College of Life Science and Bio-Engineering, Beijing University of Technology, Beijing 100124)

The emotion recognition was studied by using the entropy analysis of EEG signals, and an algorithm for extraction of emotion EEG features based on the combination of permutation entropy and multi fractal index was put forward. The algorithm achieves EEG feature extraction by combinative use of the parameters of permutation entropy, Hurst exponent, mass index and singular spectrum width, and achieves the emotion recognition by using Support Vector Machine (SVM). The study indicated that for one-to-one emotion recognition, the highest accuracy of the testing set was 92.8%, all higher than 80% except for excitement against fear. The highest accuracy increased by 41.9% compared with the permutation entropy, and 31.2% compared with the multi-fractal index. The classification effects of positive emotion and passive emotion were further analyzed, and the average accuracy of test set was 78.3%, respectively increased by 26.7% and 1.6% compared with the entropy and the multi-fractal feature. The method based on the combination of permutation entropy and multi-fractal index is proved to be an effective algorithm for emotion EEG feature extraction, with the capacity of sufficient obtaining the nonlinear trait and multi fractal feature information.

electroencephalogram (EEG) signal, permutation entropy (PE), multi-fractal indexes, support vector machine (SVM)

10.3772/j.issn.1002-0470.2016.07.001

①河北省自然科學基金(F2014203244)和中國博士后科學基金(2014M550582)資助項目。

②女，1970年生，博士，教授；研究方向：醫學信息處理；聯系人，E-mail: yddylixin@ysu.edu.cn (

2016-03-28)