基于WCSP-LSTM的腦電運動想象意圖識別研究

甘亞奇， 李楠軒， 孫云梅

(1. 桂林電子科技大學， 廣西 桂林 541010;2. 北京東華合創科技有限公司， 北京 100086;3. 北京無線電測量研究所， 北京 100843)

0 引 言

腦機接口(Brain-Computer Interface, BCI)直接連接大腦和外部設備，無需肌肉和周圍運動神經參與，進行通信并控制外部設備。1973年，文獻[1]首次提出BCI這個概念，與在設備之間傳輸非生命信息的傳統電子接口不同，BCI在大腦和非生命設備之間架起一座通信橋梁[2]。

運動想象(Motor Imagery, MI)被定義為沒有任何的運動輸出，僅憑大腦想象給定運動的思維過程[3]。MI作為一種高級的認知過程，已廣泛地應用于運動技能學習、神經康復和BCI等領域[4-5]?；贛I的BCI系統(MI-BCIs)通過從大腦信號中獲得的不同任務進行分類，將受試者的運動意圖轉化為命令[6-7]。研究表明，通過MI-BCIs反復刺激受傷的運動皮層，激活周圍的運動神經細胞，可以幫助運動功能障礙病例恢復運動能力[8]。文獻[9]在MI-BCIs上提出促進恢復的神經式腦運動療法，可以達到較好的康復效果。文獻[10]在MI-BCIs中使用功能性電刺激(Functional Electrical Stimulation, FES)作為反饋，發現BCI-FES系統可有效恢復中風病例上肢的運動功能。

皮層腦電圖(Electrocorticography, ECoG)常用于自發的運動動作或MI中產生的α波，β波和γ波的分析[11]，大腦活動中的控制信號事件相關電位(Event Related Potential, ERP)，感知運動節律相關的MI已經在基于ECoG的BCI系統中得到廣泛應用。文獻[12]在1999年提出利用ECoG進行ERP的識別完成動作分類。文獻[13]提出BCI系統的MI訓練中ECoG演變過程的中的三個典型周期，從而推動基于ECoG的BCI系統的設計和發展。文獻[14]提出使用改進S變換進行光譜時間表示來表征腦電活動的方法。使用支持向量機來進行分類，該方法在公共ECoG數據集上進行評估，達到98%的準確率，研究證明該方法在認知任務中的實時BCI系統的潛力。

原始的腦電圖(electroencephalography, EEG)/ECoG信號直接應用到MI-BCIs中無法達到很好的效果，研究者們致力于尋找最優的特征提取方法提高MI-BCIs的系統性能。傳統的特征提取方法主要包括：時域、頻域和空域等。時域的分析一般采用直接提取腦電時序特征的方法，但是分析后的信號摻雜較多的噪聲。傅里葉變換、S變換以及功率譜密度是主要的頻域的分析方法。傳統的時頻方法包括短時傅里葉變換、小波變換和希爾伯特黃變換等。單一的特征不能很好地表征EEG/ECoG特征，文獻[15]提出一種融合特征的方法，主要使用離散小波變換、排列熵(Common Spatial Pattern, CSP)三種特征融合，結果表明這個融合特征能夠有效的提升BCI性能。文獻[16]提出一種基于EEG的人員識別的時空密集架構，首先使用卷積神經網絡(Convolutional Neural Network, CNN)提取原始EEG的空間特征，然后使用長短期記憶 (Long-Short-Term Memory, LSTM)網絡處理時間特征并進行人員識別，實驗結果證明所提出的架構在人員識別方面具有很好的魯棒性。其中CSP是時空域特征提取的代表方法，它可以很好地提取EEG/ECoG的特定信號成分。文獻[17]通過方差分析來確定最佳的實驗時間段，然后采用CSP算法進行特征提取來實現對健康對照組、輕度抑郁癥病例、重度抑郁癥病例的EEG三分類。傳統的特征提取方法大多是手工完成的，整個過程需要較強的算法技術支撐。然而，目前我們對大腦的探索尚不完善，在特征提取的過程中也容易造成信息的丟失，如何有效提取EEG/ECoG特征是MI-BCIs應用的挑戰之一。

隨著計算機處理性能的提高，深度學習方法在處理腦電信號方面已成為熱點[18]?；谏疃葘W習的CNN、遞歸神經網絡(Recurrent Neural Network, RNN)和生成對抗網絡(Generative Adversarial Network, GAN)已經應用到基于EEG的MI-BCIs中。獲取EEG數據通常耗時、費力且成本高昂，對訓練強大但需要大量數據的深度學習模型提出了實際的挑戰，文獻[19]提出一種基于循環一致對抗網絡(Cycle Generative Adversarial Networks, CycleGAN)替代EEG數據生成的系統，使用EEG2Image將EEG數據轉換為腦地形圖，使用CycleGAN來學習和生成腦卒中病例的EEG數據。針對傳統神經網絡在MI-BCIs的分類性能較差的現象，文獻[20]將CNN和LSTM相結合，提出一種神經網絡特征融合算法，為MI-BCIs的特征提取和分類研究提供新思路。文獻[21]提出一種通過數據增強算法來分類的一維卷積神經網絡，促進了BCI的發展。與CNN相比，RNN在時序信號建模方面更有效，更適用于EEG/ECoG時序信號。但是在RNN的訓練過程中容易出現梯度消失或者梯度爆炸的問題，為了保持模型的有效性，在RNN引入了LSTM單元。文獻[22]提出一種基于遷移學習的CNN和LSTM混合深度學習模型，用于對運動想象腦電信號進行分類。文獻[23]引入LSTM模型來解碼多通道EEG/ECoG，實現MI-BCIs性能的顯著提升。為了實現運動想象任務有效的分類，文獻[24]采用一維聚合近似來提取LSTM網絡的有效信號表示，受經典CSP算法的啟發，進一步部署了通道加權技術來提高所提出的分類框架的有效性。

本文提出重疊式加窗式的CSP-LSTM(Window CSP-LSTM，WCSP-LSTM)進行運動想象意圖識別，采用WCSP可以很好地描述ECoG的時空域特征，結合LSTM進行深層次特征表征，然后送入全連接(Fully Connected, FC)層進行運動想象意圖識別，同時通過腦網絡分析癲癇病例在執行MI的運動功能機制，為病例的康復提供一種新的神經調控指標。實驗結果表明本文提出的WCSP-LSTM算法在基于ECoG的MI-BCIs系統中具有很好的分類效果，證明了本文算法的有效性。

1 相關工作

通過MI-BCIs將受試者的運動意圖轉化為命令，同時通過反復MI，刺激腦部受損運動皮層部位，重新激活周圍運動神經細胞，重建患者的運動功能[6-8]。BCI是大腦與自然之間的通信媒介[2]。換言之，BCI將大腦生成的信號轉換為輸出，而不是依賴于周圍神經和肌肉，并將使用者的意圖直接傳輸到外部設備[19]。MI-BCIs主要包括三個部分，分別是信號采集、信號處理和應用，如圖1所示。腦電信號是BCI系統的基礎，電極記錄腦電信號的方式有兩種，包括侵入式和非侵入式。ECoG和單神經記錄屬于侵入式。EEG和腦磁圖(Magnetoencephalography, MEG)記錄[11]屬于非侵入式?；贓EG的BCI系統是非侵入式BCI系統的代表之一，也是應用最廣泛的BCI系統?；贓CoG的BCI系統是侵入式系統的主要代表之一[26]，雖然需要在大腦皮層植入電極，具有創傷風險，但是由于具備幅值高，信噪比高等優點，近幾年受到研究者們的廣泛關注。Pradeepkumar等使用LSTM網絡對ECoG進行分類，對手勢進行解碼，所提出的方法達到82.4%的平均分類準確率[25]。

圖1 MI-BCIs系統框架

本文構建WCSP-LSTM腦電信號處理算法，應用于基于ECoG的BCI系統進行運動想象任務判別。

2 基于WCSP-LSTM的模型

2.1 模型概述

本文構建WCSP-LSTM模型進行運動想象意圖識別，首先對ECoG進行加窗式處理，構建WCSP時空域，送入LSTM進行深層次特征表征；然后，送入FC層進行運動想象任務判別。所提出的算法在國際公開BCI競賽III數據庫I中的ECoG數據集中進行性能評估。

2.2 WCSP模塊

首先對癲癇病例的ECoG數據進行預處理，主要包括濾波和時間窗處理兩部分。對ECoG數據采用巴特沃斯濾波，由于運動想象的腦電信號波動大多出現在α波段和β波段中，并且要剔除掉高頻眼電偽跡的影響，所以選取8 Hz～30 Hz的頻段。本文使用LSTM神經網絡對舌尖動和左小拇指動兩類運動想象分類識別，需要大量的數據進行深層次特征表征。由于所使用的數據集中數據量太少，本文提出了一種時間窗處理方法，針對原始數據進行1 000 ms時間窗處理從而增大數據量。選取0 ms～1 000 ms，500 ms～1 500 ms，1 000 ms～2 000 ms，1 500 ms～2 500 ms，2 000 ms～3 000 ms這五個時間窗對原始數據進行截取，原始的ECoG信號訓練集和測試集構成是278×64×3 000和100×64×3 000三維矩陣，其中第一維是實驗次數，第二維是通道數，第三維是采樣點數，通過時間窗處理之后，訓練集和測試集構成是1 390×64×1 000和500×64×1 000，其中第一維是加窗之后的總次數，第二維是通道數，第三維是加窗采樣點數。

對預處理之后的ECoG進行特征提取，主要采用WCSP的時空域分析方法。CSP算法的基本原理是利用矩陣的對角化，找到一組最優空間濾波器進行投影，使得兩類信號的方差值差異最大化，從而得到具有較高區分度的特征向量[27]。

假設X1和X2分別為兩分類想象運動任務下的多通道誘發響應時-空信號矩陣,維數均為N×T,N為腦電通道數，T為每個通道所采集的樣本數。為了計算其協方差矩陣，假設N

(1)

式中：S1和S2分別代表兩種類型任務。假設兩種信號源是相互線性獨立的；Sm代表兩種類型任務下所共同擁有的源信號，假設S1是由m1個源所構成的，S2是由m2個源所構成，則C1和C2便是由S1和S2相關的m1和m2個共同空間模式組成的。由于每個空間模式都是一個N×1維的向量，現在用該向量來表示單個的源信號所引起的信號在N個導聯上的分布權重。CM表示的是與Sm相應的共有的空間模式。CSP算法的目標就是要設計空間濾波器F1和F2得到空間因子W。

首先需要求解協方差矩陣，時空信號矩陣X1和X2歸一化的協方差矩陣R1和R2。

(2)

(3)

式中：Ri分別為任務1,2的平均協方差矩陣。

第二步需要構建空間濾波器，首先需要求解正交白化變換求白化特征矩陣P，由于混合空間協方差矩陣R是正定矩陣，將協方差矩陣按照分解定理進行特征分解：

R=UλUT

(4)

式中：U是特征向量矩陣；λ為對應的特征值的對角陣，按特征值按降序排列，白化轉換U可得：

(5)

然后構建空間濾波器，將矩陣P作用于C1和C2可得：

S1=PR1PT

S2=PR2PT

(6)

S1、S2具有公共特征向量，且存在兩個對角矩陣λ1、λ2和相同的特征向量矩陣B, 對S1、S2進行主分量分解，可得：

S1=Bλ1BT

S2=Bλ2BT

(7)

且兩個特征值的對角陣λ1和λ2之和為單位矩陣：

λ1+λ2=I

(8)

由式(8)可知，若λ1中的特征值按照降序排列，則λ2中對應的特征值按升序排列。由于λ1、λ2為S1、S2的對角矩陣，所以對于特征向量矩陣B，當S1取最大的特征值時，S2具有最小的特征值。因此可以利用矩陣B實現兩類問題的分類，由此得到投影矩陣W為

W=BTP

(9)

投影矩陣W就是對應的空間濾波器。

最后進行特征提取將訓練集的運動想象矩陣XL和XR經過濾波器W濾波可得特征ZL和ZR為

ZR=W×XR

ZL=W×XL

(10)

對于測試數據,其特征向量提取方式為

(11)

將fi與fL和fR進行比較以確定第i次想象為想象左還是想象右。根據CSP特征提取的定義，其中fL和fR的定義為

(12)

本文對癲癇病例的舌尖和左小拇指兩類MI任務下進行時空域特征提取，從64通道的ECoG數據里面提取出每一類的空間分布成分，利用矩陣的對角化，找到一組最優空間濾波器進行投影，使得兩類的方差值差異最大化，從而得到具有較高區分度的特征向量。

2.3 LSTM-FC模塊

將WCSP的時空域特征送入LSTM神經網絡進行深層次特征表征，然后利用FC層進行運動意圖識別。LSTM模型對其隱藏層結構進行了改造，增加一個可以控制長期狀態的細胞狀態，如圖2所示。遺忘門、輸入門和輸出門三個門函數可以有效地控制當前長時狀態的記憶，解決了長時依賴問題，使得網絡可以輕松記憶長時信息。

LSTM的隱藏層中包含一個細胞狀態ct和隱藏狀態ht，可以定義為

(13)

ht=ot·tanh(ct)

(14)

(15)

式中：ct表示用于更新的候選值[28]，it,ft,ot分別為輸入門、遺忘門和輸出門的輸出。

公式(16)～(18)分別表示的是輸入門、遺忘門和輸出門，其中輸入門控制輸入信息是否在隱藏狀態下更新，輸出門控制在當前時間步存儲的隱藏狀態信息量，遺忘門控制前一個狀態對導出當前狀態的貢獻。

ft=σ(wf·[ht-1,xt]+bf)

(16)

it=σ(wi·[ht-1,xt]+bi)

(17)

ot=σ(wo·[ht-1,xt]+bo)

(18)

隨著時間步長的推移，LSTM可以根據門機制是否閉合來選擇是否讀入、寫進和重置當前細胞狀態ct的信息。其中，遺忘門是LSTM中最關鍵的組成部分之一，可以直接影響LSTM的性能。LSTM的三個門通過不同的參數控制細胞狀態存儲先前狀態信息的強度、更新輸入量大小以及輸出量的多少[29]。

將LSTM神經網絡提取的深層次特征送入FC層進行運動想象任務判別。本文使用的FC層神經網絡的前兩層隱藏層(h1，h2)神經元的數目為v1=32，v2=16。第三層隱藏層將之前的輸出匯集成值z并輸入Softmax激活函數得出結果。

本文構建WCSP-LSTM模型用于包含運動想象的ECoG信號的深層次特征表征和運動想象意圖識別。首先，對經過巴特沃斯濾波器的ECoG信號進行WCSP時空域特征提??；其次，引入LSTM-FC網絡對WCSP特征進行深層次特征表征和運動想象意圖識別，其總體流程如圖3所示。

圖3 WCSP-LSTM系統框架圖

3 實驗結果與分析

3.1 數據集

本文采用國際公開BCI競賽III數據庫I中的ECoG數據集來評估所提出算法的有效性。采集腦電的通道數目為64，腦電信號的釆樣頻率為1 kHz。數據集中包括訓練集和測試集，儲存格式為“實驗次數×信道數目×樣本數目”。訓練集中包括278個實驗，數據集結構為278×64×3 000。測試集中包括100個實驗，數據集結構為100×64×3 000。本實驗中包含舌頭和左小手指二類運動想象任務。訓練集中每一類運動想象任務的實驗次數為139次。數據集是由波恩大學癲癇分院提供，數據來源于病灶性癲癇病例，在病例大腦右半球運動皮層表面放置一個網格狀鉑電極，尺寸為包括64個用來記錄數據的信道，如圖4(a)所示。為了本文算法描述的方便性，我們給出信道的位置做了定義，其順序如圖4(b)所示。

圖4 電極位置及分布圖

實驗采集過程中，首先在病例的大腦皮層植入電極并保持一周用來記錄數據。數據記錄是在一周內不同的二天完成。整個實驗過程中，用戶面對電腦屏幕，根據要求重復想象伸舌頭和左小指的運動。每次想象過程開始時屏幕上出現一個運動想象任務的圖像。為了避免視覺激發電位，圖像提示1 s后開始采集信號。圖5描述一次實驗中的腦電數據采集過程。

圖5 數據采集過程

3.2 結果分析

首先，基于WCSP-LSTM系統模型對深層次進行可視化；然后，針對WCSP特征、相位鎖定值(Phase Locking Value, PLV)+CSP融合特征以及WCSP-LSTM特征進行對比分析并驗證算法有效性；最后，利用PLV來構建腦網絡對左小拇手指動和舌尖動兩類運動想象任務進行網絡機制的對比研究。

3.2.1WCSP-LSTM深層次特征可視化

基于WCSP-LSTM系統模型對于經過WCSP的特征之后進入LSTM進行深層次的特征提取，并對深層次特征進行可視化展示，按照訓練集和測試集的先后順序對數據進行處理和可視化，由于數據量過大，對深層次特征通過三幅圖展示如圖6所示。

3.2.2算法性能

為了驗證本文所提出LSTM深層次特征的有效性，本文針對WCSP特征、PLV+CSP融合特征以及WCSP-LSTM特征進行對比分析，分別采用支持向量機(Support Vector Machines，SVM)、隨機森林以及梯度提升三種傳統分類器與LSTM-FC神經網絡進行運動想象任務判別，如表1所示。

表1 WCSP-LSTM特征與傳統特征的比較 %

表1顯示三種傳統分類器對WCSP與PLV+CSP特征進行識別，其中融合特征PLV+CS的識別效果優于WCSP特征。三種傳統分類器對兩種特征識別中SVM對融合特征PLV+CSP的識別效果最好，準確率能夠達到73%，優于其他兩種分類器。相比較于傳統分類器，包含LSTM深層次特征的模型所得到的分類準確率最高，能達到93.423%，比傳統特征的分類準確率差值最高達23.423%。

本文對基于WCSP提取之后的ECoG數據利用LSTM進行深層次特征表征，利用FC網絡進行運動想象任務判別，對融合特征PLV+CSP進一步利用LSTM神經網絡進行運動想象意圖識別，發現WCSP深層次表征的運動想象意圖識別效果明顯優于融合特征PLV+CSP運動想象意圖識別的效果。表2描述WCSP和PLV+CSP進行LSTM深層次表征后，進入FC層進行運動想象意圖識別的結果，并且進行了十折的交叉驗證。交叉驗證包括從1～10次的十折的交叉驗證結果。其中WCSP的分類準確率最高為100%，PLV+CSP的分類準確率最高為92.11%，WCSP的分類準確率比PLV+CSP的分類準確率高出7.89%。WCSP的交叉驗證平均準確率為93.423%，PLV+CSP的交叉驗證平均準確率為83.158%，WCSP的交叉驗證平均準確率比PLV+CSP的交叉驗證平均準確率高出10.265%。

3.2.3腦網絡分析

圖7表示對癲癇病例舌尖運動想象和左小拇指運動想象兩組鄰接矩陣進行t檢驗，并進行錯誤發現率校驗形成的差異網絡圖。圖7中藍色線表示癲癇病例在進行舌尖運動想象時比左小拇指運動想象時的連接性強，紅色則相反。從圖中可以觀察到在進行舌尖動運動想象時右側腦區的各個電極節點之間的連接密度更高。通過圖7兩類運動想象腦網絡差異性可以看出舌尖動比左小拇手指動各個節點之間的連接性更強，連接密度更高。

表2 所提出算法與融合特征的交叉驗證準確率對比 %

圖7 癲癇病例舌尖運動想象和左小拇指運動想象差異網絡圖

4 結 語

1)本文提出的WCSP-LSTM深層次特征進行對癲癇病例的運動想象意圖識別，由于ECoG采集難度較大數據量過少，為擴充數據量，本文提出一種加窗式的CSP特征提取方法，以1 000 ms的時間窗長度進行切割，結合LSTM進行深層次特征表征，通過FC進行任務判別。實驗結果表明基于WCSP-LSTM深層次特征進行運動想象識別的效果明顯優于傳統的機器學習分類，所得到的分類準確率最高能達到93.423%，比傳統特征的分類準確率差值最高達23.423%。

2)本文提出的WCSP特征進一步與融合特征PLV+CSP比較，利用LSTM進行深層次的特征提取，通過FC神經網絡進行運動想象任務判別，分類準確率最高為100%，交叉驗證平均準確率為93.423%，比PLV+CSP的交叉驗證平均準確率高出10.265%，充分說明本文提出的WCSP特征可以有效地捕捉MI過程中腦活動的基本信息。

3)本文提出使用PLV對癲癇病例在執行運動想象時的特征進行可視化，發現右腦的連接更加緊密而且枕葉和頂葉之間的連接性更強，可以更好地理解癲癇病例運動意圖以及功能障礙的腦網絡機制，為臨床康復提供更可靠的定量分析方法。

本文所提出的算法側重于提取ECoG有效的深層次特征來實現精準MI意圖識別。在未來的工作中，將更多ECoG的數據用于WCSP-LSTM算法中，進一步提高MI-BCIs的性能。