基于特征層融合的EEG-NIRS識別方法研究

周宇星 樊丞成 王震 徐信毅 林萍 李曉歐

關鍵詞：特征融合;卷積神經網絡;雙向長短期記憶網絡;分類準確率

0 引言（Introduction）

隨著全球吸毒人員數量逐年攀升，吸毒正成為嚴重的全球性社會問題，而戒毒工作開展的前提是對吸毒人員的成癮程度進行評估。近年來，研究人員主要基于磁共振成像（MagneticResonance Imaging，MRI）、腦磁圖（Magnetoencephalography，MEG）、腦電圖（Electroencephalogram，EEG）和近紅外光譜（Near-infrared Spectroscopy，NIRS）等技術對毒品成癮患者進行研究，隨著多模態數據分析的不斷進步，將腦電圖和近紅外光譜融合應用的研究也不斷興起?；趥鹘y的機器學習方法進行分類，存在精度差和特征提取不全面等問題，所以深度學習網絡逐漸被應用于分類問題，主要包括卷積神經網絡（Convolutional Neural Network，CNN）、長短期記憶網絡（LongShort-Term Memory，LSTM）和雙向長短期記憶網絡（BidirectionalLong Short-Term Memory，BiLSTM）等，但單一的傳統網絡在分類任務中的識別效果不佳，故本文提出一種基于CNN和BiLSTM組合的神經網絡，用于成癮程度分類研究[1]。

1 預備知識（Preparatory knowledge）

1.1 國內外研究現狀

近年來，腦電圖和近紅外光譜都曾被應用于成癮治療工作。高軍峰等[2]提取腦電信號的時域、頻域和小波系數對冰毒成癮者進行模式識別，分類結果顯示，準確率達到80%以上。李嘉欣[3]基于線性和非線性方法，利用EEG數據構造海洛因成癮人員的腦網絡研究成癮機制，并將腦網絡中的小世界屬性作為特征，使用支持向量機（Support Vector Machine， SVM）進行分類。結果顯示，最高的分類準確率達到86%以上，通過分析發現，成癮患者的異常行為主要與大腦的前額葉、腦島、頂葉的異常有關。殷悅[4]利用功能近紅外光譜對甲基苯丙胺成癮患者進行實驗，通過運動干預幫助成癮患者盡快康復，有效緩解成癮患者對毒品的渴求，并提高患者的認知功能。李玥[5]通過功能性磁共振和功能近紅外光譜對游戲成癮患者的腦活動進行分析研究，結果顯示，游戲成癮患者在游戲過程中，不斷地進行視覺運動交互，而此時患者的腹外側前額葉腦區的激活程度，有可能與游戲本身的視覺運動交互任務強度有關，即游戲交互的強度增強，腹外側前額葉腦區的激活程度隨之增強，背外側前額葉的腦活動則可能涉及如注意力轉移和認知資源分配等更高級的功能。然而，EEG雖然有較高的時間分辨率，但是在采集過程中易受到生理噪聲和周圍環境的影響且空間分辨率較差。近紅外光譜具有較高的空間分辨率，但只能觀測到大腦皮層表面區域且時間分辨率較差，所以僅利用單模態數據所能夠反映的信息仍有局限[6]。

隨著多模態學習的興起及其在各種領域的廣泛應用，越來越多的學者投入多模態學習這項工作。多模態信息相較于單模態信息，能夠提供更豐富的信息內容，可以彌補單模態信息的不足[7]。李日成[8]利用腦電圖和近紅外光譜結合的雙模態腦成像技術，對理解動作意圖的神經機制進行了多信息、多層面的研究。通過提取兩種模態數據的共同空間模式特征并基于線性判別分析方法進行特征層融合，結果顯示雙模態腦成像技術獲得的平均正確率比腦電圖單模態提高了4.2%，比近紅外光譜單模態提高了19.8%。GU等[9]利用腦電信號和近紅外光譜信號雙模信號對毒品成癮患者進行成癮程度分析，通過將雙模態數據分別輸入卷積神經網絡中獲得雙模特征，然后基于決策層融合方法分別賦予特征50%的權重后進行分類，結果顯示，分類準確率達到63.15%。LI等[10]利用心電圖和心音圖雙模態數據進行心血管疾病的早期診斷和預防，首先通過建立卷積神經網絡和長短期記憶網絡組合的神經網絡，分別提取心電圖和心音圖的深度編碼特征，其次利用遺傳算法對雙模特征進行融合得到最佳的特征子集，最后利用支持向量機進行分類，結果顯示，利用雙模態數據的曲線下面積（Area Underthe Curve， AUC）為0.936，高于單模態。

1.2CNN-BiLSTM 網絡

深度學習是一種機器學習方法，屬于機器學習的一個分支，在互聯網、人工智能等領域都有應用，如語音識別、視覺對象識別領域等。深度學習的基本架構就是簡單模型的多層堆疊，通過將低層的特征組合形成更高層的特征。深度學習算法與其他機器學習算法相比，數據量越大，其表現的性能越優越。目前，比較常用的深度學習網絡包括卷積神經網絡、循環神經網絡和長短期記憶網絡等[11]。

卷積神經網絡可以處理多維數據，信號、序列、圖像、視頻等都屬于不同的多維數組形式，基本運算包括卷積運算、池化運算、全連接運算和識別運算。卷積層通過不斷改變卷積核大小，從而選擇出能正確表征特征的卷積核，并對輸入數據進行特征提取。池化層的主要目的是降維，保留卷積層輸出特征中最有用的信息。全連接層相當于生成一個與所需分類數量相等的分類器。CNN能夠同時進行特征提取和分類，使神經網絡結構變得更簡單且適應性更強[12]。

長短期記憶網絡是具有記憶長短期信息能力的神經網絡，常被用來處理時間序列和非線性特征，其結構示意圖如圖1所示。LSTM通過設計“門”的結構解決循環神經網絡梯度爆炸和梯度消失的問題，主要有遺忘門、輸入門和輸出門三種，這些門大大提高了LSTM處理時間信息的能力。三種門分別將前一個狀態的輸出ht-1 和當前狀態的輸入xt 作為輸入。遺忘門決定了前一個狀態有多少特征信息需要遺留，其中遺忘程度ft 都在[0，1]之間。輸入門則是對當前狀態進行新的補充，利用Sigmoid和tanh函數組合后得到當前的it，用于控制當前狀態的信息更新程度。輸出門則是確定需要輸出的信息，控制濾除當前狀態的特征信息[13]。

BiLSTM是LSTM網絡的改進模型，其結構示意圖如圖2所示。前向LSTM 層和后向LSTM 層共同構成隱藏層，其中前向LSTM沿正向處理時間序列，后向LSTM 沿反向處理時間序列，然后將兩個LSTM的輸出拼接起來作為輸出[14]，具體過程表示如下：

其中：W 為前向LSTM 層到輸出層的權重，W 為后向LSTM層到輸出層的權重，by 表示輸出層的偏置。

1.3 特征融合策略

相較于單模態，多模態學習通常需要考慮兩個問題，即多模態學習性能和多模態數據融合。多模態相較于單模態能提供更多的信息，多模態還可以彌補單模態之間的不足，理論上多模態學習的效果優于單模態[15]。目前，多模態數據融合主要有三種方式，包括數據層融合、特征層融合和決策層融合[1]。數據層融合又稱為信息層融合，是指對多源數據或多類數據進行多級別、多層面、多層次的處理。數據層的融合能夠最大限度地保留原始數據，但也會導致數據處理量較大，信息冗余嚴重。特征層融合是指對不同的輸入數據分別做特征提取，對提取后的特征數據做融合處理，例如進行簡單的拼接，然后對融合后的特征進行分類。特征提取的過程中，原始數據的有效信息得以保留并去除了冗余和干擾成分，因此特征提取融合一方面減少了數據量，另一方面提高了分類精度。特征提取方法是特征層融合的關鍵，一些經改進的單模態特征提取方法目前已取得較高的準確率，所以理論上雙模態的特征提取將會進一步提高融合后的分類準確率。決策層融合是指對不同模態的輸入數據單獨進行分類，再對每種分類結果通過投票或分配權重等方法，得到最終的分類結果。決策層融合的容錯率較高，即使某個模態的分類結果出現錯誤，也能夠通過降低其權重的方式獲得更準確的結果，并且決策層融合對原始數據沒有限制，不同種類的數據都能夠做決策層融合。但是，決策層融合的信息損失較大，分類識別性能會有所下降[16]。

本文采用深度學習中的CNN和BiLSTM 以及特征層融合的方式，設計了CNN-BiLSTM組合的深度學習模型，特征層融合模型結構圖如圖3所示[17-18]。將兩種模態的數據通過不同的神經網絡分別訓練出特征后進行特征融合，然后利用分類器進行分類識別。

2 融合算法設計（Fusion algorithm design）

2.1 數據采集

實驗范式內容由三個階段組成，第一階段為采集靜息態數據實驗，即受試者先閉眼5 min，再睜眼5 min，歷時10 min。第二階段為采集任務態數據實驗，歷時6 min，受試者需要觀看圖片，圖片分為毒品刺激圖和中性圖，共16張，當受試者看到毒品刺激圖時，需要在紙上同步標記。第三階段為采集任務態數據實驗，歷時4.6 min，受試者所看圖片均為中性圖。

模型訓練使用的數據為EEG和NIRS的雙模態毒品成癮數據，受試者來自上海市青東強制隔離戒毒所，均為20～40歲的男性在所戒毒人員。其中，EEG數據由無線腦電圖采集設備采集，腦電極數量為64個，采樣率為1 000 Hz，根據實際需求選擇了48個電極。NIRS數據由一個具有204個通道的功能性近紅外光譜設備采集，有24個光點數量、32個檢測點數量。數據共分為三種成癮程度分類，包括輕度、中度和重度，將輕度標記為0，中度標記為1，重度標記為2。

2.2 數據網絡構建

對于EEG數據設計了如圖4所示的EEG神經網絡結構，主要設計了四層卷積層和兩層雙向LSTM 層，然后加入了丟棄層、全連接層、Softmax層及輸出分類層[19]。其中，卷積層可以提取腦電特征;雙向LSTM層能夠提取時序特征;池化層能夠減少數據量，起到特征提取和壓縮的作用;丟棄層用來解決過擬合的問題;全連接層將輸入乘以權重矩陣并添加偏置向量，可以將提取的特征綜合。其中，第一個和第二個卷積層的卷積核大小為32，第三個和第四個卷積層的卷積核大小為16，雙向LSTM層的指定輸出大小均為100。

針對NIRS數據，設計了如圖5所示的NIRS神經網絡結構[20]。同樣設計了四層卷積層和兩層雙向LSTM 層，相較于EEG數據的網絡，NIRS數據的網絡將最大池化層改為平均池化層。其中，第一個卷積層的卷積核大小為32，第二個卷積層卷積核大小為16，雙向LSTM層的指定輸出大小均為100。

2.3 特征融合方法

傳統的特征融合方法包括特征的串聯與并聯。特征串聯即對特征進行橫向連接，假設雙模特征向量為e 和p，維度分別為a 和b，使用串聯方法融合后，特征向量組合為[e，p]，維度為a+b。特征并聯即對特征進行縱向連接，融合后的特征向量為e+ip，其中i為虛數單位，融合特征的維度為a 和b 中的較大者，對于較低維度的向量，融合后相應缺失地方則用0補位。

本文對雙模特征進行橫向的連接，特征融合方法如圖6所示，將兩個神經網絡的第二個BiLSTM 層的輸出分別作為EEG和NIRS提取的特征，并將特征進行串聯[21]。

3 實驗結果（Experimental results）

在EEG數據實驗中，使用的優化函數為自適應矩估計（Adaptive Moment Estimation，Adam）優化器，最大訓練回合數設置為100次，初始學習率設置為0.000 5，每次迭代使用的數據量設置為10，數據打亂策略設置為每次迭代均打亂一次。經全連接層輸出的分類識別顯示，EEG 的分類準確率為74.2%，訓練時長為24 s。

在NIRS數據實驗中，使用Adam 優化器，最大訓練回合數設置為150，初始學習率設置為0.000 5，每次迭代使用的數據量設置為10，數據打亂策略設置為每次迭代均打亂一次。經全連接層輸出的分類識別顯示，NIRS的分類準確率為85.7%，訓練時長為131 s。

多模態實驗中，分別將EEG和NIRS神經網絡的第二層BiLSTM層輸出的結果作為特征，然后進行特征融合，最后將融合后的特征利用決策樹、KNN、SVM 進行分類，經過十折交叉驗證，得到分類結果為KNN 的分類準確率最高，達到97.3%，單模態與雙模態分類結果見表1，成癮性識別結果見表2，混淆矩陣如圖7所示。

根據表1中的單模態與雙模態分類結果顯示，雙模態融合后的分類準確率比單模態有較大的提高，比單模態NIRS提高了11.6%，比單模態EEG提高了23.1%。不同的分類器也顯示出不同的分類效果，其中KNN的分類準確率最高，達到97.3%。

目前，對于成癮性的相關研究中，GU等[9]利用決策層融合的方法和CNN網絡對毒癮患者所采集的雙模態數據進行識別分類，準確率為63.15%，本文所提方法的分類結果相較于GU等所提方法，分類準確率有較明顯的提高。對于深度學習在雙模態數據上的研究，吳禮祝等[22]利用CNN-BiLSTM 網絡對睡眠數據中的EEG數據進行分期實驗，結果顯示分期的準確率為92.33%。鞠曉慧[23]利用CNN-BiLSTM網絡對運動想象的EEG數據進行分類研究，結果顯示CNN-BiLSTM能夠有效提高分類精度。綜上所述，本文設計的CNN-BiLSTM 網絡框架相較于目前對毒品成癮研究的方法，在網絡架構上，與傳統的CNN或LSTM 網絡相比，使用了CNN-BiLSTM 組合的方式。在融合方法上，使用了基于特征層融合的方法，避免了決策層融合所帶來的信息損失的問題，從而能獲得較高的分類準確率。

4 結論（Conclusion）

為了提高雙模態數據的分類準確率，本文提出了一種基于特征層融合的CNN-BiLSTM混合神經網絡模型，并利用EEG和NIRS數據進行實驗驗證。實驗結果表明，在模型構造階段，利用CNN提取空間特征和BiLSTM 提取時間特征的特點，能夠充分保留EEG和NIRS的時間維度特征，同時使用CNN和BiLSTM相結合的神經網絡結構有效地提高了特征分類識別效果，雙模融合的分類效果也遠高于單模態分類結果。本文優化了以量表為依據的成癮程度傳統判斷方式，利用客觀生理數據進行成癮程度的識別判斷，可為后續臨床上的成癮患者治療提供幫助。在未來的研究中，還可以針對不同的雙模態數據進行有針對性的數據預處理，進一步提高神經網絡輸入數據的有效性。此外，還可以利用更高效的融合策略提高對有效特征的融合效果，以進一步提高模型的性能。