腦電情緒識別研究現狀及展望

王海旭

四川信息職業技術學院 智能控制學院，四川 廣元 628000

引言

腦電的情緒識別是計算機智能的一個重要發展方向，是人機交互的重要研究內容[1]。情緒是在外部刺激下表現出的復雜生理變化的過程[2]，主要包括以下幾類：① 來自自我感受的主觀體驗；② 來自面部表情、姿態表情、語調語音等的外部表現；③ 表現在生理信號變化所反映的生理喚醒。計算機雖然難以直接分析人的主觀感受，但可以通過如機器視覺、語音識別等技術對第二類情緒反應的外部表現進行識別和分析，同時對第二類情緒反應的外部表現存在的外部干擾多、交叉影響因素多等問題進行檢測計算。因此，對第三類生理信號的測量、提取特征、分析、分類識別可以更為準確地反映腦電信號的特征[3]。腦科學被“十四五”規劃和2035 年遠景目標綱要列為國家重點前沿科技項目之一，而情緒識別技術將為該研究提供重要的理論和實踐價值。

目前，研究者對于情緒的建模主要是基于認知評價的效價-喚醒度（Valence-Arousal，VA）模型，即VA 的二維空間模型[4]。其中，效價代表的是情緒的積極或消極反應，喚醒度是情緒的強度反應。如學界公認的喜、怒、哀、驚、恐、厭6 種基本情緒中的喜在VA 模型中更靠近右邊和上面的區域，反映出較高的強度和積極性（圖1）。而情緒的所有種類高達近30 種，其他類型的情緒都是在以上6 種情緒的基礎上組合而成[5]。

圖1 情緒的效價與喚醒度二維空間模型示意圖

本文著重圍繞腦電的情緒識別，包括腦電特征的計算方法，如時域特征、頻域特征、時頻特征以及區別于單導聯特征的導聯間特征，介紹了目前腦電情緒識別的流程，以及腦電情緒識別的應用，如腦機芯片與接口、抑郁等心理疾病的應用，最后，對腦電情緒識別進行了總結和展望。

1 腦電特征的計算方法現狀

1.1 時域特性

腦電信號的特征需要用多種數學或物理的方法進行計算才能找到，最容易想到的就是時域特征。在腦電的時域特征中，事件相關電位（Event-Related Potentials，ERP）是由離散事件激發出的腦電活動，在腦電研究中有較廣泛的應用，如P300 在40 多年前被首次報道后[6]，陸續有相關研究表示在潛伏期300 ms 左右的腦電壓的正向波動，此類ERP 的測量因具有可靠性以及特征信息豐富等特點被廣泛應用于腦電研究。

通過疊加平均的相干平均法可以消除噪聲并有效獲取腦電特征，此外，還可以通過線性回歸模型來尋找生物信號特征，如自回歸模型[7]，即差分方程如公式（1）所示。

式中，X(t)和X(t-i)為模型不同序列的信號特征，p為模型的參數個數，稱為模型的階數；a（i）為模型的自回歸系數；e（t）為隨機干擾序列，是均值為0，方差為σ2的白噪聲。

1.2 頻域特性

腦電的頻域特性反映了大腦不同頻段內電信號的相對強度。常用的腦電頻域特性有δ波（0.5～4 Hz）、θ波（4～8 Hz）、α波（8～12 Hz）、β波（12～30 Hz）和γ波（30～100 Hz），涵蓋了人腦電活動的不同頻率范圍，每種頻率范圍內的腦電波都具有不同的生理和心理特征，例如，δ波與深度睡眠有關，α波與放松和冥想有關，β波與興奮和注意力有關。每種波段都具有特定的生理和心理意義，因此對腦電頻域特性的研究可以為腦電情緒識別提供重要信息。

1.3 時頻特性

相比于時域和頻域特性，腦電波的時頻特性同時考慮了時間和頻率的信息，因此可以提供更全面的信息，比如不同時間段內，腦電活動的頻率是如何變化的。同時，時頻特性反映了人腦在不同時刻所處的不同心理狀態，例如，在清醒時，腦電波的頻率通常以α波為主，而在睡眠時，頻率則以δ波為主。此外，腦電波的時頻特性還可以反映出人腦不同區域的活動強度。通過對腦電波的時頻分析（Time-Frequency Analysis，TFA），可以更好地了解人腦的功能和狀態。

1.4 導聯間特征

腦電波的導聯間特征指的是不同腦區間電活動的相對關系。對于任意一個時刻，不同的腦區可能有不同的電活動強度，并且這些電活動強度可能是相關的或不相關的。例如，當某一個腦區發生激活時，周圍的其他腦區也可能會受到影響。如國外專家最常用的腦電信號的相位同步分析[7]，相位同步是一種生物物理學現象，表示多個周期性信號的波形在相同的相位（時間）上互相同步，可以出現在生物體內的生理過程中，也可以出現在多個獨立系統之間。通過相位同步指數的引入研究腦區間電生理信號的波形相位同時變化的現象，表明這些腦區間在協調工作[8]。待分析信號的相位差如公式（2）所示[9]。

若腦電信號為X（t）和Y（t），則式中它們的相位時間序列分別是θx（t）和θy（t），如果n、m有界且是整數，則信號是與n∶m同步的，在腦功能研究中一般是1 ∶1 相位同步。

2 腦電情緒識別整體框架

腦電情緒識別的整體框架主要包括腦電信號采集、數據的預處理、特征提取和分類識別等。數據采集是通過放置在頭皮上的電極收集腦電圖信號以記錄大腦活動情況。數據的預處理是對原始腦電圖信號進行處理以降低噪聲并提高信號質量的重要步驟。特征提取是用處理后的腦電信號中提取的相關特征來表示用戶的情緒狀態。分類識別是通過機器學習算法在腦電信號的大型數據集上進行訓練，以根據提取的特征對情緒進行分類。該過程的框架和流程如圖2 所示[10]。

2.1 信號采集與預處理

信號的數據采集：通過放置在頭皮上的電極收集腦電圖信號，記錄大腦的電活動，然后將此活動放大并進行進一步處理，主要有16 導聯、32 導聯和64 導聯的電極。目前的系統放置法是以國際標準10-20 系統安放[11]，見圖3，10 表示電極周圍距離頭骨10%，20 同理指20%。

圖3 腦電電極10-20國際標準安放位置圖

腦電預處理的目的是對原始腦電圖信號進行特定處理，以提高信號質量并降低噪聲。預處理步驟會極大地影響最終結果的準確性，因此為每個特定過程選擇適當的處理技術非常重要。預處理步驟通常包括過濾、降噪、去偽跡等。過濾可以對腦電圖信號進行過濾以去除高頻噪聲并隔離出特定的頻帶。降噪用以消除任何殘留噪聲并提高信噪比。在腦電信號采集中，眨眼或肌肉運動都會形成干擾，此類腦電圖信號中的任何偽跡都需要被去除[12]，以提高信號的準確性。

2.2 特征提取與選擇

腦電圖信號具有許多可以提取以供分析的特征。常見的腦電圖特征包括：功率譜密度（Power Spectral Density，PSD）、ERP、TFA、獨立分量分析（Independent Component Analysis，ICA）、基于機器學習的特征，包括使用各種機器學習算法提取的特征，如從卷積神經網絡中提取的特征。

PSD 是通過對腦電波進行分析來評估腦內不同頻段的電活動強度。PSD 的信息可以用來診斷和研究一些神經系統相關的疾病，如睡眠障礙、認知障礙、癲癇等[13]，也可以用于研究認知加工、感知、運動等不同神經活動的機制。ERP研究通常在科學實驗室中進行，通過記錄腦電波，并在接收到特定刺激（如視覺刺激、聽覺刺激等）時記錄反應[14]。研究人員可以分析腦電波的變化以了解大腦如何對特定刺激作出反應。TFA 通過對腦電波數據進行時間-頻率分析來探索大腦內不同頻段的電活動強度以及隨時間變化情況。如圖2 所示，TFA 可以提供有關大腦功能的全面信息，因為TFA 能夠同時反映頻率和時間的信息同時可以幫助研究人員了解腦電波的時間動態和頻率特征，從而更好地理解大腦的功能和活動[15]。ICA 通過對腦電波數據進行分析來識別獨立的電生理源，再用數學方法將腦電波數據分解為獨立的分量。分解后的分量代表不同的腦區域和活動，研究人員可以對這些分量進行分析從而更好地理解大腦功能[16]。機器學習算法可以從大量的腦電波數據中學習模式，從而對大腦的功能和活動進行預測，可以用于識別腦電波數據中的某些特定模式，以確定大腦在某個特定時間的活動狀態，或者可以用于識別腦電波數據中的某些特定特征[17]。

2.3 腦網絡構建及分類

通過特征提取，可以將腦電圖信號轉換為一組可用于網絡構建的特征，如PSD、ERP、TFA 和ICA 等方法；然后使用這些特征來構建大腦網絡，腦網絡連接圖如圖2 所示；最后，通過分類的方法，腦網絡根據其拓撲結構被分為不同的組，如高興的、悲傷的或吃驚的，這部分可以使用支持向量機、神經網絡或隨機森林等機器學習算法來完成。通過腦網絡的構建和分類有助于揭示大腦活動的潛在模式和結構，并了解大腦的功能。

3 基于腦電情緒識別的應用

3.1 腦機芯片與接口

腦機接口是使大腦和機器之間能夠進行通信的系統。這些接口可用于控制假肢、輔助設備，甚至計算機。腦機芯片是一種微電子設備，可以植入大腦，實現大腦與機器之間的通信。

隨著多學科的交叉融合發展，通過與計算機技術、微電子技術相結合，腦電情緒識別通過腦機芯片輸出分類的情緒以控制BCI 系統或用于其他應用。如馬斯克名下的腦機接口公司的一款可植入芯片N1 在未來有望治愈癱瘓或使天生失明的人重見光明[18]。這些設備有可能徹底改變人類與機器交互的方式，并可能對醫學、康復和游戲等領域產生重大影響。

3.2 抑郁等心理疾病的應用

腦電圖已被用于研究和治療各種精神障礙，如通過測量大腦活動模式幫助診斷精神障礙，如抑郁癥、焦慮癥和躁狂抑郁癥[19]。此外，腦電圖可用于監測精神障礙治療的有效性，如監測治療期間或服用藥物后大腦活動模式的變化[20]，也可用于非侵入性地刺激大腦的特定區域，以幫助緩解精神障礙的癥狀。這被稱為腦電神經反饋或腦電生物反饋。

研究人員利用腦電情緒識別技術幫助診斷和治療患有抑郁癥和焦慮癥的患者。在診斷方面，醫生可以通過分析患者腦電波的模式[21]，識別患者是否有情緒障礙；在治療方面，醫生可以根據腦電情緒識別技術的結果選擇最佳的治療方法，如藥物治療、認知行為療法等[7]。截至2021 年，深圳大學和深圳市南山醫院針對通過腦電情緒識別來輔助診斷抑郁癥患者已經作了長期的研究[22]。該研究通過情緒Stroop 范式或者視覺3-oddball 范式，分別使用正性（高興）情緒、負性（悲傷）情緒和中性情緒探索抑郁患者和健康人群對照組的差異[23]。如圖4 所示，通過計算兩個腦電極的相位同步指數（Phase Synchronization Index，PSI）值，得到靶刺激和非靶刺激進行雙樣本t檢驗之后的t值，再經單樣本t檢驗得到的值為縱坐標[24]。

圖4 抑郁患者和健康對照組腦電極的PSI值差異

4 總結與展望

使用腦電圖的情緒識別是一個快速發展的領域，旨在根據大腦活動識別和分類情緒。目前，基于腦電圖的情緒識別已被證明可有效識別快樂、悲傷、憤怒和恐懼等情緒[25]，但在準確性方面仍有提升空間，尤其是在處理較為復雜的情緒或處理情緒表達的個體差異時。此外，基于腦電圖的情緒識別的主要局限性之一是對大腦活動和情緒表達的個體差異敏感。此外，腦電圖信號可能會受到各種因素的影響，如頭部運動、眨眼和偽跡。

盡管存在局限性，基于腦電圖的情緒識別在各種應用中仍具有巨大的潛力，如心理健康評估、情緒感知計算和人機交互[26]。隨著機器學習和人工智能的進步，以及腦電圖信號處理的改進，基于腦電圖的情緒識別的準確性和可靠性有望進一步提高[27]。

綜上所述，基于腦電圖的情緒識別研究領域有較好的發展前景，它已經在基于大腦活動識別情緒方面取得了成功。然而，仍有改進的空間，需要進一步研究以充分發揮腦電圖在該領域的潛力。未來前景樂觀，因為技術和方法的進步有望進一步提高基于腦電圖的情緒識別的準確性和可靠性。