運動想象腦電信號的跨被試動態多域對抗學習方法

曹 鉉，羅天健*

（1.福建師范大學 計算機與網絡空間安全學院，福州 350117；2.數字福建環境監測物聯網實驗室（福建師范大學），福州 350117）

0 引言

腦機接口（Brain Computer Interface，BCI）采集人腦信號并解譯成控制指令，繞過外周肌肉系統達到控制外部設備目的，實現人腦與外部設備的直接通信［1］。由BCI 技術構建的系統不但能夠為腦卒中類病人提供輔助康復［2］，還能服務于工業生產和多媒體娛樂［3］。按照采集人腦信號級別，BCI 技術通常劃分為非侵入式和侵入式［4］。其中，非侵入式手段無須開顱手術，其代表性的腦電（ElectroEncephaloGraphy，EEG）信號［5］，采集時間分辨率較強的腦皮層信號，廣泛應用于常人可參與的場景?；贓EG 信號的常見BCI 任務包括：運動想象，事件相關電位，以及穩態視覺電位。其中，運動想象（Motor Imagery，MI）為主動BCI 技術，通過分析記錄不同肢體MI 過程中的EEG 信號，解碼出相應的意圖并形成控制指令。運動想象腦電（MI-EEG）信號編碼運動腦區，不同肢體MI 意圖特征主要集中在μ 節律和β 節律，呈現大腦同側能量增加以及對側能量降低的模式，該模式被稱為事件相關去同步（Event-Related Desynchronization，ERD）現象［6］。解碼MI-EEG 信號即為識別出不同MI 意圖ERD 模式，從而獲取BCI 系統可用的控制指令。

實際上，MI-EEG 屬于典型時變性強、多通道耦合且信噪比低的信號，它的解碼過程是一項具有挑戰性的困難任務。常用的MI-EEG 信號解碼方法包含兩個分支：以共同空間模式（Common Spatial Pattern，CSP）為代表的空域特征濾波器，和以卷積神經網絡（Convolutional Neural Network，CNN）為代表的端到端模型。CSP 方法［7］構建類別間最優空域投影，保證不同MI 類別的空域特征差異最大化?；贑SP 特征，Ang等［8］通過濾波器組提取MI-EEG 不同頻段FBCSP（Filter Bank CSP），并在各個頻段上提取具有頻率特性的CSP 特征。Kang 等［9］構建了被試間可遷移的組合CSP 特征（Composite CSP，CCSP），Samek 等［10］則在子空間中構建可遷移的CSP 特征SSCSP（Stationary Subspace CSP），這些可遷移的CSP 特征，在跨被試的MI-EEG 解碼中取得了不錯的效果。經典的CSP系列空域特征向量，一般使用支持向量機或線性判別分析實現分類。隨著研究的深入，以支持矩陣機（Support Matrix Machine，SMM）為代表的直接矩陣分類方法，也被應用至MI-EEG 的分類［11］。Zheng 等［12］為了進一步提取稀疏特征，構造了稀疏支持矩陣機（Sparse SMM，SSMM），篩選稀疏的特征提升分類性能。CNN 模型則采用端到端的MI-EEG 解碼過程，無須分類器，直接提取特征并獲取分類結果。Schirrmeister 等［13］應用淺層CNN 模型（ConvNet）即獲得了超越CSP 的解碼性能。Sakhavi 等［14］使用CNN 模型學習了MIEEG 信號的時域信息C2CM（Channel-wise Convolution with Channel Mixing），同時聯合時域和空域特征提升分類性能。Dose 等［15］采用一維卷積神經網絡同時提取時域和空域特征MI-CNN（Motor Imagery-Convolutional Neural Network），并嘗試應用于跨被試的遷移學習。

盡管以CSP 與CNN 為代表的解碼方法已經在MI-EEG 分類中取得不錯進展，但是由于EEG 信號的非線性、非平穩特性，使它在跨采集周期和跨被試上呈現分布變化，跨被試樣本集不再符合獨立同分布（i.i.d）假設，無法直接應用機器學習方法［16］。針對跨被試的MI-EEG 分類方法，以域適應（Domain Adaptation，DA）為代表的遷移學習方法取得了不錯的解碼性能。DA 類方法將每個被試者看作“域”，采用域適應方法提取域間可泛化的特征，從而實現跨被試MI-EEG信號解碼，主要包含兩大研究分支。一類是基于經典信號處理方法的EEG 協方差或特征對齊的方法。協方差矩陣均值能夠衡量MI-EEG 樣本集分布。Zanini 等［17］將協方差矩陣映射到黎曼空間，并將不同被試者信號的協方差均值對齊至單位矩陣（Riemannian Alignment，RA），隨后提出了基于最小黎曼均值距離的分類器方法，獲得了不錯的跨被試解碼性能。He 等［18］為了解決黎曼均值計算的低效率問題，直接在歐氏空間對齊協方差矩陣（Euclidean Alignment，EA），隨后在對齊后的樣本上提取CSP 特征，提升了跨被試解碼性能。Zhang 等［19］則聯合子帶CSP 濾波與目標域對齊方法，獲取了更有分辨性的跨域特征。在此基礎上，Zhang 等［20］則構建了兩步驟的對齊方法，首先通過EA 對齊協方差矩陣，提取切空間特征向量，隨后在特征向量之上構建流形嵌入知識遷移方法，進一步提升了跨被試解碼性能。Cai 等［21］則提出流形嵌入遷移學習方法，通過Grassmann 流形和結構風險最小化提升跨被試解碼性能。

另一類方法則是基于深度神經網絡的對抗學習方法。Ganin 等［22］首次將域對抗神經網絡應用至圖像跨域分類，通過域分類器保證特征提取器提取到域不變特征。近年來，域對抗學習方法也逐漸被應用至EEG 跨被試解碼領域。Sakhavi 等［23］利用目標域被試樣本集的偽標簽樣本，微調源域被試樣本集預訓練的CNN 模型，雖然達到跨域解碼效果，但是當目標域樣本量較少時容易造成過擬合問題。為了解決樣本量稀少問題，Li 等［24］提出了一種雙半球域對抗神經網絡模型（Bi-hemisphere Domain Adversarial Neural Network model，BiDANN），解決跨被試樣本分布偏移問題，并成功應用至EEG 情感識別。在基于對抗神經網絡的跨被試MI-EEG解碼中，Zhao 等［25］提出了深度表征的域適應（Deep Representation-based Domain Adaptation，DRDA）方法，通過同時優化MI-EEG 特征提取器、分類器和域鑒別器這3 個模塊，由神經網絡模型獲取域不變的深度表征，提升解碼性能。為了解決DRDA 方法忽略的不同MI 類別子域分布差異，Hong等［26］采用動態對抗適應網絡（Dynamic Joint Domain Adaptation Network，DJDAN），在模型中加入多個子域鑒別器，以期提升對抗模型性能。

綜上，在跨被試MI-EEG 解碼領域，協方差對齊方法與神經網絡域對抗模型并未有機結合起來，且最新的DJDAN 模型雖然考慮到多個子域的樣本分布差異，但是構建了過于復雜的梯度反向傳播模塊，它的性能和效率還有進一步的提升空間。此外，文獻［16］將協方差對齊方法與CSP 特征的聯合分布對齊方法相結合，雖然有一定的性能提升效果，但是經典的聯合分布對齊方法受限于所提取特征的有效性。通常情況下，CSP 特征僅能表達MI-EEG 的空域特征，其有效的時頻域特征將被忽略。因此，它跨被試MI-EEG 解碼的性能遠低于基于神經網絡的跨域對抗模型。針對現有跨被試MI-EEG 解碼性能不足問題，本文提出了一種動態多域對抗網絡（Dynamic Multi-Domain Adversarial Network，DMDAN）模型，該模型同時考慮到樣本協方差對齊優勢，以及面向不同MI 類別的多域對抗優勢，并通過跨域對抗神經網絡模型提取有別于經典CSP 特征聯合分布對齊方法的有效特征，獲取更佳的MI-EEG 解碼性能。所提出的方法包含兩個關鍵步驟：首先，針對不同被試樣本域實施EA 樣本對齊；其次，劃分源域與目標域樣本集，分別構建跨域所有樣本的全局域鑒別器，以及跨域不同類別樣本的類別子域鑒別器，通過多個鑒別器的動態多域對抗學習過程，提取全局域以及各MI 類別子域均不變的特征，服務于跨被試MI-EEG 解碼。本文的主要工作如下：

1）融合樣本協方差對齊方法和跨被試域對抗神經網絡模型的優勢，克服單一域適應類型方法的瓶頸，進一步提升了跨被試MI-EEG 解碼性能。

2）分別針對跨被試樣本集的邊緣分布和條件分布，構建了全局域鑒別器和類別子域鑒別器，通過動態對抗學習過程適應兩類分布，并在兩個公開數據集上驗證了可行性。

1 跨被試動態多域對抗學習方法

1.1 符號定義

假設MI-EEG 樣本集Datasetu|u=1，2，…，U含有U個被試者，每個被試者u含有相同數量的樣本集，其中：xi∈RC×T表示每個MI-EEG 樣本，C為通道數，T為采集時間點數；yi表示相應的MI 類別標簽。在跨被試的MI-EEG 解碼中，每個被試者樣本集被看作一個域D，該域由特征空間S'和邊緣分布P(X)組成，包含有個樣本，每個樣本均來自特征空間S。通常，跨被試包含多源域至單目標域（Multi To Single，MTS）和單源域至單目標域（Single To Single，STS）的兩種設定，而MTS 更符合MI-BCI 的應用特點。因此，本文研究MTS 問題，針對U個被試者，選定1 個被試作為目標域Dt，剩下U-1 個被試作為源域Ds，源域與目標域之間的EEG 樣本來自不同分布?？绫辉嚱獯a的目標是在ns個源域樣本上學習解碼模型M，使得nt個目標域上樣本在M上取得最高的解碼性能。

1.2 樣本域協方差均值對齊

在劃分源域Ds和目標域Dt之前，每個被試者域Du(u=1，2，…，U)的EEG 樣本集存在邊緣分布差異。由于協方差矩陣可有效刻畫邊緣分布，因此在進行對抗學習之前，本文應用EA 方法［18］，對齊每個被試者域的協方差均值至單位矩陣，實現邊緣分布域適應的預處理。針對被試者域Du，對該域中的個樣本，首先計算協方差矩陣均值：

EA 方法應用協方差均值的-1/2 次冪對齊樣本，即針對該域中的某個樣本xi，通過如下方式對齊樣本：

顯然，由對齊后樣本重新計算協方差矩陣均值即為單位矩陣I。因此，針對U個被試者域的EEG 樣本，均實施式（2）的對齊策略，使得所有被試者樣本集的協方差矩陣均為單位矩陣。經過EA 預處理后，選擇任意被試者作為目標域，余下被試者作為源域，即可保證相同的協方差矩陣，減少了邊緣分布差異。

1.3 DMDAN模型架構

實際上，僅依靠協方差矩陣的對齊，還不足以有效提升跨域MI-EEG 解碼的性能。因此，本文在對齊后的樣本集基礎上劃分源域Ds與目標域Dt，并基于CNN 模型構建動態多域對抗網絡。圖1 給出了本文構建的DMDAN 模型架構。

圖1 DMDAN模型架構Fig.1 Architecture of DMDAN model

由圖1 可知，DMDAN 模型涵蓋4 個部分：特征提取器、分類器、全局域鑒別器和類別子域鑒別器。

DMDAN 模型的工作原理與流程如下：MI-EEG 信號xi∈RC×T首先經過EA 方法進行協方差對齊，對齊后的樣本由特征提取器Gf提取特征fi，同時作為分類器、全局鑒別器和多個局部鑒別器的輸入。如果xi來自源域Ds，還需根據源域的真實標簽值和提取到的特征fi計算中心損失。分類器根據特征fi確定樣本xi的類別向量P。全局鑒別器根據特征fi輸出二分類概率，判斷樣本xi來自源域或目標域。局部鑒別器將特征fi和分類器的輸出概率作為輸入，由特征與類別的乘積Pi×fi判斷對應子類的樣本xi來自源域或目標域。模型的訓練過程如下：將全局鑒別器和多個子鑒別器的輸出概率值和輸入樣本xi的真實域標簽值之間的交叉熵，分類器的輸出概率和樣本xi的真實分類標簽之間的交叉熵，以及樣本xi的中心損失，共同構建損失函數并采用梯度下降方法，逐步優化DMDAN 的模型參數。在模型的訓練過程中，全局鑒別器和多個局部鑒別器的損失在梯度下降前還需要分別乘以對應的動態對抗系數ωg、，動態對抗系數在圖1中用ω表示。

1.3.1 特征提取器與分類器

由于MI-EEG 信號中含有復雜時變和空間耦合特征，因此采用經典的ConvNet［13］模型，分別對時域和空域進行卷積操作，實現DMDAN 模型的特征提取器。鑒于MI-EEG 樣本時間維度較高，采用1×30 的卷積核提取時域特征，而采用C×1 的卷積核提取所有采集通道的空域特征。在特征提取卷積操作后，連接均值池化層防止過擬合。為進行MI 任務分類，首先采用兩個全連接層將卷積特征圖轉化為特征向量，最后采用softmax 實現分類，選擇概率最高的類別輸出。圖2給出了特征提取器和分類器的結構。

圖2 DMDAN模型中的特征提取器和分類器結構Fig.2 Architectures of feature extractor and classifier in DMDAN model

表1 給出了特征提取器與分類器CNN 模型參數。

表1 特征提取器與分類器CNN模型參數Tab.1 CNN model parameters of feature extractor and classifier

1.3.2 全局鑒別器

雖然通過EA 對齊方法降低了邊緣分布差異，但是由特征提取器提取到的源域與目標域特征依然存在邊緣分布差異。在DMDAN 模型中，本文構建的全局域鑒別器進一步降低邊緣分布差異。采用DRDA 模型［25］的對抗學習思路，全局域鑒別器構建源域與目標域特征的二分類問題，通過對抗訓練保證鑒別器無法鑒別特征來源，達到提取全局域不變特征目的。全局域鑒別器在二進制標簽集Z={0，1}上進行對抗學習，并將源域和目標域特征向量的類別標簽分別設置為0和1。表2 給出了全局域鑒別器的CNN 參數，具體由4 個全連接層組成，分別為128、64、32 和1。其中，前3 層采用修正線性單元（Rectified Linear Unit，ReLU）作為激活函數，最后1層采用二分類sigmoid 激活函數。圖3 給出了全局鑒別器和特征提取器的結構。

表2 全局域鑒別器和各類別子域鑒別器CNN模型參數Tab.2 CNN model parameters of global discriminator and all local discriminators

圖3 DMDAN模型中特征提取器和全局鑒別器結構Fig.3 Architecture of feature extractor and global discriminator in DMDAN model

1.3.3 類別子域鑒別器

研究表明，域適應中邊緣分布和條件分布同等重要［27］。在基于神經網絡的域對抗學習中，Yu 等［28］采用子域鑒別器進行條件分布適應，而DJDAN 將它應用至跨域EEG 解碼中。同樣地，DMDAN 模型通過添加類別子域鑒別器，解決源域和目標域具體MI 類別的條件分布適應問題。具體地，添加與MI 類別數相同的子領域鑒別器，負責源域與目標域中同一個類別的樣本集條件分布適用，對抗學習過程與全局域鑒別器類似。由于在條件分布適應時需要目標域樣本的偽標簽，因此類別子域鑒別器依賴每輪迭代時分類器的輸出。采用文獻［28］中的實現方式，本文將分類器輸出的類別概率作為權重，在對抗學習時預先與輸入特定類別子鑒別器的特征向量相乘，實現特定類別的條件分布動態對抗學習。圖4 給出了局部鑒別器的網絡結構。

圖4 DMDAN模型中子域鑒別器結構Fig.4 Architecture of sub-domain discriminators in DMDAN model

表2 給出了每個類別子域鑒別器的CNN 參數，具體由4個全連接層組成，分別為128、32、16 和1。其中，前3 層采用ReLU 激活函數，最后一層采用二分類sigmoid 激活函數。

1.4 動態多域對抗學習的損失函數

在DMDAN 模型訓練中，源域Ds和目標域Dt使用共享權重的特征提取器和鑒別器。通過全局域鑒別器和類別子域鑒別器的結合，能夠解決邊緣分布相似的情況下，各個類別子域條件分布不一致的情形。同時，源域和目標域之間邊緣分布與條件分布的重要性，則通過動態計算的對抗系數獲得，實現自適應的動態多域對抗學習。具體地，DMDAN 模型對特征提取器和分類器，以及全局域鑒別器與類別子域鑒別器進行交叉訓練。即首先固定特征提取器和分類器的參數，通過反向傳播更新全局域鑒別器與類別子域鑒別器的參數；隨后，再固定全局域鑒別器與類別子域鑒別器的參數，通過反向傳播更新特征提取器和分類器的參數，如此交錯訓練，直到鑒別器無法鑒別提取到的特征來自源域Ds或目標域Dt，此時由分類器給出最佳的跨被試MI-EEG 解碼結果。因此，DMDAN 模型包含如下4 個損失函數。

1.4.1 分類損失函數

分類器采用交叉熵作為損失函數，即：

其中：C表示MI 類別數表示屬于類別c的概率，數值是分類器輸出的概率；Gy表示分類器CNN 模型，Gf表示特征提取器CNN 模型。

1.4.2 全局域鑒別器損失函數

全局域鑒別器同樣使用交叉熵作為損失函數，源域和目標域的域標簽分別設置為0 和1，損失函數Lglobal為：

其中：Ld表示交叉熵，Ed表示全局鑒別器模型，Gf表示特征提取器CNN 模型，di表示對齊后的輸入樣本的域標簽。

1.4.3 類別子域鑒別器損失函數

類別子域鑒別器數量與類別數C相同，每個子域鑒別器模型分別負責適應類別c的條件分布，同時依賴分類器迭代輸出的類別概率，其損失函數為：

1.4.4 中心損失函數

為保證特征提取和域鑒別交叉訓練過程中的穩定性，DMDAN 模型同樣添加了DRDA 模型［25］給出的中心損失函數：

1.5 損失函數的權重計算

在動態多域學習過程，多個域鑒別器對于跨被試MI-EEG 解碼貢獻不同。為了動態適應不同域對抗學習，本文采用A-distance［28］衡量貢獻度。每輪訓練迭代完成后，通過各域損失函數估計邊緣分布與條件分布的相對重要性。其中，全局域鑒別器與類別子域鑒別器的A-distance 分別為：

其中Lglobal代表全局鑒別器的損失。為C個類別構建的C個子域鑒別器，它們之間的A-distance 為：

DMDAN 模型訓練起始階段，動態對抗系數設置為：ωg=1.0；=0.0，c=1，2，…，C。

每輪迭代完成后，全局鑒別器的損失計算方法如下：

分類器將為目標域所有樣本輸出偽標簽，通過輸出的偽標簽，可以計算類別c的子域鑒別器損失：

綜上，在DMDAN 模型的訓練中，應考慮上所有損失函數的加權結果，其學習目標為：

其中：θf為特征提取器的CNN 模型參數，θc為分類器的CNN模型參數，θg為全局域鑒別器的CNN 模型參數，為類別c子域鑒別器CNN 模型參數。動態對抗參數在每輪迭代完成后由式（9）和式（10）進行更新，分類損失、對抗損失和中心損失權重αcls、αadv、αct采用經驗值。

2 實驗與結果分析

2.1 數據集

為驗證所提出DMDAN 模型的可行性與有效性，選擇兩個常用的公開數據集進行跨被試MI-EEG 解碼實驗。數據集具體信息［29］如下：

2.1.1 數據集2A

數據集2A 采集了9 個健康被試者的MI-EEG 信號，包含4 個類別的MI 任務，分別是左手、右手、雙腳和舌頭。實驗刺激范式如圖5（a）所示，實驗由響鈴刺激開始，［0，2］ s 屏幕中心出現十字架集中被試者注意力，［2，3］ s 出現4 個類別的MI 任務提示，被試者根據提示進行4 s 的MI 過程。本次MI結束后給予1.5 s 休息時間，隨后進入下一次MI 任務。實驗采集設備包含22 個EEG 電極，采樣率設置為250 Hz，樣本采集分為訓練周期和測試周期，每個周期采集288 個MI-EEG樣本，共計576 個樣本，每個MI 類別包含144 個樣本。MIEEG 解碼實驗選擇［2，6］ s 時間段內的EEG 時間點作為樣本。

圖5 數據集2A和數據集2B運動想象范式示意圖Fig.5 Schematic diagrams of motor imagery on dataset 2A and 2B

2.1.2 數據集2B

數據集2B 同樣采集了9 個健康被試者的MI-EEG 信號，包含2 個類別的MI 任務，分別是左手和右手。實驗刺激范式如圖5（b）所示，實驗開始后，［0，3］ s 屏幕中心出現十字架集中被試者注意力，響鈴刺激出現在第2 s，［3，4］ s 出現2 個類別的MI 任務提示，被試者根據提示進行4 s 的MI 過程。本次MI 結束后給予1.5 s 休息時間，隨后進入下一次MI 任務。實驗采集設備包含3 個EEG 電極，采樣率設置為250 Hz，樣本采集分為5 個周期，前兩個周期每個包含120 個樣本，后三個周期每個包含160 或120 個樣本。MI-EEG 解碼實驗選擇［3，7］ s 時間段內的EEG 時間點作為樣本。

2.2 實驗設置

在采用所提出的DMDAN 模型進行跨被試MI-EEG 解碼時，都采用留一被試交叉驗證法（leave one subject crossvalidation）。針對數據集2A，一共有A01～A09 這9 個被試者，每次交叉驗證選擇1 個被試者樣本集作為目標域，其中訓練周期樣本作為訓練集，測試周期樣本作為測試集，余下8 個被試者樣本集作為源域。針對數據集2B，一共有B01～B09這9 個被試者，每次交叉驗證選擇1 個被試者樣本集作為目標域，其中前三個周期樣本作為訓練集，后兩個周期樣本作為測試集，余下8 個被試者樣本集作為源域。表3 給出了數據集2A 和2B 的樣本設置情況。

表3 數據集2A和2B的樣本設置情況Tab.3 Sample ettings of dataset 2A and 2B

在訓練DMDAN 模型時，權重經驗參數設置為：αcls=1.0，αadv=0.01，αct=0.05。CNN 模型采用Adam 優化器，初始學習率設置為l=0.000 2，每經過10 輪迭代，學習率衰減0.01%，每次訓練的批處理大?。╞atch size）為64，訓練迭代輪數為epoch=200。訓練過程中采用early stopping策略，每訓練20輪若損失未出現明顯下降，則停止訓練避免過擬合。

本文的實驗由python 編程語言實現，采用的深度學習框架為Tensorflow1.14。實驗使用的硬件為Intel Core 5-9300HCPU 和NVIDIA GeForce GTX1650 GPU。本文提出的DMDAN 模型在兩個數據集上的運行時間如表4 所示。

表4 DMDAN模型在數據集2A、2B上的運行時間 單位：sTab.4 Running time of DMDAN model on dataset 2A and 2B unit：s

2.3 基線方法

為了驗證DMDAN 模型在跨被試MI-EEG 解碼上的性能，在兩個公開數據集上，分別選擇兩類基線方法進行對比：1）非深度學習方法：包括經典的FBCSP［8］、CCSP［7］和SSCSP［10］等跨被試遷移空域特征提取算法，以及直接采用EEG 矩陣計算的SMM［11］和SSMM［12］算法。2）深度學習方法：包括經典的ConvNet［13］、C2CM［14］和MI-CNN［15］等卷積神經網絡模型，以及采用深度神經網絡對抗學習的DRDA［25］和DJDAN［26］模型。最終，模型和方法對于跨被試MI-EEG 解碼性能，采用留一被試交叉驗證法的平均分類準確率衡量。

2.4 跨被試MI-EEG解碼結果

表5 給出了DMDAN 模型與基線方法在數據集2A 上的對比結果，數據來自相應的參考文獻。從表5 中結果可知，DMDAN 模型獲得了更高的跨域MI-EEG 平均分類準確率，同時在不同被試者之間獲得了更小的標準差。數據集2A 中的A02、A05 和A06 三個被試者的樣本被認為是樣本分布差異很大的代表，對于這3 個跨域分類難樣本集，本文提出的DMDAN 模型能獲得60.53%的平均跨域分類準確率。不同于基線方法僅對齊邊緣分布或僅對齊條件分布，DMDAN 模型一方面通過EA 預處理和全局域對抗實現邊緣分布適應，另一方面添加多個類別子域鑒別器實現條件分布適應，同時利用A-distance 動態計算多域對抗學習權重，尤其是子域內原本就難以區分類別的情況（A02/A05/A06），學習到了更具分辨性的特征，提升了識別準確率。相較于DRDA，DMDAN的平均分類準確率提高了1.80 個百分點。然而，DMDAN 模型在2A 數據集上的平均準確率低于DJDAN，原因在于DJDAN 使用梯度反轉層（Gradient Reversal Layer，GRL）策略。該策略使域分類損失梯度傳播在更新特征提取器前自動取反，加強了特征提取器、分類器和域鑒別器之間的對抗關系，使它在通道數更多、樣本分布更復雜的2A 數據集上取得了更佳效果。相較于文獻［16］在2A 數據集上左手、右手兩個類別上取得最高的76.70%跨被試MI-EEG 解碼性能，本文所提出的DMDAN 模型在2A 數據集上左手、右手、雙腳和舌頭四個類別上取得最高的76.50%跨被試MI-EEG 解碼性能。DMDAN 模型在樣本量更大、實驗設置更復雜且類別數更多的實驗中取得了與文獻［16］幾乎相同的準確率。實際上，DMDAN 模型的性能高于文獻［16］的最佳性能。

表5 DMDAN模型與基線模型在數據集2A上的平均分類準確率和kappa系數對比結果Tab.5 Comparison results of average classification accuracy and kappa coefficient between DMDAN model and baseline models on dataset 2A

為了展示DMDAN 模型在不同類別上的分類結果，圖6給出了數據集2A 上9 個被試者的平均混淆矩陣。從圖6 中的結果可以看出，DMDAN 模型在左手、右手、雙腳和舌頭四個類別上均取得了70%以上的識別準確率，不同運動想象類別之間提取到的特征差異較大。其中，雙腳和舌頭之間具有一定的概率出現混淆，左手和右手之間的混淆概率較低。

圖6 數據集2A的平均混淆矩陣Fig.6 Average confusion matrix of DMDAN on dataset 2A

表6 給出了DMDAN 模型與基線方法在數據集2B 上的對比結果，數據來自相應的參考文獻。從表6 中結果可知，DMDAN 模型獲得了更高的跨域MI-EEG 平均分類準確率，相較于DRDA，提高了2.52 個百分點；同時在不同被試者之間獲得了更小的標準差。對于分布差異較大的B02 和B03 被試者樣本集，DMDAN 也取得了超過70%的識別準確率。相較于多域對抗學習的DJDAN［26］模型，DMDAN 模型設計了更為復雜的多域鑒別器，并通過動態對抗學習的方式適應不同域的深度特征圖。同時，采用EA 預處理策略能夠保證特征提取器獲取的特征具有域不變性，從而加強了類別子域鑒別器區分特征來源能力。此外，與新近提出的DRDA［25］和DJDAN［26］模型相比，在B01、B04、B06 和B09 上的準確率有所下降，其原因可能是因為過多地引入類別子域鑒別器，對全局域鑒別器有一定的抑制作用。與此同時，采用EA 對齊樣本預處理，也有一定風險降低樣本的多樣性。

表6 DMDAN模型與基線模型在數據集2B上的平均分類準確率和kappa系數對比Tab.6 Comparison results of average classification accuracy and kappa coefficient between DMDAN model and baseline models on dataset 2B

2.5 消融實驗

為了進一步驗證所提出的DMDAN 模型的性能，本文從各模塊影響因素、特征展示和收斂分析三個方面進行消融實驗。

2.5.1 各模塊影響因素

DMDAN 模型包含兩個關鍵模塊：EA 樣本對齊預處理和動態多域對抗學習。為了進一步驗證兩個模塊的有效性，設置了如下的4 個消融實驗：單域對抗學習模型（實驗1）、EA預處理后單域對抗學習模型（實驗2）、動態多域對抗學習模型（實驗3）、EA 預處理后動態多域對抗學習模型（即DMDAN 模型）。圖7 給出了上述4 個任務分別在數據集2A和2B 各個被試者上的跨域MI-EEG 分類準確率，不同消融實驗設置在兩個數據集上的平均分類結果則統計了4 個消融實驗設置在兩個數據集上的平均準確率。

圖7 不同消融實驗設置在數據集2A、2B上各被試分類準確率Fig.7 Different subject classificaiton accuracies under different ablation experiment settings on dataset 2A and 2B

從圖7（a）的結果可知，DMDAN 模型在A01、A03、A07、A08、A09 幾個被試者上獲得了最高的分類準確率，實驗1 在A04，實驗2 在A02、A06，以及實驗3 在A05 上獲得了最高的分類識別準確率。從圖7（b）的結果可知，DMDAN 模型在B01、B02、B03、B05、B06、B07、B09 幾個被試者上獲得了最高的分類準確率，而實驗2 在B04，實驗3 在B08 上取得了最高的識別準確率。上述結果說明，將不同被試者樣本集作為目標域，由于樣本集的邊緣分布和條件分布各不相同，因此不同消融實驗設置在相應的目標域上取得了不同結果。形式上，EA 樣本對齊預處理對邊緣分布適應效果更好，而動態多域對抗學習模型則對條件分布適應效果更好。由于EEG 非線性、非平穩特性，實際需要適應的樣本分布是未知的。因此，所提出的DMDAN 模型同時考慮適應邊緣分布和，因此能夠在數據集2A 和2B 所有被試者上，獲得最佳的平均的跨域MI-EEG 分類準確率。

根據表7 中的結果顯示，對比消融實驗1、2、3，DMDAN模型在兩個數據集上均取得了更高的平均分類準確率。對比實驗1 與實驗2，EA 樣本對齊預處理方法的分類準確率在數據集2A 和2B 上分別提升了0.88 和0.75 個百分點；對比實驗1 與實驗3，動態多域對抗模型在數據集2A 和2B 上的準確率分別提升了1 和0.1 個百分點；對比實驗3 與DMDAN模型，在動態多域對抗模型基礎上，EA 樣本對齊預處理在數據集2A 和2B 上的準確率分別提升了2.1 和2 個百分點。上述結果表明，本文所使用的EA 樣本對齊預處理方法、動態多域對抗模型，均能夠提升分類準確率，尤其將二者相結合，帶來了更大幅度的跨域MI-EEG 分類準確率。

表7 不同消融實驗設置在兩個數據集上平均分類準確率 單位：%Tab.7 Average classification accuracy of different ablation experiment settings on two datasets unit：%

2.5.2 特征可視化

為了可視化DMDAN 模型提取到的特征，分別從數據集2A 和2B 選擇A03 和B05 被試樣本，展示模型學習到的不同類別特征。實驗中，分別將A03 和B05 作為目標域，其他被試者作為源域，訓練DMDAN 模型200 輪迭代后，獲取特征提取器輸出特征向量，并使用t-SNE［30］工具將特征降至二維展示。圖8 分別給出了在A03 和B05 測試集上，提取到的最佳特征可視化結果。

圖8 不同數據集的被試者特征可視化Fig.8 Visualization of subject features on different datasets

從圖8 中可以看出，無論是A03 還是B05 的EEG 樣本集，經過200 輪迭代訓練后，DMDAN 模型中訓練好的特征提取器，均可獲取到具有較強分辨性的特征，不同類別的樣本之間存在明顯的分界線，因此具有更高的跨被試識別準確率。其中，圖8（a）的雙腳（綠色）與舌頭（紫色）類別之間仍然有一些樣本不可分。實際上，數據集2A 的雙腳與舌頭兩個類別是MI-EEG 模式識別中的困難問題，有待進一步研究更強的特征提取器，以期在難分辨的MI 類別上，獲得更高的跨被試識別準確率。

2.5.3 收斂分析

應用所提出的DMDAN 模型，在數據集2A 和2B 各9 個被試者樣本集上，經過有限輪次迭代均能夠收斂到最佳的跨被試MI-EEG 識別結果。以數據集2A 和2B 中A03 和B05 樣本集為對象，圖9 分別給出了DMDAN 模型的分類器損失以及各個鑒別器損失收斂情況。由圖9 總體結果可以看出，DMDAN 模型經過100 輪迭代后，分類器損失和各個鑒別器損失均下降至較低水平，在隨后的迭代輪次中基本保持平穩。對于圖9（a）的收斂過程，在100 次迭代后鑒別器總損失出現過擬合現象，由圖中可以看出過擬合是由各個類別子域鑒別器形成的。實際上，DMDAN 模型采用了early stopping策略，在損失上升超過一定比例后即停止訓練，獲得最佳的結果。反觀圖9（b）的收斂過程，則沒有出現過擬合現象，無論是分類器損失還是各個鑒別器損失，在200 輪迭代后均下降至最低水平。

圖9 DMDAN模型訓練多個鑒別器誤差收斂情況Fig.9 Error convergence situations of multiple discriminators trained by DMDAN model

3 結語

在跨被試MI-EEG 信號解碼領域，EEG 信號時變強、多耦合的特性極易被忽視，僅依靠邊緣分布適應或條件分布適應，容易導致分類性能瓶頸。本文提出了一種動態對抗學習方法，分別使用樣本對齊預處理和全局域鑒別器適應樣本邊緣分布，以及類別子域鑒別器適應樣本條件分布，并自適應學習多鑒別器對抗系數，自適應調整不同鑒別器的貢獻，克服了經典對抗學習方法在樣本分布適應上的缺點。在兩個代表性的公開MI 數據集上進行跨被試EEG 解碼實驗驗證，結果表明所提出的DMDAN 模型是可行的，與經典對抗學習方法相比，在兩個數據集上分別獲得76.50%和86.50%的平均分類準確率。后續將展開兩個方面的研究工作：一是探究多個類別子域鑒別器在迭代中容易產生的過擬合問題，以及評價EEG 樣本分布適合何種類型的分布適應方法，在實際在線MI-BCI 應用中保障跨域解碼性能；二是將新方法推廣到其他EEG 類型跨被試識別應用中。當前，EEG 信號分析的瓶頸在于時變性和低信噪比，如何提取被試域間可泛化的特征，是未來工作重點。