基于表面肌電信號的虛擬現實控制系統設計

，

(1.上海理工大學 醫療器械與食品學院，上海 200093; 2.上海健康醫學院 醫療器械學院，上海 201318)

0 引言

人體生物電信號是人在生理、心理、情緒、思維和運動及與外部環境信息交互時各部位器官、組織、細胞及其神經元集群所產生電活動的時間與空間綜合疊加結果，含有豐富的思維意念、感知信息、動作意向、運動功能等人體信息，被廣泛關注的生物電信號有腦電、肌電、眼電等[1-3]。表面肌電(surface electromyography, sEMG)信號是由活躍運動單元激發的動作電位序列沿肌纖維傳播，傳導至皮膚表面，并通過電極從表面皮膚傳導并且記錄下來的一種時間序列信號[4]。它蘊含信息豐富并且與肌肉活動和運動狀態有很大的關聯，它可以用來預測運動意圖和肌肉功能狀態，sEMG信號非常微弱，其幅值在0.01～10 mV，主要能量集中在10～500 Hz[5]。人機接口(Human-Computer Interface, HCI)是在人體和計算機或其它電子設備之間建立不依賴于常規信息交互操作方式的全新人機信息交流與控制技術。通過sEMG判斷人體動作類型并轉換成設備輸入指令，成為一種新穎的人機接口，即肌電-計算機接口。sEMG采集技術相對成熟，因其無創性、實時性和操作簡便等特性而被廣泛應用于肌肉生物電信號的檢測，成為肌電-計算機接口的首選[6]。sEMG廣泛應用于智能假肢控制、康復治療等領域[7-8]，近幾年發展到用于手語手勢識別、游戲控制和可穿戴設備中[9]。

虛擬廚房場景有很強的沉浸感和真實感，更加貼近于真實生活場景，能為使用者增加很多樂趣。本文利用虛擬廚房與肌電-計算機接口相結合，利用人體表面肌電信號通過采集，無線傳輸至上位機，通過自主開發的訓練控制系統，可以實現對sEMG信號的實時采集、波形顯示、特征提取、訓練、存儲、實時識別動作并控制虛擬廚房。不用通過鼠標或鍵盤等交互設備完成與虛擬廚房中的動作交互，后續可用于運動功能障礙患者，對其進行肌肉康復訓練。

1 系統架構

系統整體框架如圖1所示，整個系統主要有肌電采集模塊、軟件控制模塊和虛擬現實環境模塊三個部分構成。肌電采集模塊利用DELSYS公司生產的便攜式無線表面肌電采集系統對使用者進行手臂表面肌電信號采集，電極與接收器之間所有數據均通過無線傳輸。軟件控制模塊又包括實時肌電信號的檢測與分割，特征值提取，分類識別以及生成控制指令四部分。虛擬現實環境模塊則根據分類控制模塊提供的指令驅動虛擬廚房完成不同動作，反饋給使用者，從而實現整個系統的交互。

圖1 系統整體框架

2 系統設計

2.1 肌電采集系統

肌電信號檢測采用的是DELSYS公司生產的便攜式無線表面肌電采集系統，電極與接收器之間所有數據均通過無線傳輸。每個DELSYS肌電電極由線型差分電極、前置電壓放大器(增益40～80 dB)和20～500 Hz的帶通濾波器組成。該采集系統傳感器采用內置電極，電極間距離小，任何情況下間距都固定為10 mm，保證實驗重復的準確性，能有效防止肌肉肌電信號的干擾。

2.2 活動段檢測與分割

活動段檢測利用均方值與移動平均窗相結合算法[10]，將采集得到的原始sEMG信號序列sEMGk(i)按照公式(1)進行平方，得到瞬時平均能量序列sEMGM，i為當前sEMG信號序列標號：

sEMGM(i)=[sEMGk(i)]2

(1)

取一個固定窗長為N(N可以調整)的移動窗，對瞬時平均能量按照公式(2)計算窗長的能量平均值sEMGma(i)：

(2)

將上式中移動平均后能量信號序列與固定閾值TH對比，判斷動作信號。保留大于閾值的信號點，把低于閾值的信號點置零，以判斷動作活動段的起始點和終止點。其判別方法如公式(3)：

(3)

信號分割變化如圖2所示，其中sEMG為原始信號，Ema為瞬時能量，將瞬時能量最大值記為Emax，sEMGrec為分割后信號。利用其瞬時能量和移動平均窗可以有效地區分活動段和非活動段信號包絡和強度信息，實現活動段檢測與分割。本實驗中選取該段時間序列信號瞬時最大能量的2%為閾值TH[11]。

圖2 信號分割變化

2.3 特征提取方法

自回歸模型(Autoregressive model, AR)是用自身做回歸變量的過程，即利用前期若干時刻的隨機變量的線性組合來描述以后某時刻隨機變量的線性回歸模型，它是時間序列中的一種常見形式。AR模型如下：

(4)

其中：sEMG(k)是當前sEMG的采樣值，w(k)是輸入噪聲激勵值，p是模型的階次，而am是模型的第m個系數，此參數可以作為特征用于表面肌電信號的分類。AR模型階次p為3～6時，運算量相對較小，并且得到的特征值對sEMG信號分類識別效果最好，本文中選取AR模型的階數為4[12]。

頻域分析的信號段的頻譜需要具有一致性和平穩性，而表面肌電信號是一種典型的非平穩信號，因此不提取其頻域特征。時頻域分析方法則是將時域與頻域分析結合起來，既可以描述頻率在信號內的強度，也能體現信號在時域的信息[13]。小波理論的思想源自于傅里葉變換，它既能提供信號序列的全部信息，又能提供某一局部時段內信號變化程度的信息，進行任意細節上的信號分析，這一特性特別適用于處理肌電信號一類的突變信號[14]。

離散小波變換公式如下：

(5)

小波系數表達式如下：

dj,k=[g(t),ψj,k(t)]

(6)

其中：g(t)為時序信號，φ(t)為尺度函數，ψ(t)為小波函數。針對肌電信號非常微弱、易受干擾的非平穩隨機特性，利用離散小波變換對原始肌電信號進行多尺度分解。sym小波函數系是一種近似對稱的小波函數，它是對db函數的一種改進[15]。本文選取了分類較好的正交sym3小波基函數對肌電信號進行3層尺度分解，并提取各級小波系數的奇異值作為特征矢量。

2.4 分類器

支持向量機(Support Vector Machine，SVM)基本模型定義為特征空間上的間隔最大的線性分類器，其學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解[16]。假定存在一個輸入特征空間到k維空間的映射：

x∈Rl→Rk

(7)

這些都可以用一個超平面分類，即計算出最優超平面(w,w0)即可根據上式符號的正負分類，即：

(8)

線性判別分析(Linear Discriminant Analysis, LDA)基本思想是將高維模式樣本投影到最佳判別矢量空間，壓縮特征空間維數，保證樣本投影空間中有最大的類間間距和最小的類內間距，即有最佳的可分離性[17]。其判別準則表達式為：

(9)

其中：Sb代表類內散度矩陣，Sw代表類間散度矩陣，w為投影向量。

2.5 控制系統界面設計

虛擬廚房控制界面是在MATLAB平臺下，利用圖形用戶界面 (Graphical User Interface, GUI)設計。如圖3所示為交互界面示意圖，該界面主要分為四個模塊：(1)按鍵控制部分：控制實時sEMG信號的接收與虛擬廚房的啟動以及特征提取、動作分類和動作控制；(2)實時sEMG信號波形顯示區域：實時顯示當前采集到的原始肌電信號波形；(3)特征提取結果顯示區域：顯示肌電信號數據特征值分布情況以及特征值；(4)信號識別結果顯示區：顯示當前所做動作分類識別結果。

虛擬廚房動作控制界面工作過程：該部分控制使用者與虛擬廚房的實時交互?？刂平缑姘存I操作簡易方便，需要啟動虛擬廚房時只需在“控制”面板中按下“啟動廚房”按鍵即可啟動虛擬廚房。開始采集和存儲原始sEMG信號時只需在“控制”面板中選擇“開始接收”并按下按鈕，然后做相應的手勢動作即可實時采集并存儲該手勢的原始sEMG信號。進行手勢動作sEMG信號特征提取時需要在“控制”面板中選擇“特征提取”按鈕并按下，系統就會開始提取相關動作sEMG信號特征數據，并將特征值以及特征分布情況顯示在圖3中“特征值”和“特征空間分布”區域內。然后點擊“開始訓練”按鈕，利用獲取的手勢動作特征作為訓練樣本進行分類器模型訓練。最后，利用訓練好的分類模型對采集的sEMG信號進行分類，此時需點擊“動作控制”按鍵，系統會對已采集的sEMG進行活動段檢測與分割，提取有用的活動段，進行動作識別，然后將識別結果作為虛擬廚房動作控制指令對其進行動作控制。

圖3 虛擬廚房控制系統界面

2.6 系統參數設置

系統參數設置如表1所示，系統參數設置成功后利用該系統進行虛擬廚房動作控制實驗。

表1 系統設計參數表

3 虛擬廚房動作控制實驗及結果

本系統分別對4名被試者進行離線肌電信號采集以及在線實時控制測試。其中男性2位，女性2位。年齡在21～25歲之間。在最近的6個月內前臂沒有發生過扭傷等影響運動功能的傷病，沒有運動神經類疾病。在實驗人員指導下，被試者理解實驗過程，愿意參加試驗。由于所采集的握拳、展拳、屈腕、伸腕4種動作動力源與尺側腕伸肌、尺側腕屈肌有關，所以將兩個肌電傳感器分別放置并固定在受試者尺側腕伸肌和尺側腕屈肌位置，作為通道1和通道2，進行雙通道表面肌電信號采集[18-19]。

3.1 標準動作實驗結果與分析

首先對4名被試者分別進行放松以及曲腕、伸腕、握拳、伸掌4種動作的sEMG信號采集，采集每名被試者不同動作各50組，分別提取絕對值均值、標準差、均方根三個時域特征，并對每種特征的50組特征值取平均值和標準差，通道1數據結果如表2所示。

表2 4種動作時域特征的平均值和標準差

通過數據對比，不同動作絕對值均值特征差異最大，對應的標準差相對較小，聚類性比較好，可用于動作分類。幅值絕對值均值可以在時間維度上反映肌電信號振幅變化特征，在一定程度上反映了動作程度。

利用sym3母小波對肌電信號序列進行小波3層分解，獲得低頻分量a3與第一、二、三級高頻分量d1、d2、d3。計算不同頻段系數矩陣奇異值。對通道1中每種動作50組數據得到小波系數奇異值取平均值,結果如表3所示。

表3 4種動作小波系數奇異值特征值

通過對表3分析，可以發現4種動作不同頻段小波系數奇異值均有差異，但低頻分量a3以及第三級高頻分量d3差異最明顯。因此，可以將d3和a3奇異值聯合作為特征向量，對肌電信號進行動作模式表征。

利用4種動作的不同特征值進行動作分類，然后將3種特征值進行融合，再重復上述步驟，得到結果如表4所示。

表4 不同特征的識別果(%)

通過對表4中分類識別結果分析，使用單一特征進行識別時MAV和小波系數奇異值特征值平均識別率只有75%，AR系數平均識別率僅為37.5%。但將識別率較高的MAV和小波系數奇異值進行特征融合后進行分類，識別率可以達到94.5%，動作識別效果得到很大提升。將MAV、小波系數奇異值、AR系數3種特征值融合，在分類器中進行識別，得到分類結果并未得到改善?？紤]到該算法要用于虛擬廚房系統的實時識別，需要計算量盡量減小，因此舍去效果不明顯的AR系數特征值。最終，采用MAV與小波系數奇異值融合作為特征值，4種動作特征值空間分布如圖4，從三維空間分布可以明顯看出不同動作的特征值具有很強聚類性，可用于分類。

圖4 4種動作特征值空間分布圖

利用上述提取到的融合特征向量在LDA分類器中進行模型訓練和分類，得到不同動作識別率結果與SVM對比。如圖5所示，不同動作SVM分類器識別率均高于LDA分類器。因此，該系統選取SVM作為分類識別分類器。

圖5 兩種分類器識別率對比

3.2 sEMG對虛擬廚房動作實時控制結果與分析

利用MAV和小波變換進行特征提取，將兩通道特征值再次進行特征融合，變成六維特征值，并利用四名被試者肌電數據分別進行分類器模型訓練。其中握拳控制虛擬廚房中開門動作，屈腕控制擦桌子動作，伸掌控制切菜動作，伸腕控制開油煙機動作。然后分別對四名被試者進行實時控制測試，實驗場景如圖6所示，廚房界面及動作時實時肌電信號如圖7。通過雙通道肌電信號采集，該系統能有效識別出4種動作的實時肌電信號，平均識別結果如圖8，其中開門識別率為87.5%，擦桌子識別率為91.25%，切菜識別率為93.75%，開油煙機識別率為88.75%。4種動作平均識別率為90.31%，可對虛擬廚房動作進行實時控制。

圖6 雙通道實時控制測試圖

圖7 廚房動作與對應肌電信號

圖8 4種動作平均識別率對比

4 結束語

本文研究并實現了利用手臂肌肉表面肌電信號對虛擬現實場景中廚房相關動作進行實時控制。通過對手臂尺側腕伸肌和尺側腕屈肌位置握拳、伸掌、屈腕、伸腕4種動作肌電信號采集和分割，選取時域特征MAV和4階AR模型系數以及時頻特征小波系數奇異值作為特征值。通過對比，MAV與a3,d3層小波系數奇異值特征融合后分類效果最佳，離線分類正確率可達94.5%。利用以上兩種特征提取方式分別與LDA分類器和SVM分類器結合，經過對比，最終將SVM分類器用于系統中，對實時肌電信號動作識別。最終實現了雙通道肌電信號對4種虛擬廚房動作的控制，平均識別率為90.31%。該系統可用于需要進行肌肉康復訓練的患者，通過完成在廚房中做菜的過程來完成康復訓練。這不僅為患者增加樂趣，而且虛擬廚房場景有很強的沉浸感，更加貼近于真實生活場景，能使患者積極參加訓練，更加有利于康復。