在線半監督Kohonen網絡的預抓取手勢識別

張 莉，田彥濤，徐卓君

（1.吉林大學 儀器科學與電氣工程學院，吉林 長春130061；2.吉林大學 通信工程學院，吉林 長春130025；3.吉林省教育部仿生工程重點實驗室，吉林 長春130025）

在線半監督Kohonen網絡的預抓取手勢識別

張 莉1，田彥濤2，3，徐卓君2

（1.吉林大學 儀器科學與電氣工程學院，吉林 長春130061；2.吉林大學 通信工程學院，吉林 長春130025；3.吉林省教育部仿生工程重點實驗室，吉林 長春130025）

為實現智能仿生手的抓取，提高模式識別的實時性和靈敏性，提出一種在線半監督Kohonen網絡。該網絡針對表面肌電信號（sEMG）的特性，在有監督Kohonen網絡基礎上，將有監督和無監督網絡的優勢進行結合，應用數據剪輯方法處理訓練集更新識別網絡，在線識別側邊抓取、球形抓取、三指精確抓取和圓柱形抓取4種預抓取手勢。實驗表明，與不同Kohonen網絡相比，此識別方法具有很好的在線識別能力和正確率。

手勢識別；表面肌電信號；在線半監督；Kohonen網絡；數據剪輯

0 引言

人手是人類與自然界接觸與交流的工具[1]，而智能仿生手，即康復型仿生手，主要是用于改善困事故等原困造成手部缺失或無法正常使用的傷殘人員生活質量的機器手。在機器人研究領域，研究者研制的各種面向既定環境的工業機器人末端執行器[2]，不具有普遍適用性。表面肌電信號(Surface Electromyography，sEMG)是一種從人體骨骼表面通過電極引導、記錄下來的復雜的生物電信號[3]，該信號困其無創性，被廣泛應用在臨床、運動和康復醫學領域[4]。該信號是從皮膚表面通過電極引導、記錄下來的神經肌肉系統活動時的生物電信號，能夠實時、準確地和在非損傷狀態下反映肌肉活動狀態和功能狀態[5]。

模式識別是智能仿生手功能實現過程中的一個重要步驟，其中神經網絡困其較強的容錯能力和自適應學習能力而被國內外研究者廣泛應用。卜峰[6]等人應用 BP神經網絡實現5種手掌動作模式的識別。李東潔[7]等針對數據手套手勢識別問題，提出基于PSO改進的BP神經網絡的手勢識別方法，取得了理想的識別效果。Kohonen網絡作為一種自組織型網絡，算法簡單，聚類時間短，在模式識別中應用較為廣泛。困此本文針對sEMG的特性，提出一種基于權值優化的 Kohonen網絡的在線半監督網絡，在有限標記數的情況下進行訓練數據的更新與添加，從而提高模式識別的在線識別能力，在線進行側邊抓取、球形抓取、三指精確抓取和圓柱形抓取4種預抓取手勢識別實驗。對比不同識別方法的實驗結果，本文提出的在線識別網絡具有很好的實時性和識別正確率。

1 預抓取手勢

觀察日常生活中人手可以完成的多種功能，可以將其分為姿態和抓取兩種模式。為實現仿生手的抓取功能，提出對預抓取模式進行識別。人手作為日?；顒又械闹匾巧?，其本身具有很多的自由度和很高的復雜度，困此想要完成適用于廣大傷殘人員的商業化智能仿生手，首先需要嘗試對人手所表現出的多種動作模式進行簡化。人手在實現物體抓取的過程中可以劃分為預抓取與抓取實施兩個階段，其中在預抓取階段，很多手勢動作模式具有一定的相似性，同時忽略物體大小的影響，歸納出如圖1所示的4種預抓取模式。

圖1 4種預抓取模式

2 在線半監督Kohonen網絡

有監督網絡在具有完善標記樣本前提下可以十分準確地進行各種手勢識別，若要進行在線識別則具有極大局限性，同時忽略了可以隨意得到的未標記樣本的重要性?？紤]實際使用中標記樣本不足及sEMG易受環境影響的情況，在有監督 Kohonen網絡（記為 SK網絡）和權值優化的有監督 Kohonen網絡（記為 ISK網絡）[8]基礎上，提出在線半監督網絡，既可以降低人工標記工作量，又可以有效利用大量無標記樣本。

該半監督網絡首先根據少量標記樣本進行訓練，然后在識別的過程中增加訓練樣本，隨時調整網絡，提高仿生手的易用性。

(1)對部分樣本進行標記，記為 F1；其余樣本作為測試樣本集FN。

(2)少量樣本集F1作為訓練樣本，建立一個ISK網絡，對FN進行分類并預測標注。

(3)更新訓練樣本集 F2=F1+(k-1)×ΔF和測試樣本集FT=FN-(k-1)×ΔF，進行 k(k≥2)次循環預測，第k-1次循環預測得到FT標注，ΔF為新訓練集中已標注的樣本增量。

(4)對未標記樣本是否標記完畢進行判斷，是則學習結束，否則返回(2)。

在網絡更新過程中，具有明確標記的樣本仍占少數，訓練出的分類器無法保證具有較高精度，預測標記中誤標記的情況將會持續產生并反復累計，降低分類器識別能力。為提高網絡更新中訓練集質量，提出應用Vazquez F[9]等人提出的 WilsonTh數據剪輯算法，即在每次對測試樣本進行預測后，檢測更新的訓練樣本集，找出異樣樣本，經過判別進行剔除或重新標記。

(1)利用兩個樣本間的距離與其類別相同可能性成正比的最鄰近規則。具有n個樣本、m個類別的樣本集X={(x1，y1)，(x2，y2)，…，(xn，yn)}，式(1)描述樣本 x屬于 y的概率 Py(x)，式(2)表示經過同類間歸一化后的結果。

其中，k表示樣本x最鄰近樣本集 K的樣本數；dist表示距離計算；表示最近鄰居中第j個樣本屬于y類概率，屬于則等于1，否則為 0。

(2)利用式(3)對x屬于樣本y類的可能性進行判斷，滿足則剔除該樣本X=X-{x}，否則保留。

根據Blum和Mitchell等人提出的Co-training算法[10]，結合有監督和無監督網絡的優勢，有效利用可以隨時取得的大量無標記樣本，建立如圖2所示的在線半監督Kohonen網絡，實時進行數據監測。

每次對一個未標記樣本進行識別預測后，將SK網絡的識別結果作為判定ISK網絡識別結果是否正確的標準。若識別一致則將未標記樣本及其預標記類別一并送入集合S，當集合S中數據達到指定容量N時，對該集合進行一次數據剪輯，S′=WilsonTh(S)，刪除誤標記樣本，并將剪輯后的集合S′合并到原已標記樣本集L中，L=L∪S′，形成新的訓練樣本集更新網絡 H1和H2進行識別。

3 實驗結果及分析

對比實驗使用MQ8表面肌電采集系統采集sEMG，每種手勢動作持續重復 100次，間隔時間為 1 s，并對采集到的信號進行預處理與特征提取。

SK網絡，每種動作的特征中隨機抽取 40組，其中前20組、4種動作共計80組組成識別網絡的訓練集，其余80組組成測試集。網絡設置：輸入層m=4，競爭層m×n= 6×6，輸出層 g=4；輸入層與競爭層間學習速率 0.01＜rate1＜0.1；競爭層與輸出層間學習速率0.5＜rate2＜1；鄰域0.4＜r＜1.5；訓練次數N=1 000；權值ω初始化為小于1的隨機數。某次SK網絡識別結果見圖3。

圖2 在線半監督Kohonen網絡

圖3 某次SK網絡識別結果

ISK網絡，訓練數據、測試數據、網絡結構與 SK網絡相同，權值ω進行權值優化。某次ISK網絡識別見圖4。隨機5次SK、ISK網絡識別結果如表1所示。

從表1中可以看出，在具有完善有標記樣本的前提下，有監督網絡在sEMG的預抓取手勢識別中具有很好的識別能力。應用這樣的SK和ISK網絡建立BK網絡，分別設已標記樣本數為3、5、7，隨機抽取每種手勢模式40組，4種手勢共計160組組成測試集，隨機進行5次測試，某次BK網絡識別如圖5。隨機進行5次識別結果如表2。

圖4 某次ISK網絡識別結果

表1 SK/ISK網絡識別結果

圖5 某次BK網絡識別結果

表2 已標記為3/5/7的BK網絡識別結果

綜合分析3種不同已標記樣本情況下的識別結果可知，本文提出的在線半監督識別方法可以很好地實現4種預抓取手勢模式的識別，同時根據已標記樣本個數的增加，識別率也會隨之提高，且網絡趨于穩定。與SK網絡和ISK網絡比較，識別率雖然沒有有監督網絡的理想，但提出的在線半監督網絡只要確保實驗人員在完成相同模式時的大體一致性，就基本可以忽略環境的細微變化，進行在線的sEMG手勢識別，有利于智能仿生手的實現，具有更好的實用性。

4 結論

本文首先根據人手在日常生活中可能完成的抓取動作，簡化后歸納出4種預抓取手勢模式：側邊抓取、球形抓取、三指精確抓取和圓柱形抓取，并對其進行sEMG的采集、預處理、特征提取和模式識別。在模式識別的過程中，針對sEMG的自身特性，結合無監督和有監督識別網絡優勢，將數據剪輯算法應用于識別網絡更新中，從而提出一種基于有監督網絡的在線半監督 Kohonen識別網絡，并進行預抓取手勢識別的對比實驗。實驗表明，提出的在線半監督Kohonen網絡針對預抓取模式的sEMG具有較高且穩定的在線識別能力，驗證了基于sEMG的智能仿生手功能實現的可行性。

[1]李素蕊，于毅，董兵超，等.基于腦機接口技術下仿生手結構設計及分析[J].電子測試，2014，24：113-115.

[2]Bicchi.Hand for dexterous manipulation and robust grasping：a difficult road toward simplicity[J].IEEE Trans.Robot.Autom，2000，16(6)：652-662.

[3]趙漫丹，李東旭，范才智，等.基于肌電信號層級分類的手部動作識別方法[J].北京生物醫學工程，2014，33(5)：490-496.

[4]羅志增，任曉亮.表面肌電信號測試中工頻干擾的抑制[J].儀器儀表學報，2005，26(2)：193-195，210.

[5]吳冬梅，孫欣，張志成，等.表面肌電信號的分析和特征提取[J].中國組織工程研究與臨床康復，2010，14(43)：8073-8076.

[6]卜峰，李傳江，陳佳佳，等.基于 ARM的肌電假肢手控制器[J].上海大學學報（自然科學版），2014，20(4)：442-449.

[7]李東潔，李群祥，張越，等.基于 PSO改進的 BP神經網絡數據手套手勢識別[J].電機與控制學報，2014，18(8)：87-93.

[8]Zhang Li，Tian Yantao，Li Yang.Hand gesture recognition of sEMG based on modified Kohonen network[C].2011 International Conference on Electronics，Communications and Control，ICECC 2011-Proceedings，Ningbo，2011：1476-1479.

[9]VAZQUEZ F，SANCHEZ J S，PLA F.A stochastic approach to Wilson′s editing algorithm[J].Pattern Recognition and Image Analysis，2005，3523：35-42.

[10]AVRIM B，TOM M.Combining labeled and unlabeled data with co-training[C].Proceedings of the Annual ACM Conference on Computational Learning Theory，Madison，1998：92-100.

Prefetching gesture recognition based on online semi supervised Kohonen network

Zhang Li1，Tian Yantao2，3，Xu Zhuojun2
(1.College of Instrumentation and Electrical Engineering，Jilin University，Changchun 130061，China；2.College of Communication Engineering，Jilin University，Changchun 130025，China；3.Key Laboratory of Bionic Engineering Ministry of Education，Jilin University，Changchun 130025，China)

In order to realize the grasp of intelligent bionic hand，and improve the timeliness and sensitivity of pattern recognition，a semi supervised Kohonen network is presented in this paper.According to the characteristics of surface electromyography (sEMG)，the network combines the advantages of supervised and unsupervised network，and applies the data editing method to handle the training set，then to update the identification network based on the supervised Kohonen network.The presented network is used to identify the four prefetching patterns online:lateral，spherical，fingertip and cylindrical.Experiments show that，compared with the different Kohonen network，the recognition method has a good ability to identify online and correct rate.

gesture recognition；surface electromyography；online semi supervised；Kohonen network；data editing

TN911.72

A

10.16157/j.issn.0258-7998.2015.07.016

張莉，田彥濤，徐卓君.在線半監督Kohonen網絡的預抓取手勢識別[J].電子技術應用，2015，41 (7)：57-60.

英文引用格式：Zhang Li，Tian Yantao，Xu Zhuojun.Prefetching gesture recognition based on online semi supervised Kohonen network[J].Application of Electronic Technique，2015，41(7)：57-60.

2015-04-22)

張莉（1987-），通信作者，女，博士研究生，主要研究方向：信號處理與分析，E-mail：zhangli0830@jlu.edu.cn。

田彥濤（1958-），男，教授，博士生導師，主要研究方向：分布式智能系統研究。

徐卓君（1983-），女，博士研究生，講師，主要研究方向：生物醫學信號處理與模式識別。