一種基于菲涅耳區和深度學習的WiFi手勢識別方法

冉凌鎛,張 雷,劉曉文

1(中國礦業大學 信息與控制工程學院,江蘇 徐州 221008)

2(中國礦業大學 物聯網(感知礦山)研究中心,江蘇 徐州 221008)

3(徐州工程學院 信息工程學院,江蘇 徐州 221008)

4(中國礦業大學 電氣工程學院,江蘇 徐州 221008)

0 引 言

古往今來,手勢是一種被廣泛應用的交際方式.近年來,為了滿足當今社會智慧化發展的需求,以用戶為核心的手勢識別技術相繼出現,建立起了人與智能設備之間的橋梁,成為了人機交互技術的熱點研究方向[1].當前,手勢識別技術主要是通過傳感器[2,3]和攝像機[4,5]等設備來實現的.然而,基于傳感器設備的手勢識別技術受到了佩戴方式的制約,給用戶的生產生活帶來了極大的不便;基于計算機視覺的手勢識別技術受到光照等自然因素的影響較大,在非視距或光線較暗的地方無法使用或識別精度較低,并且存在一定的隱私隱患.隨著物聯網和人工智能等技術的興起,使得過去僅用于無線通信的WiFi信號逐漸被用于無線感知,為手勢識別技術的發展創造了新的條件[6].

基于WiFi信號的手勢識別技術主要以信號強度指示(Received Signal Strength,RSSI)和信道狀態信息(Channel State Information,CSI)為主.早期,Abdelnasser等人[7]提出了WiGest系統,構建了以RSSI為基礎信息的手勢簇,通過二進制模型實現了大幅度的手部運動檢測,但是RSSI抗干擾能力較低,隨著信號的傳播會發生嚴重衰減,因而僅適用于粗粒度的室內定位和行為監測等應用.2010年,Halperin等人[8]公開發布了CSI-tool工具,使得CSI信息能夠從商用WiFi設備中直接提取.與RSSI相比,CSI的粒度更細,信道分辨率更高[9].Li等人[10]提出了WiFinger系統,首次實現了對數字文本輸入的高精度識別,但是該系統沒有充分地利用相位信息.He等人[11]提出了WIG系統,在視距和非視距條件下實現了對4種揮手動作的判別,準確率達到了88%.Zhou等人[12]提出了DeNum系統,采用了4層神經網絡和支持向量機實現了數字手勢的識別.周啟臻等人[13]提出了SIL-Fi系統,采用了卷積神經網絡與長短時記憶網絡結合實現了人員行為的特征提取和分類,準確率達到了94%.雖然上述研究在手勢識別領域取得了一定的進展,但是仍存在不足之處,主要有以下3點:1)沒有提出一種能夠量化手勢運動與CSI波形變化之間關系的物理模型;2)手指的反射信號受噪聲和多徑干擾嚴重,導致深度模型難以提取到關鍵的運動特征;3)采用傳統的機器學習算法和淺層的神經網絡提取的特征都難以準確地描述復雜的手指變化.

針對以上問題,本文通過菲涅耳區模型精確地刻畫了手勢的變化,然后采用一系列數據預處理方法提高了高噪聲環境下CSI信息的顯著性,在此基礎上,充分利用了所有鏈路的子載波信息,通過多尺度卷積神經網絡和編解碼網絡萃取出了高維的時空域特征,從而實現了高精度的手勢識別.實驗證明,該方法對不同的環境和人員具有較強的魯棒性.

1 手勢識別物理模型

1.1 CSI

正交頻分復用(OFDM)將整個無線信道的數據流劃分到多路正交子載波進行傳輸,多輸入多輸出(MIMO)實現了多天線同步收發數據,因此OFDM-MIMO系統[14,15]保證了CSI信息具有較強的抗干擾能力、較高的信道容量,使得CSI對手指的運動變化更加敏感.CSI是指通信鏈路的信道屬性,描述了無線信號在信道上的信號散射、環境衰落和距離衰減,屬于物理層的細粒度信息.CSI信息可以從商用WiFi設備中獲取,每條通信鏈路上包含30個子載波,每個子載波由多個數據包組成,單個數據包可表示為:

H(f)=|H(f)|∠H(f)

(1)

式中,f表示信號頻率;H(f)表示振幅;∠H(f)表示相位.

1.2 菲涅耳區模型

菲涅耳區研究了電磁波的干涉和衍射現象,揭示了手指的運動位移與信號變化模式之間的映射關系.在小尺度衰落模型中的平坦衰落中,接收信號Y在頻域上可表示為:

Y=HX+Z

(2)

式中,X表示發射信號;Z表示高斯白噪聲;H表示信道狀態矩陣.由于室內多徑效應的影響,接收端將會收到不同時延的同源多路信號.因此,無線信號的信道頻率響應(Channel Frequency Response,CFR)可表示為:

(3)

式中,e-jθoffset表示相位誤差;N表示傳播路徑總數;ak(f,t)表示路徑k的振幅衰減;e-j2πfτk(t)表示路徑的相位偏移.根據路徑分解模型[16]可知,總的CFR可分解為動態路徑的CFR和靜態路徑的CFR,可表示為:

H(f,t)=e-jθoffset(Hs(f,t)+Hd(f,t)

(4)

式中,Hs(f,t)表示靜態路徑分量;Hd(f,t)表示動態路徑分量.

如圖1(a)所示,P1、P2表示收發機的位置;Qn表示第n個橢圓邊界上的點,以收發機為橢圓的焦點可組成n個同心橢圓,稱為菲涅耳區,第n個菲涅耳區上的一點可表示為:

圖1 CSI菲涅耳區模型Fig.1 CSI Fresnel zone model

|P1Qn|+|P1Qn|-|P1P2|=nλ/2

(5)

式中,λ表示子載波的波長.

當手勢處于Q1時,動態路徑信號與視距信號的行程差為λ/2,由行程差引入的相位偏移為π,同時手勢反射引入的相位偏轉為π,則兩路信號產生的相位差為2π;以此類推,當手勢處于Q2時,兩路信號產生的相位差為3π.由此可知,當手勢切割菲涅耳區變化過程中,兩路信號會不斷出現相干疊加和相干相消的現象,使得CSI將呈現出類正弦波的形式變化.為了驗證菲涅耳區能精確地量化手勢運動,此環節召集了一名志愿者站在菲涅耳區內做前后推拉的動作.如圖1(b)所示,信號的波峰和波谷交替出現,有效地印證了手勢切割菲涅耳區時CSI波形的變化.由于不同的手勢切割菲涅耳區的方式不同,產生的CSI也有所區別,因此可作為手勢的判別依據.

2 數據預處理

由于環境因素和硬件設備本身不完善的原因,原始的CSI數據中存在噪聲和相位誤差.若不對其進行處理,將會影響后續的特征提取和分類效果.

2.1 CSI商模型

CSI相位誤差是由于收發機之間時鐘不同步引起的,過去的研究采用線性變換法[17]來消除誤差,計算過程相對繁瑣,僅能獲取相位的線性變化量,不能提取真實的相位值.

因為本文采用的Intel 5300網卡具有相同的采樣頻率和射頻振蕩器,所以每條接收天線上具有相同的相位誤差項.CSI商模型[18]是指將每條接收天線上的CSI信息兩兩進行相除,即振幅相除和相位相減,此過程能夠直接消除相位誤差,并且也可以濾除部分的環境噪聲和多徑信號,其數學表達式為:

(6)

式中,對于天線1而言,H1(f,t)表示總的CFR,Hs1(f,t)表示靜態分量的CFR,Hd1(f,t)表示動態分量的CFR;對于天線2而言,H2(f,t)表示總的CFR,Hs2(f,t)表示靜態分量的CFR,Hd2(f,t)表示動態分量的CFR.對其進一步分解,可表示為:

(7)

式中,d1(t)、d2(t)分別表示天線1和天線2上反射路徑的行程,Δd表示二者的行程差,可視為常量;A1(f,t)、A2(f,t)分別表示天線1和天線2的振幅;e-j2πd1(t)/λ、e-j2πd2(t)/λ表示天線1和天線2的相位偏移.為了更容易說明,此處將公式(7)化簡為:

(8)

式中,a表示A1(f,t);b表示Hs1(f,t);c表示A2(f,t)e-j2πd1(t)/λ;d表示Hs2(f,t);z表示e-j2πd1(t)/λ.假設d1(t)≥λ,z可視為以順時針旋轉的單位圓,(bc-ad)/c2可視為振幅的伸縮變換,a/c和d/c可視為平移變換.因此,手指變化可以直接用復平面映射來表示,當反射路徑的長度大于或等于一個波長時,CSI商在復平面內呈現出一個圓的變化趨勢;當反射路徑的長度小于一個波長時,CSI商在復平面內以圓弧的形式變化.其中,當靜態分量大于動態分量時,圓弧以順時針方向旋轉;反之,圓弧以逆時針方向旋轉.

如圖2(a)所示,灰色點表示原始的相位分布,分布相對混亂,無法直接用于特征提取;黑色點表示CSI商之后的相位差,波動更加穩定.如圖2(b)所示,原始振幅含有大量的環境噪聲,完全覆蓋了手勢的變化;如圖2(c)所示,經過CSI商之后的振幅有效地凸顯了手勢的變化.由此說明了CSI商模型有效地消除了相位誤差和部分環境噪聲.

圖2 相位誤差和環境噪聲的處理過程Fig.2 Elimination of phase error and environmental noise

為了能夠清晰地對比手勢在復平面中的變化,此環節通過實驗測試了手指左滑和右滑.如圖3所示,兩種手勢不僅在復平面內的始末點均有差異,圓弧的旋轉方式也略有不同.由此證明了經過CSI商之后的數據能夠有效地展現手勢明顯的變化,而且無需過多地關注靜態分量的影響.

圖3 CSI在復平面的變化Fig.3 Change of CSI in complex plane

2.2 子載波去趨勢

當手指運動時,子載波普遍會呈現出不同程度的趨勢變化,使得CSI信息的斜率大于或小于零,導致CSI信息存在向上或向下偏移的趨勢,增加了后續特征提取的難度.因此,需要將直流信號從CSI數據流中消除.假設經過CSI商后的一條子載波為h(n),經過離散傅里葉變換可得:

(9)

式中,K表示數據包長度.當f=0時,可得到直流分量H(0).因此,可用初始信號與直流信號相減消除趨勢項.如圖4所示,離散傅里葉變換有效地消除了CSI數據中的趨勢項.

圖4 去趨勢后的振幅Fig.4 Amplitude after detrending

2.3 離群值濾波

無論手勢處于靜止或是運動狀態,采集的CSI數據不可避免地會產生異常值,又稱離群值,它是指偏離原始數據波形的少量數據點.因此,本文采用Hampel濾波器消除這些異常值.假設去趨勢后子載波可以表示為:

H′(f)=[H1,H2,H3,…,HK]

(10)

式中HK,表示第K個數據包的振幅或相位.

Hampel濾波器是根據子載波的均值μ和絕對偏差σ確定波動范圍,將波動范圍之外的數據點作為離群點濾除,可確定的波動區間為[μ-rσ,μ+rσ].如圖5所示,Hampel濾波器有效地消除了異常值的干擾.

圖5 離群值濾波后的振幅Fig.5 Amplitude after outliers filtering

2.4 小波閾值去噪

為了消除硬件的內部噪聲干擾,本文對上述處理后的數據進行小波閾值去噪.假設經過上述處理后的子載波h(t)中的有用信號為s(t),噪聲信號為e(t),數學表達式為:

h(t)=s(t)+e(t)

(11)

對公式(11)進行離散小波變換,可得到:

(12)

式中,φa,b(t)表示小波基函數,其中a和b分別表示平移因子和伸縮因子.離散小波變換后的子載波可由此簡化為:

Ha,b=Sa,b+Ea,b

(13)

式中,Ha,b表示離群值濾波后的信息;Sa,b表示低頻的近似系數;Ea,b表示高頻的細節系數.為了消除細節系數中的高頻噪聲,采用軟閾值函數,數學表達式為:

(14)

圖6 小波閾值去噪后的振幅Fig.6 Amplitude after wavelet threshold denoising

3 特征提取及分類

特征提取是整個手勢識別系統中非常重要的一部分,它是將CSI數據中具有代表性的信息檢索出來,使手勢具有更高的辨識度.相較于傳統的時頻域特征而言,比如方差、均方根、信號熵和絕對中位差等,神經網絡能夠自適應地挖掘與手勢高度相關的數字特征,不受人為因素的影響.

3.1 輸入矩陣構建

對于1發3收的天線對而言,每條天線均可接收到矩陣大小為1×3×30×K的振幅和相位信息.為了使模型能夠更加充分地提取特征,因此將3條天線振幅和相位整合成大小為180×K的矩陣.由于志愿者每次采集手勢樣本的耗時均不一致,因而樣本長度K也各不相同,無法直接輸入到神經網絡中.為了保證每個樣本矩陣的輸入長度相同,本文將對較短的樣本進行補零,較長的樣本進行截取.

3.2 空間特征提取

卷積神經網絡(Convolutional Neural Network,CNN)具有與人類視覺系統類似的感知特性,通過局部感知、權值共享和池化采樣可以提取到CSI的空間特征.CNN的卷積計算公式可以表示為:

(15)

圖7 空間特征提取Fig.7 Spatial feature extraction

如圖7(b)所示,ECA模塊的計算過程分為3步,具體過程如下:

Step1.采用全局平均池化壓縮空間上的特征信息,將大小為[W,H,C]的整個輸入特征圖壓縮為按通道排列的一串實數[1,1,C].

Step2.引入一個可以權值共享的一維卷積核進行學習,并采用ReLU函數將特征激活,為了保持通道數C不變,在卷積前進行padding,最后得到注意力權重:

w=σ(C1Dk(y))

(16)

式中,C1Dk(y)表示卷積操作,k表示卷積核大小;y表示經過降采樣后的特征向量.其中,k的取值與C有關,可表示為:

(17)

Step3.采用短路連接將注意力權重與輸入特征圖相乘,完成對特征通道的重新校準,其計算過程如下:

Y=Fscale(w,S)=w·S

(18)

隨著訓練的推進,普通的ReLU函數容易導致局部特征落入硬飽和區,使權值無法更新.為了解決這種神經元死亡的問題,本文均采用了LeakyReLU激活函數.

3.3 時序特征提取及分類

由于手勢在時間維度上具有前后關聯性,單一的ECA-1D-MS-CNN模型無法建立起時序上的依賴關系.針對此問題,本文提出了一種基于長短時記憶網絡(Long Short-Term Memory,LSTM)的多層編解碼網絡(Encoder-Decoder Network,EDN).一方面,LSTM網絡[20]能夠提取CSI信息的時域特征;另一方面,編解碼結構能夠在一定程度上消除無關的特征分量,提高特征的可用性.如圖8(a)所示,模型采用了4層LSTM作為編碼器,3層反卷積作為解碼器,然后采用了一維卷積對特征進行降維,最后采用全連接層和Softmax函數進行手勢分類.其中,解碼器中引入了自注意力機制(Self-Attention).此外,為了防止網絡加深所帶來的模型退化問題,引入了短路連接,其有兩點優勢:1)短路連接將深淺層映射相連,在前向傳播過程中,融合了淺層的細節信息和深層的語義信息,為不同層次特征的流動形成通路;在反向傳播過程中,將梯度直接引入底層,降低了模型退化的風險;2)短路連接能夠改變原有編解碼的拓撲結構,使得模型的連接關系更加稠密,特征提取更加充分.

圖8 時域特征提取Fig.8 Time domain feature extraction

如圖8(b)所示,LSTM網絡具有刪除和添加隱藏層狀態信息的能力,解決了傳統的循環神經網絡在反向傳播過程中的梯度消失和梯度爆炸的問題.其中,隱藏層狀態也稱為細胞狀態,是LSTM的核心,由遺忘門、輸入門和輸出門組成,其計算過程分為3步:

Step1.遺忘門的作用是對細胞狀態中的信息進行選擇性的遺忘,可以丟棄與手勢序列中與時間信息無關的數據,其數學表達式為:

fc=σ(Wf·[ht-1,xt]+bf

(19)

式中,Wf表示遺忘門權重矩陣;ht-1表示t-1時刻的隱藏層狀態;xt表示時刻的輸入序列;bf表示遺忘門偏置;ft表示遺忘門輸出.

Step2.輸入門將有用的信息選擇性的保留到當前的細胞狀態中,儲存并更新數據,其數學表達式為:

(20)

Step3.輸出門主要用于決定信息的輸出,即下一個細胞狀態的隱藏層輸入,其數學表達式為:

(21)

式中,Ot表示輸出門限;b0表示輸出門偏置;Wa表示輸出門權重矩陣;yt表示輸出特征矩陣.

自注意力機制[21]能夠根據手勢類別,通過特征之間的相似性關注重要的細節信息,提升模型的計算效率.如圖8(c)所示,相較于普通的注意力機制,自注意力機制對手勢特征之外信息的依賴更少,能夠更多地關注手勢本身的內部聯系,其計算過程分為4步:

Step1.將原始的特征圖映射到查詢向量(Query)、鍵向量(Key)和值向量(Value)3個分支,這3個向量是輸入的特征向量與3個權重矩陣相乘得到的,這些權重矩陣是隨機初始化的,這有助于學習內部特征圖的依賴關系.

Step2.將Query和第i個Key進行相似度計算,計算過程中對兩個向量進行點積,數學計算公式如下:

Similariyi(Query,Keyi)=Query·Keyi

(22)

Step3.將所獲得的分值采用Softmax函數進行歸一化處理,突出關鍵的特征元素,從而得到一個概率分布,即注意力權重,數學計算公式如下:

(23)

Step4.將權重系數和對應的Value加權求和,得到重新標注后的特征,數學計算公式如下:

(24)

4 實驗數據采集

4.1 實驗場景

本文分別在實驗室和會議室采集實驗數據.如圖9(a)所示,實驗室的長為8m、寬為5m,有沙發、書柜和書桌等物品,空間較為擁擠,多徑效應比較豐富;如圖9(b)所示,會議室的長為10m、寬為6m,有會議桌和投影儀等物品,空間較為寬敞.實驗召集了5名不同年齡、身高和體重的志愿者,采集了 6種空中書寫字母的手勢,分別是H、O、Z、W、V和A,獲取的數據集樣本總量為9000個,每類手勢的樣本量為1500個,數據采集歷時兩個月.此外,為了防止外界因素對實驗結果造成影響,采集數據時減少了無關人員的活動.在實驗中,訓練集和測試集以8∶2的形式進行分配,并根據測試集的準確率對本文方法進行性能分析.

圖9 實驗場景Fig.9 Experimental scene

4.2 實驗平臺

本文所用到的硬件設備由發射機(TX)和接收機(RX)組成.TX采用型號為D-LINK859的雙頻無線WiFi路由器;RX包含了3根接收天線和一臺微型計算機,微型計算機通過Intel 5300網卡與接收天線相連.其中,微型計算機安裝了Ubuntu14.04系統,通過CSI-tool工具采集實驗數據,并保存在后綴為.dat的文件中.

5 實驗分析

電腦配置:英特爾酷睿I7處理器,英偉達3060ti顯卡,顯存為8G,Windows10系統.其中,數據解析及預處理采用MATLAB2021a,深度學習算法采用PyTorch框架,PyThon3.7.

5.1 采樣頻率對識別精度的影響

為了驗證采樣頻率對識別精度的影響,本文在兩種不同的環境下進行實驗,設置的采樣頻率分別為100Hz、200Hz、400Hz、600Hz、800Hz和1000Hz.如圖10所示,隨著采樣頻率的增加,該方法的識別精度也隨之提升.這是由于手指引起的波形變化極其細微,更高的采樣頻率意味著CSI信息具有更高的手勢分辨率,使得獲取手勢特征更加準確,從而有助于提升識別精度.由于多徑效應的影響,該方法在實驗室中的識別精度略低于寬敞的會議室.因此,為了保證識別效果,本文將采樣頻率設置為1000Hz用于后續實驗.

圖10 不同采樣頻率的識別精度Fig.10 Accuracy of different sampling frequencies

5.2 相位信息對識別精度的影響

相位信息也具有描述手勢變化的能力,對準確率存在著一定的影響.為了驗證CSI信息的利用率對識別精度的影響,本文通過實驗測試了在兩種不同的環境下僅采用相位、僅采用振幅和同時采用相位和振幅時的感知效果.如圖11所示,將相位和振幅結合用于手勢識別的準確率均高于單獨使用振幅或單獨使用相位的情況.由此說明,振幅和相位互為補充,結合使用能夠有效地提升識別精度.

圖11 不同感知信息的識別精度Fig.11 Accuracy of different perceptual information

5.3 數據質量對識別精度的影響

雖然深度模型對外界干擾因素具有一定的魯棒性,但是噪聲和誤差等因素仍會對識別精度造成很大的影響.為了驗證數據預處理算法的有效性,本文將通過實驗對比分析預處理前后的數據用于手勢分類后的準確率.如圖12所示,將未經過預處理的數據用于手勢識別在兩種不同的場景下的平均準確率都相對較低,在實驗室為65.7%,在會議室為70.6%;相比之下,經過預處理后的數據用于手勢識別的平均準確率更高,分別為93.3%和95.1%.由此證明了本文設計的數據預處理算法有效地消除了外界因素的干擾,保留了與手勢相關的CSI信息,這也從側面反映了菲涅耳區模型的準確性.

圖12 數據質量對識別精度的影響Fig.12 Influence of data quality on accuracy

5.4 模型參數對識別精度的影響

5.4.1 優化器對識別精度的影響

優化器的作用是根據梯度信息不斷更新模型的權重,使損失函數逐漸逼近全局最小值.然而,不同優化器的尋優方式存在差異,從而對模型識別精度會造成不同程度的影響.為了尋找到適合該深度模型的優化器,本文將分析兩種比較優秀的優化算法對準確率的影響,分別是隨機梯度下降法(Stochastic Gradient Descent,SGD)和自適應動量估計法(Adaptive Momentum Estimation,Adam).

如表1所示,在相同的數據集下,采用SGD優化器的模型平均準確率為95.2%,采用Adam優化器的模型平均準確率為93.9%,相比之下,SGD優化器的識別性能更優.此外,SGD優化器達到最優狀態的訓練時長為10037秒,而Adam優化器達到最優狀態的訓練時長為11902秒.因此,為了保證識別效果,本文將設置SGD優化器用于后續實驗.

表1 不同優化器的識別精度Table 1 Accuracy of different optimizers

5.4.2 學習率和批量大小對識別精度的影響

學習率(Learning Rate)和批量大小(Batch Size)是深度模型最重要的兩個超參數,學習率決定了模型的收斂形式,批量大小與模型的泛化性能相關,二者直接影響了權重的更新.為了尋找到最優的學習率和批量大小,本文將通過實驗分析在學習率為0.0001、0.001、0.005和0.01及批量大小為16、32、64和128的情況下的識別精度.如表2所示,隨著批量的增大,模型的識別精度逐漸上升,這是因為批量越大,顯卡的內存利用率越高,樣本并行計算的效率也隨之提高;當學習率為0.001時,準確率最高,但是當學習率大于或小于0.001時,識別精度都相對較低,這是由于當學習率較大時,梯度容易在最小值附近振蕩,導致模型難以收斂,當學習率較小時,模型的尋優過程極其緩慢,容易發生過擬合.因此,在當前的硬件條件允許下,本文將設置批量大小為128和學習率為0.001用于后續實驗.

表2 不同的學習率和批量大小的識別精度Table 2 Accuracy of different learning rates and batch sizes

5.4.3 卷積核大小和樣本長度對識別精度的影響

在搭建1D-CNN時,選擇多大的卷積核和構建多大的輸入樣本都會對識別精度造成一定的影響.構建手勢樣本時,除了對數據量較少的樣本補零之外,還會對數據量較長的樣本進行截取,但是補零太多會增大計算量,截取太多會損失原有的手勢特征.為了驗證多尺度卷積核的有效性以及構建合理的樣本長度,本文將通過實驗對比分析卷積核大小和樣本長度對識別精度的影響.

如表3所示,與僅采用3×1、5×1和7×1卷積核的1D-CNN相比,1D-MS-CNN網絡的準確率更高,這是因為多尺度卷積核對手勢特征的覆蓋面更廣,特征提取更加充分;在此情況下,對比600、900、1200、1500、1800和2100的樣本長度可以發現,當樣本長度為1500時,準確率達到最高,而大于或小于1500時的準確率都相對較低,說明此時有效地平衡了手勢信息的完整性和模型的計算量.

表3 不同卷積核大小和樣本長度的識別精度Table 3 Accuracy of different convolutional kernel size and sample length

5.4.4 注意力機制對識別精度的影響

注意力機制能夠增強模型對關鍵手勢特征的聚焦能力,節省珍貴的計算資源.在此環節將通過實驗驗證注意力機制對識別精度的影響.如表4所示,無論在實驗室還是會議室,與未使用注意力機制的情況相比,融合注意力機制的1D-MS-CNN具有更高的識別精度;同時,與SE模塊相比,選用ECA模塊的識別精度更高,說明ECA模塊性能更強、計算效率更高,有助于增強1D-MS-CNN的特征提取能力.

表4 注意力機制對識別精度的影響Table 4 Influence of attention mechanism on accuracy

5.5 系統的魯棒性分析

5.5.1 人員朝向對識別精度的影響

由于人員朝向發生變化,手指切割菲涅耳區的路徑也會發生變化,導致手勢對CSI信息的影響程度也有所不同.為了驗證人員朝向對識別精度的影響,本文采集了5個方位上的手勢數據進行實驗分析,人員站立的方位如圖13(a)所示.如圖13(b)所示,當人體面向收發機時,阻礙了無線信號的傳播,接收機獲取的手勢信息較少,所以準確率較低;當人體面對的方向逐漸接近收發機之間連線的垂直方向時,接收機能夠獲取到更多來自于手勢的反射信息,手指位移與CSI波形變化之間的關系更加明顯,所以識別精度更高.總體來講,本文方法在不同的方位上仍然達到了88.4%以上的準確率,能夠適應不同方位上的手勢識別.

圖13 魯棒性分析圖Fig.13 Robustness analysis diagram

5.5.2 不同志愿者對識別精度的影響

因為不同志愿者的年齡、身高和體重等身體指標各有差異,所以相同類別的手勢數據也略有不同.為了驗證不同志愿者對識別精度的影響,本文采集了5名志愿者的手勢數據進行實驗分析.如圖13(c)所示,該方法對不同志愿者的手勢識別準確率均在93%以上.由此說明,該方法受身體指標因素的影響較小,對不同的人員具有較高的魯棒性.

5.6 系統的總體性能

5.6.1 不同深度模型對比分析

為了驗證算法的性能,此環節將在最優的條件下分別對比1D-MS-CNN、EDN和1D-MS-CNN-EDN的準確率.通過實驗分析得出,僅采用1D-MS-CNN時的準確率為92.4%,僅采用1D-MS-CNN時的準確率為93.6%,采用1D-MS-CNN-EDN的準確率為96%.其中,1D-MS-CNN-EDN的識別結果的混淆矩陣如圖14(a)所示,矩陣的行表示真實的手勢標簽,矩陣的列表示預測的手勢類別.由此看出,每種手勢的識別精度都相對較高,其中W的準確率最低,這是因為W的書寫過程相對復雜,容易與V產生誤判.因此,可以得出如下結論,1)單獨使用1D-MS-CNN和EDN均能夠較好地應對場景變化和個體差異,取得了優異的識別準確率;2)多尺度卷積神經網絡與編解碼網絡的融合保留了相鄰子載波之間的相似性,并兼顧了CSI信息時序上的依賴關系.

5.6.2 不同方法對比分析

為了進一步說明算法的性能,此環節將其與同類方案進行對比分析.如圖14(b)所示,與WiFinger、DeNum和SIL-Fi相比,該方法在實驗室和會議室均有更高的準確率.這是由于以上3種方案均不能充分地提取手勢特征.其中,WiFinger僅利用了振幅信息,通過時頻域特征分析難以適用于較大的數據集;DeNum和SIL-Fi采用淺層的神經網絡難以應對更復雜的場景和更細粒度的手指運動.此外,三者均未從物理模型的角度來量化手指運動與CSI模式變化之間的映射關系,并且對噪聲和誤差等干擾因素的處理也不夠充分.

6 結束語

本文在現有基于CSI的室內手勢識別方法基礎上,提出了一種基于菲涅耳區和深度學習的識別方法.根據無線信號的傳播特性,采用了菲涅耳區模型量化了手勢位移與CSI波形之間的關系;針對CSI數據受噪聲影響較大的問題,采用了CSI商模型、離散傅里葉變換、Hampel濾波器和離散小波變換等方法消除了噪聲和誤差等因素的影響;為了充分地提取多維度的手勢特征,結合了ECA-1D-MS-CNN網絡和LSTM-EDN網絡.實驗結果證明,該方法在多種情況下都具有較高的魯棒性和準確率.但是,該方法僅針對于單人的手勢識別,并且對環境具有一定的依賴性,后續將進一步研究一種能夠適應環境變化的多人手勢識別方法.