體感手環控制幻燈片翻頁方法及裝置設計

，

(華南理工大學廣州學院 電氣工程學院，廣州 510800)

0 引言

微軟公司PowerPoint軟件設計的演示文稿PPT課件，在學校教室或者實驗室的課堂多媒體教學中普遍使用[1]。通過計算機鍵盤或鼠標可以對PPT幻燈片進行放映，對上一幻燈片或下一幻燈片進行翻頁控制等，但在實際應用中，為了達到更好的教學互動效果，教師往往并不是一直對著計算機進行操作，而是需要遙控PPT幻燈片的翻頁等，于是用于教學的激光筆應運而生，很好地解決了遙控PPT幻燈片翻頁的問題[2]。在教師課堂講授過程中，需要始終手握激光筆，對于需要雙手配合的復式手勢講解重點和難點知識的情景，嚴重阻礙了教師手勢講解等方面傳情達意的作用。針對這些問題，本文運用體感技術中的慣性感測設計了一種體感手環教學控制系統，不需要手握任何設備就可以進行計算機PowerPoint軟件遙控翻頁，把教師的雙手回歸到教學手勢的講解和演示，有效緩解手握激光筆對教學現場氛圍的影響，促進教學效果的提升。

1 體感手勢動作識別方法

體感技術根據感知方式與原理的不同，主要可分為慣性感測、光學感測以及慣性與光學聯合感測三類[3]。體感手環教學控制系統應用慣性感測技術，只需要教師佩戴體感無線手環，對教師特定手勢動作的識別，即可遙控幻燈片翻頁，從而能夠讓教師在課堂上真正把雙手解放出來，用于教學的手勢輔助講解和演示，給予師生最大程度的溝通和交流，從而提高教與學的效果。

1.1 手勢動作定義

教師授課過程中可能會出現各種各樣的手勢動作，但只有特定的被定義了的手勢動作才會用于系統的控制，所以必須嚴格定義手勢動作。手勢動作必須具有操作簡單、容易重復、便于學習和記憶、可靠識別等原則和特點，本系統定義了如表1所示的兩種手勢動作，分別用于控制PowerPoint軟件向上和向下翻頁。

1.2 手勢動作信號感知與預處理

手勢動作由6軸運動處理組件MPU6050傳感器采集數據。MPU6050里面集成了3軸陀螺儀和3軸加速度計，與分立傳感器組合相比，具有體積小，精度高，兩種傳感器軸間差小等優點，特別適用于穿戴式電子產品。

表1 模擬燃料組件測量實驗

1.2.1 手勢信號感知與預處理原理

在角度測量時，除了手勢動作有效角度變化的信號外，還伴隨著因講解過程中各種手勢動作而產生的噪聲，這個噪聲會隨著不同的使用者而不同。微處理器通過多次重復得到陀螺儀的角速率數據，這樣的處理方法存在累積漂移誤差，不適合長久單獨工作。為了減少手勢動作信號的誤差，采用加速度計和陀螺儀的信號進行融合[4]，通過一種簡易的姿態解算和卡爾曼濾波算法進行數據處理，從而得到最優手勢動作的加速度值、角速度值和角度值。信號感知與預處理原理如圖1所示。

圖1 信號感知與預處理原理

1.2.2 手勢動作姿態解算

對教學過程中手勢動作采用普通的姿態角進行解算，主要是基于三軸加速度的值進行三角函數運算等簡單的姿態解算原理。

首先從MPU6050的加速度計中分別獲取X軸、Y軸、Z軸三個方向數據，如式(1)所示：

(1)

得到數據后進行轉化，根據MPU6050加速度轉化公式(2)進行量化：

(2)

從而得到加速度值，取值范圍0～1，即多少個重力加速度(g)。之后用反三角函數進行運算，弧度制的角度計算公式如式(3)所示：

(3)

計算得到弧度制的角度X，再乘180除以π即可得到X軸的角度值A_Ax，同理可分別計算得到Y軸和Z軸的角度值。

1.2.3 卡爾曼濾波算法

因為加速度計是震動敏感型傳感器，對于持續測量更為擅長，而陀螺儀輸出的數據是多少度一秒，據此進行積分，對于短暫測量更為合適。加速度計和陀螺儀相互取長補短，可以得到短時間內動作的姿態。

以姿態角度值和陀螺儀輸出的角速率偏差為系統狀態變量，通過綜合考慮兩個傳感器數據的共同作用，構建標準形式的離散狀態方程：

X(k)=AX(k-1)+BU(k-1)+W(k-1)

(4)

式(4)中，X(k)是狀態變量，A、B分別是系統矩陣和控制輸入矩陣，U(k-1)是陀螺儀在k-1時刻輸出的角速率，W是系統高斯白噪聲。

為降低直至接近沒有傳感器的零漂誤差和積分誤差，通過加速度計獲取的角度值Z(k)對姿態角調整，也就是數據融合，構建標準形式的量測方程：

Z(k)=HX(k)+V(k)

(5)

式(5)中，H是量測矩陣，V(k)是量測高斯白噪聲。在式(4)和式(5)的基礎上，結合經典的卡爾曼濾波理論，編寫簡單程序實現數值計算的迭代過程。首先由k-1時刻的最優估計值來預測當前時刻的狀態值[5]：

X(k|k-1)=AX(k-1|k-1)+BU(k-1)

(6)

式(6)中，X(k-1 |k-1)是k-1時刻系統的最優估計值，X(k|k-1)是k時刻的初步預測值。預測誤差的協方差用P(k|k-1)表示，則有：

P(k|k-1)=AP(k-1|k-1)AT+Q

(7)

式(7)中，P(k|k-1)是X(k|k-1)對應的協方差，P(k-1 |k-1)是X(k-1 |k-1)對應的協方差，Q是系統噪聲協方差。然后由初步預測值X(k|k-1)，結合當前時刻的測量值Z(k)即可得到當前時刻的最優估計值[6]：

X(k|k)=X(k|k-1)+Kg(k)[Z(k)-HX(k|k-1)]

(8)

式(8)中，Kg(k)是卡爾曼增益，可表示為：

(9)

式(9)中，R是量測噪聲協方差。為了讓運算可以自動迭代下去，還需要更新當前時刻最優估計值的協方差[6]：

P(k|k)=[I-Kg(k)H]P(k|k-1)

(10)

式(10)中，I是1的矩陣。當運行到k+1狀態時，P(k|k)就是式(7)中的P(k-1|k-1)，所以，程序自回歸地繼續運算。

卡爾曼濾波是一種遞歸的估算，就是一個先進行估計，再根據實際測量的值對卡爾曼參數進行修改，最后再算誤差。比方說估算k+1時刻手勢動作的實際角度值，首先要根據k時刻的角度值來預測得到k+1時刻的角度值，這就是先進行估計；再根據k+1時刻的預測角度值和高斯噪聲的方差，進行遞歸運算，調整參數，直到獲得最優的手勢動作角度值[4]。

1.3 手勢特征提取

在定義好手勢動作的基礎上，經過手勢動作信號感知與預處理得到加速度值、角速度值和角度值，接下來如何準確提取描述手勢動作特征的物理量則是核心問題，并且必須合理去除用戶的一些無意識的誤動作的手勢，提高有效手勢動作凸顯存在差異的運動學特性。本文通過手勢起終點、手勢長度、手勢能量[7]、波峰數等四個特征，分析手勢動作的有效性。

1.3.1 手勢起終點

一個完整的手勢動作包括起點和終點，常態的時候，加速度和角速度輸出的數字量波動不大；當動作發生之后，加速度和角速度數字量會有明顯的變化，通過信號的差分衡量這兩個信號單位時間內改變了多少，即可作為本次手勢動作起點和終點的判斷依據。假設第k點的加速度差分為△αk，第k點的角速度差分為△ωk，則：

△αk=|αxk-αxk-1|+|αyk-αyk-1|+|αzk-αzk-1|

(11)

△ωk=|ωxk-ωxk-1|+|ωyk-ωyk-1|+|ωzk-ωzk-1|

(12)

通過連續采樣多個數據來降低環境噪聲和用戶手勢抖動引起的冗余數據，假設采樣個數為N，則取N點加速度差分值的平均值Mαk和角速度差分值的平均值Mωk分別如式(13)和(14)所示：

(13)

(14)

當Mαk和Mωk同一時間或者很接近，并滿足分別大于加速度和角速度檢測閾值時，判斷i為手勢起點；同理，當Mαk和Mωk分別小于加速度和角速度檢測閾值時，判斷i為手勢終點，從而實時截取有效手勢動作的信號數據。

1.3.2 手勢長度

一次有效手勢動作持續時間的長短稱為手勢長度。手勢長度L的計算如式(15)所示：

L=t終點-t起點

(15)

一般情況下，一次有效手勢動作信號持續的時間長度為0.3～1 s之間，對應信號的頻率為1～4 Hz，信號的采樣頻率為100 Hz，綜合處理器的數據處理能力，采用三階巴特沃斯低通濾波器減少高頻噪聲[8]，保證有效手勢動作的信號數據的獲得。

1.3.3 手勢能量

一次有效手勢動作在運動過程中的劇烈程度稱為手勢能量[7]。手勢動作沒開始之前，手勢能量在不同頻段內的分布較為均衡；當手勢動作發生之后，由于手勢能量及主要信息均集中在低頻部分，因此手勢能量在不同頻段內的分布隨時間變化持續呈現不均衡現象。通過分別計算從手勢起點到終點的所有三軸加速度、角速度之和，即可得到手勢能量，分別如式(16)和(17)所示：

(16)

(17)

式(16)中，L為有效手勢長度；αxi，αyi，αzi分別是X，Y，Z軸的加速度值，gxi，gyi，gzi分別是重力加速度g在加速度傳感器X，Y，Z軸的分量；式(17)中，ωxi，ωyi，ωzi分別是X，Y，Z軸的角速度值。

一般情況下，一次有效手勢動作的手勢能量明顯過大或者過小，均可認為是誤操作手勢動作。

1.3.4 手勢波峰數

通過計算X，Y，Z軸的波峰數之和，從而得到波峰數，波峰數P計算如式(18)和(19)所示：

Pα=Pαx+Pαy+Pαz

(18)

Pω=Pωx+Pωy+Pωz

(19)

式(18)中，Pαx，Pαy，Pαz分別為傳感器X，Y，Z軸加速度波峰數；式(19)中，Pωx，Pωy，Pωz分別為傳感器X，Y，Z軸角速度波峰數。從中可看出，重點是計算每一個坐標軸的波峰數。

首先找出該軸信號與橫軸的所有交點，然后在相鄰兩交點之間計算該信號的絕對值，并找出最大值點，如果該值點大于預設的某個閾值，則判斷該點是一個波峰，累計波峰的個數即可得到該軸的波峰數，進而計算得到加速度波峰數和角速度波峰數。

一般情況下，一次有效手勢動作的波峰數不為0[9]，否則可認為很可能是誤動作手勢而不予處理。

2 體感手環控制幻燈片翻頁裝置設計

為了實現對算法有效性和準確率的測試和應用，設計了體感手環控制幻燈片翻頁系統，本系統主要由體感無線手環和教學接收裝置組成。

2.1 體感手環控制系統設計

體感無線手環用于識別手勢動作，并把控制代碼通過無線數據模塊發送出去，教學接收裝置接收到代碼并通過USB接口傳輸給計算機[10]，從而控制Page Up和Page Down按鍵，實現對PowerPoint軟件上一頁和下一頁的翻頁功能，系統結構圖如圖2所示。

圖2 體感手環控制系統結構圖

2.2 手勢動作傳感器MPU6050電路設計

在體感無線手環中， MPU6050分別采集X軸、Y軸和Z軸的電壓數據，然后通過自帶的16位A/D轉換器轉換成數字信號，測量范圍達±16 g，能夠精確檢測小于1.0°的傾斜角度變化。MPU6050原理圖如圖3所示。圖中芯片供電電源為3.3 V，數據SDA和時鐘SCL相互配合，與微控制器I/O端口連接，實現數據的串行傳輸，用于實時采集手勢動作數據。

圖3 MPU6050原理圖

2.3 教學接收裝置設計

教學接收裝置主要由無線數據模塊、微控制器芯片、USB鍵盤接口芯片和顯示模塊組成。各個模塊的供電電源由計算機USB接口的5 V電源提供。硬件原理框圖如圖4所示。微控制器采用基于8051內核的IAP15W4K58S4芯片，該芯片自動適應寬電源電壓范圍，簡化了硬件電路的設計；USB鍵盤接口芯片通過矩陣掃描的形式獲取所按下的按鍵功能，使用光電耦合器隔離，再與微控制器I/O端口相連，從而實現Page Up和Page Down按鍵功能，控制計算機PowerPoint軟件翻頁。

圖4 教學接收裝置硬件原理框圖

3 系統測試結果與分析

使用軟件Altium Designer對電路原理圖和PCB進行設計，經過打樣、焊接與調試等環節，再經過多次參數調整與修正，直至系統能夠正常穩定地工作。隨機以一節45分鐘理論課為測試時間段，該節課講授了教學PPT課件共計18個頁面，教學過程中根據回看需要向上翻頁4次，向下翻頁過程中出現1次不成功，因此重復了一次向下翻頁的動作，共計23次，教學過程中沒有出現誤動作的現象，測試數據如表2所示。

根據實際測試數據，體感無線手環可以正確識別向左或向右一揮的手勢動作，教學接收裝置基本能夠有效可靠接收并控制PowerPoint軟件，完成向上或向下翻頁的功能，達到良好的教學效果。

表2 隨機抽樣一節課測試數據

4 結束語

本文針對教師課堂教學中，需要手握激光筆遙控PowerPoint幻燈片翻頁的問題，提出體感手環控制幻燈片翻頁的方法，重點對手勢動作定義、手勢信號感知與預處理和手勢特征提取等算法展開研究，并通過體感無線手環和教學接收裝置的原理設計和測試，進行手勢識別算法有效性和準確率的驗證。實驗證明體感手環教學控制系統在課堂教學中可以有效地識別教師遙控幻燈片翻頁的手勢動作，能夠可靠控制PowerPoint向上或向下翻頁，把教師的雙手回歸到教學手勢的講解和演示，促進教學效果的提升。