基于層次分類的手機位置無關的動作識別

王昌海 許昱瑋 張建忠

?

基于層次分類的手機位置無關的動作識別

王昌海 許昱瑋*張建忠

(南開大學計算機與控制工程學院 天津 300350)

使用智能手機中集成的加速度傳感器識別用戶日常動作在慣性定位、個性化推薦、運動量評估等領域有重要的應用。手機位置不固定導致的動作識別率低下是該領域面臨的主要問題。為了提高手機位置不固定時的動作識別率，該文提出一種基于層次分類的動作識別方法。該方法將動作識別分為多層，每一層包含一個分類器。在訓練某一層分類器時，首先根據本層訓練樣本集進行特征選擇并訓練分類器。然后使用訓練得到的分類器對訓練樣本分類，并計算分類結果的可信度。最后通過對低可信度的樣本進行剪枝得到下層分類器的訓練樣本。對未知類別的樣本分類時，首先使用第1層分類器分類。如果分類結果可信度較高，則分類結束；否則使用下層分類器分類，直至所有分類器遍歷完。實驗部分通過對采集的動作數據進行仿真，驗證了該文方法的有效性。結果表明，與單層分類器相比，該方法可以將動作識別率由85.2%提高至89.2%。

動作識別；加速度傳感器；層次分類；特征選擇

1 引言

在過去的幾十年中，基于加速度傳感器的人體動作識別一直是工業界及學術界的研究熱點[1]。研究者通過加速計獲取人體運動過程中的加速度數據，并使用這些數據預測走路、跑步、上下樓等動作。該方面的研究成果被廣泛的應用于日常運動量的評估[2]、老年人的健康監控[3]等商業產品。近幾年，越來越多的移動終端中集成了加速度傳感器，所以基于智能手機的人體動作識別成為新的研究熱點。在這方面的研究中，手機位置不固定導致的動作識別率低是存在的主要問題。有效區分易于混淆的動作是提高動作識別率的關鍵。

當前，在解決動作識別時手機位置不固定問題上主要有兩種思路：其一，在動作識別之前先檢測手機的佩帶位置，然后基于不同的佩帶位置識別人體動作[4,5]；其二，在訓練數據中添加大量的不同位置的訓練數據，以提高分類器的泛化能力，降低手機位置的影響[6,7]。其中文獻[8]指出，第2種思路總體表現好于第1種思路，而通過改進分類器提高動作識別率是一種重要方法。

層次化分類方法已經有諸多研究[9,10]，其核心思想為將復雜分類問題分解為易分類的子問題。當前方法有一個共同特點，即通過組合易混淆的類別構建層次分類結點，以達到增大類間距離、縮小類內距離、提高分類效果的目的[9]。然而，手機位置無關動作識別實際上是一個多模態學習問題，其數據分布有兩個特點。其一，同類樣本在線性空間中呈多區域聚集；其二，類間部分區域樣本混淆嚴重。該數據分布特點決定了，基于類間劃分的層次分類方法不適用于本文問題。

本文使用智能手機識別日常動作，識別的動作包括走路、跑步、上樓、下樓、靜止5種。為了提高手機位置不固定時動作識別的識別率，本文提出一種基于層次分類的動作識別方法。實驗表明，與單層分類器相比，該方法可以將動作的識別率由85.2%提高至89.2%，大約提高4%左右。

2 層次分類的動作識別方法

2.1層次分類方法的提出

根據當前的研究成果[8]，在訓練數據中增加不同位置的訓練數據，可有效降低手機位置的影響，但也使動作的整體識別率低于手機位置固定的情況。主要原因為，手機位于不同位置時不同動作采集到的加速度數據存在相似性。如手機位于褲兜中的跑步動作與手機拿在手中前后擺時的走路動作數據非常相似。分類過程中，較為相似的動作會處于分類邊界附近，分類器無法對其有效分類。但是，如果使用易混淆的樣本單獨訓練分類器，則該分類器在處理易混淆的樣本時，分類效果將會明顯提升。層次分類方法的主要流程如圖1所示，其中圖1(a)為層次分類的離線訓練，圖1(b)為動作的實時識別。

(a)離線訓練 (b)實時識別

如圖1(a)所示，構建層次分類器的第1步為對原始加速度數據提取特征以得到訓練樣本。為了盡可能提高某一層分類器分類效果，需要根據本層訓練數據獲取合適的樣本特征。Relief算法[11]是一種基于樣本間距離計算的特征選擇算法，它根據類間樣本和類內樣本間的距離計算特征的權值，得到最優特征。該方法非常適合層次分類器設計中的特征選擇問題。

特征選擇后，使用選擇的特征子集及訓練樣本構建本層分類結點。本文以ELM為基分類器構建分類結點。本層分類器構建完成后，需要選擇部分本層分類器分類效果不好的樣本訓練下層分類器。根據文獻[6]，ELM的分類結果中包含了樣本屬于不同類別的權值，使用權值計算得到的可信度可以近似作為評估該樣本分類難易程度的標準。所以在篩選過程中，首先使用本層分類器對本層訓練樣本分類，并計算分類結果可信度，然后選擇可信度較低的樣本作為下層分類器的待選訓練樣本集。下層結點重復該過程，直到訓練樣本集為空。

如圖1(b)所示，在實時識別階段，分類的第1步為讀取首層分類結點信息，包括分類器參數、特征集和標簽集。然后根據本層分類結點的特征集對動作數據進行特征提取，并使用本層分類器對動作進行分類。如果分類結果的可信度大于指定閾值，則結束分類過程；否則調用下層分類器重復該過程。詳細的實時識別方法將在2.4節中介紹。

2.2特征選擇

首先給出幾個基本定義。

定義1 加速度數據窗口定義為順序到來的合成加速度序列，用表示，其中為窗口中第個合成加速度值，為窗口大小。

根據文獻[6]，本文特征包括均值、標準差、能量、平均交叉率、波動次數、3個四分位數、最大值、最小值、角度特征[7]、功率譜密度(Power Spectral Density, PSD)的4個幅度特征和4個形狀統計特征、128維傅里葉變換特征。

基于Relief[11]的特征選擇算法如表1的算法1所示。

表1訓練集特征選擇算法

算法的核心部分為第6到21步，該過程計算每一個特征的權值，并根據權值大小決定是否保留該特征。權值的計算方法為，首先在所有樣本中隨機選擇一個樣本，記為(第9步)；然后在每一個類的樣本中分別找出距離該樣本最近的個樣本，保存在集合中(第10到12步)；最后，使用式(1)更新該特征的權值(第13步)。

得到某一特征的權值后，如果該值大于預先設定的特征選擇閾值，則保留該特征，并在訓練樣本集的特征向量中保留相應特征的值；否則，應該刪除該特征及相應的值。第18行中表示樣本集中的第個樣本的特征向量，表示樣本集中第個特征向量的第維特征值。進行特征選擇后，為的子集，其勢記為,中樣本的特征維數為。

2.3 層次分類器的訓練

首先給出分類結點和層次分類器的定義。

層次分類器的訓練算法如表2的算法2所示。

在訓練一層分類器時，首先提取適合本層分類的特征。然后使用特征選擇后的樣本集訓練本層分類器，得到分類器參數集，此時即可構建本層分類結點。本層分類結點構建完成后，第6到13步為篩選下層分類器的訓練樣本。進行數據篩選時，首先使用本層分類器對本層訓練樣本分類，并得到每一個樣本的可信度，可信度計算方法如式(2)和式(3)所示[6]。

(3)

表2層次分類器的訓練算法

2.4動作的實時識別

動作的實時識別是指根據實時采集到的原始加速度數據得到所屬動作的過程，層次分類器的實時識別算法如表3的算法3所示。

表3層次分類器的實時識別算法

至此層次分類算法的核心步驟已經介紹完成。表4對幾個重要閾值的意義做了簡要概括。

表4層次分類算法中閾值的含義

3 實驗

3.1 數據采集

針對本文研究的問題，當前的公開數據集主要存在以下兩個問題：其一，傳感器佩帶位置太少，如SCUT-NAA[12]等；其二，傳感器位置不適用于手機場景，如PAMAP, PAMAP2[13]等。在仿真之前，我們采集了適用于本文場景的數據集。本文中使用小米2S作為數據采集的設備。在采集過程中，實驗者將手機放置在不同的身體位置，做不同的動作。通過對日常行為習慣的分析，本文預設了8個常見的手機佩帶位置，如圖2所示。

圖2 數據采集過程中手機的佩帶位置

采集的動作包括走路、跑步、上樓、下樓、靜止5種。數據采集過程中，采集到的數據自動保存在手機的存儲設備中。所有動作的數據采集完成后，將數據復制到PC上對算法進行仿真。使用長度為256的半重疊的滑動窗口對原始動作劃分窗口并提取特征后，樣本數如表5所示。

根據算法需求，數據被隨機平均分成兩部分。一部用于訓練層次分類器，另一部分用于測試分類器的識別率。其中，5種動作的標簽按順序分別設置為1~5。在仿真中，首先使用訓練樣本訓練層次分類器，然后使用分類器對每測試樣本分類。分類后統計識別正確與錯誤的樣本個數，識別正確的樣本數與總樣本數的比例為最終的動作識別率。數據劃分與算法仿真重復執行100次，以降低數據隨機性的影響。

表5不同位置的動作樣本數

跑步上樓下樓靜止走路總計 位置1230176162176185929 位置2178160161181180860 位置3195164162192176889 位置4195166161166180868 位置5186168163169176862 位置6195157161177172862 位置7215162162172186897 位置8179160162190172863 總計157313131294142314277030

3.2 分層閾值與剪枝閾值的影響

算法2中預先設定了兩個閾值，分別為分層閾值和剪枝閾值。對于分層閾值來說，如果該值設定較大，會導致下層分類器的訓練數據中有較多易于分類的樣本，達不到提高分類效果的目的；如果該值設定太小，又會導致下層分類器訓練樣本不足，同樣會降低分類效果。對于剪枝閾值來說，如果該值設定較大，會使得層次分類器層數較少，不能體現該方法的優勢；如果該值設定太小，又會導致分類器泛化能力降低及數據傾斜問題。本節中通過實驗分析兩個參數，并選擇最優值。圖3和圖4中分別畫出了分層閾值與剪枝閾值取不同值時，動作識別率和分類器層數的灰階圖，其中特征選擇時選擇權值最大的15個特征。

圖3和圖4中方塊顏色越深值越大。如圖3所示，當兩個參數指定的區域位于右下角時，動作的識別率較低。其主要原因為，當訓練完第1層分類器后，滿足分層閾值的訓練樣本皆被剪枝操作剪掉，導致整個分類器只有一層(如圖4中的右下角淺色區域所示)。此時，無法體現本方法的優勢。當兩個參數指定的區域位于左上角時，動作的識別率有不同程度的提升(如圖3左上角)。此時，由于分層閾值較大，且剪枝閾值較小，分類器的層數逐漸增大(如圖4中的左上角)。正是由于分類過程被分成了不同的層次，動作的識別率才有了提升。

觀察圖4可以發現，右上角有一片分類器層數超過10的區域。但是此時的動作識別率并不是最高。其主要原因為，當分層閾值較大且剪枝閾值較小時，本層分類器的大部分訓練樣本會被選擇進行下層分類器的訓練。但是此時選擇出來的樣本中存在非常多易于分類的樣本，使用這些訓練樣本訓練下層分類器會降低下層分類器對易混淆樣本的分類能力，從而導致總體識別率略有降低。鑒于分類器層數較多時分類過程的時間消耗較大，本文取分層閾值為0.5、剪枝閾值為0.2，此時分類器層數為3。

3.3實驗結果分析

3.3.1分類器結點分析 表6中列出了分類器的結點信息。從表6中可得，第1層分類結點的剪枝操作將靜止動作剪掉，第2層分類結點包括跑步、上樓、下樓和走路4種動作。第2層分類結點在剪枝時，又將跑步和走路兩個動作剪掉，第3層分類結點只包括上樓與下樓兩種動作。

圖3 分層閾值和剪枝閾值對動作識別率的影響 圖4 分層閾值和剪枝閾值對分類器層數的影響

表6層次分類器的結點信息

標簽訓練樣本數特征集 第1層(1,2,3,4,5)[793,660,651,642,689]均值、標準差、能量、平均交叉率、最大值、最小值、第1四分位數、第3四分位數、PSD幅值的均值、PSD的4個形狀統計特征、FFT的第3,7維特征 第2層(1,2,3,5)[277,482,473,287]標準差、能量、平均交叉率、波動次數、角度特征、PSD幅值的均值和偏度、PSD的4個形狀統計特征、FFT的第3,4,6,7維特征 第3層(2,3)[331,296]平均交叉率、最大值、最小值、第1四分位數、波動次數、角度特征、PSD幅值的方差、偏度和峰度、PSD形狀統計特征的偏度和峰度、FFT的第4,6,7,8維特征

表7不同方法的動作識別率(%)

位置1位置2位置3位置4位置5位置6位置7位置8平均提高 Fea14783.185.680.881.875.386.069.163.478.1 FeaS89.888.287.691.780.187.275.781.385.27.1 FeaSL93.689.587.993.689.690.082.886.689.24.0

與訓練集對應，不同層的特征集也有較大差異。主要表現為部分特征(如均值、最大值等)在第1層分類結點中表現較好，而其它特征(如波動次數、角度特征等)在第2, 3層分類結點中表現較好。其主要原因為，第1層結點中包含靜止動作，而均值、最大值、最小值等特征對區分靜止動作效果較好。第2, 3層分類結點包含一些難區分的動作樣本，這些樣本使用均值等特征難以區分。但此時波動次數與角度等特征對區分不同動作效果較好。正是由于不同層分類結點使用了不同的特征，才使得最終的動作識別率有較大提高。

3.3.2不同方法識別率對比 表7列出了不同方法的識別率。其中，Fea147為文獻[6]中的方法；FeaS為進行特征選擇后，使用單層分類器的方法；FeaSL為本文中的方法。

對比表7中的Fea147和FeaS可以得到，特征選擇對于提高動作的識別率效果非常明顯，大約提高7%。其主要原因為，大部分特征由于不同動作的數值相近，在分類過程中起到了反作用。進行特征選擇后，大部分無用特征被刪除，其余的有效特征提高了動作的識別率。對比FeaS和FeaSL可得，使用層次分類后，動作的識別率也有較大的提升，大約提高了4%。其主要原因為，使用易于混淆的動作訓練得到的分類器，可以有效對易混淆的動作分類。圖5中畫出了層次分類過程中，第1層分類器錯誤的識別結果被下層分類器修改正確和正確的識別結果被修改錯誤的樣本數。

從圖5中可以看出，靜止動作的樣本數為0。其主要原因為，該動作在第2層分類結點的訓練樣本篩選過程中被剪掉。與靜止動作相比，其它4種動作的樣本數量較多，其中下層分類器將識別結果修改正確的樣本數遠多于修改錯誤的樣本數。正是由于下層分類器對易混淆樣本出色的分類能力，才使得總體動作識別率有大幅提高。

圖5 下層分類器將結果修改正確與修改錯誤的測試樣本數

3.3.3不同方法時間消耗對比 本節主要分析在線識別是不同方法的時間消耗情況。不同方法不同步驟的時間消耗如表8所示。

表8不同步驟時間消耗情況(ms)

縮寫階段含義時間 t0Fea147中提取147維特征時間0.9116 t1FeaS和FeaSL提取第1層分類器特征時間0.8613 t2FeaSL中提取第2層分類器特征0.0220 t3FeaSL中提取第3層分類器特征0.0102 t4147維特征情況下ELM分類時間0.0879 t515維特征情況下ELM分類時間0.0417

根據以上幾個部分時間的定義，不同方法在線識別的總時間消耗如表9所示。

表9中計算FeaSL的時間時引入了兩個參數2和3，分別代表進入第2層和第3層分類器的樣本比例。不同階段的時間消耗使用這兩個參數加權平均得到。使用本文實驗數據統計得到這兩個值分別為62.3%和35.5%。對比表9中的Fea147和FeaS可得，進行特征選擇后，總時間消耗有所降低，約降低了9.6%。主要原因為特征的減少使得特征提取時間和分類時間皆有所降低。對比FeaS和FeaSL可得，由于部分樣本需要多層分類器分類得到最終結果，所以分層后的時間消耗大約增加了6.4%。

但是實際應用中FeaSL的時間消耗與日常生活中動作的比例相關。當前研究[14]表明，一天中人體的大部分動作為坐、躺等靜止動作，這些動作使用第1層分類器即可完成分類。所以實際應用中，FeaSL的時間消耗會有所降低，并接近于FeaS。

表9不同方法在線識別階段時間對比

特征提取ELM分類總時間(ms)變化(%) Fea147t0t41.000 FeaSt1t50.903-9.6 FeaSLt1+ r2t2+r3t3t5(1+r2+r3)0.9616.4

4 結束語

本文提出基于層次分類的動作識別方法。該方法遵循Fisher準則，通過降低類內距離提高動作識別率。實驗部分使用公開數據集驗證了方法的有效性。在未來的研究中，可以針對動作識別的個性化問題、多傳感器融合等問題進行研究，以提高復雜場景下的動作識別率。

[1] ANDREAS Bulling, ULF Blanke, and BERNT Schiele. A tutorial on human activity recognition using body-worn inertial sensors[J]., 2014, 46(3): 1-33.

[2] CHIANG Junghsien, YANG Peiching, and TU Hsuan. Pattern analysis in daily physical activity data for personal health management[J]., 2014, 13: 13-25.

[3] SINZIANA Mazilu, ULF Blanke, MORAN Dorfman,. A wearable assistant for gait training for parkinson’s disease with freezing of gait in out-of-the-lab Environments[J]., 2015, 5(1): 1-5.

[4] PARK Jungeun, AIM Patel, DOROTHY Curtis,. Online pose classification and walking speed estimation using handheld devices[C]. The 2012 ACM Conference on Ubiquitous Computing, Pittsburgh, PA, USA, 2012: 113-122.

[5] JORGE Luis Reyes Ortiz. Smartphone-based human activity recognition[D]. [Ph.D. dissertation], Polytechnic University of Catalonia, 2014: 97-114.

[6] CHEN Yiqiang, ZHAO Zhongtang, WANG Shuangquan,. Extreme learning machine-based device displacement free activity recognition model[J]., 2012, 16(9): 1617-1625.

[7] WANG Changhai, ZHANG Jianzhong, LI Meng,. A smartphone location independent activity recognition method based on the angle feature[C]. International Conference on Algorithms and Architectures for Parallel Processing, Dalian, China, 2014: 179-191.

[8] SEYED Amir Hoseini-tabatabaei, ALEXANDER Gluhak, and RAHIM Tafazolli. A survey on smartphone-based systems for opportunistic user context recognition[J]., 2013, 45(3): 1-27.

[9] 張靜, 宋銳, 郁文賢, 等. 基于混淆矩陣和 Fisher 準則構造層次化分類器[J]. 軟件學報, 2005, 16(9): 1560-1567.

ZHANG Jing, SONG Rui, YU Wenxian,. Construction of hierarchical classifiers based on the confusion matrix and Fisher’s principle[J]., 2005, 16(9): 1560-1567.

[10] 高洪波, 王洪玉, 劉曉凱. 一種基于分層學習的關鍵點匹配算法[J]. 電子與信息學報, 2013, 35(11): 2751-2757. doi: 10.3724/SP.J.1146.2013.00347.

GAO Hongbo, WANG Hongyu, and LIU Xiaokai. A keypoint matching method based on hierarchical learning[J].&, 2013, 35(11): 2751-2757. doi: 10.3724/SP.J.1146.2013.00347.

[11] 張翔, 鄧趙紅, 王士同, 等. 極大熵 Relief 特征加權[J]. 計算機研究與發展, 2015, 48(6): 1038-1048.

ZHANG Xiang, DENG Zhaohong, WANG Shitong,. Maximum entropy relief feature weighting[J]., 2015, 48(6): 1038-1048.

[12] XUE Yang and JIN Lianwen. A naturalistic 3D acceleration- based activity dataset & benchmark evaluations[C]. International Conference on Systems Man and Cybernetics, Istanbul, Turkey, 2010: 4081-4085.

[13] ATTILA Reiss. Personalized mobile physical activity monitoring for everyday life[D]. [Ph.D. dissertation], Technical University of Kaiserslautern, 2014: 111-127.

[14] HENAR Martin, ANA M Bermardos, JOSUE Iglesias,. Activity logging using lightweight classification techniques in mobile devices[J]., 2013, 17(4): 675-695.

王昌海： 男，1987年生，博士生，研究方向為動作識別、移動情景感知等.

張建忠： 男，1964年生，教授、博士生導師，主要研究方向為移動計算、移動情景感知、網絡安全等.

許昱瑋： 男，1985年生，博士、講師，主要研究方向為移動計算、無線車載網絡等.

Hierarchical Classification-based Smartphone Displacement Free Activity Recognition

WANG Changhai XU Yuwei ZHANG Jianzhong

(,,300350,)

Human activity recognition based on accelerometer embedded in smartphones is wildly applied to inertial positioning, personalized recommendation, daily exercise estimating and other fields. The low recognition rate which caused by varying phone displacement is a crucial problem which needs to solve. To improve the recognition rate when the phone’s displacement is unfixed, a hierarchical classification-based activity recognition method is proposed. The activity recognition process is divided into multiple layers in this method, and each layer contains a classifier. For training each layer’s classifier, it runs the feature selection algorithm first, and the classifier is trained based on the selected features. Then, the trained classifier is used to classify the training set, and each sample’s classification confidence is calculated. Finally, samples whose confidence is lower than the hierarchical threshold are selected as the next layer’s training set. This process continues until each activity’s sample number is less than the predefined pruning threshold. When an unlabeled sample comes, the first layer is used to classify this sample. If the classification confidence is higher than the hierarchical threshold, the recognition is over. Otherwise, the next layer will repeat this process until all the layers are traversed. The experiment collects activity data, and simulates the activity recognition. The simulation show that compared with the current methods, this method may improve the recognition rate from 85.2% to 89.2%.

Activity recognition; Accelerometer; Hierarchical classification; Feature selection

文獻標識碼：A 文章編號：1009-5896(2017)01-0191-07

10.11999/JEIT160253

2016-03-17；改回日期：2016-08-01；

2016-09-30

許昱偉xuyw@nankai.edu.cn

天津市重大科技專項(13ZCZDGX01098)，天津市自然科學基金(16JCQNJC00700)

The Key Project in Tianjin Science & Technology Pillar Program (13ZCZDGX01098), The Natural Science Foundation of Tianjin (16JCQNJC00700)