基于多特征學習融合級聯分類的跌倒識別

張 涵, 歐陽俊斌, 鄭榮佳, 蔡杰泉, 高 宇

(1. 華南師范大學物理與電信工程學院/廣東省心腦血管個體化醫療大數據工程技術研究中心, 廣州 510006; 2. 華南師范大學工學部電子與信息工程學院, 佛山 528234)

根據世界衛生組織關于老年人跌倒問題的報告[1],在65歲以上的老人中,每年發生跌倒的人數高達28%～35%;在70歲以上的老人中,每年發生跌倒的人數高達32%～42%。老年人在跌倒后,易出現骨折和暈厥等癥狀,如果不能及時發出報警信息并采取有效的醫療措施,跌倒老人的生命安全將會受到嚴重威脅。鑒于此,對老人的跌倒行為進行準確的檢測與識別具有重要的研究意義。

現有跌倒檢測的目標是準確及時地檢測老年人是否發生跌倒。在此基礎上,跌倒識別可以對不同跌倒姿態進行分類,對防跌倒環境設計更具有啟發性和針對性[2]。已有文獻[3]報道借助可穿戴終端實現實時跌倒檢測的技術方案,例如在老年人肢體末端佩戴如手表、手環等低負荷加速度傳感設備,實時測量老年人運動過程數據,結合數據處理方法,可實現面向不同姿態的跌倒檢測。從數據處理角度,跌倒檢測的主要方法包括閾值法、端到端深度學習和基于特征訓練的機器學習3類[4]。例如:ANDO等[5]研究了一種以合加速度和姿態角為特征量進行跌倒檢測的算法,該算法以閾值法為核心對跌倒行為進行檢測,但是存在虛報率高、性能不穩定的弊端;借助視頻分析技術,YU等[6]提出首先提取人體發生跌倒時的輪廓,在樣本標注的基礎上,將信息接入CNN深度模型進行自動訓練。但是在面向視頻動作檢測等復雜任務時,深度學習模型普遍對終端算力資源要求較高,因此部署到常規小型穿戴式設備的難度較大。

近年來,以特征為輸入的機器學習分類方案克服了閾值法性能不穩定的弊端,且方案的實現對終端處理需求不高[7-11],因此,對面向時間序列的跌倒事件提取有效特征,結合分類器實現高效訓練與跌倒檢測的方法被國內外學者廣泛關注。例如裴利然等[12]提出基于徑向基函數的SVM分類器實現跌倒檢測。然而,從跌倒類型多分類識別的角度,以特征為輸入的機器學習分類方案仍存在局限性。例如特征輸入的維度有限,不能完全包括區分不同跌倒方式的有效特征,導致在多任務決策時不同的跌倒方式的有效信息差異大。具體表現為:HUSSAIN等[13]面向SisFall數據集,基于腰部傳感特征分類15種跌倒事件檢測的準確率最高僅80.07%;而SYED等[14]將15種跌倒類型融合為向前、向后和橫向三大類后,分類準確率僅提升至92.14%?？梢?在面向跌倒識別多分類任務時,因不同任務下特征攜帶的有效信息成分存在顯著差異性,導致訓練過程中面向不同任務的收斂程度不相同,限制了分類器在面向多任務決策時的最優性能。

針對上述問題,本文基于特征決策開展跌倒多分類的研究。在傳統角速度、加速度及合加速度融合特征的基礎上,首先提出一種級聯分類的跌倒識別(Cascade Fall Recognition,CFR)方案,以解決因不同跌倒方式的訓練誤差反饋異同而導致類間無法充分收斂的問題;在保持較高分類性能的前提下,進一步提出一種低復雜度級聯分類的跌倒識別(Low-complexity Cascade Fall Recognition,LCFR)方案,以解決CFR方案分類復雜度高的弊端。最后,基于SisFall公開數據集[15],分別采用常規的跌倒識別方案(即使用單個多分類器的方案)、CFR方案、LCFR方案對正常、向前、向后和橫向4種行為分類,對比3種方案的F1-Score和訓練時間復雜度。

1 數據預處理

1.1 數據集分割

為更好地驗證方案的分類效果,研究采用SisFall開源數據集。該數據集樣本由23位19～30歲年輕人和16位60～75歲老年人構成,所有樣本均在腰部佩戴ADXL345加速度計、MMA8451Q加速度計和ITG3200陀螺儀進行運動數據采集。運動數據由人工標注,形成共15種跌倒行為標注,分別為:走路時向前滑倒(F1)、走路時向后滑倒(F2)、走路時橫向滑倒(F3)、走路時向前絆倒(F4)、慢跑時向前絆倒(F5)、走路時因暈倒發生垂直跌倒(F6)、用手扶桌子以抑制因暈厥發生的跌倒(F7)、試圖站起時向前跌倒(F8)、試圖站起時橫向跌倒(F9)、試圖坐下時向前跌倒(F10)、試圖坐下時向后跌倒(F11)、試圖坐下時橫向跌倒(F12)、坐下時因昏厥發生的向前跌倒(F13)、坐下時因昏厥發生的向后跌倒(F14)、坐下時因昏厥發生的橫向跌倒(F15)。每個樣本數據時長為15 s,其中跌倒行為數據主要由年輕人模仿老年人跌倒采集完成。

SisFall數據集中的跌倒行為分為失衡、失重、撞擊和靜止4個階段。根據統計分析可知,一個完整的跌倒時長平均約1.5 s,僅占每個標注樣本持續時長的10%。因此,為了減少單個樣本訓練時間,同時更加有效地捕捉跌倒行為產生的運動特征,本文采用基于5 s時間尺度進行特征提取,并參考文獻[16],通過設計分割間隔為2.5 s的滑動窗口對跌倒行為數據進行分割(圖1)。

圖1 特征提取滑動窗設計

1.2 數據類型融合

跌倒發生時,不同的跌倒方向可能會使身體的不同部位受到傷害[17]。鑒于SisFall數據集中15種跌倒類型的相似性,本文對15種跌倒類型進行基于方向性的融合。具體來講,借助傳感數據在特定跌倒方向所呈現差異的角度,將15種跌倒類型融合為向前、向后和橫向跌倒3種類型(表1)。

表1 融合后的跌倒類型Table1 Types of falls after fusion

2 跌倒識別方案

2.1 特征提取

對數據進行分割提取后的分析發現:在跌倒發生時,ADXL345加速度計和ITG3200陀螺儀輸出的數據在失重點、峰值等維度具有顯著差異性,如加速度的差異(圖2)。鑒于此,本文首先提取了與加速度、角速度及合加速度相關的43個特征(表2)。

表2 窗口特征量提取表Table 2 The feature extraction in a window

圖2 日常行為與跌倒行為的加速度圖

對特征提取后的樣本標注與Faisal Hussain相似,原始跌倒數據中需同時滿足合加速度最大值和最小值,否則標記為日常行為。按照以上的樣本標注規則,分別標注了17 262份日常行為樣本及3 440份跌倒行為樣本。

2.2 級聯分類的跌倒識別(CFR)方案

在特征提取的基礎上,本文對融合后的3種跌倒類型與日常行為進行四分類?；诜治隹芍?日常行為類別的分類邊界效應最顯著(F1-Socre=99.85%),而由于向后、向前、橫向跌倒類型的分類難度增加,這3類跌倒類型的F1-Score依次降低為96.76%、93.43%、89.05%。這意味著,面向表2中的3類跌倒行為進行直接分類,可能因不同跌倒類型的特征信息差異性、任務難度差異性等因素而無法得到最優的分類性能。

鑒于此,本文提出CFR方案,以解決因不同跌倒類型的分類難度和特征信息的差異性而導致分類性能受限的問題。具體來講,將日常行為、向前跌倒、向后跌倒、橫向跌倒四分類任務分解為三級級聯二分類任務。分類架構(圖3)為:第一級為日常行為與跌倒行為二分類;考慮到向后跌倒軀體的角度特征與其他跌倒姿態具有更大的差異性,第二級設計向后跌倒與其他跌倒類型(向前跌倒和橫向跌倒)的二分類;在區分向后跌倒事件的基礎上,最后在第三級對向前跌倒和橫向跌倒2種類型分類。以上級聯式分類充分考慮到運動特征在不同跌倒姿態下有效信息提取能力的差異性,借助分級分類,有效避免了在多分類任務中因類間特征有效信息的差異性導致的性能受限。本文所設計的CFR方案的具體流程見方案1。

圖3 CFR方案的分類架構圖

Input: Feature,ADL,FALL

Output: Classifieri(i=1,2,3)

Step 1: Label1={ADL,FALL}

Step 2: Label2={FALL_Backward,Other_FALL}?FALL

Step 3: Label3={Fall_Frward,Lateral_FALL}?Other_FALL

Step 4:

fori=1,2,3 do

Classifieri=Train(Feature,Labeli)

end for

2.3 低復雜度級聯分類的跌倒識別(LCFR)方案

級聯分類的跌倒行為識別方案雖然可以顯著提高跌倒行為識別的效果,但伴隨著分類的時間復雜度增加,對終端處理能力需求也相應提高[18]。為了保持較高的跌倒識別準確率,同時又不占用過多的終端資源,本文提出一種基于特征重要性降維的低復雜度級聯分類的跌倒識別(LCFR)方案,其中特征重要性降維處理過程如圖4所示。首先,依據特征重要性對分類器的特征進行降序排列;然后,基于蒙特卡洛數據仿真,選擇特征貢獻度前60%的特征集進行訓練。借助以上經驗特征降維,預期將顯著降低級聯分類器的時間復雜度。LCFR方案的具體流程如方案2所示。

圖4 特征重要性降維處理

方案2LCFR方案。

Input: Feature,ADL,FALL

Output: Classifieri(i=1,2,3)

Step 1: Label1={ADL,FALL}

Step 2: Label2={FALL_Backward,Other_FALL}?FALL

Step 3: Label3={Fall_Forward,Lateral_FALL}?Other_FALL

Step 4:

fori=1,2,3 do

Contribute=Feature_Important(Feature,Labeli)

Descending_order(Contribute1,Contribute2,…,ContributeN)

Classifieri=Train(Dimension_Feature,Labeli)

end for

3 實驗結果與分析

3.1 實驗設置

為了更好地評估模型在跌倒識別中的分類性能,本文采用精確率(Precision)、準確率(Accuracy)、F1-Score、召回率(Recall)、損失值(Loss)和分類器訓練時長為評價指標:

Loss=-(ylogp+(1-y)log(1-p))。

3.2 CFR方案和LCFR方案結果分析

3.2.1 CFR方案 使用常規的跌倒識別方案(即使用單個RF四分類器的方案)對日常行為、向前跌倒、橫向跌倒和向后跌倒4種類型進行分類,訓練集與測試集的比例是7∶3。由分類結果(表3)可知:日常行為和向后跌倒的F1-Score都比較高,分別達到了99.85%和96.76%;向前跌倒和橫向跌倒的F1-Socre較低,僅93.43%和89.05%。

表3 常規的跌倒識別方案測試結果Table 3 Test results of conventional fall recognition scheme %

從常規的跌倒識別方案輸出的混淆矩陣(圖5)可以看出,向前跌倒與橫向跌倒的混淆度比較高,但是日常行為和向后跌倒的混淆度比較低,主要由樣本數量分布不均衡造成。在合并后的數據集中,日常行為、向前跌倒、向后跌倒、橫向跌倒的數據分別有17 262、1 584、686、1 170份,由此推測,日常行為的數據得到了比較充分的訓練,而跌倒行為的數據量比較少,從而導致訓練效果下降。

圖5 常規的跌倒識別方案輸出的混淆矩陣圖

為了提高3種跌倒類型的分類效果,將級聯分類器應用在跌倒識別中。在對分類器進行級聯之前,將每個層級的數據集分別導入SVM、KNN、RF分類器進行訓練,然后根據分類準確率,在每個層級中選擇最佳的分類器,從而使最終級聯分類的準確率最高。由訓練結果(表4)可知:RF分類器在每個層級中的分類準確率均最高,分別為99.67%、98.45%和95.04%。對3個RF分類器進行級聯構成CFR分類方案后,重新對日常行為、向前跌倒、橫向跌倒和向后跌倒4種類型進行四分類任務。由測試結果(表3,表5)可知: CFR方案對4種行為的分類效果明顯優于常規的跌倒識別方案。另外,由圖6可知:向前跌倒和橫向跌倒2類行為的混淆度明顯降低。

表4 三層級分類器的準確率Table 4 The accuracy of three-level classifier %

表5 CFR方案的測試結果Table 5 Test results of CFR Scheme %

為了驗證采用CFR方案是否能降低分類難度并使數據得到更充分的訓練,分別對第一級分類器和第二級分類器進行不同分類任務的測試,通過調整決策樹的數量并進行十折交叉驗證,記錄分類器進行二分類與多分類時輸出的損失值。測試采用的2份數據集與目標分類如表6所示。

表6 各層級分類器的訓練數據集及目標分類Table 6 The training data set and target classification for each level of classifier

由分類器的損失值變化(圖7)可以看出:在第一級分類中,進行四分類任務的收斂損失值是0.06,進行二分類任務的收斂損失值是0.02;在第二級分類器中,進行三分類任務的收斂損失值是0.24,進行二分類任務的收斂損失值是0.06?？梢?二分類任務的收斂損失值明顯低于四分類任務和三分類任務。由此可知,CFR方案可以將多分類任務轉化為級聯的逐次二分類任務,使每個類型的分類收斂值降低,從而解決因不同跌倒類型的特征信息和分類任務難度差異性等因素而導致類間無法充分收斂的問題,提高模型的分類性能。

圖7 分類器損失值變化

3.2.2 LCFR方案 CFR方案雖然可以顯著提高跌倒識別的準確率,但訓練時間復雜度有所增加。CFR方案中3個層級的分類器訓練時長分別為5 663、574、598 ms,與常規的跌倒識別方案相比,CFR方案的訓練總耗時增加了2.26%。為降低訓練時間復雜度,根據分類器的特征貢獻度對表2中的43個特征進行降序排列。根據排列結果(圖8),本文分別選取特征貢獻度前60%、70%、80%的特征集導入第一級分類器訓練,并與后兩級分類器進行級聯構成LCFR方案。由第一級分類器不同累計特征貢獻度的準確率與訓練時長(表7)可知:當特征貢獻度達到前60%(前7維特征)時,第一級分類器的F1-Score與特征貢獻度為100%時接近,且訓練時間顯著降低至1 486 ms,僅占原訓練耗時的26.24%。因此,對F1-Score和訓練時長進行綜合分析后,最終選擇特征貢獻度前60%的特征集對LCFR方案的第一級分類器進行訓練。

表7 第一級分類器不同累計特征貢獻度的準確率與訓練時長

圖8 第一級分類器的特征重要性

由3個方案的訓練時長與F1-Score(表8)可知LCFR方案在接近無損F1-Score的前提下,訓練時間復雜度表現更優:LCFR方案的F1-Socre明顯高于常規的跌倒識別方案,與CFR方案接近,但是LCFR方案的訓練時長分別僅占常規的跌倒識別方案、CFR方案的39.77%、38.89%。

表8 3個方案的分類器訓練時長與F1-ScoreTable 8 The training time and F1-Score of three schemes

3.3 對比實驗

由于訓練數據集和分類任務的多樣性,難以找到完全符合控制變量法的相關研究結果進行對比。文獻[14]采用SisFall數據集,分別對使用SVM分類器、DT分類器、RF分類器、XGBoost分類器構成的跌倒識別方案進行對比,且標注的跌倒類型與本文相近。因此,本文將LCFR方案與文獻[14]的結果進行對比。由不同方案的F1-Score(表9)可知:與分類任務為三分類的4個方案相比,在增加日常行為類別,即與向前、向后、橫向3種跌倒行為構成四分類任務的前提下,LCFR方案的F1-Score仍最高。

表9 跌倒識別研究結果對比

4 結論

在融合加速度、角速度和合加速度的基礎上,本文通過級聯分類和特征重要性降維處理,提出了一種低復雜度級聯分類的跌倒識別(LCFR)方案。利用SisFall數據集,對日常行為和向前、向后、橫向3種跌倒行為進行四分類任務的實驗結果表明:LCFR方案在接近無損F1-Score的前提下,訓練時間復雜度顯著降低;與同類跌倒識別方案相比,LCFR方案的F1-Score最高。

LCFR方案是按照固定的累計特征貢獻度進行特征降維,因此在不同的跌倒場景中仍具有一定的局限性,后續研究可集中于不同跌倒場景中特征降維的動態優化方法設計。