基于關節點連接廣度矩陣的頸椎康復運動識別

朱子豪，何 宏，汪焰兵，孫 浩

（上海理工大學 健康科學與工程學院，上海 200093）

0 引言

目前，頸椎疾病呈現出廣泛化和年輕化的發病趨勢，我國15-65 歲人群的患病率已高達15%，嚴重影響其工作、生活與學習質量［1］?？祻瓦\動有利于緩解頸椎不適癥狀，是目前頸椎病的主要治療方案之一，然而患者普遍訓練意愿較低，難以堅持。為便于患者隨時隨地進行康復訓練，建立一套頸椎康復運動智能交互系統十分必要。系統中應具備動作識別與交互反饋兩個模塊，分別用于動作識別和人機交互。精準快速地識別康復動作是確保治療效果的重要前提，為此本文針對系統中的動作識別模塊建立簡潔高效的動作識別模型。

人體骨架構造決定著運動模式的幾何結構，其運動產生的行為數據是一組時間序列數據，包括關節點的位置信息和物理信息，可通過傳感器、動作捕捉設備和姿態估計算法獲取。目前人體行為識別方法按照特征選擇方式可分為基于傳統機器學習的識別方法和基于深度學習的識別方法兩大類［2］，現有研究普遍偏重于深度學習方法，即通過設計網絡結構和改進模塊，采用端到端的學習方式從骨架序列數據中自主學習特征。

基于傳統機器學習的識別方法需要手工設計并提取基于人體骨架序列的特征，包括關節點速度加速度、關節點軌跡和方向、關節點旋轉平移和關節點相對位置等。例如，文獻［3］借助人體姿態估計算法提取人體關節點的二座坐標信息形成骨架模型并提取時空幾何角度特征，利用K-近鄰算法進行動作分類；文獻［4］利用Kinect 獲取關節點三維坐標并提取三維向量角度特征，然后利用相似性函數確定識別結果；文獻［5-6］將每個關節的多種方差作為分類特征，將時間信息嵌入到特征中，通過相似性和支持向量機（Support Vector Machine，SVM）驗證方法性能；文獻［7］將三維關節與局部占用模式特征進行關聯，同時引入actionlet 的概念，利用關節子集的特定結合使模型更具魯棒性，以更好地描述動作中的類內變化；文獻［8］利用OpenPose 提取人體關節點，對人體骨架的偏移角速度、骨骼點運動速度進行識別；文獻［9］通過構建關節相關性矩陣描述動作，使用基于加權動態時間扭曲的匹配方案將關節相對距離與關節相對角度特征進行分數級融合，獲得了比現有方法更好的識別性能；文獻［10］將協方差矩陣作為人類動作的描述符，通過計算骨骼關節坐標上的協方差矩陣，利用SVM 進行動作分類。上述基于傳統機器學習的方法可較好地反映出運動本身的物理特性或數據自身的統計特性，可對動作的統計學幾何特性等進行表征，在動作識別針對性方面也較強，但特征選擇方式較為先驗，可能會丟失其他描述運動的信息，且泛化能力較差，應用場景受限。

基于深度學習的識別方法通過較為客觀的數據避免研究者的主觀干擾，提升了識別精度。例如，文獻［11］基于關節差異圖提取出三維坐標的映射進行圖像編碼，將三維動作識別問題轉化為二維圖像的分類問題，然后采用卷積神經網絡進行分類；文獻［12］提出一種新的時間—空間再校準方法MANs，在時間—注意力再校準模塊中基于殘差學習建立了一種新的時間注意力機制，以此在時間上重新校準骨架數據幀；在時空卷積模塊中將重新校準的序列轉換或編碼為細胞神經網絡的輸入，以進一步對骨架序列的時空信息進行建模；文獻［13］利用時空注意力機制對動態骨架的時空相關性進行建模，具備較強的魯棒性和穩定性；文獻［14］提出一種輕量級圖卷積神經網絡，通過多源信息數據融合和自適應圖卷積進行分類，以較低的參數量實現了網絡輕量化目標；文獻［15］使用雙向循環神經網絡對骨架的時間動態和空間配置進行處理與建模，但存在網絡結構復雜、參數量大的缺點；文獻［16］提出作用于骨骼數據的時空注意力模型，其中的空間注意力模塊可用于剔除噪聲關節點，時間注意力模塊將注意力分配給每個幀以提高識別性能；文獻［17］利用兩個自適應網絡VA-RNN 和VA-CNN 將骨架轉換為一致的視點，消除了視點多樣性的影響，通過變換動作視頻視角的方式優化動作識別性能?；谏疃葘W習的識別方法通過不同的網絡結構，以多種視角在行為識別中取得了較好效果，性能優于傳統的手工提取特征方法，但普遍存在不能兼顧精度和速度的問題，實時性不強，且在一些小型數據集，如MSR Action 和CRED中面臨性能上的挑戰。

鑒于此，為快速、準確地識別康復運動動作，本文提出一種基于關節點連接廣度矩陣的頸椎康復運動識別方法，并在MRS Action 3D 和CRED 數據集上驗證該方法的準確性、實時性以及泛化能力，為提高患者頸椎康復運動效果奠定基礎。

1 頸椎康復運動識別方法流程

本文提出的基于關節點連接廣度矩陣的頸椎康復運動識別方法流程如圖1 所示，具體為：①利用姿態估計算法MoveNet 從實時視頻數據中提取人體骨架；②根據動作單元周期對骨架進行分割；③利用廣度優先搜索（Breadth First Search，BFS）算法遍歷人體骨架圖中的關節點并根據連接廣度信息劃分三角子圖，計算三角子圖關節點的運動變化進行加權變換；④提取關節點連接廣度矩陣的時空特征并組成特征矩陣；⑤使用SVM 分類器進行識別。

Fig.1 Flow of cervical spine rehabilitation motion recognition method圖1 頸椎康復運動識別方法流程

2 動作數據預處理

首先從視頻中提取出人體骨架數據Ja，對其進行動作分割，得到各個動作片段Ai；然后利用BFS 算法建立關節點連接廣度矩陣，劃分三角子圖，根據關節點的運動變化對子圖分配相應權重ωj，同時對子圖內關節點進行加權變換，進一步獲取關節點的準確特征信息。

2.1 人體骨架提取

骨架提取是指將視頻數據轉化為骨架數據。本文利用輕量級姿態估計模型MoveNet［18］，通過人體熱圖定位方法完成視頻數據的人體骨架提取，得到單幀17 個關節點的二維人體骨架數據，其中第n幀處的第i個關節點為一組二維數據，即Ji(n)=(Xi(n)，Yi(n))。將每幀關節點數據組成一維特征向量，同時將相關關節點連接起來建立人體骨架模型，具體如圖2 所示。圖中標出了各關節點的編號、名稱以及簡稱。

Fig.2 Human skeleton model圖2 人體骨架模型

人體的動作可通過骨架模型中相應關節點的運動進行表征。由于頸椎康復運動的動作集中在手臂與頭部，本文選取編號1（鼻子）、2（左肩）、3（右肩）、4（左肘）、5（右肘）、6（左腕）、7（右腕）的7 個關節點數據組成矩陣。表示為：

式中：N表示幀數。矩陣每行為1 組7 個關節點的特征向量。

2.2 動作分割

頸椎康復運動中的動作具有周期性特點，共計N節，患者需按照指導對每節動作重復多次才達到康復效果，其重復次數根據頸椎患病程度而定。為精準分割康復運動中的動作，本文提出一種動作單元周期分割方法。計算公式為：

式中：η為平均單位動作時長，Ti為第i組視頻采集的總時長，C為該組視頻中發生的具體動作次數，m為視頻組數，ξ為時長偏置。根據單位動作時長對該組動作視頻進行分割，得到單位時長為η的單位動作視頻Ai，i=1，2，...，t，t為動作數。

2.3 三角子圖加權變換

人體骨架由關節點和骨骼組成，從結構上可以將關節點看作節點V，節點間骨骼看作邊E，因此在計算機視覺領域，人體骨架可以被定義為軀干與頭肢位置的圖結構［19］，即人體骨架圖G（V，E）。本文對人體骨架圖進行三角子圖劃分并根據節點運動進行加權變換。

2.3.1 三角子圖劃分

從運動學的角度來看，人體骨架行為由多個基本單元協作完成［20］，這些單元是由相鄰關節點組成的局部區域，即關節點群。不同關節點群運動強度的變化代表著相應區域的動作差異性。為進一步準確提取運動時人體骨架的特征數據，獲取局部空間變化信息，本文對人體骨架進行區域劃分，利用圖結構的BFS 算法遍歷骨架圖中的所有關節點，根據矩陣信息構建人體三角子圖，通過關節點運動強度的變化計算三角子圖權重。BFS 算法以圖廣度的推進方式完成對圖內節點遍歷的過程，其從頂點Vo出發對鄰接節點Vj依次遍歷并建立鄰接關系，然后逐步對各層節點Vp完成遍歷。BFS算法示意圖見圖3。

Fig.3 Schematic of BFS algorithm圖3 BFS算法示例

假設從具有N個關節點的第i個節點Ji(i=1，2，...，N)的鄰接層逐層遍歷節點的連接廣度信息κ，以此得到關節點連接廣度矩陣M，該矩陣第i行表示關節點Ji與其他關節點的連接廣度信息。當Ji與Jj為鄰接節點時，連接廣度信息κ設為1；當Ji與Jj通過m個節點相連時，連接廣度信息κ=m+1 。因此，N×N關節點的連接廣度信息矩陣M如圖4所示。

Fig.4 Joint connection breadth matrix圖4 關節點連接廣度矩陣

基于關節點連接廣度矩陣，將與Ji關節點連接廣度信息κ最?。处?Ji，Jj) ≤1）的兩個關節點Jj、Jk依次構成最小連接廣度信息組(Ji，Jj，Jk)，即三角子圖G(Ji，Jj，Jk)。具體如圖5所示。

Fig.5 Triangle subgraph圖5 三角子圖

2.3.2 三角子圖加權計算

對圖5 中的最小連接廣度信息組分別建立三角子圖，可以得到5 組三角子圖Gi(i=1，2，...5)。根據三角子圖內關節點的運動變化，利用CRITIC（Criteria Importance Though Intercrieria Correlation）權重法計算三角子圖權重ωj，并重設三角子圖內的關節點數據，將不同權重分配給相應子圖。計算公式為：

式中：Sj為第j 個關節點的標準差，rij為關節點i與關節點j之間的相關系數。各子圖內關節點權重之和為該子圖的權重ωj，將各子圖權重作用于各組內關節點上即得到加權變換后的關節點矩陣JM。

3 時空特征提取

行為識別任務根據描述行為的特征對其識別，因此所選取的特征既要全面完整地描述運動特性，又要避免特征冗余。本文根據關節點連接廣度矩陣劃分出三角子圖，以時空視角提取矩陣中的幾何與時序特征，完成對康復動作的特征描述。

3.1 關節點連接廣度矩陣幾何特征

3.1.1 距離特征

骨長為兩個鄰接關節點間恒定的骨骼距離，不會隨人體運動而發生變化，此類關節點在連接廣度矩陣M中的連接廣度信息κ=1。在三角子圖距離特征的提取中，基于骨長的距離特征無法作為有效幾何特征進行提取，會造成特征冗余。因此，本文選取矩陣M中連接廣度信息κ≥2的關節點間歐氏距離進行特征提取，得到特征φ(Ji，Jj)。表示為：

式中：Jj表示進行距離特征提取的兩個關節點，N表示幀數，最終組成距離特征矩陣Fd。

3.1.2 角度特征

在人體運動學中，關節角度用于描述身體節段的運動狀態。本文根據關節點連接廣度矩陣提取出與各關節點Jo連接廣度信息最小的兩個關節點Jp和Jq，用于表征局部人體姿態信息，對組成該點的特征ψ進行提取可有效描述人體運動姿態。u為關節點Jo與Jp組成的向量，v為關節點Jo與Jq組成的向量，使用余弦定理計算這3 個關節點所形成的夾角并提取角度特征，得到角度特征矩陣Fa。表示為：

3.2 關節點連接廣度矩陣時序特征

3.2.1 軌跡特征

時間序列中關節點的運動軌跡能夠反映人體的運動過程，彌補幾何特征對于時間序列信息的缺失，進而描述骨架的整體運動。因此，本文利用關節點連接廣度矩陣中關節點的位置坐標提取出軌跡特征。

3.2.2 速度特征

從關節點連接廣度矩陣的幾何特征中提取角度特征ψ，N表示該組數據的幀數，表示第k夾角、第i幀的角度。則速度向量的計算公式為：

通過計算速度向量V得到角速度特征，將角速度特征組成角速度特征矩陣Fv。

3.3 時空特征融合與分類

通過特征融合將距離特征Fd、角度特征Fa、速度特征Fv和軌跡特征Ft組成時空特征矩陣F，并輸入分類器完成動作識別。時空特征如表1所示。

Table 1 Spatial temporal features表1 時空特征

選取XGBoost 和SVM 進行動作分類，驗證所提方法及其各個模塊的有效性。XGBoost 是基于Boost 思想的集成學習算法，基礎結構為分類回歸樹，其不斷地對添加的誤差進行擬合，然后對樹進行集成分類。SVM 的常用核函數包括線性核函數、多項式核函數和高斯核函數等，本文選擇高斯核函數。表示為：

式中：γ表示特征向量的歐幾里得距離。

4 實驗方法與結果分析

4.1 實驗環境

實驗設備為實驗室工作站系統，設備硬件配置如表2所示。

Table 2 Hardware configuration of experimental equipment表2 實驗設備硬件配置

4.2 數據集

以傳統頸椎康復操為基礎，結合八段錦在頸椎康復治療中的應用以及訓練者在二維相機下的康復情景，設計并采集頸椎康復運動數據集CRED。動作示意如圖6 所示，CRED 數據集信息如表3所示。

Table 3 Information of CRED dataset表3 CRED數據集信息

Fig.6 Diagram of actions of CRED dataset圖6 CRED數據集動作示意

MSR Action 3D 是應用廣泛的基于Kinect 骨骼數據的人體行為識別數據集，包括10 名實驗者，20 類動作，每人重復3次單一動作，共計557個動作序列。

該數據集的動作變化不大且較為相似，包含3 個子集，分別為AS1（水平揮手、錘、沖拳、高拋、拍手、彎曲、正上手發球、拾?。?、AS2（高臂揮手、抓、畫X、畫勾、畫圓、雙手揮、向前踢、側拳）和AS3（高拋、向前踢、側踢、慢跑、搖擺、正上手發、高爾夫揮桿、拾?。?。

4.3 評價指標

以樣本的真實類別和模型預測結果為依據，將全部樣本分為正樣本且預測正確（True Positives，TP）、正樣本但預測錯誤（False Positives，FP）、負樣本但預測正確（True Negatives，TN）、負樣本且預測錯誤（False Negatives，FN）4種情況?；谶@4 類情況，分別使用準確度（Accuracy）、精確度（Precision）、召回率（Recall）、特異度（Specificity）、F1分數、運算速度與平均幀數7 種指標衡量模型性能。具體計算公式為：

4.4 消融實驗

為驗證三角子圖模塊與時空特征模塊的有效性以及特征的冗余性，本文在CRED 數據集上以原始骨架的運動數據為baseline 進行消融實驗，建立5 個模型，分別為模型1（baseline）、模型2（幾何特征模型）、模型3（時序特征模型）、模型4（時空特征模型）、模型5（基于關節點連接廣度矩陣的時空特征模型），使用SVM 進行分類。分類結果混淆矩陣如圖7所示，消融實驗結果如表4所示。

Table 4 Results of ablation experiments表4 消融實驗結果

Fig.7 Confusion matrix of five models圖7 5個模型分類結果混淆矩陣

可以看出，模型1 平均準確率為76.90%；在分別加入幾何特征與時序特征的模型2 和模型3 中，平均準確率分別提升了0.88%和7.31%，說明幾何特征模塊與時序特征模塊的引入能有效提升模型性能。而在同時使用幾何特征與時序特征的模型1 中，準確率達到89.77%，說明同時使用兩種特征的情況下模型性依舊可以得到改善，時空特征的選取并未造成特征冗余。模型5 利用關節點連接廣度矩陣劃分三角子圖，采用三角子圖+時空特征的模型結構，準確率進一步提高至92.42%，相較模型4 提高了2.65%，驗證了本文所提模塊的有效性。

4.5 動作實驗指標分析

通過消融實驗中5 個模型的比較，發現仍有部分動作的識別效果不理想。為探究各動作的具體識別情況，在CRED 數據集上以被試為單位，利用SVM 分類器對各動作的識別結果進行分析，結果如圖8所示。

Fig.8 Identification of each action圖8 各動作識別情況

可以看出，“頭臂左抗”和“頭臂右抗”兩組動作的指標波動較大，其他動作指標波動不明顯。經各幀骨架數據的遍歷，發現關節點缺失幀，如圖9 所示。用于提取骨架的姿態估計算法在動作發生的過程中出現關節點丟失的情況，導致在動作識別準確率上存在波動現象，因而對動作分類指標產生了影響。

Fig.9 Missing frames of joint圖9 關節點丟失幀

4.6 泛化性實驗

為驗證本文方法的泛化性，分別使用SVM 和XGBoost分類器在CRED 數據集以及MSR Action 3D 的3 個子數據集上進行比較實驗，以全面評估其在不同場景、數據集以及分類器上的性能，結果如表5 所示?？梢钥闯?，本文方法在CRED 數據集的表現優于MSR Action 數據集，使用SVM 分類器的表現優于使用XGBoost 分類器，但平均精度均較高，泛化能力較好。

Table 5 Results of generalization experiments表5 泛化性實驗結果（%）

4.7 與現有方法比較

為驗證本文方法的性能，選擇SVM 分類器，在CRED數據集上與5 種現有方法進行對照實驗，分別為文獻［9］提出的利用關節相對距離和關節相對角度編碼描述動作的方法；文獻［21］提出的利用3 個視角的關節運動軌跡圖進行動作識別的方法；文獻［22］提出的通過學習數據時空特性對動態骨架進行建模的動作識別方法；文獻［23］提出的利用關節點三維位置構建淺層特征，進而訓練長短期記憶網絡進行動作識別的方法；文獻［24］提出的模擬人類視覺系統機制，融合全局信息進行動作識別的方法。實驗結果如表6 所示?？梢钥闯?，本文方法具有更高的分類精度、更短的耗時以及更好的實時性。

Table 6 Comparison of performance between the proposed method and other methods表6 本文方法與其他方法性能比較

5 結語

為提高頸椎病患者的康復效果，本文設計了一種基于關節點連接廣度矩陣的頸椎康復運動識別模型，利用關節點連接廣度矩陣對人體結構進行三角子圖劃分，提取時空特征以完成動作識別。該模型在CRED 數據集上的平均識別準確率達92.72%，在MSR Action 3D 數據集的平均準確率達84.78%，有效性、泛化性、實時性均表現良好。該模型還能適應不同骨架提取算法，廣泛匹配姿態估計方法，建立對應的連接廣度矩陣，完成動作識別任務，并且可以面向不同骨架或特定區域骨架建立矩陣，進行子圖劃分與動作識別。

然而，該模型主要應用于骨架數據背景中，對于類間差異度小的動作識別方面仍表現不足，過于相似的局部動作識別精度還有待提高。后續將優化由于骨架提取而產生的關節點缺失，預測缺失的關節點位置，以提升相似動作的識別準確率。