基于近紅外TOF 傳感器的姿勢識別研究*

張金權，李 榕，溫 俊，馬曉陽

(華南師范大學 物理與電信工程學院，廣東 廣州510006)

0 引 言

人體姿勢識別［1］已在游戲、零售體驗和老人防護［2］等行業中得到廣泛應用。然而，既要保證較高的姿勢識別率又要減低算法復雜度以實現嵌入式移植的技術研究目前還不成熟。傳統的彩色攝像機來捕獲的彩色圖像易受光照變化、復雜背景的影響，導致目標追蹤困難和分割不精確。MESA 第4 代基于TOF(time-of-flight)原理的傳感器SR4000，該傳感器內置近紅外光源，具有較強的環境適應性，能用于夜間和惡劣氣候，提供全天候、抗干擾的圖像信息。紅外光經物體反射回相機，可計算出物體離相機距離［3］，從而得到深度圖像?；谏疃葓D像進行動態姿勢識別［4］，具有不易受環境和光線的影響，算法復雜度低，識別有效率高的優勢。

本文通過TOF 傳感器獲取深度圖像，經過算法流程識別出各端點屬性。最后通過結合人體端點屬性和交通警察的8個指揮動作的運動軌跡特征進行姿勢識別驗證算法的有效性。

1 姿勢識別研究

1.1 目標提取

算法流程如圖1 所以，目標提取是整個姿勢識別系統中十分重要的部分，它的提取效果直接影響到后期端點提取和姿勢識別的準確與否。

圖1 算法總體流程圖Fig 1 Overall flow chart of algorithm

先將深度圖像進行背景差分。背景差分法是采用當前幀和背景模型做差來檢測運動目標。之后進行圖像二值化運算，減小圖像數據量，凸顯感興趣的目標輪廓。然后進行孔洞填充和開運算操作，得到如圖2(c)所示效果。開運算是對圖像先腐蝕后膨脹，解決噪聲帶來的圖像邊緣不平滑、內部有孤立小孔、白噪聲點等情況。然后對二值圖像進行連通域標記［5］，刪除面積小于某個閾值的連通域(本文取400)，得到連通區域的像素點的數量、質心、二階矩等參數。對目標二值圖像進行快速并行細化運算［6］，細化后得到人體骨骼，如圖2(d)所示效果。

圖2 圖像預處理過程Fig 2 Image pretreatment process

1.2 端點識別

通過上述圖像預處理，得到了人體目標的骨架和質心，這時候的人體質心不一定在骨架上，因此，首先要尋找離質心最近的骨架點，并標記。以骨架質心為父節點遍歷骨架，如圖2(d)所示，標出手、頭、腳5 端點。如圖3 所示，可預先測得相機離地高度H，像素點橫傾斜度θ，豎傾斜度β，像素點距離值D，根據幾何知識可求出像素點離地高度h

根據此式算出質心和目標端點的離地高度。所謂骨架線距離，指的是人體骨架線端點到其它端點之間所有像素點的實際三維距離之和，如圖2(d)所示:P1端點的骨架線距離指的是P2～P5這4 個點沿著骨架線上的像素點到P1點的實際三維距離值之和。在深度圖像中，要求任意兩點的三維距離值，如圖3 所示，P1，P2為圖像中的任意兩點。d1，d2為這兩點的深度距離，圖中兩點與相機夾角θ1，θ2，β1，β2可由相機的角度分辨率0.23°與該點的橫坐標計算得到

已知d1，d2和θ1，θ2，β1，β2求兩點距離D，首先求出兩點在Y 軸方向的高度差P1P1y_2xz和P2P1y_2xz。其中，P1y_2xz為P1點在P2點所處xz 平面的映射點。由上文計算出的端點高度h 可得

圖3 兩點距離坐標示意圖Fig 3 Diagram of two point distance coordinate

其中，h1，h2為兩點離地高度。而要求P2P1y_2xz，要先求出兩點水平方向的距離差P'2P1y_2xz和Z 軸方向的深度差P2P'2

最后由勾股定理得

通過上述過程算得，圖2 姿勢的骨架線距離如表1 所示。

表1 端點骨架線距離Tab 1 Skeleton line distance of endpoint

由表1 得，骨架線距離較大的兩點為腳部端點，最小的為頭部端點，居中的為手部端點。至此人體目標5 個端點的屬性判斷完成。如果出現手擋在身前等自遮擋情況，如圖4(b)，(d)所示，骨架線沒有了手部端點，可設定一個深度的閾值，分離手和身軀，得到自遮擋部分的手部端點。

2 交警指揮動作姿勢識別

本文通過結合交通警察的8 個指揮動作的特征和上述姿勢端點識別算法，識別停止、直行、左轉彎、左轉彎待轉、右轉彎、變道、減速慢行、靠邊停車8 個標準交警指揮姿勢。

2.1 交警姿勢運動軌跡提取

以靠邊停車姿勢為例，圖4(a)，(b)為靠邊停車姿勢的關鍵幀，利用質心與頭部端點的平均深度距離信息作為閾值分割身軀前的手勢，如圖4(e)所示。對分割的手勢圖進行連通域圖像標記，刪除面積較小的區域，找出每個區域距離值的中值點，將該點作為該區域手勢的代表點并計算該點離地高度。對人體目標進行上述姿勢識別算法的運算，識別出人體目標的頭和手部端點。手部端點可通過其橫坐標的值區分左右手端點。因交警動作是站立完成，腳步端點可忽略。

圖4 交警靠邊停車姿勢Fig 4 Pull over action of traffic police

在一個完整的交警動作序列里，身軀前的手勢代表點會有1 個或2 個，根據最近鄰分類原則，當代表點的坐標位置離前一幀代表點的坐標位置最近，將該兩點作為同一手勢點的連續動作，如圖5 所示分類得到的6 個指揮動作(左轉彎和右轉彎選一個，左轉彎待轉信號沒有身前手勢運動軌跡，故忽略)身軀前手勢運動軌跡圖，以代表點的離地高度為軌跡的特征值繪圖。

2.2 交警姿勢識別

將人體骨架端點屬性和數量(因交警處于站立姿態，所以只取頭手端點)，身軀前手勢數量，手勢軌跡結合判斷交警姿勢。如圖5 所示:當沒有手部端點活動，身前沒有手勢運動，則為站立姿勢。當有一手部端點活動，身前沒有手勢運動，則為左轉彎待轉信號。當有兩手部端點活動，身前有兩手勢運動，如圖5(a)所示，多點高度高于頭部端點，則為靠邊停車信號。當有兩手部端點活動，身前有兩手勢運動軌跡，沒有點高于頭部端點，如圖5(b)所示，則為左轉彎信號或右轉彎信號，再根據較高的那個手部端點的橫坐標在頭部端點的左右兩側來判斷是左轉彎還是右轉彎。當有一手部端點活動，身前有一手勢運動，可能是停止信號、直行信號、變道信號或減速慢行信號。其中只有停止信號的軌跡有多點高度高于頭部端點，如圖5(c)所示，另外3 個信號由于波動的劇烈程度存在明顯差別，如圖5(d)，(e)，(f)所示，因此，采用判斷方差大小來辨別這三種姿勢。經大量樣本數據分析，認為方差高于2 000，則可認為是直行信號，當方差低于500，則可認為是變道信號。當方差介于500～2 000 之間，則認為是減速慢行信號。

圖5 交警手勢運動軌跡圖Fig 5 Gesture trajectory of traffic police

3 結 論

本文處理圖像采用Win 7 系統，Intel(R)Core(TM)i7—3610Q 處理器，2.30 GHz 主頻，開發環境:Matlab2012b。處理每幀平均耗時24 ms，1s 約可處理42 幀圖像，可滿足實時性的需求。對于停止、直行、左轉彎、左轉彎待轉、右轉彎、變道、減速慢行、車輛靠邊停車這8 種標準交通警察姿勢，20 個人在不同的環境下每種獲取多個樣本，識別率如表2所示。實驗表明:本文方法算法復雜度較低，便于嵌入式移植，可實時應用于無人駕駛汽車等領域。

表2 交警姿勢識別率Tab 2 Recognition rate of traffic police posture

［1］ Chen L，Wei H，Ferryman J.A survey of human motion analysis using depth imagery［J］.Pattern Recognition Letters，2013，34(15):1995－2006.

［2］ Jansen B，Temmermans F，Deklerck R.3D human pose recognition for home monitoring of elderly［C］∥2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society(EMBS)，2007:4049－4051.

［3］ 于金霞，蔡自興，鄒小兵，等.基于激光雷達的移動機器人障礙測距研究［J］.傳感器與微系統，2006，25(5):31－33，36.

［4］ Chung H，Yang H D.Conditional random field-based gesture recognition with depth information［J］.Optical Engineering，2013，52(1):017201.

［5］ Suzuki K，Horiba I，Sugie N.Linear-time connected-component labeling based on sequential local operations［J］.Computer Vision and Image Understanding，2003，89(1):1－23.

［6］ Zhang T Y，Suen C Y.A fast parallel algorithm for thinning digital patterns［J］.Communications of the ACM，1984，27(3):236－239.