三幀差法和Mean－shift結合的行人檢測與跟蹤研究

姚 倩，安世全，2，姚 路

（1.重慶郵電大學 計算機科學與技術學院，重慶400065；2.重慶郵電大學 移通學院，重慶401520）

0 引 言

行人檢測相對物體檢測領域有其特殊性，因為人體是一個非剛性的物體，存在人體姿勢的多變性，環境的復雜性，以及拍攝角度等因素的影響，都極大地增加人體檢測的難度。行人檢測算法一般分為三大類：①基于機器學習［1］的方法，該方法主要是從大量的訓練數據中訓練學習獲得一個分類器，然后對人體進行檢測和識別。②基于模型匹配的方法［2］，在視頻序列或圖像中的各個部位匹配人體模型來檢測行人，此種方法可以檢測出運動和靜止中的人體，但模型的構建很困難。③基于運動信息的檢測［3］，針對該方法的檢測算法主要有幀差法、背景差分法、光流法等。

背景差分法［3］較能更好的檢測和提取運動目標，但對場景的變化如光照，天氣變化等特別敏感，而且檢測到的物體比實際要大。幀間差分法算法實現簡單，受光照和陰影影響較小，但難以獲得運動目標的完整輪廓?；谔卣魈崛〉臋C器學習算法［4］在行人檢測中取得了很好的檢測效果，但這種算法由于檢測速度很慢而難以應用到實際當中。本文綜合各種算法的優缺點進行研究，提出一種基于梯度方向直方圖 （HOG）與背景差分的三幀差分算法相結合的行人檢測算法，同時，采用改進的 Mean－shift的輪廓跟蹤算法對行人進行跟蹤，該算法在保證檢測準確率的情況下提高了檢測速度，并且能夠實時穩定的在行人計數系統中運行。

1 系統組成

本文設計的行人計數系統由運動區域提取、行人檢測和跟蹤計數三部分組成，設置了一個感興趣的有效檢測區域，如圖1所示。該視頻序列是通過與地面成一定夾角（＜90°）的攝像頭獲取得到?；?、輪廓檢測等操作。該部分所采用的方法是改進的背景差分的三幀差法分算法對運動區域進行檢測和提取。

圖1 攝像頭設置

（3）對提取的運動區域進行檢測和判斷，采用離線訓練好的HOG＋SVM分類器進行判斷。該算法應用到本系統中可以進一步準確提取行人信息。

（4）當行人進入有效檢測區域時，采用改進的基于Mean－shift的跟蹤算法進行實時跟蹤，當行人離開有效檢測區域后產生計數，并進行輸出。

（5）程序讀取下一幀并進行判斷，若是末幀結束程序，否則返回到 （2）。

2 人檢測

本系統整體流程圖如圖2所示。該流程描述如下：

（1）輸入檢測視頻，對其判斷，若是第一幀則進行初始化操作。該操作主要包括對當前幀進行金字塔放縮、申請存儲空間、灰度化處理、膨脹腐蝕模板設置以及閾值設置等操作。

（2）若判斷為非首幀，就對其進行下一步的操作，如圖2中虛線框所示。該操作主要包括對當前幀進行預處理、混合高斯模型更新背景模型 、背景減除、三幀差分、二值

圖2 系統流程

2.1 基于特征提取的檢測

為了能夠對行人進行有效的識別，本文首先對行人候選區域進行特征提取，然后通過對行人的典型特征進行學習，得到一個行人分類器［4］，最后對運動中的人體進行識別。常見的行人檢測特征有：Haar特征，HOG特征，LBP特征等。本文采用的是HOG特征，它通過計算局部區域上的梯度方向直方圖來構成人體特征。HOG特征提取的具體操作描述如下：

（1）計算梯度。輸入規范化大小的圖像，將圖像分成小的連通區域，即細胞單元 （Cell）。對圖像中3個通道分別均方壓縮R，G，B＝sqrt（R，G，B）。使用 ［－1，0，1］模板計算3個通道的梯度。

（2）梯度高斯加權，使用三線形插值加權法計算Cell梯度直方圖。

（3）對每個block塊 （2×2Cells）進行歸一化。

（4）對于一個區域，輸出一個梯度直方圖向量作為該區域的HOG特征。

對于訓練一幅64＊128的圖像，每2＊2的Cell（16＊16的像素）構成一個Block塊，每個塊內有4＊9＝36個特征，若以8個像素為步長，那么水平方向將有7個掃描窗口，垂直方向將有15個掃描窗口，總共有36＊7＊15＝3780個特征向量。通過實驗證明HOG特征能很好地應用在基于圖像或視頻的行人檢測中。

2.2 訓練行人分類器

本文引入線性SVM作為HOG特征訓練分類器［5］，行人分類器訓練的主要工作就是在SVM中找到一個最優的超平面作為判斷行人的決策函數。在離線訓練時，HOG特征作為輸入向量輸入到支持向量機中，最后只需用3780維的向量表示每一個樣本。分類器訓練與檢測可見流程如圖3所示。

圖3 人體分類器訓練與檢測

圖3 左側虛線內框是行人分類器的訓練流程；首先準備訓練樣本集合，包括正樣本集和負樣本集；本文所采用的訓練樣本集合了INRIA實驗室提供的行人庫，以及本文作者搜集和拍攝的一些樣本集。訓練樣本中總共有2818張行人圖片和1627張不含行人的背景圖片；另外有1127張行人圖片和454張背景圖片作為測試樣本進行測試。訓練樣本中的行人外觀、身高、體重、動作等多變各異，能夠滿足本系統的需求。具體操作過程是先將樣本縮放為64＊128的大小，對正負樣本提取HOG特征；再將提取的特征進行正負樣本標簽后輸入到SVM中進行訓練；最后獲得一個行人分類器。最終識別出人和非人。行人檢測效果如圖4所示。

圖4 行人檢測

從圖4可以看出該算法可以在遮擋不嚴重的情況下較準確的識別出行人。但該算法采用的是簡單均勻分布的塊提取行人特征，導致過多冗余特征和檢測效率低問題，以及在嚴重遮擋情況下將產生誤檢，并且實時性很難滿足實際應用的需求。

3 改進的行人檢測算法

通過對傳統的背景差分法和三幀差分法［3］進行實驗分析作為啟示，本文采用結合背景差分的三幀差分算法對運動區域進行提取。然后將提取的運動區域結果進行二值化處理得到運動前景輪廓，再對其通過離線訓練好的HOG特征分類器進行檢測識別，這樣可以更精確更快速的檢測定位到行人。最后再對識別出的人體進行后處理。

人體檢測流程如圖5所示，該算法主要由三幀差分、背景差分、背景模型建立與更新、HOG描述子、SVM訓練等部分組成。算法分為以下6個步驟：

（1）在初始狀態時，先將視頻圖像序列使用Gaussian金字塔分解對輸入圖像向下采樣，輸出圖像的高度和寬帶為輸入圖像的一半，用來減少計算量。然后進行去噪處理，去掉圖像隨機噪聲，所采用的是中值濾波方法。最后采用混合高斯背景建模法更新背景圖像Bki。

（2）將當前幀Ii和背景幀Bki進行背景差分，將得到差分圖像DBi（x，y）的像素灰度值進行判定，如大于設定的閾值T，則可認為是待檢測的運動目標。

（3）在視頻序列中，fk－1（x，y），fk（x，y），fk＋1（x，y）為選取的連續三幀圖像，其中對相鄰兩幀圖像進行差值運算，并在每一個像素點（x，y）中對得到的圖像進行二值化。將得到的圖像g1（x，y）和g2（x，y）進行求 “與”，結果為三幀差分圖像Bi（x，y）。

（4）將得到的三幀差分圖像Bi（x，y）與背景差分圖像DBi（x，y）結合后進行求 “或”運算，這樣可以更進一步得到待檢測圖像Ci（x，y）

式中：DBi（x，y）——背景差分圖像，Bi（x，y）——三幀間差分圖像，Ck（x，y）——待檢測圖像。然后繼續對視頻序列進行背景更新建模，返回（1）。

圖5 人體檢測流程

（5）對待檢測的圖像Ck采用HOG特征分類器方法檢測行人。該方法可以提取前景輪廓中的行人信息。

（6）對識別出的人體信息進行跟蹤計數，后繼續讀取視頻序列，返回 （2）。

改進的行人檢測算法與常用算法的對比效果如圖6所示。圖6（a）是三幀差分法檢測效果，圖6（b）是背景差分法檢測效果圖，圖6（c）是通過改進的算法對運動區域提取的前景圖，圖6（d）是對運動區域進行行人檢測的效果圖，通過對比實驗可以明顯看出改進的算法的優勢。三幀差分算法提取的前景不完整，而且容易產生雙影和空洞，而背景差分法檢測的前景區域比實物大。改進的算法實現了優勢互補，并能夠完整清晰的提取出前景區域。

圖6 對比檢測效果

4 跟蹤算法

4.1 Mean－shift原理

均值漂移法，又稱 Mean－shift算法［8］。對于n維歐式空間X中的有限集合A，在x∈X處的Mean－Shift形式為

給定一個初始點x，核函數G（xi），權重函數w（xi），容許誤差ξ。把上式右邊的第一項記為mh（x），即

該Mean－Shift跟蹤算法是先計算mh（x），將該值賦給x，再對‖mh（x）－x‖＜ξ進行判斷，如果為真，程序結束循環，否則繼續計算mh（x）。該方法采用的是基于核函數直方圖對行人進行建模，再匹配跟蹤。

4.2 本文跟蹤算法

在視頻序列中［6］，首先對行人特征進行提取，然后查找每一幀中與行人特征最為匹配的區域作為跟蹤對象，在尋找最匹配目標特征［7］時采用 Mean－shift算法。由于本文前期檢測工作中已經將目標提取出來，因此不再需要人為指定目標區域，另外模式匹配［9］的初始位置就是上一幀圖像中核函數的中心密度最大點的位置。本文將提出一種基于Mean－shift的輪廓跟蹤算法。該算法具體流程如下：

（1）首先要獲得前景區域即行人區域。采用背景差分的三幀差分法對運動區域［10］進行提??；后對目標采用離線訓練的分類器進行識別，將行人信息用矩形框進行標注。

（2）其次提取行人輪廓，用邊緣檢測的方法得到行人的輪廓曲線；并從原圖中獲取運動圖像信息，對這個信息進行反向投影，獲得反向投影圖。

（3）然后利用 Mean－shift算法進行迭代，由于它是向重心移動，即向反向投影圖中概率大的地方移動，所以始終會得到行人框的中心點位置。

（4）最后計算下一幀圖像時應用上一幀輸出的方框來迭代即可；并且設定最大的迭代次數N，當n≥N時迭代結束。

該算法能夠比較準確地對視頻序列中的行人進行跟蹤，即使行人的腿、胳膊發生彎曲等變化，該算法所提取的輪廓與人的真實輪廓也是比較匹配的，并且該算法在運行中性能比較穩定，可以進一步滿足行人計數需求。

5 實驗結果及分析

本實驗所需硬件環境：Intel core i3－2310M2.10GHz CPU和2.00G內存，軟件環境：Windows 7、Microsoft Visual Studio 2008、Opencv2.43、K－Lite Code Pack視頻解碼器。在PC機上對系統進行了測試，處理速度可達20幀／s，能滿足實時計數需求。

在行人檢測計數系統中，首先設置一個滑動窗口，該窗口用于保證有效檢測區域的有效性，對測試窗口中有效檢測區域設置默認的長寬分別為200和50。改進的行人檢測算法在系統中的運行效果如圖7所示，其中，7（a）為第125幀的前景圖，7（b）為第125幀的前景輪廓圖，7（c）為識別出的行人圖，7（d）為第125幀的系統界面圖。本文所研究的算法是應用在行人計數系統上的，該計數系統的運行界面如圖8所示，圖8（a）－（f）是系統中不同幀的行人計數示意圖，在系統截圖中，最上方顯示的是行人離開有效區域后產生的行人數目。

本文最后拍攝了5組視頻進行實驗，視頻場景相同，視頻長度均為7分鐘，如表1所示，通過實驗結果可以得出本系統的行人計數誤差是比較小的，經分析得知存在該誤差的主要原因是由于行人與行人之間遮擋嚴重以及跟蹤丟失等情況造成的。

表1 行人檢測計數系統實驗結果分析

6 結束語

本文采用改進的背景差分的三幀差分算法提取檢測視頻中的運動區域，該方法不僅保證了系統的檢測效率而且還可以完整的提取出待檢測區域。在此基礎上又采用離線訓練好的HOG分類器對行人進行檢測識別，可以進一步準確的提取出待檢測區域中的行人信息。然后采用基于Mean－shift和邊緣檢測相結合的輪廓跟蹤算法對行人進行實時跟蹤。

為了減少系統運算量，本文設置了有效的檢測區域。最后當目標離開檢測區域后對其產生計數。另外本系統可達到20幀／s的處理速度，可以滿足系統的實時性和有效性。

［1］Xu Guoqing，Wu Xiaocui，Liu Li，et al.Real－time pedestrian detection based on edge factor and histogram of oriented gradient［C］／／IEEE International Conference on Information and Automation，2011：384－389.

［2］Qu Zhong.Two algorithms of image segmentation and measurement method of particle’s parameters ［J］.Applied Mathematics ＆ Information Sciences，2012，6 （1）105－109.

［3］Olivier Barnich，Marc Van Droogenbroeck.ViBe：A universal background subtraction algorithm for video sequences ［J］.IEEE Transactions on Image Processing，2011，20 （6）：1709－1724.

［4］ZHANG Guangyuan，GAO Fei，LIU Cong，et al.A pedestrian detection method based on SVM classifier and optimized histograms of oriented gradients feature ［C］／／Chinese：Sixth International Conference on Natural Computation，2010：3257－3260.

［5］Yin Hongpeng，Chai Yi，Yang Simon X，et al.Fast－moving target tracking based on mean shift and frame－difference methods ［J］.Systems Engineering and Electronics，2011，22（4）：587－592.

［6］Li Juan，Shao Chunfu，Xu Wangtu，et al.Real time tracking of moving pedestrians［C］／／International Conference on Measuring Technology and Mechatronics Automation，2009：811－815.

［7］QU Zhong.Research on image segmentation，evaluation and image three－dimensional surface reconstruction［D］.Chongqing：Chongqing University，2009 （in Chinese）.［瞿中.圖像分割與評價及圖像三維表面重建研究 ［D］.重慶：重慶大學，2009.］

［8］Jae Kyu Suhr，Ho Gi Jung，Gen Li，et al.Mixture of Gaussians－based background subtraction for Bayer－pattern image sequences ［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21 （3）：365－370.

［9］Chen Ken，Fu Songyin，Song Kangkang，et al.A Mean－shift based imbedded computer vision system design for real time target tracking ［C］／／7th International Conference on Computer Science Education，2012：1298－1303.

［10］Yin Hongpeng，Yi Chai，Simon Yang X，et al.Fast－moving target tracking based on mean shift and frame－difference methods ［J］.Systems Engineering and Electronics，2011，22（4）：587－592.