自適應預測壓縮跟蹤

吳騰飛，江艷霞，劉子淵，仲思凱

?

自適應預測壓縮跟蹤

吳騰飛，江艷霞，劉子淵，仲思凱

( 上海理工大學光電信息與計算機工程學院自動化系，上海 200093 )

為解決壓縮跟蹤過快引入跟蹤誤差和樣本采集方面的缺陷，首先，引入基于預測向量的采樣搜索策略，通過前兩幀跟蹤到的目標位置預測后一幀目標的運動方位，并采用扇形區域采樣方式縮小有效樣本的范圍；其次，根據前后兩幀跟蹤到的目標的對照來判斷復雜背景或遮擋的發生，利用Bhattacharyya系數自適應地改變分類器參數更新系數。實驗證明，這些策略避免了因壓縮跟蹤缺陷導致的跟蹤失敗，改進后的算法比原算法具有更好的魯棒性和時效性。

壓縮跟蹤；預測向量；自適應；貝葉斯分類

0 引 言

目標跟蹤作為計算機視覺領域的研究分支發展迅速。近年來研究人員提出許多優秀的跟蹤算法及相應的特征提取方法，應用較為廣泛的有基于濾波理論的目標跟蹤方法[1-2]，基于概率理論的目標跟蹤方法[3-4]和基于偏微分方程的目標跟蹤方法[5-6]。

從信號分解和逼近理論發展起來的壓縮跟蹤算法[7-12]簡單、高效，但是依然存在一些缺陷。經過分析，壓縮跟蹤在跟蹤背景復雜或存在遮擋的情況下，引入過多誤差，跟蹤穩定性變差；目標搜索窗口設置為固定的圓形區域，搜索空間存在大量的無效樣本，尤其是與物體運動方向垂直的邊緣附近的樣本最為無效，不能準確更新分類器參數，而且影響跟蹤速度。針對以上問題，本文提出了自適應預測壓縮跟蹤算法(VACT)。VACT中引入預測向量，利用前兩幀目標所形成的向量來預測下一幀目標的運動方位，對采樣區設定半徑和搜索角度，使搜索窗口近似扇形區域，減小無效樣本的比重，提高目標跟蹤的準確性和時效性；引入Bhattacharyya系數[13]改善模板更新策略，改變了原算法根據經驗固定更新參數的模式，使其能夠自適應地根據目標的變化調整學習因子，減小遮擋、復雜背景等對跟蹤的影響。

1 壓縮跟蹤算法

1.1 壓縮跟蹤算法簡介

壓縮跟蹤算法建立在如下的條件之上：1) 稀疏隨機測量矩陣[14-15]滿足有限等距性質[16-17](RIP性質)。2) 經過投影后的低維圖像空間服從獨立同一分布。3) 提取的低維特征向量服從高斯分布[18]。

壓縮跟蹤流程如圖1所示，將第-1幀中的目標利用壓縮感知理論[7-9]經過尺度變換后降維處理，然后對目標、背景對應的正負樣本采樣并提取Haar-like特征[7]，將樣本特征通過貝葉斯分類器判別確定第幀圖像中目標的位置，最后更新分類器參數，進而跟蹤第+1幀中目標。

圖1 壓縮跟蹤流程圖

1.2 壓縮跟蹤算法的缺陷

目標跟蹤過程中樣本的采集直接關乎跟蹤的準確性和時效性，壓縮跟蹤算法采樣示意如圖2所示。圖2中為正樣本采樣半徑、為負樣本采樣半徑，<<。從圖中可以看出壓縮跟蹤算法采集的樣本中存在很多距離目標位置較遠的樣本，它們對分類器參數更新是無效的，并且會引入噪聲特征，影響后續分類判別的準確性。本文提出的基于預測向量的采樣策略降低了這一缺陷的影響，改進后采樣示意圖如圖3所示，通過前兩幀生成的預測向量的指引，樣本搜索區域明顯減小，有效樣本比重增大。

圖2 壓縮跟蹤采樣示意圖

圖3 VACT采樣示意圖

壓縮跟蹤算法構建對數貝葉斯分類器[7-8]，分類器參數均值和方差通過下式進行更新：

2 自適應預測壓縮跟蹤

2.1 預測向量

預測向量是根據前兩幀目標位置生成，能夠指引待跟蹤目標的運動方位。視頻序列中目標的運動都是連續的，相鄰圖像間存在對應的時空關系，這種時空關系在數學上就是相鄰圖像上同一位置的兩點之間的連線是近似平滑連續的?；谝陨纤悸范x如下的預測向量和約束角度：

2.2 自適應參數更新

、分別是本次更新的模板參數和上一幀模板參數的差值，將、代入上式得：

由式(1)、式(2)、式(7)可知，模型參數更新由兩部分組成：其中一部分是前一幀目標所確定的模型參數，代表目標的穩定性；另一部分是由當前幀圖像跟蹤點附近樣本學習得到的新的模型參數，代表目標的動態性。新舊模型參數通過學習因子線性組合得到更新后的模型參數。在實際運動中會存在不同復雜程度的背景及遮擋等情況，學習因子應當是變化的，引入Bhattacharyya系數(巴氏系數)[13]用于模型參數更新。巴氏系數是兩個統計樣本重疊量的近似值，源于Bhattacharyya距離(巴氏距離)，用于表征兩個離散或連續概率分布的相似性，其公式為，其中，為巴氏系數，0≤≤1，0≤≤∞。由公式可知與為負相關關系，巴氏系數越大，重疊度越高，表明巴氏距離越小，圖像和越相似，反之，圖像和差別越大。

對于跟蹤到的目標，使用歸一化直方圖作為跟蹤目標的輔助表達，計算前一幀和當前幀圖像中目標的巴氏系數用于比較前后圖像目標間的相似性。新的學習因子定義：

由以上討論可知，前后兩幀目標圖像重疊度越高，越接近于1，表明它們越相似，需要對前一幀模型參數較大的學習因子；反之，表明它們相似度小，需要對前一幀模型參數較小的學習因子。

2.3 算法步驟

輸入：第1幀、第幀圖像中的目標位置

輸出：第+1幀圖像的目標位置及更新后的模型參數

步驟：

c) 對(b)中圖像特征分類判別，確定第+1幀圖像的目標位置；

d) 根據式(5)在第+1幀圖像目標附近以為半徑采集正樣本，并提取特征；根據式(6)在第+1幀圖像目標附近以為半徑采集負樣本，并提取特征；

e) 計算第幀和第+1幀目標的巴氏系數，根據式(1)、式(2)、式(8)更新分類器參數。

3 實驗及結果分析

為了評估改進后算法的跟蹤效果，實驗圖像庫是四個不同復雜程度公開的視頻圖像序列，它們分別是(a) David圖像序列，(b) Girl圖像序列，(c) Panda圖像序列，(d) Car圖像序列。進行對比的算法是快速壓縮跟蹤算法(FCT)[8]，多例學習跟蹤算法(MIL)[19]，TLD跟蹤算法(TLD)[20]和粒子跟蹤算法(PFT)[21]。實驗中，以上算法參數的設置均采用原文中的實驗數據。

實驗劃分兩部分：橫向對照實驗和縱向對照實驗。橫向對照實驗是與原算法(CT)正面直接進行對比，縱向對照實驗是與上述四種算法進行對比，側面對照VACT的跟蹤效果。

3.1 實驗評判準則

定義跟蹤正確率TS(TS)和分數score，，其中R為跟蹤到的實際位置窗口，T為理論上的位置窗口。如果某一幀跟蹤分數大于0.5，則認為跟蹤結果是正確的，正確率TS為所有幀圖像中目標跟蹤正確的百分比。實驗中我們以跟蹤時間和跟蹤正確率TS作為評判標準。

3.2 實驗初始化

基于相同的初始位置與實驗環境，環境為：Matlab2014a和Visual C++6.0，Windows7，2GB Intel(R) Core(TM)2 CPU T6500。VACT中正樣本采樣半徑設置為5，負樣本采樣半徑、分別設置為10、17，中心樣本區半徑設置為3，樣本搜索半徑設置為18。學習因子初始值設置和CT相同為0.85。

表1 樣本搜索角度測試結果

3.3 橫向對照實驗

采用與文獻[7]中相同的視頻圖像序列—David圖像序列，圖4所示是對該圖像中人臉的跟蹤結果。其中以第95、140、185和271幀為代表的圖像中目標無遮擋且變化平緩，兩種算法對目標的跟蹤效果相似，但是VACT的時效性更好(見表2)。而第286、296、388和400幀圖像中目標存在手遮擋和眼鏡擾動的現象，兩種算法跟蹤的結果有明顯的差異，因為CT在這樣的情況下，容易過快引入干擾誤差，導致跟蹤精度下降；而VACT運用預測向量策略，縮小無效采樣范圍，減少無效樣本的比重，且學習因子可以根據遮擋情況自動地改變大小，能夠減輕遮擋、擾動的影響，使跟蹤更加準確穩定。經測定，CT在David視頻集上跟蹤的正確率TS為0.89，VACT跟蹤的正確率TS為0.99，改進后算法魯棒性更好。

在不同幀數下的跟蹤時間如表2所示，同一組幀數的跟蹤時間試驗十次取其平均值。

圖4 CT和VACT跟蹤結果對比

表2中的數據表明隨著幀數的增加，跟蹤時間隨著增加，CT和VACT的跟蹤時間差值逐漸增大，VACT算法基于預測向量扇形區域的采樣空間，降低了跟蹤目標所需的時間。理論上，按照搜索角度的大小進行計算，VACT跟蹤時間是CT時間的九分之四，表2中實際用時與計算值有所差別，原因在于算法中的模型參數更新方法增加了部分計算量，使得沒有達到理論值，但是仍然可以看到算法速度得到了改善。

表2 CT和VACT跟蹤時間對比

3.4 縱向對照實驗

縱向對照實驗是采用前面所述的四種算法在四種不同的視頻圖像序列(共3 121幀)中進行實驗，并將CT的跟蹤結果一并比較，實驗結果如表3、表4和圖5所示。

表3 算法跟蹤正確率

表4 算法跟蹤運行時間

表3、表4中每個圖像序列實驗值是試驗十次平均值，最優結果加粗顯示。表3中結果表明本文改進的算法VACT在跟蹤精度上有一定優勢，在幾個典型的圖像序列中取得最優或次優的結果。其中在Car圖像序列中目標物體運動迅速，存在遮擋和旋轉的情況，TLD算法取得較優的跟蹤效果，因為它集合了檢測、跟蹤與機器學習的理論，使得跟蹤穩定性較好，但是它需要較大的存儲空間和較長的運行時間，由表4可見其跟蹤時間遠大于VACT。

圖5是幾種算法在四中圖像序列的跟蹤結果。其中(a)、(b)、(c)中目標運動和背景變化緩慢，(a)中存在不同程度的遮擋和光照不均的情況，(b)中背景光照不均勻，(c)中存在復雜背景，(d)中目標運動較快。由實驗結果可知，VACT、FCT、TLD跟蹤較為魯棒，CT、MIL和PFT在光照不均勻、遮擋等復雜背景時跟蹤會發生較大偏移。綜合表3、表4可知，VACT跟蹤目標所需時間最短，跟蹤準確穩定。

圖5 算法跟蹤結果

4 總 結

本文針對壓縮跟蹤算法中樣本采集搜索區域大且包含過多無效樣本的問題，提出了基于預測向量的樣本搜索采集方法，此方法能夠縮小搜尋目標的范圍，將搜索目標的方向集中在感興趣的位置，降低無效樣本的比重，提高模型參數的準確性并降低跟蹤時間。引入巴氏系數，根據前后兩幀跟蹤點位置的圖像差異來實時更新模型參數的學習因子，以適應目標的變化，使得算法在存在遮擋、背景復雜等情況下能夠抑制誤差積累的速度，提高跟蹤的準確性和魯棒性。關于樣本搜索角度的選擇是一個經驗值，而該值對跟蹤效果有一定的影響，需要合理地選擇該角度。最終實驗結果表明，改進后的算法比原算法具有更好的魯棒性和時效性。

致 謝：

感謝導師和學長的關懷和幫助，感謝實驗室同學的幫助，感謝青年基金、滬江基金項目的資助。

[1] 趙欣，王仕成，廖守億，等. 基于抗差自適應容積卡爾曼濾波的超緊耦合跟蹤方法 [J]. 自動化學報，2014，40(11)：2530-2540.

ZHAO Xin，WANG Shicheng，LIAO Shouyi，. An Ultra-tightly Coupled Tracking Method Based on Robust Adaptive Cubature Kalman Filter [J]. Acta Automatica Sinica(S0254-4156)，2014，40(11)：2530-2540.

[2] WANG Baoyun，CHEN Fei，DENG Ping. Online object tracking based on sparse subspace representation [C]// Chinese Control and Decision Conference，Changsha，China，May 31-June 2，2014：3975-3980.

[3] ZHANG Huanqing，YANG Jinlong，GE Hongwei，. An improved GM-PHD Tracker with Track Management for Multiple Target Tracking [C]// International Conference on Control，Automation and Information Sciences (ICCAIS)，Changshu，China，Oct 29-31，2015：185-190.

[4] ZHANG Hongjian，ZHANG Yuewu，YE Bei，. Multi-sensor Multi-target Tracking Based on a Matrix Reformulation of the GM-PHD Filter [C]// The 26th Chinese Control and Decision Conference (CCDC)，Changsha，China，May 31-June 2，2014：2026-2032.

[5] YU Han，WANG Longsheng，YU Yunzhi. A Video Tracking Algorithm for UAV Based on Differential Evolution Particle Filter [C]// Chinese Control Conference (CCC)，Hefei，China，July 25-27，2012：3955-3959.

[6] Bracey S S，Evans K A. Analysis of Tracking Control Designs for a Delay Differential Equation Model used in the Study of Nanoparticle Dosing Strategies [C]// American Control Conference (ACC)，Portland OR，America，June 4-6，2014：353-358.

[7] ZHANG Kaihua，ZHANG Lei，Yang M H. Real-time Compressive Tracking [C]// European Conference on Computer Vision (ECCV)，Florence，Italy，Oct 7-13，2012：864-877.

[8] ZHANG Kaihua，ZHANG Lei，YANG M H. Fast Compressive Tracking [J]. Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2014，36(10)：2002-2015.

[9] Donoho D L. Compressed Sensing [J]. Transactions on Information Theory(S0018-9448)，2006，52(4)：1289-1306.

[10] WANG Wenping，XU Yan. Effective Weighted Compressive Tracking [C]// The Seventh International Conference on Image and Graphics，Qingdao，China，July 26-28，2013：353-357.

[11] XU Huazhong，YU Fei. Improved Compressive Tracking in Surveillance Scenes [C]// The Seventh International Conference on Image and Graphics，Qingdao，China，July 26-28，2013：869-873.

[12] WU Jiayun，CHEN Daquan，YI Rui. Real-time Compressive Tracking with Motion Estimation [C]// International Conference on Robotics and Biomimetics，Shenzhen，China，Dec 12-14，2013：2374-2379.

[13] 李良福，馮祖仁，陳衛東，等. 系數基于Bhattacharyya系數的由粗到精的核匹配搜索方法 [J].模式識別與人工智能，2008，21(4)：514-519.

LI Liangfu，FENG Zuren，CHEN Weidong，. A Coarse-to-Fine Searching Method with Kernel Matching Based on Bhattacharyya Coefficients [J]. Pattern Recognition and Artificial Intelligence(S1003-6059)，2008，21(4)：514-519.

[14] ZHANG Lijun，JIN Rong，YANG Tianbao，. Random Projections for Classification：A Recovery Approach [J]. Transactions on Information Theory(S0018-9448)，2014，60(11)：7300-7316.

[15] Kim S，Choi S J. Bilinear Random Projections for Locality-Sensitive Binary Codes [C]// Computer Vision and Pattern Recognition，Boston M A，America，June 7-12，2015：1338-1346.

[16] Candes E J，Tao T. Decoding by Linear Programing [J]. Transactions on Information Theory(S0018-9448)，2005，51(12)：4203-4215.

[17] Achlioptas D. Database Friendly Random Projections Johnson-Lindenstrauss with Binary Coins [J]. Journal of Computer and System Sciences(S0022-0000)，2003，66(4)：671-687.

[18] Diaconis P，Freedman D. Asymptotics of Graphical Projection Pursuit [J]. Annals of Statistics(S0090-5364)，1984，12(3)：793-815.

[19] TIAN Peng. Object Tracking with Online Discriminative Sub-instance Learning [C]// International Congress on Image and Signal Processing(CISP)，Shenyang，China，Oct 14-16，2015：35-40.

[20] Kalal Z，Mikolajczyk K，Matas J. Tracking-Learning-Detection [J]. Transactions on Pattern Analysis and Machine Intelligence(S0162-8828)，2012，34(7)：1409-1422.

[21] Kim I，Awan T W，Soh Y. Background Subtraction-based Multiple Object Tracking Using Particle Filter [C]// International Conference on Systems，Signals and Image Processing，Dubrovnik，Croatia，May 12-15，2014：71-74.

Adaptive and Predictive Compressive Tracking

WU Tengfei，JIANG Yanxia，LIU Ziyuan，ZHONG Sikai

( Department of Automation, School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China )

To deal with the defects of Compressive Tracking (CT) in the tracking error and the sample collection, firstly, the predictive vector was introduced to search samples that can direct motion of the target. Then the fan-shaped sampling areas reduced the amount of computation greatly. Furthermore, we could determine complex background or occlusion through comparison of the neighboring target images, and then update the classifier parameters automatically by applying the Bhattacharyya coefficient. Experiment shows that these improvements can avoid the failure of compressive tracking and the adaptive predictive compressive tracking (VACT) is better than the original algorithm (CT) in robustness and speed.

compressive tracking; predictive vector; self-adaptive; Bayes discriminant

1003-501X(2016)12-0092-07

TP391.41

A

10.3969/j.issn.1003-501X.2016.12.015

2016-03-07；

2016-06-16

國家自然科學基金青年基金(61203143)；滬江基金(C14002)資助項目

吳騰飛(1989-)，男(漢族)，河南周口人。碩士研究生，主要研究工作是視頻跟蹤，圖像處理方面。E-mail: wutengfei1409@126.com。