基于改進TLD的自動目標跟蹤方法

易 詩，林凡強，周姝穎

(成都理工大學 信息科學與技術學院，四川 成都 610059)

基于改進TLD的自動目標跟蹤方法

易 詩，林凡強，周姝穎

(成都理工大學 信息科學與技術學院，四川 成都 610059)

視覺跟蹤一直是機器視覺研究熱點，TLD(tracking-learning-detection)算法是近年來出現的一種高效的視覺跟蹤算法，針對TLD算法中Lucas-Kanade(LK)光流法無法有效跟蹤物體快速移動和尺度變化的問題，采用金字塔光流法對TLD算法進行改進。并將所跟蹤物體形心作為圖像定位參考點，提取物體定位信息，通過定位信息運用比例-積分-微分(proportion-integral-derivative，PID)控制算法控制攝像頭舵機云臺轉向，使攝像頭快速、靈活、精確地自動跟蹤指定物體。通過系統測試，與傳統TLD算法對比，采用金字塔光流法改進的TLD目標跟蹤算法在跟蹤目標發生光照變化、尺度變化等情況時，具有更加優良的跟蹤性能，準確將跟蹤目標形心位置提供給控制部分，控制算法高效靈活，在獲取信息后精確、快速地控制攝像頭方位，使其正對跟蹤目標。該系統對目標跟蹤技術、安防技術、自動瞄準系統具有重大意義。

TLD算法；金字塔光流法；圖像定位；比例-積分-微分(PID)控制算法

0 引 言

目標跟蹤是機器視覺的研究熱點，在機器視覺研究領域，對任意目標的鎖定和跟蹤具有很大的研究意義。目標跟蹤要求設備根據輸入視頻流檢測發現目標、鎖定目標、跟蹤目標[1]。

近年來出現眾多目標跟蹤算法，如連續自適應均值漂移(continuously adaptive mean-shift，cam shift)算法、快速壓縮跟蹤算法、核相關濾波器(kernelized correlation filters,KCF)算法、(tracking-learning-detection，TLD)算法等。其中，TLD算法以其需要先驗信息較少、具備在線學習能力、長期對目標跟蹤的魯棒性優良，適應于視頻采集系統與目標均為動態的場合。TLD算法實時、高效、跟蹤穩定，但也存在無法有效跟蹤光線變化和尺度變化的目標，本文對TLD算法中跟蹤器采用的LK光流法進行改進，采用金字塔光流法，改進后的TLD算法對光線和尺度變化的目標的跟蹤性能提升顯著[2]。

本文同時設計了根據所跟蹤物體形心作為圖像定位參數的自動跟蹤攝像頭，根據被跟蹤物體的在視頻中的位置信息，采用比例-積分-微分(proportion-integral-derivative，PID)控制算法控制攝像頭舵機云臺，使攝像頭跟隨鎖定物體各個方向轉動，達到自動跟蹤的目的，這種改進的TLD目標跟蹤方法對于智能機器人技術有非常重大意義[3]。

1 目標跟蹤算法

1.1 TLD目標跟蹤算法

TLD算法是一種目前相當高效、運用廣泛的目標檢測跟蹤算法，算法主體為3部分：跟蹤模塊、在線學習模塊和檢測模塊[4]。算法首先指定跟蹤目標，通過目標檢測模塊捕捉目標運動特性，將檢測模塊初始化、跟蹤模塊與檢測模塊協同工作，對跟蹤目標位置進行鎖定；在線學習模塊通過鎖定與預測數據不斷對跟蹤模塊與檢測模塊的參數進行更新；同時，跟蹤模塊與檢測模塊對在線學習模塊進行數據反饋，更新在線學習模塊參數。3個模塊工作于閉環狀態，形成一個在線學習系統，高效準確地確定運動目標所處位置[5]。算法流程如圖1所示。

現行TLD算法的核心跟蹤部分位于跟蹤模塊中，跟蹤模塊使用Lucas-Kanade(LK)光流法。LK算法基本原理在于捕捉運動物體特征點，利用視頻每幀間目標特征點所產生的矢量光流場進行跟蹤，用均值的方法對下一幀跟蹤目標位移方向進行預測。根據該原理，視頻幀產生的新特征點均被捕捉跟蹤，目標跟蹤具有很強魯棒性，然而，LK光流法對目標跟蹤具備如下3個假設。

圖1 TLD算法流程圖Fig.1 TLD algorithm flow chart

1)跟蹤目標光照和亮度恒定，目標像素與外觀在相鄰幀間基本保持不變；

2)跟蹤目標運動幅度不大，在連續時間點上為小運動；

3)相同背景空間上，跟蹤目標鄰近點運動相似，在圖像上鄰近區域投影相同。

而對于自動視覺跟蹤系統，目標和識別設備都處于動態環境中，跟蹤物體的亮度、運動中的尺度變化、物體所處空間環境變化均存在，因此，需要對經典TLD算法做出一定改進[6]。

1.2 改進的目標跟蹤器

在動態環境中，為更好使用TLD算法對物體進行跟蹤，需要對跟蹤器中的LK光流算法做出一定改進。

在動態應用的跟蹤環境下，目標運動速度較快，難以滿足光流估計方法的約束條件，為了解決這個問題，引入金字塔光流法。金字塔光流法的特點在于其采用多分辨率的表現方法，不同分辨率層可以表示不同尺度目標。首先，在金字塔頂層計算光流，得到的運動估計特征作為下一層的初始點；然后，重復該過程直至底層，從而實現目標快速跟蹤[7]。其原理如圖2所示。

圖2 金字塔光流法原理圖Fig.2 Schematic diagram pyramid optical flow method

金字塔光流法將原圖像作為金字塔最頂層輸入，將圖像減采樣至原來尺寸的1/2N(N=1)，運行一次LK算法后獲得下一層圖像輸入，該層相鄰幀間像素移動距離為D/2N，D為幀間目標像素運動距離，當層數達到一定值時(通常3～5層),可滿足光流法約束條件，其算法流程如圖3所示。

圖3 金字塔光流法流程圖Fig.3 Pyramid optical flow method flow chart

Vf為初始目標運動速度，在金字塔頂層Vf=0，細節最少，ΔVf為f層的光流計算結果，作為下層圖像運動估計，并根據這一規則計算該幀光流，直至金字塔底層。

采用金字塔光流法使目標跟蹤算法對物體光線變化、運動、尺度變化的跟蹤有了明顯改善。

2 自動跟蹤控制算法

2.1 圖像定位算法

系統采用改進的TLD算法對目標進行跟蹤，對跟蹤鎖定的目標物體提取其形心，以確定當前物體位于圖像中的精確位置信息[8]。

物體形心的計算需先將圖像轉化為二值圖像，根據形心計算公式

(1)

(1)式中：x0，y0為形心坐標；f(x,y)為二值圖像在(x,y)處坐標值。根據(1)式計算出跟蹤物體的形心，通過形心計算，可以確定跟蹤物體中心在圖像中具體坐標，提供該物體的定位信息。

2.2 攝像頭自動跟蹤控制算法

系統采用舵機控制板連接二自由度舵機云臺架設攝像頭，目標跟蹤算法將舵機轉向數據與命令通過串口發送給舵機控制板，控制舵機云臺轉向，使攝像頭具備在二維平面自由旋轉跟蹤的功能，跟蹤系統框架如圖4所示。

圖4 跟蹤系統框架圖Fig.4 Tracking system frame diagram

為控制舵機云臺架設的攝像頭能精確、快速跟蹤物體，采用PID算法控制舵機進行轉向跟蹤[9]。舵機控制PID算法公式為

(2)

(2)式中：u(t)為輸出函數；KP為比例系數[10]；KI為積分系數；KD為微分系數；e(t)為時域控制函數。PID算法中，通過比例部分P進行舵機角度粗調整，通過積分部分I對轉向累積誤差進行調整，通過微分部分D對轉向誤差做出預期調整。根據目標運動速度和舵機轉向速度，通過調試。取比例系數KP=0.000 5，積分系數KI=0.18，微分系數KD=0.08[11]。

3 系統測試

系統算法在Visual2012+opencv2.49環境下實現，通過串口連接舵機控制板，控制2自由度舵機云臺，掛載640像素×480像素高清網絡攝像頭對系統的目標進行跟蹤[12]，做出了完整的測試。

為對比系統算法改進效果，首先采用傳統TLD跟蹤算法[5]對目標在光線強度變化下的跟蹤效果進行測試，測試中將茶杯正面翻蓋處作為跟蹤目標[13]，系統在第3幀時鎖定該目標進行跟蹤，如圖5所示。

由測試可以看出，采用傳統TLD跟蹤算法在光照強度變化時，跟蹤形心偏離了目標中心點[14]。

再次測試傳統TLD算法對跟蹤目標尺度變化跟蹤效果，如圖6所示。

由測試可以看出，采用傳統TLD跟蹤算法在目標尺度發生變化時，跟蹤形心嚴重偏離了目標中心點，基本失去跟蹤特性[15]。

圖5 目標光照強度變化跟蹤測試Fig.5 Target light intensity change tracking test

圖6 目標尺度變化跟蹤測試Fig.6 Target scale change tracking test

下面使用金字塔光流法改進的TLD算法進行目標跟蹤測試。

首先，對目標檢測和跟蹤做出測試，如圖7所示。

圖7 目標檢測跟蹤測試Fig.7 Target detection and tracking test

由測試可以看出，改進的TLD算法可以有效鎖定目標[16]，同時攝像頭轉向，將目標原來形心(450，280)調整至(330，250)。

對目標旋轉與光照變化的跟蹤測試如圖8所示。

圖8中，將茶杯翻蓋左旋45°，目標光照隨即發生變化，系統仍然能有效跟蹤目標，攝像頭微轉向，保持物體形心位于圖像中央部分。

圖8 目標旋轉和光照變化跟蹤測試Fig.8 Target rotation and illumination change tracking test

對目標尺度變化的跟蹤測試如圖9所示。

圖9 目標尺度變化跟蹤測試Fig.9 Target scale change tracking test

圖9中，將茶杯移至離原位置50 cm外，跟蹤目標尺度發生很大變化，同時一定程度右旋，系統仍然快速鎖定跟蹤目標，并微調攝像頭使目標形心處于(300～340，220～260)中。

通過以上測試，對比傳統TLD跟蹤算法，無論目標旋轉、位移或光照變化，改進的TLD目標跟蹤算法具有更高的魯棒性[17]，能夠更準確地跟蹤指定目標。自動跟蹤控制算法靈活高效地控制攝像頭轉向，隨時對準跟蹤目標中心位置。

4 結 論

采用改進TLD算法的自動跟蹤攝像頭系統，可以對任意目標進行跟蹤，鎖定時間為3～5幀視頻，目標鎖定后，將目標旋轉10o～90o均可有效鎖定跟蹤。光照發生一定變化時，目標仍能鎖定。目標在0.1～3 m存在移動尺度變化的情況下，跟蹤效果良好。攝像頭由舵機驅動轉向，在二維平面內自動對準跟蹤目標，調整時間為1～3 s，快速靈活，使跟蹤目標形心時刻保持在圖像(300～340，220～260)內，處于圖像中心位置。該系統運用于安放監控、智能機器人視覺、無人機目標跟蹤等領域具有較大意義與潛力。

[1] 王瀛，郭雷，梁楠，等.基于線性變換的高光譜圖像端元提取算法[J].計算機仿真，2014，29(12)：329-333. WANG Ying , GUO Lei,LIANG Nan, et al. Based on the linear transformation of the hyperspectral image endmember extraction algorithm [J]. Computer simulation，2014, 29 (12): 329-333

[2] 姜傳賢，楊鐵軍，董明剛，等.基于線性空間隱藏模型的可逆圖像水印算法[J].自動化學報，2014，12(10)：2324-2333. CHUAN Xianjiang, YANG Tiejun, DONG Minggang,et al.The model of reversible image watermarking algorithm [J]. Automation of hiding based on linear space, 2014, 12 (10): 2324-2333.

[3] 劉祺,王銀玲,吳林恒.基于STM32的圖像采集與顯示系統的研究與設計[J].數字技術與應用,2012(2):94. LIU Qi,WANG Yinling,WU Linheng.Research and design of image acquisition and display system based on[J].STM32 digital technology and application,2012(2):94.

[4] 楊耿.運動目標的圖像識別與跟蹤研究[D].江蘇:江蘇大學,2005. YANG Geng. Research on image recognition and tracking of moving objects[D]. Jiangsu: Jiangsu University, 2005.

[5] 陳明潔.智能視頻監控系統目標檢測和跟蹤技術分析[J].電視技術，2008，32(10)：85-91. CHEN Mingjie. Target detection and tracking technology of intelligent video surveillance system [J]. TV technology, 2008, 32 (10): 85-91.

[6] 詹曙，李敏，徐甲甲，等．局域化互信息度量的ACM 下醫學圖像的分割[J].電子測量與儀器學報，2013，27(4) : 340-346． ZHAN Shu, LI Min, XU Jiajia,et al. Localization of the mutual information metric ACM medical image segmentation [J]. Journal of electronic measurement and instrument, 2013, 27 (4): 340-346.

[7] 魏星．基于SVM 的山體滑坡災害圖像識別方法[J].電子測量技術，2013，36( 8)：65-70． WEI Xing. Image recognition method of landslide disaster based on SVM [J]. Electronic measurement technology, 2013, 36 (8): 65-70.

[8] BABENKO B，YANG M H，BELONGIE S.Visual tracking with online multiple instance learning[C]//Proc. CVPR 2009.New York：IEEE Press，2009：983-990.

[9] VIOLA P A，PLATT J C，ZHANG C. Multiple instance Boosting for object detection[J].Advances in Neural Information Processing Systems，2006(18)：1417-1424.

[10] LIM T Y，RATNAM M M，KHALID M A．Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight,2007,49(3):154-159.

[11] VILAR R，ZAPATA J，RUIZ R．An automatic system of classification of weld defects in radiographic images[J]．NDT and E International， 2009，42(5): 467-476．

[12] ZAPATA J,VILAR R,RUIZ R.An adaptive-network based fuzzy inference system for classification of welding defects[J].NDT & E International,2010,43(3):191-199．

[13] MIRAPEIX J，GARCIA-ALLENDE P B，COBO A，et a1．Real-time arc-welding defect detection and classification with principal component analysis and artificial neural networks[J]．NDT & E International,2007,40(4):315-323．

[14] VINCENT P，LAROCHELLE H，LAJOIE I， et al．Stacked de noising auto encoders: learning useful representations in a deep network with a local de noising criterion[J]．Journal of Machine Learning Research，2010，11(12):3371-3408．

[15] BENGIO Y．Learning deep architectures for AI[J]．Foundations and Trends in Machine Learning，2009，2(1):1-127．

[16] YANG L W，ZENG CH Y，ZHANG Y J．Method for the edge detection of gray-scale image based on the mathematical morphology[J]． Foreign Electronic Measurement Technology，2012，31(2):27-30．

[17] 陳佳，朱長仁，羅賓．一種 camshift 算法與 brisk 特征點相結合的運動目標跟蹤方法[J]．重慶理工大學學報：自然科學版，2015，29(12):112-119． CHEN Jia，ZHU Changren，LUO Bin.A Combination of Camshift Algorithm and Brisk Feature Point for Real Time Moving Target Tracking [J]．Journal of Chongqing University of Technology：Natural Science，2015，29(12):112-119．

易 詩(1983-)，男，四川成都人，碩士研究生，主要從事機器視覺研究，深度學習算法研究，信號與信息處理，嵌入式技術研究。E-mail:549745481@qq.com。

(編輯：王敏琦)

Automatic tracking method based on improved TLD

YI Shi, LIN Fanqiang, ZHOU Shuying

(College of Information Science and Technology,Chengdu University of Technology, Chengdu 610059,P.R.China)

Visual tracking has been a hot research topic in machine vision, and tracking-learning-detection(TLD) algorithm is a kind of efficient visual tracking algorithm emerging in recent years. Aimed at solving the problem that the Lucas Kanade(LK)optical flow method can not effectively track the object’s rapid moves and scale changes, this paper uses the pyramid optical flow method to improve the TLD algorithm. Tracking the center of the object as the reference point for the image positioning to extract the object location information, using the positioning information and the algorithm PID control algorithm to control the camera gear steering, this way camera can rapidly, flexibly, precisely and automatically track the specified object. By testing the system, improved TLD target tracking algorithm using pyramid optical flow method under illumination and changes has more excellent tracking performance, compared with the traditional TLD algorithm for target tracking. The flexible algorithm can provide accurate target center position for the controlled part, it can steer camera accurately and fast to face the target directly after accessing the information. The system is of great significance to the target tracking technology, security technology, and automatic targeting system.

tracking-learning-detection(TLD) algorithm; pyramid optical flow method; image positioning;proportion-integral-derivative(PID) control algorithm

10.3979/j.issn.1673-825X.2016.06.023

2016-03-22

2016-10-09

易 詩 549745481@qq.com

TN919.5

A

1673-825X(2016)06-0892-05