基于灰度共生的多線索目標聯合優化跟蹤

金廣智，石林鎖，劉 浩，牟偉杰，崔智高

?

基于灰度共生的多線索目標聯合優化跟蹤

金廣智，石林鎖，劉 浩，牟偉杰，崔智高

(第二炮兵工程大學502教研室 西安 710025)

為了提高跟蹤算法對多種目標表觀變化場景的自適應能力與跟蹤精度，提出一種基于灰度共生的多線索目標聯合優化跟蹤算法。然后。與典型算法進行多場景試驗對比，表明該算法能有效地應對多種復雜場景下的運動目標跟蹤。

灰度共生; 線性空間; 多線索; 三階張量

目標跟蹤是計算機視覺的重要領域，具有重要的研究意義和良好應用前景。但在實際的運動目標跟蹤過程中，隨著時間的推移目標表觀往往會出現遮擋、旋轉、尺度等各種復雜變化，對跟蹤算法的穩定性和準確性均帶來了極大的挑戰，因此需要尋求一種跟蹤精度高且適用多場景的目標跟蹤算法[1]。

針對該需求，許多學者開展了深入的研究，粒子濾波由于跟蹤精度高、不受系統線性與噪聲高斯假設的限制，受到了越來越多關注。在該框架下，文獻[2]通過在線數據學習建立子空間表觀模型，比典型方法更能適應目標表觀的真實變化。文獻[3-4]找到了在線表觀模型合適的表示方式，并進一步提高了模型更新效率。文獻[5]成功將高階張量理論引入到目標跟蹤領域。文獻[6]結合多重線性空間理論，提出的模型增量更新方式可更好地描述目標表觀的動態變化。以上方法使用的是單視圖的目標表觀模型，難以應對目標姿態、尺度等多種表觀變化，并容易導致跟蹤漂移。

本文以灰度共生(GLCM)與三階張量理論為基礎，通過三維表觀模型、雙線性空間下的增量學習更新及粒子濾波下的二級聯合跟蹤最終鎖定目標。該算法可以在保證跟蹤精度的基礎上有效應對遮擋、旋轉、尺度變化等多種復雜場景下的目標跟蹤。

1 基于GLCM的三維在線表觀模型

與跟蹤領域的其他方法不同，本文利用灰度共生矩陣對目標區域的高區分度特征進行二元超分描述，進一步提高表觀模型的穩定性，并結合三階張量的理論優勢，集成目標的多視圖信息，同時借助雙線性空間理論，提出在線增量學習的模型更新方法，以更好地描述跟蹤過程中表觀的動態變化。

1.1 二元GLCM特征超分提取

構建表觀模型，應選取穩定性好、辨識度高的特征，灰度特征運算方便且可較好地描述目標表觀，但在光照變化時對目標與背景的區分度明顯下降。但紋理特征受光線變化影響較小，且GLCM可通過多種角度對目標的紋理特征進行描述，分別從方向、相鄰間隔、變化幅度等多方面對目標進行描述，同時兼具了灰度特征運算方便的優點。

式中，ENT為圖像信息量的隨機性度量，代表紋理的復雜程度；CON為圖像紋理的清晰程度，其值越大紋理越清晰。本文通過超分窗口，將目標超分為若干像素塊，并通過ENT和CON特征進行描述，得到超分特征矩陣與。步驟如下：

2) 對細分后的像素塊分別提取灰度信息，通過運算得到其灰度共生矩陣GLCM，并進行歸一化；

4) 當/5，/5余數不足5時，即圖像邊緣像素塊，令余數為，采取如下策略：

1.2 三維表觀模型的建立

為了更多地挖掘目標表觀的有效線索信息，利用三階張量來對跟蹤序列圖像中的目標進行表述，該模式的優勢是既能保留目標區域的幾何空域信息，并易集成目標區域的其他線索。因此三維表觀模型可由特征矩陣與時域多視圖信息建立。目標區域的特征信息由超分特征矩陣表示，組成模型的前兩個數據模式；結合三個線索，時域視圖模式。

令共選取種線索特征對目標進行建模，并將相應第條線索的幀視圖數據記為，取連續幀圖像獲得連續視圖觀測數據，可表示為三階張量形式，，即可相應建立起三維在線表觀模型，關于熵ENT和對比度CON的三維表觀模型示意如圖1所示。

1.3 雙線性空間下的增量學習更新

引入多維線索建立的三維表觀模型會帶來運算量的大幅提升，為緩解該不足，利用雙線性空間[9]理論展開表觀模型，并對其進行增量更新。

1) 雙線性空間展開。實際場景中的目標表觀變化在有限時間內可認定其服從線性變化理論，可引入雙線性空間對目標模型進行展開，其示意圖如圖2所示，可利用線性空間的正交基對模型進行特征表示。同時對線性空間展開進行如下改進：首先通過對樣本觀測數據去均值化，能凸顯樣本觀測數據的變化，即，然后對其進行模型數據展開，得到兩個模式，。正交基的表示形式為，為便于對訓練樣本中的數據變化信息進行表示，可以對樣本均值的奇異值遞推分解(RSVD)[4]獲知其子模式的正交基，通過其前個最大值對應的數據集對正交基進行描述。其中，的個數代表線性空間模型的維度數，其取值利用式(3)判定：

2) 增量學習更新。常規模型更新需要保留較多的目標觀測數據，且由于多維線索表觀模型的引入按常規更新方式運算量明顯加大，但可結合跟蹤過程中的新增觀測信息來更新目標表觀模型[10]優化模型的表示，故特別提出結合雙線性空間的學習更新方法。它以連續幀包含跟蹤目標的視圖為基礎，通過緊跟時間內新增的幀視圖信息對模型進行學習更新。令為時刻基于第條線索下的雙線性空間模型的有效觀測數據，為間隔后新錄入的幀視圖觀測信息，則時刻模型可表示為，該環節問題則轉化為對時刻模型進行表示的問題，即增量模型的數據均值和正交基的求解問題。實施方式如下：

② 引入新增樣本后對模型均值進行更新(為消逝系數)，;

③ 為避免直接引入樣本均值對數據即時變化信息的影響，先對新增樣本去均值處理：，然后對模型再進行雙線性展開，可得；

⑤ 結合RSVD[4]方法，可得到新模型的正交基。

2 二級聯合跟蹤

粒子濾波作為算法的跟蹤框架，主要包括動態模型與觀測模型，觀測模型是保證跟蹤效果的關鍵，需重點改進：1) 以建立的三維表觀模型為基礎，結合當前時刻信息分別進行在線權重估計，進而建立自適應觀測模型，因連續的目標幀視圖代表的表觀變化通常較小，可通過自適應觀測模型的自身調整克服；2) 以真實目標視圖為基準，建立目標的靜態觀測模型，防止長時跟蹤過程中誤差累積出現跟蹤漂移；3) 通過兩個模型的聯合匹配，實現對目標的穩定跟蹤。

2.1 自適應觀測模型

假定有條線索對目標模型進行描述，利用式(5)能得到目標的觀測模型并實現線索的融合[11]：

2.2 靜態觀測模型

模型更新過程中會出現場景突變，容易導致跟蹤漂移。在濾波理論跟蹤下首幀視圖是唯一的目標真實信息，對其他時刻狀態的預測均存在一定的誤差，以首幀真實目標視圖為基準，建立靜態觀測模型。具體步驟：1) 標定初始化首幀圖像中的目標視圖，提取特征信息與；2) 以連續張目標首幀視圖信息為原型，建立目標首幀視圖的三維表觀模型；3) 以首幀視圖的表觀模型為基礎，建立目標的靜態觀測模型。

3 實驗分析

3.1 評價指標與測試視頻

運動目標跟蹤算法評價體系中平均跟蹤誤差(ATE)與跟蹤框重合率(AOR)是非常具有代表性的評價指標。平均跟蹤誤差由與兩個指標決定；以表示跟蹤算法的跟蹤框，以表示測試視頻的真實邊界框，則計算方式如下：

測試視頻選取的是目標跟蹤數據集Tracker BBenchmark v1.0中的序列視圖[10]，如表1所示。

表1 對比測試視頻

3.2 實驗與分析

為了有針對性地對本文算法進行測試，選取如下算法對照實驗：多線索融合的目標跟蹤算法(MAPF)，增量對數線性空間學習的跟蹤算法(IRST)與增量線性空間學習的跟蹤算法(IVT)。對比算法均以粒子濾波為跟蹤框架，且均采用相同的目標運動模型。

圖3a中CarScale場景下，小車快速運動，存在明顯的尺度變化與樹木的遮擋，僅本文算法做到了該視頻場景下的尺度自適應跟蹤，其他跟蹤算法偏差較大，驗證了本文基于三維表觀模型的多線索目標聯合優化跟蹤算法處理復雜場景的魯棒性。圖3b為旋轉擾動遮擋場景下的Tiger1視頻。圖3bi幀中，算法均可以準確的跟蹤，圖3bii與圖3biii目標發生旋轉與形變，表觀發生較大變化，MAPF算法逐漸跟丟目標難以適應該場景，IRST算法由于基于對數線性空間建模，對目標表觀變化更加敏感優于IVT算法，而本文算法由于引入目標連續視圖建立表觀模型，能較好適應目標表觀的大幅變化，且由于引入了二級聯合跟蹤機制，避免了跟蹤漂移的出現。

圖3c的Soccer視頻為由于相機運動與背景大幅突變造成運動模糊的場景。與圖3b類似，初始階段，幾種算法均可較準確的捕捉到目標，區別較小，但隨著慶祝場面升級，相機需要快速運動以捕捉Soccer造成視圖嚴重模糊，由圖3cii與圖3ciii可見，3種對比算法由于視圖嚴重模糊無法跟蹤目標，均出現了跟蹤漂移現象，只有本文算法均成功捕捉到了跟蹤目標。圖3d的Car4場景下，目標表觀存在明顯的光線突變。MAPF算法因為結合LBP線索，跟蹤精度顯著優于IVT算法；IVT算法在光線突變后，目標被跟丟，表明僅利用灰度建模穩定性欠佳；IRST算法在小車剛進入橋下時，存在漂移現象，但在表觀穩定后又找回了目標，表明僅利用COV建模對場景突變魯棒性較差；但本文方法由于采用的線索間可相互動態補充，能有效應對該跟蹤場景。

i. 118幀 ii. 171幀 iii. 214幀

a. CarScale

i. 9幀 ii. 120幀 iii. 164幀

b. Tiger1

i. 8幀 ii. 80幀 iii. 213幀

c. Soccer

i. 42幀 ii. 188幀 iii. 234幀

d. Car4

圖3 多種表觀變化場景實驗對比

為了定量驗證算法的跟蹤效果，通過ATE與AOR兩個指標作為評估依據，可看出本文算法相比對照算法有了較大進步，具有較高的跟蹤精度，跟蹤誤差平均保持小于9像素；表2所示數據表明，本文算法亦可較好地適應目標的尺度變化，進一步驗證了本文的模型及其更新方法對提高跟蹤效率的良好效果；同時算法對視頻的處理速度也相應提高，有效保證了跟蹤的實時性。

表2 算法定量對比評估

4 結 論

本文針對視頻跟蹤過程中目標表觀存在的復雜變化，提出了一種基于灰度共生的多線索目標聯合優化跟蹤算法。以灰度共生理論為基礎，利用高辨識度特征對目標區域分別進行超分提取，從空域和時域角度分別對跟蹤目標進行三維表觀建模；通過雙線性空間的在線增量學習更新方式對模型進行動態更新，提高了算法的運算效率；同時二級聯合跟蹤能有效避免跟蹤漂移，保證跟蹤的精度。實驗表明，該算法在多種包含劇烈表觀變化的跟蹤環境中可取得良好的跟蹤效果。

[1] YANG H, SHAO L, ZHENG F, et al. Recent advances and trends in visual tracking: A review[J]. Neurocomputing, 2011, 74(18): 3823-3831.

[2] HO J, LEE K C, YANG M H, et al. Visual tracking using learned linear subspaces[C]//Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2012.

[3] LEE K C, KRIEGMAN D. Online learning of probabilistic appearance manifolds for video-based recognition and tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2013.

[4] ROSS D, LIM J, LIN R S, et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision, 2013, 77(1-3): 125-141.

[5] LATHAUWER L, MOOR B, VANDEWALLE J. On the best rank-1 and rank-(R1, R2,, Rn) approximation fhigherorder tensors[J]. SIAM Journal of Matrix Analysis and Applications, 2000, 21(4): 1324-1342.

[6] LI X, HU W, ZHANG Z, et al. Visual tracking via incremental Log-Euclidean Riemannian sub-space learning [C]//IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2013.

[7] LI X, HU W, ZHANG Z, et al. Robust visual tracking based on incremental tensor subspace learning[C]//International Conference on Computer Vision. [S.l.]: [s.n.], 2012.

[8] 薄華, 馬縛龍, 焦李成. 圖像紋理的灰度共生矩陣計算問題的分析[J]. 電子學報, 2014, 34(1): 155-158.

BO Hua, MA Fu-long, JIAO Li-cheng. Research on computation of GLCM of image texture[J]. Acta Electronica Sinica, 2014, 34(1): 155-158.

[9] CLAUSI D A, HUANG D. Design-based texture feature fusion using Gabor filters and co-occurrence probabilities[J]. IEEE Trans on Image Processing, 2013, 14(7): 925-936.

[10] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[11] KHAN Z H, GU I Y H. Online domain-shift learning and object tracking based on nonlinear dynamic models and particle filters on Riemannian manifolds[J]. Computer Vision and Image Understanding, 2014, 125: 97-114.

[12] CHENG X, LI N, ZHOU T, et al. Object tracking via collaborative multi-task learning and appearance model updating[J]. Applied Soft Computing, 2015, 31: 81-90.

編 輯 稅 紅

Object Joint Optimization Tracking Based on Gray-Level Co-Occurrence and Multi-Clues

JIN Guang-zhi, SHI Lin-suo, LIU Hao, MU Wei-jie, and CUI Zhi-gao

(502 Faculty, The Second Artillery Engineering University Xi’an 710025)

In order to improve the stability of the object tracking under different conditions, an object tracking algorithm is proposed. First,appearance model of the object is constructed. Then, bilinear space theory is used to expand the appearance model, implement the incremental learning of model updating, and reduce the computation of the model updating. The secondary combined stable tracking of object is achieved by dynamic matching of two observation models. Experimental results indicate that the proposed algorithm can effectively deal with the moving object tracking on a variety of challenging scenes.

gray-level co-occurrence; linear space; multi-clues; third-order tensor

TP391

A

10.3969/j.issn.1001-0548.2016.03.016

2015 - 08 - 17；

2016 - 01 - 12

國家自然科學基金(61501470)

金廣智(1987 - )，男，博士生，主要從事模式識別、計算機視覺方面的研究.