多特征融合的抗遮擋相關濾波目標跟蹤算法

王慧炳,左云波,2,劉重陽

(1.北京信息科技大學 機電工程學院,北京 100192;2.北京信息科技大學 機電系統測控北京市重點實驗室,北京 100192)

0 引言

目標跟蹤是計算機視覺技術中的研究熱點,在視頻監控、視覺伺服、人機交互等領域有著廣泛應用[1-3]。目標跟蹤的目的是在給定要跟蹤的圖像序列的情況下,對視頻幀中目標進行特征提取、建模,從而在后續幀中對目標可能存在的位置進行估計。盡管目標跟蹤經過多年研究已經取得了很多的突破性進展,但是它仍是一個極具挑戰性的課題。對目標跟蹤算法的性能造成影響的因素有很多,主要有遮擋、目標尺度變化、背景復雜、光照變化等。

近年來,出現了大量的跟蹤算法,其中相關濾波目標跟蹤算法因其跟蹤速度快、穩健性好,得到了廣泛的應用。2010年,Bolme等[4]將相關濾波算法應用在跟蹤領域,提出了最小輸出平方誤差和 (minimum output sum of squared error,MOSSE)濾波器算法,這是目標跟蹤發展的一次重大突破。Henriquse等[5]進一步對相關濾波算法進行了改進,提出了核化跟蹤的循環結構 (circulant structure of tracking with kernels,CSK)算法,該算法通過循環位移獲得大量樣本,并利用傅里葉變換大幅度提高了算法的性能。Henriques等[6]改進了CSK算法,使用了多通道的方向梯度直方圖(histogram of oriented gradient,HOG)特征,提出了具有更好性能的判別分類器的核相關濾波(kernel correlation filter,KCF)目標跟蹤算法。在KCF算法基礎上,Danelljan等[7]提出了具有目標多尺度自適應策略的判別尺寸空間跟蹤(discriminative scale space tracking,DSST)算法,以及Li等[8]提出的具有優良尺度策略的尺度自適應多特征(scale adaptive multiple feature,SAMF)算法,都有很穩健的效果。同時期Danelljan等[9]將顏色屬性擴展到CSK跟蹤器中,提出顏色(color name,CN)特征跟蹤算法,極大地提高了跟蹤算法的魯棒性。隨后,Ma等[10]通過加入檢測機制,提出了長時相關性跟蹤(long-term correlation tracking,LCT)算法,在目標遮擋和長時間跟蹤過程下都有優良的性能。近幾年,邱澤敏[11]提出的核相關濾波融合稀疏表示的目標跟蹤,厙向陽等[12]提出的基于稀疏表示的相關濾波目標跟蹤算法,以及黃月平等[13]提出的基于自適應標簽和稀疏學習相關濾波的實時紅外單目標跟蹤算法,改進了局部圖像塊的稀疏表示,短時目標跟蹤效果好,但無法有效應對遭遇長時嚴重遮擋或者短暫出視野的目標。

Henriques等提出的核相關濾波算法KCF通過引入核函數,實現了快速計算核函數相關性,從而能夠快速訓練和快速檢測。KCF目標跟蹤算法計算量小,跟蹤效果好,魯棒性優秀,故本研究對KCF算法進行改進。針對KCF算法在跟蹤過程中存在遮擋和目標尺度變化跟蹤性能弱的問題,本文通過將HOG特征和多尺度塊局部二值模式(multiscale block local binary pattern,MB-LBP)特征加權融合,并將所得特征再次與CN特征進行二次加權融合的方式來增強特征表達能力;增加尺度濾波器用于目標尺度估計;利用峰值旁瓣比和目標重定位算法對被遮擋目標進行判定和檢測。

1 相關濾波跟蹤算法

在整個相關濾波跟蹤過程中,由于跟蹤方案在頻域執行,不僅降低了運算成本,而且提高了跟蹤速率。相關濾波器算法具體流程:首先輸入視頻幀,獲取目標在首幀的圖像塊,并且訓練相關濾波器,用于后續目標檢測;然后對圖像塊進行特征提取,使用余弦窗口算法對圖像邊緣進行平滑處理;隨后利用離散傅里葉變換(discrete Fourier transform,DFT)對其進行相關濾波操作;最后利用傅里葉逆變換獲得目標位置的響應圖,響應圖得分最大位置即為跟蹤目標在當前幀的位置,并再次對新目標訓練、更新相關濾波器。

1.1 相關濾波理論

(1)

式中:?表示卷積;⊙表示矩陣間的乘法運算;*表示復共軛;F-1表示傅里葉逆變換。由式(1)可得輸入x和相關濾波器h之間的置信地圖,相關濾波器選擇目標周圍置信度最大的位置進行更新。假設y為期望的相關輸出,k為目標的新樣本,為了訓練濾波器,相關濾波器h需要滿足

(2)

因此可得

(3)

1.2 核相關濾波器

KCF算法將求解轉化為嶺回歸函數的問題,其樣本訓練過程本質上是一個正則化最小二乘[14]問題。引入核函數將算法預測的目標位置和模型進行匹配,響應最大的位置便判斷為目標所在位置。

1)分類器訓練。設一組訓練樣本{xi,yi},其中xi和yi分別是樣本和訓練樣本標簽,分類器訓練的目標是找到一個函數f(x)=wTx,使得正則化風險函數的值最小,即

(4)

式中:w為分類器參數;λ為正則化參數,用來防止過擬合現象;φ(xi)是Hilbert空間的映射。利用核函數方法將w轉化為線性組合的形式:

(5)

式中:α為w的對偶空間變量,即濾波器系數。利用核函數k(x,x′)=〈φ(x),φ(x′)〉可以解決高維特征矩陣點積計算問題,分類器可進一步轉化為

(6)

(7)

2)檢測。訓練階段完成以后,對于第t+1幀,將算法預測的目標位置和模型進行匹配,響應最大的位置便判斷為目標所在位置。得到的響應圖表示為

(8)

3)更新。由于目標外觀在運動過程發生變化,引入雙線性插值的方式對濾波器系數α和目標外觀模型x輔助更新,具體如下:

(9)

(10)

式中:γ為學習率;t為幀數。

2 改進的核相關濾波算法

KCF目標跟蹤算法使用單一的HOG特征,在背景雜亂、目標運動過快的情況下,魯棒性較差。其次,因其檢測尺度固定,每一幀都進行模型更新,在背景雜亂、目標遮擋等情況下,模型容易受到污染,導致跟蹤漂移。針對其不足,本文擬通過多特征融合,引入尺度自適應,通過遮擋判斷,對跟蹤目標進行重定位來提高跟蹤算法的魯棒性。

2.1 特征融合

KCF算法使用HOG特征提取目標特征時,使用灰度處理會損失圖像顏色的表征能力。另外,因HOG特征主要獲取的是圖像的局部信息,在背景雜亂、運動過快場景下,跟蹤效果急劇下降。近年來,局部二值模式(LBP)[15]特征開始廣泛應運于目標檢測和跟蹤,但是LBP僅能表達局部的紋理特征。Liao等[16]在此基礎上提出的MB-LBP特征彌補了傳統算法的不足,圖像的宏觀特征得到了很好的表達,且準確率高、計算簡單。但是MB-LBP會忽略一些局部的信息。MB-LBP特征良好的宏觀表達能力正好可以和HOG特征互補,故本文提出將兩種特征通過線性加權進行融合。融合過程為

fhm=(1-δ)fhog+δfmb

(11)

式中:fhog為HOG特征;fmb為MB-LBP特征;δ為HOG特征和MB-LBP特征融合過程中的權重系數,改進的算法中取δ=0.5;fhm為特征融合后的特征。

HOG特征和MB-LBP特征對輸入的圖像都進行了灰度處理,損失了對目標顏色的表達能力,并且在快速移動、運動模糊的情況下,魯棒性較差[17]。將原始的RGB的3通道圖像投影到11個顏色通道,可以得到CN特征。但是直接使用CN特征,會加大算法的運算量,并且對于區分目標和背景并非11個顏色通道都有意義。因此,本文將11個顏色通道的CN特征利用主成分分析(principle component analysis,PCA)自適應降維至二維,實時選擇比較顯著的顏色特征來描述目標,將計算量極大的CN特征簡單化。CN特征不僅對目標的顏色信息有很好的全局表達,對于運動模糊和光照變化能夠很好適應。HOG特征和MB-LBP特征融合以后的特征對局部紋理以及圖像整體輪廓都有很強的表達能力,融合CN特征可以進一步提高算法對目標發生形變和快速移動時的表達能力。線性加權融合后的特征表示為

fhmc=(1-η)fhm+ηfcn

(12)

式中:fcn為CN特征;η為融合權重系數,改進的算法中取η=0.3;fhmc為最終融合的特征。

2.2 尺度自適應

傳統的KCF方法,因為其檢測尺度固定,當目標尺寸發生變化時,模型可能會學習到更多背景特征,受到污染,從而導致跟蹤漂移,甚至丟失目標。針對以上問題,本文采用DSST算法中的精準尺度估計方法,即三維的尺度相關濾波器。濾波器的大小為M×N×S,其中M和N分別表示濾波器的高度和寬度,S表示尺度的數量。

圖1為尺度濾波器,其中f是以前一幀確定的目標位置為中心,取得一系列不同尺度的圖像塊的特征;h是每次迭代更新模板;g是通過采用三維高斯函數構建三維的濾波響應輸出。在目標跟蹤過程的當前幀中,可以獲取S個尺度上的特征組成一個M×N×S的特征金字塔z。根據所獲得的響應輸出g所在的位置即可確定估計的目標尺度信息。

圖1 尺度濾波器Fig.1 Scale filter

本文算法先用位置濾波器確定目標所在的位置,然后再根據尺度濾波器確定目標變化后的尺度信息。確定當前幀預測的目標位置后,獲取其中心點,并以該中心點為基準通過目標尺度變化金字塔計算目標尺度,以新預測的目標位置的中心點為基準獲取目標尺度變化金字塔提供的尺度,尺度相關濾波器的響應圖最大的位置即為目標估計尺度[18]。記當前幀的目標尺寸大小為P×R,尺度為S,我們將所獲取的目標尺度金字塔表示為anP×anR,并將其標記為Jn。其中a表示一個尺度因子,取a=1.03。s為尺度濾波樣本個數,取s=34。n的取值范圍如下:

(13)

2.3 遮擋判定

在目標跟蹤過程中,常常會發生目標遮擋的情況,從而導致模型被污染,出現跟蹤漂移。甚至目標嚴重遮擋或者長時間被遮擋會直接導致跟蹤失敗。目標遮擋一直是目標跟蹤的一大難點。判斷目標是否被遮擋,從而采取不同的跟蹤策略已經成為一種有效的手段。通過對目標跟蹤過程中響應圖的對比發現,當對目標進行跟蹤的效果良好時,得到的高斯分布圖具有很明顯的穩定峰值,但是目標被遮擋時,所得到的高斯分布圖會出現多個相似峰值,從而導致目標跟蹤失敗。

針對以上問題,本文通過計算峰值旁瓣比 (peak sidelobe ratio,PSR)[19]來對目標是否被遮擋進行判斷。峰值旁瓣比主要是對峰值強度的測量。為了計算PSR,相關輸出被分成作為最大值的峰值和旁瓣。通過設定一個閾值T,將計算得到的PSR值與設定閾值T進行比較,PSR值計算如下:

(14)

式中:P為PSR值;Fmax表示峰值;γ和β表示峰值旁瓣的平均值和方差。P>T時跟蹤成功,且P越大表示峰值越明顯,跟蹤效果越好;當P

2.4 目標重定位

當跟蹤的對象被遮擋或者受到干擾時,干擾物的特征會污染跟蹤模型,出現跟蹤漂移,甚至目標丟失。因此,經過遮擋判定后,如果P小于設定的閾值T時,需要進行目標重定位并且對此幀不進行模型更新。獲取前兩幀所跟蹤對象的中心點,將所獲得的兩個中心點進行線性擬合,從而預測出目標被遮擋后可能出現的位置,即可進行目標重定位,并且保留上一次更新的模型,對下一幀再進行相同步驟的目標跟蹤。

本文的目標重定位算法中,以遮擋前兩幀的目標所在位置為基準,獲得跟蹤對象的中心位置,通過將所得的兩個點進行線性擬合,判斷下一幀目標可能出現的位置,并且對其所在區域進行跟蹤算法操作,即可得到相應峰值最高的區域,將其作為目標重定位選取的最終位置。公式如下:

y(x)=ax+b

(15)

(16)

(17)

式中:(xi-1,yi-1),(xi,yi)為前兩幀目標中心位置;(xi+1,yi+1)為預測目標可能出現的位置;t為當前幀獲取的時間。選取相應峰值最高的區域,將其作為目標重定位的最終位置后,再次進行遮擋判定,滿足P>T時,則認為跟蹤成功,否則認為當前幀跟蹤失敗。此時,調整檢測框尺寸為原先的υ倍,在新的預測區域內對目標進行重定位,這里取υ為1.5。

2.5 改進的核相關濾波算法步驟

1)初始化。獲取跟蹤目標的初始位置和尺度,并對第一幀目標位置所在的區域進行循環采樣,獲得用于訓練的樣本。

2)特征提取。分別提取目標的HOG特征、MB-LBP特征和CN特征,并根據本文算法進行融合。用本文算法多特征融合后獲得的特征進行訓練,得到位置濾波器,用提取到的HOG特征進行訓練,得到所需的尺度濾波器。

3)遮擋判定。根據下一幀目標的預測位置,獲得相關響應值,計算峰值旁瓣比,P>T時跟蹤成功,P

4)目標重定位。如果在第三步判定目標遮擋或者丟失,進行目標重定位,否則,不進行本步驟并進行5)。

5)模型更新。目標定位后,利用尺度金字塔和濾波器對目標進行尺度估計,隨后對位置和尺度濾波器分別進行更新。

6)跟蹤結果可視化。將跟蹤窗口可視化呈現,如果不是最后一幀,繼續輸入下一幀圖像,重復步驟2)～5)。本文改進算法流程如圖2所示。

圖2 整體算法流程Fig.2 Overall algorithm flow

3 實驗與分析

為了驗證本文目標跟蹤算法的有效性,本文在公開數據集OTB100上與主流目標跟蹤算法CSK、KCF、DSST、SAMF進行了對比實驗。算法之間的主要區別見表1。測試數據集包括目標遮擋、目標尺度變化、光照變化、快速移動等復雜場景。

表1 各算法主要特征Table 1 Main features of each algorithm

3.1 實驗環境與參數

本文實驗運行環境為Matlab R2015b,Window10操作系統64位,實驗所用電腦配置為Intel(R) Core(TM) i5-5200U CPU @ 2.20 GHz 2.19 GHz,8 GB內存。CSK、KCF、DSST、SAMF跟蹤算法所有參數均為默認。

實驗中KCF算法的參數保持不變,正則化參數為0.01,學習率為0.02,CN為2維,灰度特征為1維;在一維尺度濾波器中,尺度因子的參數設置為1.03。

3.2 定性分析

通過選取3組視頻序列,給出了5種算法的跟蹤效果對比圖,如圖3所示。不同跟蹤算法采用不同顏色的矩形框標出。

圖3(a)為Coke視頻序列,主要存在快速移動、旋轉、光照變化、遮擋,從第28幀開始CSK、KCF發生漂移,在第79幀KCF重新找到了目標,從第100幀可以看到,由于目標發生旋轉,只有SAMF算法和本文算法可以準確跟蹤,從第276幀可以看到,目標物被遮擋后,KCF算法丟失目標,SAMF算法和本文算法仍然可以保持較好的跟蹤性能。圖3(b)的Walking視頻序列主要發生了目標尺度變化和遮擋,在第171幀中目標尺度已經發生了變化,CSK、KCF由于缺乏尺度更新機制,跟蹤模型受到了背景干擾,在第325幀中可以看到,由于目標物受到遮擋,SAMF算法和本文跟蹤算法跟蹤效果較好,其余算法都跟蹤失敗。圖3(c)的Jogging視頻序列發生了目標遮擋,除了本文算法以外,其他算法都無法跟蹤被遮擋的目標,而本文算法可以很好地應對遮擋干擾的影響,能夠更加精確地跟蹤被遮擋目標。

圖3 CSK、KCF、DSST、SAMF、本文跟蹤算法的對比結果Fig.3 Comparison results of CSK,KCF,DSST,SAMF and OURS tracking algorithms

3.3 定量分析

本文采用成功率 (success rate)和精確度 (distance precision,DP)2個評價指標,對5個跟蹤器進行定量評價。其中,獲得成功率,首先需要計算重疊率,重疊率是目標預測矩形面積和目標真實矩形面積的交集和并集之比;重疊率大于閾值視為跟蹤成功,序列中跟蹤成功的幀數占總幀數的比例定義為跟蹤成功率。各閾值下的成功率如圖4(a)所示。DP是目標跟蹤中心到目標真實中心的距離未達到一定閾值的幀的比例,DP越大,算法跟蹤效果越好,如圖4(b)所示。從圖4(a)成功率曲線圖中可以看到,本文算法成功率明顯高于CSK、KCF、DSST、SAMF算法,和SAMF算法較為接近,并且從數據可以看出,由于使用了多特征融合,本文算法的成功率值主要在(0.4,0.9)之間,整體算法性能優于其他4種算法。從圖4(b)中心定位誤差精度圖可以看出,本文算法精確度略高于SAMF算法,且明顯優于其他算法。以上實驗數據表明,本文算法以KCF算法為基本框架進行改進,通過多特征融合增強特征的表達能力,并且增加一個尺度濾波器,采用峰值旁瓣比作為遮擋評判,采用目標重定位算法重新檢查被遮擋目標的位置,有效提高跟蹤算法的整體性能。

圖4 各算法的成功率和精確度對比Fig.4 Comparison of the success rate and distance precision of each algorithm

4 結束語

針對傳統KCF目標跟蹤算法,由于僅使用單一的HOG特征,導致在背景雜亂、目標運動過快的情況下,魯棒性較差的問題,本文算法提出了多特征融合策略。HOG特征和MB-LBP特征融合后的特征對局部紋理以及圖像整體輪廓都有很強的表達能力,再次融合CN特征可以進一步提高算法對目標發生形變和快速移動時的表達能力。針對傳統的KCF方法由于固定的跟蹤尺度和缺少解決遮擋問題策略,在目標發生目標尺度變化和遮擋時,會出現跟蹤漂移,甚至跟蹤失敗的問題,本文算法加入尺度濾波器,并且針對遮擋問題增加了遮擋判定。針對目標重定位環節,提出了一種簡單有效的目標重定位策略,在目標被遮擋的情況下,能夠保持較好的跟蹤性能。