基于多特征提取和自適應關鍵濾波器的目標跟蹤算法

劉惠臨,軒文杰

(安徽理工大學 計算機科學與工程學院,安徽 淮南 232001)

目標跟蹤是計算機視覺領域的重要研究方向,隨著科技的發展和社會的進步,視覺技術在自動駕駛、交通流監測、人機交互、機器人技術和醫療診斷系統等領域具有廣闊的應用前景[1-3]。目標跟蹤是指在視頻的后續幀中找到當前幀中定義的感興趣目標的過程[4]。由于在跟蹤目標過程中一些場景的變化會對跟蹤結果產生影響,如遮擋、尺度變化、形變等,為了解決這些問題,眾多學者進行了大量研究[5]。如Judy等[6]將信號的相關濾波引進目標跟蹤,提出了最小輸出和相關濾波器(minimum output sum of squared error,MOSSE)跟蹤算法,在跟蹤過程中,將濾波器與當前圖像幀相關聯,響應得分最高的位置即為跟蹤結果。相關濾波跟蹤算法是將時域中的卷積運算轉換為頻域運算,降低了運算復雜度,保證了跟蹤算法的實時跟蹤能力。Henriques[7]提出了核函數相關濾波的循環結構目標跟蹤(circulant structure of tracking-by-detection with kernels,CSK)算法,在MOSSE的基礎上添加正則項以防止出現過擬合,同時引入了循環矩陣和核函數以提高運算速率。隨后,又將多通道的方向梯度直方圖 (histogram of oriented gradients,HOG) 特征引入到CSK框架中,提出了核相關濾波(kernelized correlation filter,KCF)跟蹤算法[8],擴大了負樣本的數量以提高跟蹤器的性能,同時利用脊回歸訓練目標檢測器。

近年來,眾多研究人員以KCF算法為基礎提出了許多高性能的目標跟蹤算法。由于KCF算法使用的HOG單一特征對復雜背景的特征表達能力有限以及沒有對尺度變化進行處理,可能會出現跟蹤精度低和不能適應目標尺度變化的問題。對此,Danelljan等[9]提出了判別式尺度空間跟蹤(discriminative scale space tracking,DSST)算法,使用尺度濾波器解決目標的尺度變化,這使得該算法有33種尺度變化。Song等[10]提出了尺度自適應目標跟蹤(scale adaptive with multiple features tracker,SAMF)算法,將HOG特征與顏色名稱特征進行融合替代單一的HOG特征,同時引入尺度池,計算7種尺度下的響應值,選取響應值最大的尺度為最佳尺度,實現了部分場景下的有效跟蹤目標。陳法領等[11]使用HOG特征與顏色名稱特征,分別訓練2個核相關濾波器,并對2個濾波器的響應結果進行融合,完成目標的位置估計。李聰等[12]將HOG特征和局部二值化(locally assembled binary,LAB)特征融合后得到圖像的多通道特征,將該多通道特征作為輸入量,使得目標外觀在多特征融合下得到更好描述,經過訓練的分類器對目標的檢測準確性也得到了提高。馬康等[13]將HOG特征和顏色名稱特征通過線性加權融合的方法代替原先的單特征,解決了單一HOG特征對目標判別能力有限的問題。為了減輕KCF算法的邊界效應,背景感知相關濾波(background-aware correlation filters,BACF)跟蹤算法[14]從分類器的訓練入手,通過對樣本的密集采樣來擴大正負樣本的數量,并將密集采樣得到的樣本全部用于分類器的訓練。

但是,上述算法在背景雜亂、目標快速運動和有遮擋等復雜場景下仍會出現跟蹤精度下降和目標丟失等問題。因此,提出基于多特征提取和自適應關鍵濾波器的目標跟蹤算法(multi-feature extraction and adaptive key filter based object tracking algorithm,MEAKF),在HOG特征的基礎上增加卷積神經網絡提取圖片的深度淺層卷積特征和深度高層卷積特征,并分別訓練3種濾波器,計算各自的響應圖,對其進行加權融合,定位最佳位置。然后,對于后續幀圖像,基于跟蹤目標感興趣區域的相似度對視頻序列中的關鍵幀圖像進行判斷,同時在關鍵幀圖像上采用深度高層卷積特征訓練的濾波器作為關鍵濾波器,以此得到自適應關鍵幀和關鍵濾波器。最后,對于非關鍵幀圖像上的目標采取HOG特征訓練的濾波器和深度淺層卷積特征訓練的濾波器進行定位跟蹤,對于關鍵幀圖像上的目標則在非關鍵幀圖像目標定位的基礎上,加上關鍵濾波器進行跟蹤定位。

1 相關濾波目標跟蹤算法原理

相關濾波目標跟蹤算法的原理是首先在初始幀確定的目標位置提取特征,根據初始幀提取的特征訓練濾波器;然后在跟蹤過程中,根據前一幀中的目標位置,在當前幀中估計包含目標的圖像塊。通過離散傅里葉變換執行相關濾波操作;最后通過傅里葉逆變換得到響應圖,響應得分最大值所在位置即為目標在當前幀中的新位置。對于圖像來說,要找到1個濾波模板h,與輸入圖像f求相關性,以得到響應圖g。它們之間的關系可描述為

g=f?h,

(1)

對上式進行快速傅里葉變換(F),其中的卷積操作?就變成了點乘操作·,極大降低了計算量。如下所示:

F(g)=F(f)·F(h)*,

(2)

對其進行簡化,為

G=F·H*,

(3)

其中,G、F、H分別表示g、f、h的傅里葉變換結果。關鍵問題在于求解濾波器H*。

MEAKF算法以KCF算法為基準進行改進,KCF算法中訓練濾波器的誤差函數為

(4)

其中,w為待求解的濾波器,n為樣本標簽的個數,yi為第i個標簽的真實值,f(xi)為預測值,λ為正則化參數。簡化式(4)并在傅里葉域進行計算可得到濾波器w的最優解為

(5)

其中,^表示在傅里葉域中,*表示復共軛,X、Y分別表示xi、yi的矩陣形式。在確定跟蹤目標的位置之后,需要對當前幀的濾波器和目標外觀模型進行更新。濾波器系數α和目標觀測模型x為

(6)

其中,t為當前幀,t-1為前一幀,θ為學習率。

2 MEAKF算法

2.1 算法流程

MEAKF算法流程如圖1所示。由圖1可知,整個算法流程分為2個階段:初始幀階段與后續幀階段。初始幀階段為后續幀階段提供相應的濾波器,在初始幀階段訓練的濾波器可用于后續幀階段的目標定位。在此過程中會得到3個濾波器,將提取深度特征中卷積3-1特征訓練的濾波器作為MEAKF的關鍵濾波器。后續幀階段會將初始幀階段得到濾波器用于后續幀圖像的跟蹤目標定位,具體來說,即在初始幀中得到的3個濾波器被用于后續幀的定位過程中,對于后續幀的感興趣區域提取對應的特征,然后將相應特征和相應的濾波器進行計算得到相應的特征響應圖,再根據關鍵幀的判斷,對不同幀的各個響應圖進行加權融合,對于融合后的響應圖取其最大值對應的位置即可得到目標位置。這里需要對后續圖像幀是否為關鍵幀進行判斷,關鍵幀的判斷流程將在2.3節中詳細描述。另外,在跟蹤過程中會出現目標尺度變化,因此MEAKF算法使用了不同尺度對被跟蹤的目標進行計算以得到最佳尺度,保證了尺度變化情況下算法的穩定性。最后更新濾波器,完成后續操作直至視頻序列結束。

注:圖中的×表示特征與濾波器進行計算。圖1 算法的流程Fig.1 Algorithm flow

2.2 多特征提取和自適應融合

使用HOG手工特征的KCF算法和使用多種手工特征融合的其他相關濾波跟蹤算法,在尺度變化和旋轉等場景下可能會出現跟蹤漂移和跟蹤失敗等問題。因此,MEAKF算法提出使用HOG特征與深度特征作為濾波器的訓練特征,完成對目標的精準定位。由于3種特征的維數較高,直接使用會影響算法的速度,所以在不損失圖像信息的情況下使用PCA方法對特征進行降維,從而減少計算量,加快算法跟蹤速度。

2.2.1 目標區域HOG特征提取 HOG特征可以很好地表達圖像的局部信息,對圖像幾何和光學形變具有不變性,因此被普遍應用于視覺跟蹤領域。HOG特征是在2005年由Navneet Dalal和Bill Triggs提出的,后來受到眾多研究人員的認可。HOG特征是在灰度圖像上進行提取,其流程為:首先,將圖像進行灰度化處理得到灰度圖像,選擇需要提取的圖像特征區域作為檢測窗口,并使用Gamma方式對檢測窗口進行歸一化操作,計算檢測窗口圖像中每個像素的梯度;然后,將圖像分成多個細胞,計算每個細胞的梯度直方圖;最后,將4個細胞組成1個塊,將4個細胞的梯度直方圖進行串聯得到1個塊的梯度直方圖,再將圖像中所有塊的梯度直方圖進行串聯,得到的梯度直方圖就是最終提取的圖像HOG特征。

2.2.2 目標區域深度特征提取 近年來,由于卷積神經網絡的不斷發展,卷積神經網絡模型大量涌現,包括GoogleNet、VGGNet、ResNet等。使用卷積神經網絡模型提取的特征有以下特點:深度淺層卷積特征空間分辨率高,包含更多紋理信息,但不適應形變和旋轉場景;深度高層卷積特征具有更多的語義信息,對于旋轉和尺度變化具有不變性。提出的MEAKF算法采用ImageNet預訓練模型VGGNet-19提取圖像特征,該模型具有結構簡單、易于使用的特點和強大的語義表達能力。為了提高在復雜條件下的跟蹤效果,借鑒文獻[15]中的特征提取方式并加以改進。由于MEAKF算法已經提取了HOG特征,其與卷積1層特征都是對目標表面紋理信息的表示,另外,卷積5層特征具有高級語義信息,而使目標定位更加準確要依靠更多的紋理信息,因此在使用HOG特征的情況下不使用卷積1層特征和卷積5層特征。根據對卷積2-1、卷積3-1、卷積4-1不同卷積特征與HOG特征組合的結果,最終選取卷積2-1和卷積3-1這2層卷積特征作為提取的深度特征,特征可視化結果如圖2所示,不同深度特征組合的結果將在算法消融性實驗中展示。由圖2可知,卷積2-1的卷積特征具有豐富的紋理細節,卷積3-1的卷積特征具有同時包含紋理細節以及語義信息的優點。

(a) 原圖 (b) 卷積2-1特征 (c) 卷積3-1特征圖2 VGGNet-19卷積層輸出結果的可視化Fig.2 Visualization of VGGNet-19 convolutional layer output results

2.2.3 融合HOG特征和深度特征 采用VGGNet-19中的卷積2-1特征和卷積3-1特征以及目標周圍區域的HOG特征,將每個特征單獨訓練1個濾波器,計算濾波器與下一幀感興趣區域的測試樣本,得到特征響應fconv2-1(z)、fconv3-1(z)、fHOG(z)。因為關鍵幀與之前的幀有較大變化,要在關鍵幀上提取更多的特征信息來準確定位目標位置。因此,若圖像為關鍵幀,則將fconv2-1(z)、fconv3-1(z)、fHOG(z)這3個響應圖進行加權融合,否則將fHOG(z)、fconv2-1(z)這2個特征響應圖進行加權融合,如式(7)(8)所示:

fk(z)=αfconv2-1(z)+βfconv3-1(z)+γfHOG(z),

(7)

f(z)=afconv2-1(z)+bfHOG(z),

(8)

其中,fk(z)是關鍵幀上最終的響應圖,f(z)是非關鍵幀上最終的響應圖,z表示待檢測樣本,conv表示卷積,α、β、γ、a、b為特征響應圖的融合系數,各系數實驗結果如表1所示。由表1可知,根據精準度和成功率最高值,對于特征信息較多的響應圖賦予較高的權重。先固定關鍵幀系數,然后對非關鍵幀系數進行比較,選擇a=0.7、b=0.3;再將非關鍵幀系數固定,對關鍵幀系數進行比較,選擇α=0.3、β=0.5、γ=0.2。

表1 不同系數結果對比Tab.1 Comparison of different coefficient results

2.3 自適應關鍵幀和關鍵濾波器

MEAKF算法在KCF算法的基礎上考慮自適應關鍵幀和關鍵濾波器,關鍵濾波器在關鍵幀上得以體現。關鍵幀是通過比較2幀圖像跟蹤目標感興趣區域的相似度進行判斷,自適應關鍵幀判斷流程如表2所示。由表2可知,在判斷后續圖像幀是否為關鍵幀時,需要設定1個閾值p,若2幀之間的相似度值小于閾值p,則判定此幀為關鍵幀;否則判定此幀為普通幀。對不同判定結果的圖像幀采用2.2.3節的計算方式進行跟蹤目標的定位。

表2 自適應關鍵幀的判斷流程Tab.2 Judgment flow of adaptive keyframes

關鍵濾波器以關鍵幀為基礎,在更新關鍵濾波器時,其受限于前一關鍵幀圖像中的關鍵濾波器,更新公式為

wk=ηwk-1,

(9)

其中,關鍵濾波器為wk,wk-1為前一關鍵幀圖像中的關鍵濾波器,η是權重因子。

3 實驗結果與分析

3.1 實驗環境與數據

實驗在Matlab 2022a仿真平臺運行,操作系統為Windows 10 64位,處理器為Intel(R) Core(TM) i7-7500U CPU @ 2.90GHz,運行內存為8GB,學習率等參數設置與原始KCF算法保持一致。

采用目標跟蹤基準(object tracking benchmark,OTB)數據集,其中包含了多種復雜的運動場景,如遮擋、形變、運動模糊、旋轉、離開視野、低分辨率等。OTB數據集的出現促進了目標跟蹤領域的發展,同時也成為了評價目標跟蹤算法性能的標準數據集之一。MEAKF算法采用以下3 種指標對算法性能進行評估。

1) 精準度。衡量跟蹤精度的評價指標是中心距離誤差,定義為跟蹤算法估計的目標中心位置與人工標注的目標中心位置之間的歐式距離,其公式為

(10)

C=dis(p1,p2),

(11)

其中,P為精準度,NA(C<ε)為距離小于閾值的視頻幀數,NB為視頻總幀數,dis(·)為預測目標位置p1與真實目標位置p2之間的歐式距離,C為一幀中的中心位置誤差。

2) 成功率。若跟蹤算法估計的邊界框與人工標注的真值框之間的重疊率O超過設定的閾值Ф,則視為跟蹤成功,成功率表示為跟蹤成功的幀數NA占視頻所有幀數NB的百分比,其公式為

(12)

(13)

其中,S為成功率,Mt為跟蹤框,Ma為真值框,Mt∩Ma為重疊的區域,Mt∪Ma為覆蓋區域,|·|為所在區域內的像素點個數。

3) 跟蹤算法的速度,單位為幀/s。

3.2 實驗結果

3.2.1 定性分析 實驗采用OTB數據集進行測試,與其他6種經典目標跟蹤算法SAMF、DSST、KCF、CSK、稀疏協同外觀模型(sparse collaborative appearance model,SCM)、跟蹤-學習-檢測算法(tracking-learning-detection,TLD)進行比較。MEAKF算法與其他6種算法在OTB數據集上的部分測試視頻序列結果如圖3所示,圖中左上角的黃色數字為圖片在視頻中的幀數。圖3(a)是籃球視頻序列,該視頻序列中跟蹤的目標是在籃球場上的運動員,主要具有形變和背景復雜的屬性特點。由圖3(a)可知,在第10幀圖像上各算法都能準確跟蹤目標;在第62幀圖像上TLD算法跟蹤失敗,KCF算法跟蹤框未能完全成功,MEAKF算法跟蹤成功;在第98幀圖像上DSST、SCM、TLD算法跟蹤失敗,KCF算法跟蹤效果不佳,MEAKF算法跟蹤結果準確。圖3(b)是旅鼠視頻序列,該視頻序列中跟蹤的目標是玩具旅鼠,主要具有遮擋和尺度變化的屬性特點。由圖3(b)可知,在第37幀圖像上所有算法均能跟蹤成功;在第339幀圖像上CSK和SCM算法跟蹤效果不如MEAKF算法和其他算法;第381幀圖像上KCF算法跟蹤失敗,MEAKF算法跟蹤結果準確。圖3(c)是鹿視頻序列,該視頻序列中跟蹤的目標是在水面上奔跑的鹿,主要具有快速運動和運動模糊的屬性特點。由圖3(c)可知,在第10幀圖像上MEAKF算法與KCF算法均跟蹤成功;在第27幀圖像上KCF算法跟蹤失敗,MEAKF算法跟蹤成功;第55幀圖像上KCF算法跟蹤效果不佳,MEAKF算法跟蹤結果準確。圖3(d)是足球員視頻序列,該視頻序列中跟蹤的目標是足球運動員,主要具有遮擋和背景復雜的屬性特點。由圖3(d)可知,在第21幀圖像上所有算法均跟蹤成功;在第75幀圖像上MEAKF算法和SAMF算法跟蹤成功,其余算法均跟蹤失敗;第111幀圖像上TLD、SCM和CSK算法跟蹤失敗,MEAKF算法跟蹤結果準確。

(a) 籃球 (b) 旅鼠 (c) 鹿 (d) 足球員圖3 對比算法在部分視頻序列上的結果Fig.3 Results of algorithm comparison on partial video sequences

3.2.2 定量分析 MEAKF算法與其他6種經典算法的實驗結果如表3、表4所示,其中展示了7種場景下的結果,分別是尺度變化(scale variation,SV)、遮擋(occlusion,OCC)、形變(deformation,DEF)、平面內旋轉(in-plane rotation,IPR)、平面外旋轉(out-of-plane rotation,OPR)、離開視野(out-of-view,OV)和背景復雜(background clutters,BC)。表3展示了不同算法的跟蹤精準度,表4展示了跟蹤成功率,由表3、表4可知,MEAKF算法在成功率和精準度上均高于其他6種算法,證明了MEAKF算法的有效性。

表3 算法的性能精準度對比Tab.3 Performance precision comparison of the algorithms

表4 算法的性能成功率對比Tab.4 Performance success rate comparison of the algorithms

MEAKF算法與其他6種經典算法在OTB數據集上的測試結果如圖4所示。圖4(a)展示了各種算法的精準度,圖例為算法名稱[精準度的值];圖4(b)展示了各種算法的成功率,圖例為算法名稱[成功率的值]。由圖4可知,MEAKF算法的精準度為0.492,成功率為0.576;相比KCF算法,精準度提升了0.051,成功率提升了0.104;相比DSST和SAMF算法,精準度分別提升了0.021和0.020,成功率分別提升了0.078和0.041。與其他幾種算法比較,MEAKF算法的精準度和成功率均更高。

(a) 精準度 (b) 成功率圖4 算法在OTB數據集上的測試結果Fig.4 Algorithm test results on the OTB dataset

此外,MEAKF算法與其他6種經典算法(SAMF、DSST、KCF、CSK、SCM、TLD)的跟蹤速度分別為3.6、19.2、13.5、109.9、126.8、0.5、28.1幀/s。由此可知,MEAKF算法的速度相比于SAMF和DSST等經典相關濾波算法的速度低很多,這是因為MEAKF算法的時間消耗在多層深度卷積特征的計算和判斷關鍵幀的過程中,這點有待進一步改進。

3.3 消融實驗

3.3.1 定性分析 MEAKF算法與KCF-HC、KCF-KF、KCF算法在OTB數據集上的部分測試視頻序列的結果如圖5所示,圖中左上角的黃色數字為圖片在視頻中的幀數。其中,KCF-HC表示只使用HOG特征與CNN特征的算法,KCF-KF表示只使用關鍵幀和關鍵濾波器的算法。圖5(a)是歌唱家視頻序列,在該視頻序列中跟蹤的目標是在舞臺上唱歌的歌手,主要具有光照變化和背景復雜的屬性特點。由圖5(a)可知,在第10幀圖像上各算法都能準確跟蹤目標;在第17幀圖像上KCF、KCF-HC、KCF-KF算法跟蹤效果不佳,MEAKF算法跟蹤成功;第41幀圖像上KCF、KCF-HC、KCF-KF算法跟蹤失敗,MEAKF算法跟蹤結果準確。圖5(b)是老虎視頻序列,在該視頻序列中跟蹤的目標是布偶老虎,主要具有離開視野和遮擋的屬性特點。由圖5(b)可知,在第12幀圖像上各算法都能準確跟蹤目標;在第41幀圖像上KCF算法跟蹤效果不佳,KCF-HC算法比KCF和KCF-KF算法跟蹤效果好,但不如MEAKF算法;第83幀圖像上KCF、KCF-HC、KCF-KF算法跟蹤效果都不如MEAKF算法好。

3.3.2 定量分析 MEAKF算法采用了自適應關鍵幀和關鍵濾波器以及多特征融合的改進方法,對MEAKF算法進行消融實驗,結果如表5、表6所示。表中使用均值(average value,AV)衡量算法在數據集上的整體效果。由表5、表6可知,KCF-HC在OTB數據集多種屬性上的成功率和精準度均高于KCF和KCF-KF算法,再加上關鍵幀以及關鍵濾波器得到的MEAKF算法在成功率和精準度上均高于其余算法,由此可知MEAKF算法是有效的。

表5 消融性對比算法的性能精準度對比Tab.5 Performance precision comparison of ablative comparison algorithms

表6 消融性對比算法的性能成功率對比Tab.6 Performance success rate comparison of ablative comparison algorithms

3.3.3 多特征組合消融實驗 多特征組合算法的實驗結果如表7所示。由表7可知,只展示卷積2層、3層、4層在關鍵幀和非關鍵幀上與HOG特征組合的結果,HOG特征為共有特征,不在表中體現;對不同組合的結果命名為MEAKFm+n,即關鍵幀上為卷積m層和卷積n層特征,非關鍵幀上為卷積n層特征;結果表明,使用卷積2層和卷積3層作為提取的特征效果較好。

表7 不同卷積層特征組合結果對比Tab.7 Comparison of the results of different convolutional layer feature combinations

算法中多特征組合的消融實驗在OTB數據集上部分視頻序列的測試結果如圖6所示,圖中左上角的黃色數字為圖片在視頻中的幀數。圖6(a)是溜冰運動員視頻序列,在該視頻序列中跟蹤的目標是溜冰運動員,主要具有快速移動和遮擋的屬性特點。由圖6(a)可知,在第10幀圖像上各個多特征組合算法都能準確跟蹤目標;在第86幀圖像上MEAKF3+2組合算法跟蹤效果最佳;第99幀圖像上MEAKF3+2和MEAKF2+3組合算法跟蹤效果最佳。圖6(b)是搖滾歌唱家視頻序列,在該視頻序列中跟蹤的目標是舞臺上的搖滾歌手,主要具有光照變化和背景復雜的屬性特點。由圖6(b)可知,在第10幀圖像上各個多特征組合算法都能準確跟蹤目標;在第29幀圖像上MEAKF3+4和MEAKF4+3組合算法效果最差;第102幀圖像上MEAKF3+2組合算法跟蹤效果最好。

(a) 溜冰運動員 (b) 搖滾歌唱家圖6 多特征組合消融在部分視頻序列上的結果Fig.6 Results of multi-feature combination ablation on partial video sequences

4 結論

為解決算法在背景雜亂、目標快速運動和有遮擋等復雜場景下出現跟蹤精度下降、目標丟失等問題,提出基于多特征提取和自適應關鍵濾波器的目標跟蹤算法(MEAKF)。算法對比實驗結果表明,采用圖像的HOG特征、深度淺層卷積特征、深度高層卷積特征和自適應關鍵濾波器的MEAKF算法在跟蹤成功率和精準度上都有了明顯的提升。3種特征的結合使用在目標的表達能力上比HOG特征的目標表達能力更有優勢。另外,MEAKF算法在跟蹤結果上優于其他6種經典算法,證明了MEAKF算法的有效性。消融實驗結果表明,在視頻序列中自適應的選取關鍵幀、關鍵濾波器和多特征融合的跟蹤結果更好,這是因為在關鍵幀圖像上增加了關鍵濾波器,能夠定位更加準確的目標位置,說明MEAKF算法的自適應關鍵幀、關鍵濾波器和多特征融合的思路是有效的。

但MEAKF算法尚有一些不足,如由于增加了深度特征以及尺度變化,對于算法的速度有所影響。另外,在不同場景下MEAKF算法選擇3個固定的特征,如何為不同場景選擇更為有效的特征成為亟待解決的問題。同時,所有的視頻序列都是采取同一種關鍵幀判斷方式,如何為不同視頻選取不同的關鍵幀判斷方式也是需要解決的問題,這些將是下一步研究的方向。