稀疏約束與時間一致的背景感知相關濾波目標跟蹤

陶 洋,唐 函,歐雙江,周婉怡

(重慶郵電大學 通信與信息工程學院,重慶 400065)

0 引 言

目標跟蹤是計算機視覺領域中非常重要的一個研究方向,近年來,目標跟蹤廣泛應用在不同領域,例如智能交通監控、人機交互、醫學成像、自動駕駛等[1].目標跟蹤任務旨在通過第一幀感興趣區域的初始目標框來估計后續視頻序列中目標邊界框.盡管目標跟蹤的研究取得很大進展,不斷有大量優秀的解決方案涌現,跟蹤算法的綜合性能也在不斷提升,但要設計出魯棒性強、穩定性高的跟蹤器仍是一個充滿挑戰性的問題.在目標跟蹤中,跟蹤器性能往往受光照變化、快速運動、運動模糊、物體遮擋、旋轉、復雜背景干擾等因素影響[2].

基于相關濾波的算法通常借助信號處理的思想,將相關計算轉換到頻域完成,再通過傅里葉逆變換確定最終響應圖最大值位置[3].這樣的方式大大簡化了計算復雜度,同時,其保證了不俗的跟蹤精度,得到了廣泛應用.Bolme等[4]首次將相關濾波技術引入目標跟蹤,提出的誤差平方和最小濾波器MOSSE改善了傳統目標跟蹤方法容易過擬合和濾波模板不穩定的問題.MOSSE利用快速傅里葉變換求解相關濾波器使得其運行速度達到驚人的669幀/s.Henriques等[5]針對MOSSE濾波器在訓練模板采用稀疏采樣導致訓練出來濾波效果一般,引入了循環矩陣的方式對樣本進行密集采樣,所提出的CSK算法還加入了高斯核技巧改善跟蹤效果.Henriques等[6]為改善CSK目標提取的外觀模型,在提出的KCF核相關濾波算法中,將CSK單通道灰度特征提取方式替換成方向梯度直方圖HOG特征提取,但無法有效解決循環矩陣引起的邊界效應問題.為緩解KCF算法在FFT過程中圖像邊緣循環拼接不連續的現象,Danelljan等[7]提出的SRDCF算法引入了掩碼矩陣與空間正則項來懲罰離目標中心比較遠的邊緣樣本,但由于空間正則項的引入破壞了目標函數的封閉解,且采用的Gauss-Seidel迭代方法求解效率低,運行效果只能達到4fps左右,遠達不到實時性要求.Bertinetto等[8]提出的Staple算法利用顏色特征對目標學習能很好處理形變與運動模糊的優勢與HOG特征處理光照變化的優勢,將二者優勢互補,提出新的融合特征因子很好的提高了目標跟蹤效果,同時對跟蹤速度沒有較大影響.Mueller等[9]提出了一種上下文感知相關濾波CACF框架,在訓練階段采集目標上下左右區域的樣本作為負樣本,較好地解決了目標遮擋、背景模糊等挑戰場景.Huang等[10]提出的異常抑制相關濾波器ARCF通過抑制相鄰兩幀的響應圖變化率,有效地防止了快速運動、遮擋、形變等導致外觀模型置信度迅速降低的異常檢測.Li等[11]針對SRDCF中的固定的空間正則化權重不能很好適應大多數場景,其提出的自適應時空正則跟蹤濾波算法Autotrack根據用局部與全局的響應圖變化,自適應地調整時空正則化超參數,提高了模型的通用性與有效性.Galoogahi等[12]人提出的背景感知濾波算法通過不斷裁剪目標周圍的背景作為負樣本,解決了大多數相關濾波算法訓練樣本質量差的問題,提高了模型對目標的判別正確率.

雖然背景感知濾波算法通過應用ADMM(Alternating Direction Method of Multipliers,ADMM)迭代方法[13]提高了多通道HOG特征求解效率,使用真實的移位裁剪提高訓練樣本質量,但其單一的HOG特征無法很好對模型外觀建模,并且在提取真實負樣本的過程中,擴大了搜索區域,引入了較多的背景雜波,因此BACF在面對遮擋、背景干擾、目標遮擋、形變等情況時無法很好判別目標.針對以上問題,本文采用HOG與CN特征線性融合提高外觀表征能力,面對不同場景不同的挑戰,引入L1正則項將目標函數改寫為彈性網絡約束,限制了目標區域稀疏性提高搜索區域目標判別能力.同時,BACF算法由于未考慮到目標出現被遮擋、快速移動等外觀突變時,相鄰兩幀濾波器系數應不會出現太大變化.為防止相鄰兩幀位置跟蹤濾波器出現突變,本文引入時間正則項來約束位置跟蹤濾波器,懲罰濾波器出現的異?；?

1 相關工作

1.1 彈性網絡

在機器學習算法中,彈性網絡是一種多元線性回歸模型,它同時采用了L1正則化與L2正則化對目標參數進行懲罰,其求解目標函數如式(1)所示:

(1)

在彈性網絡模型中,當混合參數β=0時,彈性網絡將退化成嶺回歸模型;而當β=1時,彈性網絡則等價于Lasso回歸模型.嶺回歸能夠抑制回歸系數,但不會縮減相關變量;Lasso回歸在優化目標函數最小化過程中,其引入的L1正則懲罰項可以幫助模型獲得稀疏系數,篩選出重要相關特征變量,并縮減掉無關特征變量.彈性其本質是將Lasso回歸與嶺回歸的優點同時結合起來,能夠使模型同時獲得Lasso的稀疏性與嶺回歸的正則化能力.

1.2 背景感知相關濾波算法(BACF)

在傳統的多通道相關濾波框架中,往往是在目標附近的固定半徑內采用循環移位的方式生成訓練樣本.其本質是對目標樣本進行周期性延拓,通過密集的循環移位采樣大大提高了濾波模型的樣本數量.但在樣本質量方面,由于負樣本都是目標樣本循環移位產生的,在實際采樣中,其效果是一系列扭曲的虛擬樣本.其生成的正樣本包含太多的背景信息,且僅有少部分是正確的.

傳統相關濾波算法訓練樣本集質量差,從而導致濾波模型無法有效分辨真實外觀模型,這增加了濾波器訓練過擬合的風險,也極大限制了復雜場景下濾波器分辨目標與遮擋物的潛力.針對以上問題,BACF算法通過對整幅圖片進行密集采樣,擴大樣本搜索區域的同時,引入一個二值化掩碼矩陣來裁剪出高質量的樣本,使得正樣本中包含真實目標和小塊的周圍信息,保證了所得到的負樣本包含了當前幀的所有背景信息.多通道背景感知相關濾波器最小化優化目標函數如式(2)所示:

(2)

其中,T表示圖像像素個數;K表示特征通道數的數量;P是引入的D×T二值化掩碼矩陣用于裁剪特征圖,其中D?T;hk∈D是所要優化的第k個通道的相關濾波器;y∈T是集中在感興趣目標的相關響應結果;[Δτj]表示循環移位操作符,則Pxk[Δτj]是指利用掩碼矩陣P不斷裁剪循環移位后的特征圖,最終裁剪出D個元素.

2 本文算法

2.1 基本思想

BACF算法采用單一的方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征來對目標進行外觀描述,通過計算統計局部區域圖像像素點的梯度或邊緣方向的方式,很好的反應出目標的邊緣輪廓,且HOG特征對光照變化、顏色變化不敏感,目標的輕微變化不會影響幾何特征檢測效果.但其無法很好適應,目標快速移動、目標形變、模糊背景干擾等情況.而Martin Danelljan提出的多通道顏色特征(Color Names,CN)[14]在快速移動、低分辨率等情況下表現良好,但對顏色相近的干擾敏感.

針對BACF單一的特征通道,本文采用HOG與CN特征結合的方式來描述目標,能夠很好地彌補各自的缺點,提高目標外觀模型的魯棒性.然而,在實際跟蹤效果中,二者的線性融合無法很好適應不同的場景.比如在復雜顏色背景干擾場景下,融合的CN特征會導致目標模板污染,造成跟蹤效果的漂移.

2.2 目標函數

受彈性網絡的啟發,本文在BACF的基礎上引入L1正則項對濾波器進行稀疏約束,使得跟蹤過程中更加關注目標樣本區域,降低目標周圍相似背景的干擾.同時,在不同場景下篩選出更具代表性的判別特征,通過特征選擇增強目標外觀的抗干擾能力.考慮到相鄰兩幀的出現較大畸變會影響濾波模型退化的問題,引入時間正則項防止濾波器突變.構造的目標函數如式(3)所示:

(3)

2.3 目標函數優化求解

為求解公式(4),本文采用交替乘子法ADMM迭代求解.為提高計算效率以及跟蹤算法實時性,首先,將目標函數中的時域計算轉換到頻域求解:

(4)

(5)

(6)

1)子問題h*求解

對于子問題h*,由于不涉及到相關計算,可在時域對問題進行求解.

(7)

針對式(7)中存在L1范數作為約束條件,無法直接對式(7)求導得到最優解,可通過軟閾值迭代收縮算法[15]求得該最小二乘問題的唯一解析:

(8)

o(x,y)=sign(x)×max(|x|-y,0)

(9)

(10)

(11)

對其求導并令導數為0,得到最后的閉環解如式(12)所示:

(12)

(13)

3)拉格朗日乘子求解

ADMM中的增廣拉格朗日乘子更新策略如式(14)所示:

(14)

其中,i表示ADMM中迭代次數,在迭代第i+1次時的拉格朗日乘子問題求解結果如式(14)所示,而拉格朗日懲罰參數μ更新公式如式(15)所示,θ為固定參數.

μi+1=min(μmax,θμi)

(15)

2.4 尺度估計

圖1 算法原理Fig.1 Algorithm principle

3 實驗與結果分析

OTB作為主流的單目標跟蹤測試數據集,主要包括不同場景下100個帶人工標注視頻序列.其中有25%的視頻序列為灰色圖像,75%的視頻序列為彩色圖像,因此,OTB數據集覆蓋了IV(Illumination Variation,光照變化)、SV(Scale Variation,尺度變化)、OCC(Occlusion,遮擋)、DEF(Deformation,形變)、MB(Motion Blur,運動模糊)、FM(Fast Motion,快速運動)、IPR(In-Plane Rotation,平面內旋轉)、OPR(Out-of-Plane Rotation,平面外旋轉)、OV(Out-of-View,離開視野)、BC(Background Clutters,背景復雜)、LR(Low Resolution,低分辨率)這11方面的挑戰.OTB2013[17]是Wu等人在CVPR2013上發表論文中的51個視頻序列.主要是以灰色圖像序列為主,而OTB2015[18]是指OTB所有的100個視頻序列,是為更好地測試跟蹤算法模型的魯棒性,在OTB2013的基礎上新增了49個視頻序列.

3.1 實驗環境及參數設置

為驗證算法提升效果,本文實驗環境在win11操作系統上采用MATLAB R2018a軟件,硬件配置平臺CPU為Intel i5-12500H,運行內存16GB,主頻2.5GHz.為方便實驗對比,本文選擇在OTB2013數據集與OTB2015數據集上運行本文算法與公開跟蹤算法,包括SRDCF[7]、Staple[8]、Staple_CA[9]、ARCF[10]、AutoTrack[11]、BACF[12]、MSCF[19]在內的主流算法.本文的基準為BACF算法,引入的L1正則化超參數α設置為5×10-6,時間感知正則項超參數β設置為1×10-5,其余參數均與基準算法保持一致.在圖像特征方面,采用手工特征HOG與CN融合的方式.

為保證對比實驗的準確性,本文對照實驗算法均采用默認參數設置,盡量避免實驗環境不同導致算法結果與原算法出現較大偏差.

3.2 評價指標

OTB數據集主要從跟蹤距離精度與跟蹤成功率兩方面來評估跟蹤算法的魯棒性和定量分析.通常主流方法采用一次性評估OPE(One Pass Evaluation,OPE)的方式,即以視頻序列的第一幀的ground_truth值作為待評估算法的初始位置,后續算法對每一幀為位置進行計算與預測,最后輸出所有視頻序列的平均位置精度和跟蹤成功率.

1)距離精度圖

對于精度定量分析,在圖像跟蹤廣泛使用的標準是計算圖像真實目標位置與預測目標位置的歐氏距離,即中心位置誤差(Center Location Error,CLE).假設每幀圖像中真實像素坐標位置坐標為(ua,va),預測位置像素坐標為(ub,vb),則其計算公式如式(16)所示:

(16)

在OTB評估指標過程之中,可以通過統計中心位置誤差小于等于20個像素點的幀數來評估算法的距離精度,通過距離精度圖來直觀展示上述幀數占總幀數的百分比.

2)成功率圖

另外一個重要評估指標是成功率(Success Rate,SR),通過計算預測目標框與真實目標框像素面積的交并比獲得跟蹤得分,并統計目標框重疊率大于閾值的成功幀數占總幀數比率.假設真實目標跟蹤框記為sa,跟蹤算法所得到的目標框記為sb,則重疊率(Overlap Rate)定義如式(17)所示:

(17)

重疊率越大表明跟蹤效果越好,通常成功率圖設置的重疊率閾值為0.5.

3.3 定量分析

為綜合對比本文算法的跟蹤效果以及整體性能分析,本文選取了近年來公開的7種優秀相關濾波跟蹤算法(SRDCF、Staple、Staple_CA、ARCF、AutoTrack、BACF、MSCF)與本文算法進行測試.圖2是8種算法在OTB-2013數據集上測試出的距離精度圖與成功率圖,由圖2可知,本文改進后的算法取得的不錯的成績,距離精度達到了88.2%,成功率達到了65.9%.相較于基準算法BACF,距離精度與成功率分別提升了3.3%與1.4%.同樣在如圖3所示的OTB-2015數據集上,本文算法同樣保持了優秀的性能提升,其距離精度與成功率相較于基準算法分別提升了3.2%與1.6%.從整體上看,本文算法綜合性能比基準算法BACF有了較大的提升.

圖2 OTB-2013數據集上的精度圖和成功率圖Fig.2 Accuracy graph and success rate graph on the OTB-2013 dataset

圖3 OTB-2015數據集上的距離精度圖和成功率圖Fig.3 Accuracy graph and success rate graph on the OTB-2015 dataset

表1與表2分別為8種算法在OTB-2015數據集上,11種挑戰因素下的跟蹤精度與成功率.由表1可以看出,除低分辨率(LR)屬性外,本文所提出的算法在剩余場景中均取得最高的距離精度.同時,就成功率而言,本文算法在除低分辨率(LR)與平面內旋轉(IPR)挑戰因素外,同樣是成功率排名第一.由此,本文引入的L1背景稀疏約束范數很好地在不同場景下選擇出目標外觀模型的關鍵特征,使得濾波器能夠學習到正確有效的信息,在背景干擾、光照變化、物體遮擋3種場景中,跟蹤精度分別達到0.9、0.852、0.794,也驗證了L1范數的引入使得整個樣本稀疏度分明,提高了目標特征區分度,同時也增強模型注意力,避免了模型漂移.時間一致性約束正則項幫助濾波器建立起相鄰兩幀之間聯系,有效抑制物體快速移動導致濾波器學習突變外觀信息.獨立用HOG特征訓練的尺度估計模塊能夠準確輸出最佳的尺度比例,在尺度變化挑戰中成功率較基準算法提升了1.3%.在表中,排名第1的結果已加粗標出,排名第2的結果已加下劃線標出.

表1 8種算法在不同挑戰因素下的跟蹤精度Table 1 Tracking accuracy of 8 algorithms under different challenge factors

表2 8種算法在11種挑戰因素下的成功率Table 2 Success rates of 8 algorithms under 11 challenge factors

本文利用了ADMM算法將目標函數分解為3個子問題,提高了局部問題最優解求解效率,但不同與基準算法,本文訓練的獨立尺度估計濾波器也采用了ADMM求解,在對7個尺度的HOG特征提取時,增加了額外的計算時間.如表3中BACF、STAPLE_CA、ARCF、AutoTrack、SRDCF、Staple、MSCF和本文算法在OTB-2015數據集上的平均跟蹤幀數對比所示,本文算法綜合性能得到提升的同時FPS達到了23.88幀/s,相較于BACF算法降低了8FPS,但跟蹤速度保持了近乎人眼視覺實時的效果.

表3 OTB-2015數據集上8種跟蹤算法速度對比Table 3 Speed comparison of 8 tracking algorithms on OTB-2015 dataset

3.4 定性分析

為直觀對比評估本文所提出算法的跟蹤效果,圖4為8種算法在OTB-2015數據集上5個不同挑戰屬性的視頻序列(DragonBaby、Jogging-1、Lemming、Sharking、Human3)上的追蹤效果圖,所選的這5個視頻序列基本上覆蓋了所有的挑戰屬性.本文用不同顏色、灰度和虛實線的矩形框標識出每種算法在該幀的預測位置.

圖4 8種算法在5個視頻序列的跟蹤效果Fig.4 Tracking effect of 8 algorithms in 5 video sequences

對于視頻序列DragonBaby(圖4(a)),該場景給跟蹤器帶來了尺度變化、目標遮擋、運動模糊、離開視野等方面的挑戰.由圖4(a)中所示,圖中目標物體快速移動,在第32幀的時候,MSCF、ARCF、SRDCF已經出現了濾波器學習到大量異常突變信息導致跟蹤漂移的情況,而本文引入的時間正則化約束性有效限制了濾波器相鄰兩幀的一致性,很好地降低了跟蹤漂移.在第44幀時,目標物出現了比較嚴重的運動模糊,本文算法利用背景稀疏約束,避免了對其他背景信息的學習,只有本文算法準確跟蹤到目標位置.在第80幀左右,目標物出現了快速旋轉、遮擋等問題,所有算法均出現了跟蹤漂移.在第113幀時,BACF、ARCF、MSCF、SRDCF由于誤差累積,已導致其無法很好地跟蹤上目標,而本文算法仍能很好的跟蹤到目標.

對于視頻序列Jogging-1(圖4(b)),該場景主要有遮擋、形變等挑戰屬性,在第68幀～第85幀之間,畫面中靠左的慢跑者在遇到信號桿遮擋后,除了本文算法、SRDCF與BACF算法,其余算法在遇到遮擋后,無法再跟蹤到慢跑者.濾波器搜索區域也一直停留在信號桿附近,無法繼續對跑者進行特征學習,模型誤差一直累積,造成濾波器性能快速退化.

對于視頻序列Lemming(圖4(c)),該序列具有尺度變化、遮擋、離開視野、平面內旋轉等挑戰屬性.在第121幀時,Staple算法由于使用固定的尺度框,無法很好的滿足物體尺度變化需求.而本文獨立到的尺度濾波模塊有效保證了目標框的大小自適應.在第345幀～第389幀之間,目標物體受到打火機的遮擋,MSCF、Staple、STPLE_CA、SRDCF、ARCF與AutoTrack學習到大面積的遮擋信息后,使得后續跟蹤一直停留在遮擋物上,無法再找到目標位置,而本文與BACF算法則正確更新目標位置.在第914幀～第1146幀之間,目標在平面內不斷旋轉,得益于引入的時間感知信息與尺度估計模塊,本文算法很好地對目標外觀建模,達到了不錯的跟蹤效果.

對于視頻序列Sharking(圖4(d)),該序列具有光照變化、旋轉等挑戰屬性.在第61幀時,畫面中出現較大的光照變化,本文算法與BACF能正確跟蹤到物體,而光照強度突變導致其它算法在特征提取上學習到豐富的顏色信息,進一步影響到響應圖最大值位置.在后續的第131幀與271幀之間,目標出現較大旋轉、尺度變化與光照強度的不斷變化.除了本文算法與BACF,其余算法不斷累積位置誤差,進而導致跟蹤失敗.整體上看,本文算法所使用到的彈性特征提取到一部分比例的HOG特征有效克服了光照變化的影響.

對于視頻序列Human3(圖4(e)),該場景主要挑戰是目標遮擋、背景模糊、形變、尺度變化等.在第10幀與第39幀之間,由于SRDCF等算法其過大的搜索區域導致其學習到較多的背景信息,導致后續目標跟蹤丟失.在第39幀～第188幀之間,整個背景比較模糊,且目標行人衣服與信號桿顏色相近,在受到信號桿的遮擋之后,只有本文算法能夠一直正確跟蹤到目標位置.在后續畫面鏡頭不斷縮小放大過程中,分離出來的尺度濾波器能靈活適應行人輪廓,精準估計出尺度大小,使得本文算法保持了跟蹤穩定性.

綜上所述,本文算法在基準算法BACF上綜合性能提升顯著,跟蹤穩定性和魯棒性得到了進一步提升.在具體的視頻序列上,抗復雜背景干擾能力、尺度估計能力提升得到了很好的驗證.

4 結 論

為解決BACF在背景干擾、尺度變化、運動模糊、形變、光照變化、目標消失等復雜場景下穩定性和魯棒性差的問題,本文提出在結合CN特征來提高目標外觀模型的魯棒性,同時引入彈性網絡使得模型在線更新的時候能夠篩選出相關度高的融合特征,通過對目標區域的稀疏性學習到重要特征信息,較好地提高了濾波器的判別能力.由于BACF算法未考慮到連續兩幀間的濾波器一致變化,本文引入時間正則項約束,有效避免了物體快速移動帶來的運行模糊、目標遮擋等突變外觀信息學習,從而造成濾波器逐漸學習偏移到其它背景上去.實驗結果表明,本文算法采用的獨立尺度估計濾波器同樣采用ADMM算法降低計算時間的同時,提高了尺度估計框的精細程度,在OTB-2015數據集的跟蹤性能均優于其他追蹤算法.