通道可靠局部秩變換的目標跟蹤算法

李 麗，李均利，田竟民

(四川師范大學 計算機科學學院，成都610101)

1 引 言

目標跟蹤的主要任務是根據目標在當前幀的位置信息去預測目標在后續幀中的位置[1].目標跟蹤技術在人與機器交互領域[2]、監控領域[3]、機器人技術領域[4]、醫學診查領域[5]等展現出了優異的性能.在實際應用時，要想準確的對目標進行跟蹤仍舊會遇到許多挑戰.如光照變化、遮擋、形體變換等因素都會對目標跟蹤的準確性有影響.

相關濾波跟蹤算法為跟蹤領域的熱點[6].2010年，Bolme等[7]在目標跟蹤算法中引入相關濾波思想，提出MOSSE(Minimum Output Sum of Squared Error Filter)算法，該算法利用灰度特征來表示跟蹤的目標.2012年，Henriques等[8]在MOSSE算法中加入核方法，提出具有循環結構的檢測跟蹤CSK(Circulant Structure of Tracking-by-detection with Kernel)算法，解決了樣本不足的問題.但由于CSK算法中為單通道灰度特征，所以當目標遇到各種復雜情況時，比較容易出現跟蹤漂移的情況.為提升算法的跟蹤魯棒性，Henriques等將CSK算法的灰度特征改為梯度方向直方圖(Histogram Oriented Gradients，HOG)特征，提出KCF(Kernelized Correlation Filters)目標跟蹤算法[9]，極大提高了跟蹤精確度.2014年，Danelljan等[10]提出CN(Color Name)跟蹤算法，提取目標的CN特征，利用主成成分分析的方法將CN特征的維度降為2維，提高了算法的魯棒性；Li等[11]將梯度直方圖HOG和顏色屬性CN特征融合，提出SAMF(Scale Adaptive Multiple Feature)跟蹤算法，SAMF算法通過構建尺度池獲得多尺度樣本，求解目標位置并對目標進行尺度估計.2015年，Danelljan等[12]加入空間正則項提出了SRDCF(Spatially Regularized Discriminative Correlation Filter)跟蹤算法，解決了邊界效應問題，且使算法的跟蹤精確度得到提高.2017年，Galoogahi等[13]提出BACF(Background-Aware Correlation，BACF)跟蹤算法.BACF算法為了解決邊界效應且提升跟蹤精確度，將跟蹤濾波器裁剪為目標大小.2018年，Li等[14]通過引入時間正則項，提出了STRCF算法(Learning Spattial-Temporal Regularized Correlation Filter，STRCF)，提升了算法的跟蹤成功率.

為解決使用目標當前幀樣本訓練跟蹤器時，以上算法在跟蹤目標的過程中遇到跟蹤目標被大面積遮擋，這時獲取的訓練樣本會被污染，從而導致跟蹤模型漂移，致使跟蹤算法不能夠準確跟蹤目標的問題.本文利用通道可靠性系數和經驗選擇方法評估各個特征通道響應圖，以此提高跟蹤器對跟蹤目標的描述能力，從而提高目標跟蹤的成功率.

2 核相關濾波跟蹤算法

核相關濾波KCF(KernelCorrelation Filters)跟蹤算法[9]在目標視頻序列的第一幀中，初始化目標的中心位置，之后使用目標的位置信息去預測下一幀目標的最佳位置，最后用檢測結果更新訓練樣本和目標檢測器.KCF方法利用嶺回歸訓練檢測器，檢測器在包含目標的周圍選擇跟蹤窗口，得到大小m×n的樣本圖像塊x.再對xi進行循環移位，i∈{0，…，m-1}×{0，…，n-1}，每一個yi都對應一個樣本xi的高斯標簽，構成的訓練樣本集為(xi，yi).第t幀中構建訓練器的函數為：

(1)

式(1)中，f為分類函數，f(x)=wTx；x為樣本；w為權重系數；yi為樣本標簽；λ為正則化參數，防止過擬合；‖·‖為范數運算；λ‖w‖2為懲罰項.由嶺回歸得：

w=(XTX+λI)-1XTy

(2)

式(2)中，w為權重系數；X為樣本循環矩陣；λ為正則化參數；y為高斯標簽函數；I為單位矩陣.在傅里葉域，式(2)寫為：

(3)

在跟蹤算法中引入核函數，其核函數表示為k(x，x′)=φT(x)φ(x′)，φT(x)和φ(x′)表示映射函數.高維空間的樣本權重組合為：

w=∑iαiφ(xi)

(4)

式(4)中，φ(x)為映射函數；αi為樣本xi的分量.利用嶺回歸與核函數理論得到分類器(4)的閉式解為：

α=(k+λI)-1y

(5)

式(5)中，k為核矩陣，其元素kij=k(xi，xj)=〈φ(xi)，φ(xj)〉；I為單位矩陣；yi為向量y的元素；α在對偶空間的解為：

(6)

(7)

式(7)中，F-1表示IFFT變換；σ為高斯函數帶寬.第t+1幀時，設輸入圖像為z，分類器響應表示如式(4)所示.

f(z)=wTz=∑iαik(z，xi)

(8)

式(8)中，xi為訓練樣本；z為檢測區域.第t+1幀響應為：

(9)

3 通道可靠局部秩變換的跟蹤算法

3.1 局部秩變換特征表示方法

本文使用的局部秩變換(Local Rank Transformation，LRT)特征，具有光照不敏感性，突出圖像邊緣信息的特點[15].首先將跟蹤目標的原始圖像映射到CIELab顏色空間，在CIELab顏色空間L通道上應用局部變換方法獲取跟蹤目標的特征圖譜[16].圖1為提取局部秩變換特征的示例圖，從左至右分別為跟蹤目標的原始圖、L通道圖和局部秩變換特征圖.由局部秩變換特征圖可以看出目標的邊緣信息比較突出，這有利于跟蹤器對目標的跟蹤.

圖1 LRT特征示例

本文結合LRT特征的特點對LRT特征和Lab三通道目標特征進行融合，得到目標融合特征圖.使用映射函數使特征向量近似于交叉核函數的效果[17].交叉核定義如式(10)所示，映射函數如式(11)所示.

(10)

(11)

式(10)中x，z為樣本，n為樣本數量；式(11)中N為離散化層數，U(x)為一元函數，R(·)為舍入函數.樣本映射之后交叉核如式(12)所示.

(12)

從式(12)可分析出，特征映射相近于交叉核關系，這種逐一比較的操作可用矩陣運算替代，且符合圖像處理的方式.本文使用的16通道特征圖是對4通道特征圖(LRT+Lab)中每個元素逐一應用特征映射方法進行擴展得到.這樣能通過特征提取區域的大小來保留多少特征信息.

3.2 訓練器更新機制

在跟蹤過程中，用當前幀的跟蹤目標作為訓練樣本對目標模型進行更新.算法模型更新時，對濾波器各參數進行更新的方法為線性差值.

(13)

(14)

3.3 算法流程

本文基于KCF將HOG特征[18]替換為LRT特征，提出通道可靠局部秩變換的目標跟蹤算法(Object Tracking Algorithm Based OnReliable Channel Local Rank Transform，RCLRT).通過考慮干擾目標的影響，利用經驗選擇的特征通道和根據通道可靠性系數選擇的特征通道進行實驗比較，選擇能夠準確反映目標的特征通道，從而更加突出目標的特征，提高跟蹤精確度.

算法流程如下：

輸入：第1幀圖像并初始化目標

輸出：所有序列每幀中目標的中心位置

1)提取局部秩變換特征，通過式(3)求解濾波器

2)利用式(4)計算各通道響應圖，選擇可靠的通道響應圖

3)將選擇的響應圖進行融合得到融合響應圖，尋找融合響應圖中響應值最大的位置即為目標的位置.

3.4 利用可靠的特征通道選擇的位置濾波

RCLRT中采用LRT特征，共16維特征通道，16維的特征通道中有些特征通道不能清晰地描述目標，如圖2所示.

圖2 原始目標圖和特征通道圖

可以看出，特征通道中有很多干擾目標的背景信息或相似目標，使得特征通道不能真實地反映目標.在進行響應圖計算時，如果將全部特征通道的權重相加，那么會影響對目標定位的精確性.因此本文將測試通道響應圖的可靠性，通過可靠性系數，選擇最大的兩個值所對應的特征通道的響應圖，使其融合得到融合響應圖.與經驗選擇的兩個特征通道的融合響應圖進行實驗比較，選擇響應最好的融合響應圖為最終的響應圖.以此估計目標的位置，提高跟蹤精確度.

由于不相同的可靠性系數指標對不相同的模型評價效果存在差異，因此本文選擇次峰與主峰比、響應最大值、峰值旁瓣值，3個可靠性系數指標對RCLRT進行評價.在OTB50[19]數據集中，選擇20個視頻測試的結果如圖3所示.

圖3 可靠性指標測試結果圖

圖3中RCLRT1、RCLRT2和RCLRT3分別為次主峰與主峰比、響應最大值和峰值旁瓣值作為可靠性系數的跟蹤結果.可以看出峰值旁瓣值更能準確評估RCLRT模型.次主峰與主峰比見式(15).

(15)

式(15)中，Pmax1為主峰峰值；Pmax2為次峰峰值.RSFMP反映了跟蹤目標的突出性，值越大，響應圖越干凈，跟蹤效果越好，那么可靠性越高.

計算各通道RSFMP后，選取特征通道中RSFMP值最大的兩個所對應的特征通道響應圖，將這兩個響應圖作為可靠性響應圖并融合得融合響應圖：

S=RSFMPmax1+RSFMPmax2

(16)

本文用到的峰值旁瓣比作為可靠性系數時，其計算公式如式(17)所示.

(17)

式(17)中，gmax表示響應輸出矩陣的最大值峰值，峰值附近11×11之外的區域定義為旁瓣；us1表示為“旁瓣”區域的均值；σs1表示“旁瓣”區域的標準差，PSR衡量相關性峰值.利用融合響應圖尋找響應最大值位置，作為目標估計位置.

4 實驗與分析

本文提出的跟蹤算法，使用的電腦CPU型號為Intel i7-9750H(2.60GHz)，內存為16G，Matlab版本為R2016a，Opencv版本為3.4.2.采用Matlab+C語言(Open CV)編寫.

本文算法評估方式采用OPE(one-pass evaluation)，即用經驗標注(ground-truth)的位置初始化第1幀中目標的位置，然后利用跟蹤器持續跟蹤目標，最終計算出跟蹤目標的精確度和成功率.

1)精確度.指追蹤算法估計的目標位置(bounding box)的中心點與經驗標注的目標的中心點之間的距離小于給定閾值的視頻幀的百分比.

為了更好地比較利用可靠性系數選擇的特征通道響應圖和經驗選擇的特征通道響應圖對估計目標位置的性能.先將經驗選擇的16種特征通道響應圖組合進行比較，根據實驗結果，選擇最好的組合再與利用可靠性系數選擇的3種組合進行對比實驗.采用的數據集為上文選取的20個視頻序列.

圖4是16種特定特征通道組合算法測試排在前10的結果.結合表1可以看出，局部秩變換特征的特征通道2和特征通道7進行組合，無論在精確度還是成功率上，其性能表現都是最好的.因此本文利用RCLRT27算法與RCLRT1、RCLRT2和RCLRT3進行對比實驗.

圖4 經驗選擇測試結果

表1 10種算法的精確度、成功率

為分析算法在遮擋、背景雜亂和快速運動等方面的表現性能，本文在OTB50的數據集上選擇了4個視頻序列進行特定場景測試，選擇的視頻序列如表2所示，視頻序列屬性有形變(DEF)、背景雜亂(BC)、平面外旋轉(OPR)、遮擋(OCC)、尺度變化(SV)、平面內旋轉(IPR)、光照變化(IV).

表2 視頻序列屬性

4.1 定性分析

圖5為本文算法與比較算法在特定視頻序列的結果.視頻從上至下、從左至右分別是Bolt2(第1，7，16，117，292幀)、Jogging1(第1，65，81，121，252幀)、Dancer(第1，15，90，151，215幀)、Faceocc2(第1，264，389，562，812幀)，通過分析跟蹤結果可知RCLRT27算法的跟蹤成功率和精確度較好.

圖5 4種算法跟蹤結果

在Bolt2序列中，目標為短跑運動員，背景比較雜亂，目標有快速運動和形變等特點.7幀時所有算法均可跟蹤目標，但在16幀及16幀之后，目標發生較大形變時只有RCLRT27能夠準確估計目標位置，在跟蹤過程中，其他的跟蹤器多次出現跟蹤漂移或者跟蹤失敗.

在Jogging1序列中，在65幀時所有算法均可跟蹤目標；在81幀目標離開遮擋物之后，只有RCLRT27能夠實現目標的準確定位；在121幀，目標徹底離開遮擋物時，僅有RCLRT27與RCLRT3能夠準確估計目標位置.

在Dancer序列中，目標在運動過程中出現了大幅度旋轉、光照變化和形變.在15幀時，目標旋轉幅度較小，所有算法均可跟蹤目標但只有RCLRT27能夠準確的估計目標的位置；在90幀時，目標的形變和旋轉較大時，僅有RCLRT27與RCLRT1能預測目標位置，其余跟蹤器出現了嚴重的漂移.在151幀時，RCLRT2徹底跟蹤失??；從總體來說，RCLRT27始終都能夠準確的估計目標的位置.

在Faceocc2序列中，所有算法均可跟蹤目標，在389幀時，目標發生了旋轉，僅有RCLRT27能夠實現目標的準確定位，其他算法在跟蹤目標過程中跟蹤框都發生了偏移.

RCLRT27通過經驗選擇的特征通道2和特征通道7進行組合，形成最終的響應圖，突出目標在響應圖中的位置，當目標有多種屬性變化時也能夠準確跟蹤目標.

4.2 定量分析

本文經驗選擇的特征通道算法RCLRT27和3個可靠性指標算法RCLRT1、RCLRT2和RCLRT3在OTB50數據集上進行測試，結果如圖6所示.曲線下面積越大則對應的算法性能越好，結果表明在在成功率曲線與精確度曲線中RCLRT27均優于其他算法.

圖6 OTB50數據集測試結果

4.3 與其他算法比較

選擇使用梯度方向直方圖(HOG)特征的KCF算法和使用顏色特征的CN算法與本文使用LRT特征的RCLRT27算法在4個具有挑戰性的序列上進行比較.視頻從上至下、從左至右分別是Bolt2(第1，12，30，41幀)、Jogging1(第1，74，85，130幀)、Dancer(第1，50，128，222幀)、Faceocc2(第1，520，600，808幀)，通過對3個算法在不同視頻序列的跟蹤結果進對比分析如圖7所示，可以發現在目標快速運動，短時完全遮擋時，RCLRT27算法的跟蹤質量和魯棒性都較KCF和CN算法更好.3種算法在4個挑戰性視頻序列的精確度、成功率和速率如表3所示，可知本文算法RCLRT27在精確度和成功率上都有最好的結果，其平均速率為56.7fps，滿足實時性要求.

表3 精確度、成功率值和速率

圖7 3種算法跟蹤結果

為對比算法在遮擋、光照變化及背景雜亂時的表現，本文使用中心位置誤差和重疊率評價算法的跟蹤結果.

1)中心位置誤差

(18)

式(18)中，O表示目標中心位置；Ot為人工標定的實際中心位置.誤差用像素來表示，即兩個中心點之間像素點的個數，中心位置誤差越小表示算法越好，如圖8所示，RCLRT27的中心位置誤差最低，在發生遮擋或形變或背景雜亂時變化較小.為進一步比較，列出平均中心位置誤差，見表4.可以看出，RCLRT27平均中心位置誤差均是最小的，RCLRT27更加突出跟蹤目標，受干擾因素的影響較小，提高了目標跟蹤精度.

圖8 中心位置誤差跟蹤結果

表4 平均中心位置誤差對比表

2)重疊率

(19)

圖9 重疊率跟蹤結果圖

表5 平均重疊率對比表

5 結 論

本文提出通道可靠局部秩變換的目標跟蹤算法，通過經驗選擇的特征通道2和特征通道7進行融合得到RCLRT27，更加準確的表征目標，突出目標在響應圖中的位置，提升了目標跟蹤精確度和成功率.實驗結果表明，RCLRT27在目標出現遮擋、快速旋轉、背景雜亂時，定位精度都有提高；在短暫遮擋后重新出現時，跟蹤器也能精準定位目標.本文算法只對目標進行了位置估計，未做尺度估計，后續工作將引入尺度估計，考慮將本文的LRT特征與其他手工特征或者深度特征進行融合來進一步提高目標的跟蹤精確度.