孿生網絡融合卡爾曼濾波的目標跟蹤研究

任奕穎，董小明

（安慶師范大學 電子工程與智能制造學院，安徽 安慶 246133）

隨著智能交通、視頻監控和人機交互等領域的不斷發展，目標跟蹤逐漸成為計算機視覺領域的熱門研究方向之一。近年來涌現出很多優秀的算法，相比過去已取得了很大突破，但如何在運動模糊、遮擋、光照變化等干擾下保持跟蹤算法的準確性，仍是尚待研究的問題。

當前目標追蹤算法的研究熱點方向主要有兩類。一類是基于相關濾波的跟蹤算法。自從提出相關濾波追蹤方法后，因其性能和速度優勢，在目標追蹤領域受到了廣泛的關注，在跟蹤的精度及速度方面有很大提升，但相關濾波法隨著研究的推進，在精度提升上遇見了瓶頸[1-5]。另一類是基于孿生網絡框架?；趯\生網絡（Siamese Network）的目標追蹤算法由于其在速度和準確度方面上能取得相對平衡，故引起了廣泛關注。SiamFC[6（]Siam Full Convolution）算法采用相似性函數設計以計算模板區域與搜索區域之間的相似度，從而得到所跟蹤目標的位置及大小，這種方法雖然在速度上取得了很大提升，但難以解決長時間跟蹤后的目標偏移及丟失問題。SiamRPN[7（]Siam Region proposed Network）模型在孿生網絡的輸出后加上區域建議網絡，通過聯合訓練分支和回歸分支進行區域建議，將跟蹤任務轉換為檢測任務，在保持精度的同時實現了高速跟蹤。然而，當目標快速移動或有遮擋干擾時，其容易出現目標丟失情況。ZHU等在SiamRPN結構上提出了DaSiamRPN模型[8]，通過在訓練階段增加負訓練樣本以增強數據，使得結果更具有魯棒性。BO等在SiamRPN結構上設計了SiamRPN++模型[9]，通過隨機移動訓練目標在搜索區域中的位置以消除中心偏差，并對網絡結構進行了優化，使跟蹤精度達到更高的深度網絡結構。然而在長時間跟蹤中，Siamese類跟蹤器對于目標全遮擋和運動模糊等情況處理效果不佳。為了改善長時間目標跟蹤易出現的跟蹤偏差問題，本文在孿生網絡跟蹤基礎上，設計了一種孿生網絡結合卡爾曼濾波[10-11]的方法，以期改進跟蹤效果。改進的孿生網絡以SiamRPN為基礎，在視覺信息輸入時，利用卷積神經網絡對模板幀和檢測幀進行特征提取，再通過區域推薦網絡來獲取位置坐標和跟蹤目標的尺度，其后將結果傳遞給Kalman濾波器，通過上下幀的關聯來提高跟蹤的穩定性?？柭鼮V波模塊能夠根據預測能力在目標受到環境噪聲影響時，對目標位置進行更精確的跟蹤，使得跟蹤精度更高。

1 跟蹤框架

1.1 孿生網絡框架

孿生網絡[10-12]類跟蹤算法由模板分支和搜索分支兩部分組成，如圖1所示。算法求取目標相似性分數的過程可以抽象為f(z,x)=g(φ(z),φ(x))。其中，z為模板分支特征，x為搜索分支特征，φ(·)為特征表達函數，g(·,·)表示算法的映射變換，f(·,·)表示相似性分數。跟蹤時通過共享參數的主干網絡來提取特征，然后經過核心跟蹤算法處理以獲得目標在分數響應圖中的位置，最后通過映射關系來得到目標在真實視頻幀中的位置和輪廓大小。

圖1 孿生網絡類跟蹤框架

1.2 孿生網絡改進

改進的孿生網絡以SiamRPN 為基礎，SiamRPN 方法把第一幀作為模板，將其與檢測幀分別通過結構和參數完全相同的AlexNet網絡以形成兩條支路來進行特征提取，然后經過區域候選網絡卷積運算來分別得到分類分支和回歸分支結果。本文在特征提取部分進行了改進（圖2），主干網絡以殘差網絡為基礎，加入了空洞卷積金字塔池化過程，即ASPP（Atrous Spatial Pyramid Pooling）[13]模塊以加大感受野，從而增加全局信息。

圖2 Resnet網絡結構

整體的孿生網絡框架如圖3所示，將模板圖像和搜索圖像輸入到左邊的孿生網絡中進行特征提取，并將提取到的信息輸入區域建議網絡（RPN網絡），從分類分支得到目標前景背景區分，從回歸分支得到目標邊界框較精準位置。

圖3 改進的孿生網絡結構

1.3 融合自適應卡爾曼濾波

目標跟蹤涉及時間和空間維度，如果結合歷史幀所跟蹤的目標軌跡信息，能進一步提升跟蹤效果。本文利用卡爾曼濾波器將目標的時間軌跡信息與跟蹤器信息進行整合。經典的卡爾曼濾波在面臨跟蹤過程中非線性軌跡變換時，存在明顯的缺陷?？柭鼮V波穩定跟蹤要求所跟蹤目標的數學模型必須精確，不合適的噪聲模型設定將導致跟蹤精度的下降，甚至引起濾波器的發散。當卡爾曼濾波器達到穩態時，卡爾曼增益趨于穩定。如果目標狀態突然改變，卡爾曼濾波器不能很快地調整增益，并將導致濾波器的發散。針對傳統卡爾曼濾波方法的不足，本文設計了一種自適應卡爾曼濾波方法來抑制干擾，以期克服目標快速運動過程中的跟蹤不穩定性。通過引入一個調整因子，可以在線調整濾波器增益矩陣，從而快速、平穩地調整濾波器。

傳統的卡爾曼濾波器有時間更新和觀測更新兩個更新過程。時間更新主要用于系統的預測，包括狀態預測和協方差預測。觀測更新包括卡爾曼增益的計算、狀態更新和協方差更新，稱為校正階段。在系統預測過程中，利用對當前狀態的觀測來修正預測值。狀態預測可表示為xk|k-1=Ckxk-1|k-1+BkUk，其中，xk|k-1是對以前狀態的預測，Ck是狀態轉移矩陣，Bk是系統參數，Uk是進程在k時間的控制量，如果不存在控制，其可以為零?？柭鼮V波器的狀態x由目標的位置x、y和速度νx、νy組成。時間k的殘差可以表示為Vk=Zk-Hxk|k-1，其中，Zk是時間k的觀測值，H是觀測矩陣。協方差預測過程用于預測狀態的協方差，表示為Pk|k-1=λkCkPk-1|k-1+Qk，其中Pk|k-1是對狀態xk|k-1的協方差預測，而Qk是系統進程的協方差矩陣。λk是Pk-1|k-1的調節因子，在卡爾曼濾波器中λk=1。下一步是觀測更新，首先計算狀態更新和協方差更新的卡爾曼增益，然后得到電流狀態的觀測值。狀態更新可以通過對當前狀態的最優狀態估計來實現，包括預測值、觀測值和增益?？柭鲆娴亩x是Gk=Pk|k-1HT(HPk|k-1HT+RK)-1，其中，Gk是卡爾曼增益，H是觀測矩陣，Rk是測量噪聲的協方差矩陣。狀態更新過程表示為xk|k=xk|k-1+Gk(Zk-Hxk|k-1)，其中，xk|k是最優狀態估計，Zk是觀測值。協方差更新表示為Pk|k=(I-GkH)Pk|k-1(I-GkH)T+GkRk，其中I是單位矩陣。

卡爾曼濾波與自適應卡爾曼濾波的主要區別在于Rk，Qk和λk。Rk和Qk在卡爾曼濾波器中是固定的，其有效性取決于Rk和Qk的初值。因此，我們引入了自適應濾波器對卡爾曼濾波器的更新過程。Rk=μRk-1+(1-μ)[-HPk|kHT]，Qk=μQk-1+(1-μ)[+Pk|k-CPk-1|k-1CT]，其中μ是Rk和Qk的衰減因子。實驗表明，μ值過大會導致嚴重的濾波器漂移，因此其應該滿足0 ≤μ≤0.1。λk大小影響Pk|k-1和Gk的大小。通過在線調整λk值，設計了合適自適應卡爾曼濾波器，以滿足E[]=0。設計λk是為了消除時間k的殘余誤差。當k變大時，λk值受殘差協方差的影響會變小。因此，噪聲對濾波器的影響不大，預測曲線變得平滑。隨著時間推移，殘差期望值趨于零。通過上述方法，可以快速平穩地調整濾波器。

2 算法設計及結果分析

2.1 算法流程

本文算法的目標跟蹤過程：首先，初始化系統，在修改卡爾曼濾波器系統狀態初始值和初始預測的同時，將初始框的中心和位置賦值給改進版SiamRPN和卡爾曼濾波器。隨后，孿生網絡通過特征提取、分類回歸和分支回歸，最終得到位置坐標和跟蹤目標的尺度，并向卡爾曼濾波器傳遞結果，自適應卡爾曼濾波根據上一幀的信息來相對準確地預測當前幀目標中心點位置，并重復上述過程，實現目標跟蹤（圖4）。

圖4 本文算法流程圖

2.2 定性分析

本實驗從OTB100[14]中選取了6組代表性視頻：Bluecar、Jump、Human、Suv、Trellis和Man，分別對應運動模糊、遮擋、光照變化等情況，以期驗證本文算法的有效性。圖5中Bluecar和Jump視頻序列主要針對運動模糊情況，可以看出，本文算法可以在當車輛行駛過程出現模糊時準確跟蹤目標，也可以在運動員因跳高快速移動而出現模糊和尺度變化時精準鎖定運動員，不會出現目標丟失的情況。

圖5 不同情況下的跟蹤效果圖。（a）畫面模糊情況下的Bluecar跟蹤效果；（b）快速運動下的Jump跟蹤效果；（c）部分遮擋時的Human跟蹤效果；（d）畫面昏暗情況下的Suv跟蹤效果；（e）色彩單調時的Trellis跟蹤效果；（f）光線變化人臉跟蹤效果

Human和Suv視頻序列主要針對目標遮擋情況，由圖可知，行人經過路牌時上半身被遮擋，本文算法可以準確跟蹤到顯露出來的雙腿，并在行人重新出現時準確地跟蹤。車輛經過樹冠、只剩下小部分車身時，本文算法也可以將其準確定位，并在車輛再次出現時，重新定位。Trelliis和Man視頻序列主要針對光照變化情況，由圖可知，本算法可以在光線由暗轉亮或由亮變暗等不同亮度變化情況下準確跟蹤到目標。以上結果表明，本文所提算法可以有效適應光照變化、運動模糊、遮擋等復雜環境，證明了本文算法在應對復雜環境情況時具有較強魯棒性。

2.3 定量分析

跟蹤定量比較實驗在視覺目標跟蹤標準平臺OTB100 測試集中進行，該測試集評估指標包括精確度和重疊率等。本文對多種算法進行對比[14]，并重點標注表現良好的前十種算法，其中Muster算法[15]是利用長短期記憶來學習的神經網絡算法，還有其他排名靠前的相關濾波類算法，在標準平臺的對比結果中表現都低于孿生網絡算法[14]。同時我們設計的算法在精確度和成功率方面都有良好表現，超過孿生網絡代表算法SiamRPN[7]。精確度指標表示所跟蹤區域的中心值與所標注的真實區域中心值的距離。顯然，若所要求距離越近，跟蹤結果視頻中能達到此要求的幀數越少，而所要求距離越遠。則能達到要求的幀數比例越高。跟蹤精度如圖6所示，其橫坐標是位置誤差閾值，縱坐標是在誤差允許范圍內跟蹤成功幀數所占總幀數的比率，曲線整體走勢是隨著誤差閾值要求放寬，整體符合要求的幀比例走高。圖中清晰反遇出，SiamRPN相對傳統算法[14]已經表現不俗，經過改進后，可進一步提升精度效果。在目標跟蹤研究中，重疊率是另一個重要衡量指標，表示所跟蹤的目標面積與目標實際標注面積的比值。顯然，重疊率越高則表示跟蹤效果越好，理論上跟蹤位置與真實位置完全重合即重疊率為1時是跟蹤的完美情況。圖7的橫坐標是重疊率閾值，縱坐標是在此重疊率標準下視頻中能成功跟蹤的幀數與總幀數比例。顯然，重疊率要求越高，則整體成功率會隨之降低，所以圖7的曲線整體走勢是逐步降低，本文所設計的算法在整體表現上也超越了SiamRPN和傳統算法。

圖6 算法精度對比

圖7 算法成功率對比

3 結束語

本文提出了一種目標追蹤算法，其結合卡爾曼濾波器改進了SiamRPN模型，改進后的SiamRPN模型分別通過對模板幀和檢測幀提取特征，因深層的殘差神經網絡能獲得更精確的目標特征，從而提高了對目標的有效識別和定位。同時，卡爾曼濾波模塊利用目標軌跡關聯特性，提高了目標受到干擾或遮擋時的穩定性，并提高了跟蹤精度。后續研究將在特征選擇網絡結構和濾波策略兩方面進行改善。