融合多尺度和深度特征的快速運動視覺目標跟蹤

張 博

(長沙師范學院信息科學與工程學院,湖南 長沙 410100)

0 引言

視覺目標跟蹤作為計算機視覺的核心技術,以圖像傳感器為核心,通過對視頻信號的分析與理解,實現對目標的跟蹤,從而獲得相應的運動軌跡,即在確定了第一個畫面的位置之后,通過相應的運算,可以得到下一個畫面的對應位置[1-3]。當物體在移動時,背景和物體都會發生變化,包括形狀、背景、光線、尺寸等,而這些變化會導致跟蹤結果的變化。隨著計算機視覺技術的日益普及,尤其是在高速運動的環境中,人們越來越多地關注視覺對象的跟蹤,因此進一步研究運動視覺目標跟蹤算法顯得尤為重要[4-5]。

相關領域學者針對運動視覺目標跟蹤進行了研究。文獻[6]提出了基于多階段自適應網絡學習元對抗特征的魯棒視覺目標跟蹤算法:利用元學習增強了新跟蹤序列的泛化能力;設計對抗性注意掩碼模塊和多層次多尺度元分類器模塊;通過位置自適應子網絡細化跟蹤位置,實現視覺目標跟蹤。但該方法未在提取圖像特征過程中有效濾除環境干擾,目標跟蹤精度較低。文獻[7]提出了基于量化遺傳重采樣粒子濾波的地面運動目標跟蹤算法:采用粒子濾波估計狀態,基于量化測量的狀態后驗結果對一組加權粒子更新;融合Gen-z變換和蒙特卡羅法,計算似然函數數值;將量化遺傳重采樣方法集成到粒子濾波方法中,完成地面運動目標跟蹤。但這種方法未對運動目標的深度特征進行融合,在目標遮擋時無法有效跟蹤識別。文獻[8]提出了基于視覺的無人機地面運動目標跟蹤方法:基于視覺的估計和制導方法,使無人機圍繞運動目標飛行圓形軌道;使用卡爾曼濾波器設計來估計目標運動,將機載GPS和慣性傳感器與從視覺系統獲得的目標指向向量相結合,實現了運動目標視覺跟蹤。但這種方法未在目標視覺跟蹤前濾除環境干擾,存在后續視覺跟蹤魯棒性較差的問題。文獻[9]提出了基于視覺信息和激光模塊的無人機目標跟蹤方法:利用深度神經網絡和核相關濾波器,實現了基于視覺的像素坐標系中的目標識別和定位;通過結合激光測距信息和基于圖像的距離估計算法,估計無人機與目標之間的距離,實現無人機目標跟蹤。然而,該方法所用的核相關濾波器無法適應視覺目標的多尺度變化,在視覺目標被遮擋時無法精確跟蹤識別。文獻[10]提出了基于ROS的四足機器人視覺跟蹤方法:在ROS上開發了一個測試平臺,機載相機從中生成圖像幀序列;采用圖像處理算法,對圖像模糊和其他背景噪聲進行處理;坐標恢復將原始目標軌跡恢復為跟蹤器在真實世界中的期望路徑;目標跟蹤控制律沿著期望的軌跡逐點移動跟蹤器,實現在真實場景中視覺目標跟蹤。該方法對圖像模糊和其他背景噪聲進行處理時未保留關鍵特征,在運動目標模糊時難以提取其特征,無法及時跟蹤目標。文獻[11]提出了基于視覺的VTOL無人機魯棒跟蹤控制算法:考慮到不同的視覺特征集,提出了兩種控制方案,用于在存在外部干擾的情況下實現基于視覺特征的運動目標跟蹤。該方法沒有融合使用兩種控制方案,協調性較差,導致跟蹤效率較低。文獻[12]研究了基于視覺DSP的運動目標跟蹤方法。評估硬件優化方法的結果,基于視覺DSP技術中的KCF跟蹤算法來優化實時跟蹤性能;檢查并分析了跟蹤系統的影響因素,包括DP,IP以及DSP內核和IDMA;利用分時策略來提高系統運行速度,實現視覺目標快速跟蹤。這種研究方法未對環境噪聲干擾進行濾除,受到干擾后無法準確跟蹤運動目標。

上述方法在實際應用中受到環境干擾、運動目標模糊、視覺目標被遮擋等因素的影響,存在目標跟蹤精度和效率低、魯棒性弱的問題。針對上述問題,提出了融合多尺度核相關濾波和深度特征匹配模型的快速運動視覺目標跟蹤算法。

1 基于多尺度的視覺特征提取

為了降低環境噪聲對目標圖像數據的干擾,采用核相關濾波跟蹤算法濾除干擾,同時提取快速運動視覺目標特征;傳統的核相關濾波跟蹤算法包括三個階段:分類器訓練、候選區域檢測和模型更新[13-15]。但在快速運動視覺目標實際跟蹤過程中,由于傳輸延時,運動視覺目標的尺度發生變化后,部分特征信息容易丟失,不利于后續快速運動視覺目標準確跟蹤[16]。對此,提出了基于多尺度核相關濾波的快速運動視覺目標跟蹤。首先,采用常規的三個步驟檢測快速運動視覺目標位置跟蹤;然后,采用更新的多尺度核相關濾波進行運動視覺目標跟蹤。利用雙線性插值函數將子圖轉化為多尺度大小,并進行特征提取;最后,利用多尺度更新策略對核相關濾波跟蹤算法進行優化,在濾除干擾的同時保留目標的多尺度特征。

1.1 分類器訓練

分辨目標和背景是快速運動視覺目標跟蹤算法的核心。對于n個數據集(zi,xi),i∈1,2,…,n,設計一個魯棒分類器:

y=min‖zi-xi‖2,

(1)

式(1)中,zi為訓練樣本,xi為該樣本的標簽值。在核相關濾波目標跟蹤算法中,以快速運動視覺目標位置為中心,通過循環矩陣采樣得到所有的訓練樣本。該方法利用非線性映射函數α(X),將采樣訓練數據zi映射在線性可分高維空間域內,映射過程表示為

(2)

(3)

利用嶺回歸函數重建分類器,式(3)的對偶形式用β表示為

(4)

式(4)的閉式解為

β*=(α(X)α(X)T+β)-1y。

(5)

通過核函數K=α(X)α(X)T求解得

β*=(K+β)-1y。

(6)

將K對角化處理為循環矩陣K′,則式(6)轉換為

β′=diag(K′+β)-1y,

(7)

則分類器模型的濾波頻域為

(8)

故分類器經過訓練更新表示為

(9)

由此完成分類器訓練,為后續樣本特征提取提供模型基礎。

1.2 候選區域檢測

從搜索區域中采集多個候選樣本是快速運動視覺目標位置特征檢測中十分重要的步驟。通過循環矩陣采集樣本,將不同的樣本輸入1.1節更新的分類器做相關運算,得到各自對應的響應值。判定置信度響應值最大的樣本即為快速運動視覺目標樣本,進而確定快速運動視覺目標所在位置。

將分類器中循環矩陣K′定義為核空間中的訓練和待檢測樣本的核矩陣為

K′=α(z)Tα(X)。

(10)

待檢測樣本的響應度為

(11)

響應度最大的位置即可判定為快速運動視覺目標位置。在快速運動視覺目標跟蹤過程中,處理每一幀圖像時,快速運動視覺目標的位移Y=f(c;v)由f(b;v)=argmaxF(b,m;v)計算獲得,這里的c是上一幀圖像中快速運動視覺目標的中心位置區域。置信度響應圖為

F(c,m;v)=F-1K′。

(12)

一般采用響應圖中最高峰的位置判定為快速運動視覺目標的新位置,也稱為單峰檢測。對于式(12)中的單峰響應圖F(c,m;v),其他峰值為

Q(c)=F(c,m;v)?W,

(13)

式(13)中,W與F(c,m;v)是相同大小的二值矩陣,它標識了F(c,m;v)中局部極值的位置。由此完成快速運動視覺目標位置檢測,作為視覺目標跟蹤的關鍵尺度特征。

1.3 模型更新

在快速運動視覺目標跟蹤過程中,當快速運動視覺目標被遮擋、外界光照變化或者由于自身原因發生形變,若一直采用一個模型很容易檢測到錯誤的快速運動視覺目標上,進而丟失目標。因此能夠實時地進行模型更新十分必要,這樣才能準確地應對復雜環境的變化,以濾除圖像中與目標無關的頻域。核相關濾波器跟蹤算法常用的模型更新方法是內插法,基于內插法的分類器模型更新頻域表示為

(14)

式(14)中,χ是更新系數,決定了上一幀快速運動視覺目標信息和當前幀快速運動視覺目標信息在跟蹤模型中所占的權重大小。由此完成分類器模型的更新,結合快速運動視覺目標位置檢測結果,完成基于核相關濾波跟蹤算法的快速運動視覺跟蹤目標特征提取。

1.4 多尺度更新策略

在快速運動視覺目標跟蹤過程中,如果一直不改變跟蹤框的大小,在快速運動視覺目標的尺度發生變化后,就會只能夠提取快速運動視覺目標一部分信息,導致特征信息丟失,不利于快速運動視覺目標跟蹤[17-18]。對此,采用更新的多尺度核相關濾波進行快速運動視覺目標跟蹤。在1.2節檢測到的快速運動視覺目標位置處,采集快速運動視覺目標多尺度的子圖;利用雙線性插值函數將子圖轉化為多尺度大小,在每個子圖進行特征提取后,對多尺度核相關濾波器進行訓練。

若上一幀圖像的多尺度為Ec,多尺度金字塔為R層,快速運動視覺目標候選多尺度參數是{δj·Ec|j=-(R-1)/2,…,(R-1)/2},δj為多尺度變化因子,對每個候選區域多尺度變換后,將1.2節提取峰值特征Q(c)一維量化為S(Q(c))=[z1,z2,…,zc],再經Hanning窗口t個尺度處理,獲得訓練樣本zt=[zt1,zt2,…,ztc]。

(15)

用雙線性插值函數fs(zt)=[fs(1),fs(2),…,fs(R-1)],對快速運動視覺目標的候選區域進行連續多尺度采樣,ε∈[0,R)是連續多尺度參數,f(ε)是連續反應可信度,那么f(ε)可以用fs(zt)進行插值操作來獲得:

(16)

多尺度核相關濾波器的多尺度參數εo可表示為

(17)

2 融合深度特征的目標跟蹤優化

上述基于多尺度核相關濾波完成了快速運動視覺目標跟蹤特征提取。為了提高高速運動視覺目標在被嚴重遮擋或目標模糊等情況下的跟蹤效果,在多尺度核相關濾波目標跟蹤[19-20]的基礎上,實現快速運動視覺目標跟蹤優化。首先,通過貪婪算法對視覺特征重構,獲得深度特征,基于置信度將HOG特征與深度特征進行匹配融合;其次,利用SURF算法對視覺目標位置單峰響應圖進行校正;最后,采用密集采樣跟蹤閾值更新策略,優化追蹤結果更新效率,完成快速運動視覺目標跟蹤。

2.1 基于置信度的深度特征匹配

由于1.2節提取的特征在復雜背景環境中表達能力有限,目標跟蹤存在著很大的困難。因此本文堆疊多層自編碼器得到深層神經網絡,再通過貪婪算法對1.4節輸入特征εo重構,得到深度特征pdeep(εo)。為增強該算法的魯棒性,算法融合了神經網絡學習得到的深度特征與跟蹤快速運動視覺目標的方向梯度直方圖HOG特征。在深度神經網絡中添加了快速運動視覺的初值和隨后的幀間估計快速運動視覺目標HOG特征。將HOG特征與深度特征通過式(18)匹配融合作為訓練樣本:

U=φi-1(φ1phog+φ2pdeep(εo)),

(18)

式(18)中,φ1和φ2表示兩個特征的融合系數,φi-1表示第i-1幀圖像的跟蹤結果的置信度,phog代表1×65維的HOG特征,U代表融合特征。由此完成了目標跟蹤特征優化。

表1 仿真實驗參數設置Tab.1 Parameter settings for simulation experiments

2.2 基于改進SURF的目標重定位

快速運動視覺目標遮擋是跟蹤領域的諸多挑戰之一。遮擋的隨機性與未知性導致視覺跟蹤過程中樣本錯誤更新,誤差累積后造成跟蹤失敗。針對這種情況,提出一種基于Krawtchouk矩的SURF算法,該算法在求解結果小于搜索域更新閾值時,利用SURF算法對獲得的快速運動視覺目標位置單峰響應圖F(c,m;v)進行校正,從而提高了算法的準確度。

改進SURF算法使用γ階Krawtchouk多項式,歸一化Krawtchouk多項式為

(19)

由此完成目標位置檢測優化。

2.3 快速運動視覺目標跟蹤算法

為提高算法的跟蹤效率,采用密集采樣跟蹤策略,對快速運動視覺目標候選區域的更新閾值進行確定,完成追蹤結果更新效率優化。

采用一種基于預定義的閾值更新策略,以減少噪聲對模型更新效率的影響。如果快速運動的視覺目標位置不在原來的搜索范圍內,那么為了提高算法的精度,必須適當地增大搜索面積,擴展搜索范圍的前提是

max(φi)<κ1,

(20)

式(20)中,κ1是搜索范圍更新閾值。

當式(20)成立,則擴大搜索區域。同時,快速運動視覺目標在跟蹤過程中,會受到快速形變、運動模糊、背景改變等因素的影響,從而導致快速運動視覺目標模型閾值更新速度降低,需要學習快速地更新目標追蹤網絡。滿足式(21)時更新網絡:

max(φi)<κ2,

(21)

式(21)中,κ2為網絡更新閾值。

基于上述搜索范圍更新閾值和網絡更新閾值,對時間滑動窗的幀進行實時更新,并將當前幀的負樣本、初始幀的正樣本、時間滑動窗和相應的HOG特征作為輸入,對網絡參數進行了實時的更新。如果式(20)和式(21)成立,那么結合i-2幀跟蹤結果,對第i幀快速運動視覺目標特征點進行計算。再根據式(18),對改進SURF算法與網絡更新后的特征點的整體位置進行融合,輸入到分類器中,得到快速運動視覺目標位置計算公式為

(22)

通過上述步驟,實現融合多尺度核相關濾波和深度特征匹配模型的快速運動視覺目標跟蹤。

3 仿真實驗與分析

3.1 設置仿真實驗環境

為了驗證融合多尺度核相關濾波和深度特征匹配模型的快速運動視覺目標跟蹤算法的有效性,本文使用OTB數據集進行了全面的實驗評估。在i7-8700K 3.70 GHz處理器和GTX-1081TI GPU的計算機平臺上測試算法性能。在Matlab配套神經網絡工具箱Neural Network Toolbox中的Tensorflow深度學習框架上使用Python編程語言進行跟蹤算法的訓練和測試。設置仿真實驗參數如表1所示。

實驗數據來源于Ladybug3多目全景視覺系統中的一段視頻序列,視頻的幀大小為938像素×559像素,數據采樣截圖頻率為10幀/s,共截圖500張圖像,其中200張用于算法訓練,300張用于測試。選擇視頻畫面中的運動員頭盔作為跟蹤目標。選取6種主流跟蹤算法與本文算法在OTB-2015測試數據集中進行對比實驗。

3.2 跟蹤效果對比

為了驗證本文算法的快速運動視覺目標跟蹤效果,以測試集中的一張具有跟蹤目標模糊、有遮擋、不規則情況的照片為例,比較選取的6種主流跟蹤算法與本文算法的快速運動視覺目標跟蹤結果如圖1所示。

圖1 不同算法的快速運動視覺目標跟蹤結果Fig.1 Fast-motion visual target tracking results for different algorithms

根據圖1可知,文獻[6]和文獻[8]算法均存在快速運動視覺目標跟蹤錯誤的問題;文獻[9]和文獻[10]算法均存在快速運動視覺目標跟蹤遺漏的問題;而文獻[11]算法的快速運動視覺目標跟蹤效果最差,無法跟蹤模糊的快速運動視覺目標;只有本文算法和文獻[7]算法能夠較好地跟蹤快速運動視覺目標,但文獻[7]算法無法跟蹤被遮擋的快速運動視覺目標。對比上述不同算法的快速運動視覺目標跟蹤結果可知,本文算法的快速運動視覺目標跟蹤效果較好,能夠有效跟蹤被遮擋、模糊、不規則的快速運動視覺目標。

3.3 跟蹤精度對比

為了驗證所提算法的快速運動視覺目標跟蹤精度,將跟蹤準確率作為評價指標,其跟蹤準確率越高,表明算法的快速運動視覺目標跟蹤精度越高。其計算公式為

(23)

式(23)中,ms是指正確跟蹤的快速運動視覺目標數量;mz是指需要跟蹤的快速運動視覺目標總數量,設定為289張測試圖像中的2 500個目標。選取6種主流跟蹤算法與本文算法進行對比,得到不同算法的快速運動視覺目標跟蹤準確率如圖2所示。

圖2 不同算法的快速運動視覺目標跟蹤準確率Fig.2 Fast motion visual target tracking accuracy for different algorithms

根據圖2可知,當快速運動視覺目標數量達到2 500個時,所提算法、文獻[6]算法和文獻[7]算法的平均快速運動視覺目標跟蹤準確率分別為97.6%,94.3%和91.8%,其跟蹤準確率均在90%以上;文獻[9]算法和文獻[10]算法的平均快速運動視覺目標跟蹤準確率分別為85.6%和88.8%,其跟蹤準確率均在80%以上;文獻[8]算法和文獻[11]算法的平均快速運動視覺目標跟蹤準確率分別為79.8%和78.3%,其跟蹤準確率均低于80%。對比上述不同算法的快速運動視覺目標跟蹤準確率可知,本文算法的快速運動視覺目標跟蹤準確率最高,能夠有效提高快速運動視覺目標跟蹤精度。

3.4 跟蹤魯棒性對比

進一步驗證本文算法的快速運動視覺目標跟蹤魯棒性,將跟蹤成功率作為評價指標,跟蹤成功率越高,表明算法的快速運動視覺目標跟蹤魯棒性越強。其計算公式為

(24)

式(24)中,cg是指成功跟蹤的快速運動視覺目標數量。采用選取的6種主流跟蹤算法與所提算法進行對比,得到不同算法的快速運動視覺目標跟蹤成功率如表2所示。

表2 不同算法的快速運動視覺目標跟蹤成功率Tab.2 Success rate of fast motion visual target tracking for different algorithms

根據表2可知,當快速運動視覺目標數量為2 500個時,本文算法、文獻[6]算法和文獻[7]算法的快速運動視覺目標跟蹤成功率均值分別為98.2%,83%和86.2%,其跟蹤成功率均在80%以上;文獻[8]、文獻[9]和文獻[10]算法的快速運動視覺目標跟蹤成功率均值分別為70%,78%和71.8%,其跟蹤準確率均在70%以上;文獻[11]算法的快速運動視覺目標跟蹤成功率均值僅為63.8%,其跟蹤準確率均低于70%。對比上述不同算法的快速運動視覺目標跟蹤成功率可知,本文算法的快速運動視覺目標跟蹤成功率最高,能夠有效增強快速運動視覺目標跟蹤魯棒性。

3.5 跟蹤效率對比

在此基礎上,驗證本文算法的快速運動視覺目標跟蹤效率,將目標跟蹤時間作為評價指標,其目標跟蹤時間越短,表明算法的快速運動視覺目標跟蹤效率越高。采用選取的6種主流跟蹤算法與所提算法進行對比,得到不同算法的快速運動視覺目標跟蹤時間如表3所示。

表3 不同算法的快速運動視覺目標跟蹤時間Tab.3 Fast motion visual target tracking time for different algorithms

根據表3可知,隨著快速運動視覺目標數量的增加,不同算法的快速運動視覺目標跟蹤時間隨之增加。當快速運動視覺目標數量為2 500個時,文獻[6]、文獻[7]和文獻[9]算法的快速運動視覺目標跟蹤時間分別為10.1,11.2和10.5 s,其跟蹤時間均在10 s以上;文獻[8]、文獻[10]和文獻[11]算法的快速運動視覺目標跟蹤時間分別為8.7,7.5和8.2 s,其跟蹤時間均在7 s以上;而本文算法的快速運動視覺目標跟蹤時間僅為4.5 s。對比上述不同算法的快速運動視覺目標跟蹤時間可知,本文算法的快速運動視覺目標跟蹤時間較短,能夠有效提高快速運動視覺目標跟蹤效率。

4 結論

本文提出了融合多尺度核相關濾波和深度特征匹配模型的快速運動視覺目標跟蹤算法。采用核相關濾波跟蹤算法,針對快速運動視覺目標的尺度變化,訓練多尺度核相關濾波器進行快速運動視覺目標跟蹤特征提取。當快速運動視覺目標被嚴重遮擋或目標模糊時,融合深度特征匹配模型,實現快速運動視覺目標跟蹤。通過仿真實驗驗證了該算法的有效性,并得出以下結論:

1) 本文算法具有較好的快速運動視覺目標跟蹤效果,能夠有效跟蹤被遮擋、模糊的快速運動視覺目標。

2) 本文算法的平均快速運動視覺目標跟蹤準確率高達97.6%,相比其他算法,其快速運動視覺目標跟蹤準確率最高,能夠有效提高快速運動視覺目標跟蹤精度。

3) 本文算法的快速運動視覺目標跟蹤成功率均值高達98.2%,相比其他算法,其快速運動視覺目標跟蹤成功率最高,具有較強的快速運動視覺目標跟蹤魯棒性。

4) 隨著快速運動視覺目標數量的增加,本文算法的快速運動視覺目標跟蹤時間僅為4.5 s,其快速運動視覺目標跟蹤時間較短,可以有效提高快速運動視覺目標跟蹤效率。

在快速運動視覺目標跟蹤過程中,由于多尺度參數在空間位置上與其他尺度有所偏差,使得尺度估計不夠精準。因此,在下一步的研究中,可以從金字塔注意力層的思路突破這一局限性。