基于改進DeepSORT的視覺/激光雷達目標跟蹤與定位方法

范婉舒，賴際舟，呂 品，鄭欣悅，鄭國慶，張 萸

(南京航空航天大學自動化學院，南京 211106)

0 引言

得益于深度學習的迅速發展，近年來計算機視覺技術在無人駕駛中的應用越來越廣泛。目標跟蹤算法是計算機視覺中的一個重要組成部分，為無人設備提供強大的感知能力。目標跟蹤算法能夠在檢測的基礎上獲取目標信息，對同類的不同目標加以區分并持續跟蹤。

目標跟蹤主要有生成式跟蹤和判別式跟蹤兩類。生成式跟蹤無需檢測信息，通過逐幀搜索比較提取到的特征，迭代得到跟蹤結果，如光流法、Meanshift、Camshift等。生成式跟蹤算法計算量較小，但在面對光照變換大、存在遮擋和變形的情況時精度明顯下降。

判別式跟蹤算法在目標檢測的基礎上進行跟蹤，計算量較大，但較為魯棒且精度更高，是當前的主流算法。判別式跟蹤算法可以分為基于相關濾波的算法和基于深度學習的算法。最小輸出均方誤差(Minimum Output Sum of Squared Error，MOSSE)算法首先將相關濾波引入到目標跟蹤領域，在此基礎上核化相關濾波(Kernelized Correlation Filters，KCF)算法通過引入循環矩陣和嶺回歸算法，提升了跟蹤的性能。

隨著神經網絡的提出，基于深度學習的跟蹤算法具有更優的跟蹤效果。Ma C.等提出了分層卷積特征(Hierarchical Convolutional Features，HCF)視覺跟蹤算法，將VGG(Visual Geometry Group)網絡提取的特征與相關濾波結合，獲得了很好的跟蹤性能，但該算法對尺度變換較敏感。A.Bewley等提出了簡單在線實時跟蹤(Simple Online and Realtime Tracking，SORT)算法，降低了計算量，但身份變換次數較多。此后，A.Bewley等針對該問題，加入外觀特征度量與級聯匹配，提出了Deep-SORT算法，顯著減少了身份變換次數。

DeepSORT算法作為一種在線跟蹤方法，能夠滿足無人系統的實時性要求與精度要求，因此被廣泛應用。文獻[11]通過調整DeepSORT外觀特征網絡結構，降低了因遮擋造成的身份變換。文獻[12]通過引入長短期記憶網絡(Long Short-Term Memory，LSTM)模型，實現了多車輛的實時準確跟蹤，但當目標外觀特征改變時，這些方法產生的漏匹配較多，多目標跟蹤準確率下降。

在實際應用中，基于圖像的目標跟蹤只能提供圖像上的二維信息，而需要的往往是物體的三維信息。對此，傳統的方法是通過相機與激光雷達的對齊點云獲取圖像上的對應深度，從而得到目標的三維坐標。然而，當目標在圖像中較小時，這種方法獲得的深度精度有限，甚至會出現無法獲取深度的情況。

針對以上問題，本文提出了一種基于改進DeepSORT的目標跟蹤與定位算法，實現了對目標的連續跟蹤定位。首先，在傳統DeepSORT算法中加入位置約束，依據漏匹配目標在圖像中的位置信息再次匹配，有效減少因外觀變換導致的漏匹配，提高多目標跟蹤準確率。繼而，在跟蹤算法的基礎上，設計了基于目標運動模型的相對定位算法，以解決目標較小時定位失敗的問題，提高定位精度。

1 基于改進DeepSORT的目標跟蹤與定位算法

本文通過加入位置約束與目標運動模型，提出了一種基于改進DeepSORT算法的目標跟蹤與定位算法，算法流程如圖1所示。傳統架構在獲取視覺跟蹤信息后，通過對齊點云解算其相對位置。相較于此，本文的改進如下：1)對傳統DeepSORT算法的初步匹配結果依據位置約束再次匹配，減少漏匹配；2)對傳統相對定位方法得到的三維信息，根據運動模型得到其最優估計，獲得最終的定位結果。

1.1 基于改進DeepSORT的目標跟蹤算法設計

目標跟蹤可以分為檢測與跟蹤兩部分，本文的檢測器為YOLOv3。YOLO(You Only Look Once)算法是一階段的檢測算法，相較于兩階段算法，檢測速度更快，更符合無人系統的實時性要求。YOLOv3是該系列算法的第三代，采用Darknet53作為特征提取網絡。Darknet53參考了ResNet的結構，在網絡結構中加入了殘差塊，增加了深度的同時，可以控制梯度的傳播，避免出現梯度爆炸或者梯度消失的問題。YOLOv3采用多尺度預測，通過上采樣融合了3個尺度上的信息，顯著提高了對小物體的檢測能力。跟蹤器采用加入位置約束的DeepSORT算法。

圖1 基于改進DeepSORT的目標跟蹤與定位算法流程Fig.1 Flow of object tracking and positioning algorithm based on improved DeepSORT

1.1.1 傳統DeepSORT目標跟蹤算法分析

目標匹配分為兩階段，第一階段為級聯匹配，第二階段為交并比(Intersection-over-Union，IoU)匹配。在級聯匹配階段，通過平方馬氏距離和余弦距離構造代價矩陣。同時，計算門控矩陣，用于判斷匹配是否可行，只有當平方馬氏距離和余弦距離都在門控矩陣內時，該匹配可行。計算得到代價矩陣和門控矩陣后，利用匈牙利算法，根據優先級進行匹配，越小則優先級越高。若大于最大存活幀數，則認為該目標已不在場景中，刪除該目標的跟蹤軌跡。

1.1.2 基于位置約束的改進DeepSORT算法設計

在實際應用中，由于目標自身的運動或者部分被遮擋，外觀特征變換較大，較易導致漏匹配。但由于目標運動的連續性，其在圖像幀中的像素坐標相差較小，可以據此再次進行匹配。改進Deep-SORT算法流程如圖2所示。

圖2 改進DeepSORT算法流程Fig.2 Flow of improved DeepSORT algorithm

對于未匹配跟蹤集中的跟蹤軌跡，尋找未匹配目標集中距離其最近的檢測目標。若其距離小于閾值，則認為是同一目標，將(,)加入匹配集。其中，閾值為經驗值，根據輸入圖像的大小決定。輸入圖像的尺寸越大，則閾值設定越高?；谖恢眉s束的算法流程如表1所示。其中，位置距離通過像素坐標(,)間的歐式距離來衡量，即

(1)

因此，改進算法的匹配流程為：對于跟蹤集與檢測集，首先計算代價矩陣與門控矩陣，并初始化匹配集與未匹配跟蹤集。與的設計沿用原始算法，通過平方馬氏距離與余弦距離構建。

平方馬氏距離用于度量卡爾曼預測狀態量與最新的量測量之間的距離，即

(2)

其中，和表示第個跟蹤軌跡的狀態量的期望與協方差矩陣；表示第個檢測框的狀態量量測值。

表1 基于位置約束的匹配流程

余弦距離用于度量跟蹤軌跡與檢測框之間的外觀相似度，即

(3)

通過平方馬氏距離與余弦距離加權計算，通過兩者對應的閾值、判斷得到。其中，、、的選取參考文獻[10]。

,=(,)+(1-)(,)

(4)

(5)

然后進行級聯匹配與IoU匹配，接著初始化未匹配目標集，對于IoU匹配之后的未匹配跟蹤集與未匹配目標集，計算其距離矩陣，依據位置約束再次進行匹配，以減少漏匹配。改進后的目標匹配流程如圖3所示。

圖3 改進目標匹配算法流程Fig.3 Flow of improved target matching algorithm

1.2 基于目標運動模型的相對定位算法設計

通過相對定位算法計算目標相對載體的位置。傳統的相對定位方法通過相機與激光雷達的標定獲取目標的位置信息，通過對齊點云獲取像素處對應深度，進而解算出目標相對位置。1.1節所述的改進DeepSORT算法對因外觀特征改變造成的漏匹配起到了改善作用，但還存在目標較小時無法獲取深度進行定位的問題。因此，本文在目標跟蹤的基礎上，構建目標運動模型，得到目標運動狀態的最優估計，以解決該問題。

卡爾曼濾波是一種優化估計算法，結合當前時刻的預測值與量測值得到當前的最優估計值。針對不同目標，使用卡爾曼濾波估計其狀態，需要先對待估計對象建立運動模型。在本文中，定位目標為行人。

行人在行進過程中，加速度較小，可以視為勻速直線運動。因此，該類目標的運動模型為恒定速度模型。設行人在時刻的狀態為=[,]，其中為全局系(第一幀雷達系)下時刻行人相對載體的三維坐標；為時刻行人的速度。和為已知量，描述時刻雷達系到全局系的變換。則在經過Δ時間后，其狀態變換為+Δ=[+Δ·+-+Δ,]。則狀態轉移方程為

(6)

在測量中，通過對齊點云，得到當前雷達系下目標相對載體的三維坐標。因此，本文中狀態方程及量測方程為

(7)

其中，和為噪聲，均服從高斯分布。

在實際試驗中，由于外參標定精度有限，跟蹤目標處對應的深度值存在突變的情況。突變值造成的誤差會在狀態遞推器中累積，從而造成卡爾曼濾波器性能的下降。因此，本文在卡爾曼濾波器中加入殘差檢測器將突變值剔除。被剔除的突變值將不作為量測值輸入，該時刻的最優估計值為一步預測值。

2 試驗驗證與分析

為了評估提出算法的性能，本文首先在交通監測圖片序列的基礎上對改進跟蹤算法效果進行驗證，測試其在多目標環境中的跟蹤性能。然后在無人車平臺上展開目標跟蹤與相對定位試驗，綜合測試改進跟蹤算法與改進相對定位算法在實際情況下的性能。

2.1 基于圖片序列的目標跟蹤算法驗證

為了驗證本文所提算法的有效性，將原始Deep-SORT算法作為對照，通過多目標跟蹤準確度(Multi-ple Object Tracking Accuracy，MOTA)衡量算法的性能，MOTA與漏報(False Negative，FN)、誤報(False Positive，FP)、身份變換(ID Switch，IDSW)以及真實值(Ground Truth，GT)相關，MOTA的計算公式為

(8)

本文選用兩組圖片序列對改進跟蹤算法的性能進行驗證。一組是移動載體在城市道路行駛過程中采集的序列，另一組則是城市道路中的交通監控序列。在車輛轉彎過程中，會出現外觀特征改變的情況。由表2可知，改進算法的多目標跟蹤準確率提升了6.6%。

表2 基于圖片序列的原始算法與改進算法多目標跟蹤準確率

圖4顯示了原始算法及改進算法在序列二中的跟蹤結果，由圖4(a)與圖4(b)的對比可知：

相較于傳統DeepSORT算法，改進方法可以有效減少漏報，對于圖4(a)中62幀ID為20的目標，其在轉彎前后的外觀特征出現了較大的變換，在第83幀中未能成功關聯，且在第84幀中被當成新的目標(ID為28)。而在圖4(b)中，改進算法通過位置信息實現對目標轉彎前后的持續跟蹤。

(a) 原始算法跟蹤結果

(b) 改進算法跟蹤結果圖4 交通監控序列處理結果對比Fig.4 Comparison of traffic monitoring sequence processing results

2.2 基于無人車平臺的目標跟蹤與定位算法驗證

本文在無人車平臺上展開試驗，以驗證目標跟蹤與相對定位算法的性能，試驗平臺與測試路線如圖5所示。其中，無人車搭載了Besos GX01微型主機、Intel RealSense D435i相機與Ouster OS1 64線激光雷達。各傳感器性能參數如表3所示。

圖5 無人車平臺及目標跟蹤與定位試驗路線Fig.5 Unmanned vehicle platform and object tracking & positioning test route

表3 傳感器性能參數

2.2.1 目標跟蹤算法試驗

本文在無人車平臺上采集三組數據以測試跟蹤算法的性能，包含光照變換、步態變換等情況。在試驗過程中，當目標經過存在樹蔭路段時，光照產生變換，而在目標轉彎時，其步態也會發生變換，這些情況都會造成目標外觀特征的改變。試驗開始時，兩個行人相隔一段距離并排行走，距無人車平臺一定距離后，兩人朝相反方向轉彎，返回試驗開始地點。

在外觀改變的情況下，原始算法較易出現匹配失敗的情況，而改進算法依據位置信息對外觀改變的目標進行匹配，減少了漏報。圖6所示為原始算法和改進算法的對比結果，在150～151幀中兩個目標在轉彎前后其外觀特征出現了改變，原始算法的151幀中出現了漏報的情況，但目標的位置變換較小，在改進算法中，目標一在151幀中被成功匹配。根據表4，平均多目標跟蹤準確率提高了5.6%。對比表2與表4可知，在更為復雜的場景中，產生的漏報較多，原始算法的多目標跟蹤率較低，改進算法對多目標跟蹤準確率的提升較大。

(a) 原始算法跟蹤結果

(b) 改進算法跟蹤結果圖6 目標跟蹤算法對比Fig.6 Comparison of object tracking algorithm

表4 基于無人車平臺的原始算法與改進算法多目標跟蹤準確率

2.2.2 相對定位算法試驗

本文同時在無人車平臺上展開相對定位算法試驗。試驗過程中，目標一手持全站儀棱鏡，行進路線與圖5相同。本文通過全站儀對無人車與跟蹤目標進行定位，計算其相對位置，在相對定位算法試驗評估中提供位置基準。

圖7所示為原始算法與改進算法的對比，選取全站儀解算軌跡作為基準。解算得到雷達系下的坐標，雷達系為軸向前、軸向左、軸向上的右手坐標系。圖7(a)為相對定位結果對比，圖7(b)為相對定位誤差對比，綠色為全站儀提供的基準位置，紅色為改進算法，藍色為原始算法。其中，相對定位誤差通過計算全站儀與相對定位算法解算坐標的歐式距離得到。在實際試驗中，全站儀棱鏡與跟蹤目標中心點在軸上存在不定偏差，因此在算法性能評估中不考慮軸。圖8所示為目標較小情況下的定位效果對比圖。

(a) 相對定位結果對比

(b) 相對定位誤差對比圖7 相對定位算法對比Fig.7 Comparison of relative positioning algorithm

(a) 原始算法定位失敗情況

(b) 改進算法定位效果圖8 目標較小情況下的定位效果對比圖Fig.8 Comparison of positioning results of small objects

根據基于無人車平臺的相對定位結果及定位誤差可以看出：

1)相較于傳統方法存在定位失效的情況，本文算法提高了定位的連續性。如圖8(a)所示，當目標在圖像中較小，原始算法無法獲取深度值時，目標一沒有三維坐標信息。在試驗中，定位失效導致圖7(a)中原始算法定位結果鋸齒較多，且存在突變值，與全站儀解算軌跡相差較大。改進算法根據之前的位置信息對目標當前的坐標進行預測，成功解決了目標較小時無法定位的問題，獲取的解算結果較為密集，圖7(a)中改進算法定位結果較為平滑，突變值被殘差卡方檢測器剔除，與全站儀解算軌跡相差較小。

2)相較于傳統方法定位精度較差的情況，本文算法提高了定位精度，如圖7(b)所示，改進算法的誤差曲線較原始算法波動范圍較小。試驗結果表明，原始算法的定位誤差為1.01m，而改進算法的定位誤差為0.38m，定位精度提升了62.4%。

3 結論

本文通過加入位置約束與目標運動模型，提出了一種基于改進DeepSORT算法的視覺/激光雷達目標跟蹤與定位算法。針對原始DeepSORT算法中由于目標外觀特征相差較大而出現的漏匹配問題，本文設計了加入位置約束的改進DeepSORT算法，同時針對圖像中目標較小時定位失敗的問題，設計了基于目標運動模型的改進算法。試驗結果表明：

1)基于位置約束的改進DeepSORT算法能夠有效地減少漏匹配，提升了多目標跟蹤準確率；

2)基于目標運動模型的相對定位算法能夠有效地解決目標較小時定位失敗的問題，可以對目標進行連續跟蹤，提升了定位精度。