基于路側激光雷達的多目標檢測與跟蹤算法

顧 晶,胡夢寬

(1.無錫學院電子信息工程學院,江蘇 無錫 214105;2.南京信息工程大學電子與信息工程學院,江蘇 南京 210044)

1 引 言

在智能交通領域中,使用先進的傳感器識別和跟蹤道路上的目標,是道路交通安全的重要任務。激光雷達傳感器由于其探測距離遠、精度高、光線環境適應性好等優點,被廣泛應用于自動駕駛車輛上。如何根據自動駕駛技術,配合安裝在道路基礎設施上的激光雷達傳感器準確檢測和跟蹤城市交叉路口的行人和車輛,使之成為無縫銜接的合作系統,是當今研究的熱點問題[1]。

國內外許多團隊都對三維點云的多目標檢測與跟蹤方面有著深入研究。在目標檢測上,通過利用基于密度的DBSCAN聚類[2]、超體素區域聚類[3]、連通組件聚類[4]等算法提取目標特征信息從而實現目標檢測。在目標跟蹤上,常利用卡爾曼濾波器系列[5-6]進行目標狀態預測和更新,結合基于邊界交并比[7]、外觀運動特征以及馬氏距離[8]等為度量的常見數據關聯算法,如全局最近鄰(Global Nearest Neighbor,GNN)[9]、聯合概率數據互聯(Joint Probabilistic Data Association,JPDA)[10]以及多假設跟蹤(Multiple Hypothesis Tracking,MHT)等[11],最終實現三維多目標跟蹤。

本文提出一種基于路側激光雷達的多目標檢測與跟蹤算法,首先利用背景減除法去除大量背景和地面點云,同時根據邊界坐標選擇感興趣區域,從而提高檢測精度并降低計算成本;緊接著采取先驗旋轉變換矩陣融合5幀點云從而提高細小目標的點云密度,然后通過基于哈希數據結構的曲率體素聚類[12]算法高效、準確的分割點云;之后通過雙門控濾除雜波干擾,利用歷史檢測置信度調整關聯匹配閾值和生存周期管理策略,有效提升算法的速度和關聯的準確性,減少了目標丟失和誤檢;最后應用IMM-UKF-JPDAF的組合貝葉斯濾波器算法,保證對城市交叉口道路目標進行準確跟蹤。實驗結果表明,該方法具有可靠性、魯棒性和實時性。算法總體流程如圖1所示。

圖1 多目標檢測跟蹤算法流程圖

2 目標檢測算法

2.1 背景濾除

背景點云如樹木、地面和建筑物的濾除是處理城市交叉路口激光雷達數據的重要初始步驟。由于實驗安裝的激光雷達的位置是固定的,因此選擇背景減除法將當前獲取的點云幀與背景幀進行差分運算,同時根據邊界坐標選擇感興趣區域,從而提取出運動目標點云數據。圖2所示為目標點云去除背景的前后對比,濾除背景后的點云包括機動車、非機動車和行人等道路目標以及少數噪聲點。

圖2 背景濾除

2.2 點云融合

實驗選用非重復掃描模式的激光雷達,其即時采樣的數據存在點云密度低和運動畸變的問題。因此本文采取融合連續5幀點云的策略,根據旋轉角度和平移距離將前4幀點云變換到當前時刻點云的位置,從而增強了點云密度,校正了運動畸變。圖3為簡單拼接5幀點云和采用先驗旋轉平移矩陣融合5幀點云的對比圖。從圖3中看出,目標點云通過變換融合后密度更大,并且在一定程度上校正了其運動畸變。先驗旋轉平移矩陣如:

(1)

圖3 點云融合

式中,R為旋轉矩陣,表示為先繞X軸方向旋轉θx度,再繞Y軸方向旋轉θy度,最終繞Z軸方向旋轉θz度而得到;T為平移矩陣,dx、dy、dz表示為在各自坐標軸方向上的位移量。

2.3 目標聚類

作為目標檢測的一個環節,點云聚類的效果直接影響檢測的質量?，F有的方法不能同時滿足速度和精度,因此本文選擇曲率體素聚類(CVC)算法分割點云,包括四個步驟。首先,將笛卡爾坐標轉換成球面坐標,隨后構建Hash表將體素索引與其內點的索引相聯系,緊接著通過Hash表找到附近9個體素內的相鄰點,最后將其合并為一個簇。球坐標與直角坐標關系轉化如式:

(2)

式中:r為原點到某點的距離;θ為仰角;φ為方位角。

本文根據不同區域設置不同的閾值α,有效改進并提高了CVC算法的聚類效果,其聚類分割的速度比常規方法快,且具有正確區分相鄰電動車和人群的優勢。圖4為使用改進曲率體素聚類算法的點云聚類效果圖,不同灰度的點代表不同的道路目標。

圖4 改進曲率體素聚類效果

3 目標跟蹤算法

通過上述目標檢測算法提取道路目標位姿信息Det(t)作為目標跟蹤器的輸入,對于t時刻的位姿信息Det(t),有Det(t)=(x,y,z,l,w,h,θ),其中(x,y,z)是包圍盒中心點坐標,(l,w,h)為包圍盒的長寬高,θ為包圍盒的偏航角。

3.1 IMM-UKF算法

在城市交叉路口復雜道路環境下,機動目標具有上下/左右直行、左轉彎和右轉彎等運動狀態,此時采用單一運動模型卡爾曼濾波器無法解決非線性運動問題。因此,本文使用交互式多模型無損卡爾曼濾波即IMM-UKF算法進行目標跟蹤。

3.1.1 目標運動模型

常見運動模型有勻速模型(Constant Velocity,CV)、勻加速模型(Constant Acceleration,CA)、恒定轉彎率和速度模型(Constant Turn Rate and Velocity,CTRV)等[13]。本文根據實際道路場景選擇CV和CTRV作為IMM-UKF算法的子模型,則其離散運動狀態空間模型可以表示為:

(3)

CV線性運動模型假定目標是直線運動的,并不考慮物體的轉彎,將k時刻的目標狀態X(k)=[xk,yk,vk,θk]T推算到k+1時刻,只有位置發生改變,其狀態轉移函數為:

(4)

(5)

3.1.2 算法遞推過程

IMM-UKF算法過程包括4個步驟:交互輸入、模型條件濾波、模型概率更新和估計融合[14]。該算法從k-1到k時刻的遞推過程如下:

(1)狀態交互:根據上一時刻融合估計的結果對模型初始化,得到當前時刻狀態向量和協方差矩陣作為UKF的輸入。定義IMM模型之間通過馬爾可夫轉移概率矩陣P進行交互,其中pmn為P的第m行n列元素,表示為從模型m切換到模型n的概率。

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(3)模型概率更新:計算模型n的似然概率:

(13)

(14)

(4)融合估計:計算與更新后的模型概率結合的k時刻融合狀態向量的估計值與融合誤差協方差矩陣,其表達式如式(15)和式(16)所示:

(15)

(16)

3.2 自適應雙門控JPDA關聯算法

為了準確跟蹤道路上的多目標,本文引入JPDA算法,并將IMM-UKF算法融入到其算法框架中,因此可以在目標運動狀態發生改變時仍具有較高的跟蹤精度。該算法主要包括產生確認矩陣、生成聯合事件、計算關聯概率、獲取綜合觀測值等步驟,其中,計算關聯概率是關鍵步驟之一,表達式如下:

(17)

(18)

(19)

為了有效濾除雜波干擾,提升跟蹤精度,在檢測結果進行最終JPDA關聯匹配前設置自適應閾值雙門控驗證,雙門控示意圖如圖5所示。初級門控以歐氏距離為度量,在歐式空間距離上小于閾值ρec的目標才能進入次級門控;次級門控以馬氏距離為度量,當目標和檢測目標間的馬氏距離小于閾值ρma時才能進入最終關聯匹配。馬氏距離通過在歐氏距離的基礎上添加協方差權重,可以更好地區分目標間的相似度。歐式距離和馬氏距離的表達式如下:

(20)

圖5 雙門控示意圖

(21)

然而,當門控閾值設置過小時,進入波門內的目標減少,隨著時間的推移,可能會丟失跟蹤目標的軌跡;當門控閾值設置過大時,進入波門內的目標增多,則造成算法的復雜度增大,算法運行時間變長。針對此問題,提出自適應門控閾值調整算法,如圖6所示。針對多次跟蹤丟失的目標,通過5幀內歷史檢測置信度的變化,以目標量測預測為中心,逐步擴大或減小目標的搜索范圍,保證目標關聯更加穩定,進一步提升跟蹤精度。

圖6 自適應門控閾值調整示意圖

3.3 自適應生存周期管理策略

由于目標檢測算法的誤檢和漏檢問題普遍存在,需要建立軌跡管理模塊管理軌跡的生成和刪除。即當目標被連續檢測到Fmin幀后才判定新軌跡的生成,同樣地,當目標未能成功匹配上Fmax幀后才判定軌跡的消亡并將其刪除。文獻[7]指出,若采用固定的生存周期管理策略,將出現錯誤的跟蹤軌跡。因此。本文采取文獻[7]中的自適應生存周期管理策略,通過歷史檢測置信度,動態調整最大生存周期,表達式如下:

FAmax=Fmax×σ(α·score+β)

(22)

式中,FAmax表示根據置信度計算后的生存周期;Fmax為最大生存周期,σ(·)表示Sigmoid非線性函數;α和β為尺度系數和偏移系數;score為歷史檢測置信度。由于Sigmoid函數的曲線特性,當目標的置信度越高時,其生存周期也會越長,從而實現生存周期的動態調整,顯著減少了目標丟失和誤檢。

4 實驗結果與分析

4.1 實驗準備與評價指標

4.1.1 路側激光雷達數據采集系統

本文使用大疆旗下的Livox Mid-40激光雷達,其最大探測距離可達260 m,有效視場角為38.4°,距離精度為2 cm。實驗選擇在Visual Studio 2019,i9-12900H CPU @ 2.50 GHz,16 GB內存的Windows11系統環境下進行。將Mid-40固定于城市交叉路口上空5 m處收集道路目標點云數據,同時安裝攝像頭獲取同步視頻用于實驗結果分析。設備由智能機箱接入電源和網絡,道路點云通過筆記本上的Livox Viewer軟件實時顯示并錄制保存。路側激光雷達數據信息采集系統如圖7所示。實驗采集了60 min共36000幀激光雷達點云數據,選擇其中2000幀分為8個序列作為實驗,數據包括機動車、非機動車、行人等不同目標類別。

圖7 路側激光雷達點云信息采集系統

4.1.2 實驗場地

本文實驗場地設在無錫市新吳區的某道路交叉路口處,該路口視野開闊,車流量和人流量較大。將設備安裝于監控立桿上,調整角度使攝像頭和激光雷達掃描區域為四向多車道,如圖8所示。圖8(a)為攝像頭所拍的實時交通場景1快照,圖8(b)為(a)對應的場景1激光雷達圖;圖8(c)為攝像頭所拍的實時交通場景2快照,圖8(d)為(c)對應的場景2激光雷達圖。

圖8 實驗場地

4.1.3 評價指標

本文采用文獻[15]中提出的多目標跟蹤評價指標來量化跟蹤的效果,主要包括多目標跟蹤準確度(Multiple Object Tracking Accuracy,MOTA)、多目標跟蹤精度(Multiple Object Tracking Precision,MOTP)、ID切換次數(ID Switches,IDS)、多數跟蹤軌跡命中率(Mostly Trackedtrajectories,MT)、多數丟失軌跡丟失率(Mostly Lost Trajectories,ML)、軌跡打斷次數(Fragmentations,FRAG)等。其中,MOTA反映誤報、錯報和軌跡切換的目標占跟蹤真值中的比例;MOTP用于衡量目標位置上的精確度,主要體現檢測器的性能;MT表示跟蹤軌跡命中80 %以上的目標比例。根據各指標的含義和計算方式可以得出:MOTA、MOTP、MT的值越大表示跟蹤效果越好,而IDS、ML、FRAG的值則應越小越好。

4.2 實驗結果

AB3DMOT是三維多目標跟蹤的基準算法,其中3D目標檢測使用與本文算法相同的檢測模型,目標跟蹤則使用原有的三維卡爾曼濾波和匈牙利算法的直接組合進行目標的狀態估計和數據關聯。實驗使用實測數據集中選擇的2000幀點云對算法性能進行驗證,同時與基準AB3DMOT算法進行比較,結果如表1所示。

表1 多目標跟蹤結果

表1的結果表明,本文算法在大部分跟蹤指標上均高于基準算法,其中跟蹤準確度MOTA值與基準算法相比提高近20 %,命中率MT和丟失率ML以及跟蹤打斷次數FRAG指標都有明顯提升,意味著本文算法能夠長時間穩定的跟蹤道路目標。在這樣的結果下,僅在實時性上低于AB3DMOT基準算法,但也達到了11.12 f/s,滿足實時性的需求。分析其中的原因,可以發現城市交叉路口的道路目標具有多種運動狀態,使用卡爾曼濾波的基準算法無法解決此類非線性運動問題,同時數據集中包含了比較多非機動車小目標,相較于使用交并比作為關聯度量,使用本文的自適應雙門控關聯算法能更好的關聯道路小目標,避免出現檢測框和預測框交集較少或無交集的問題。

圖9展示了多目標檢測與跟蹤的可視化結果。圖9(a)為第100幀、107幀和155幀的RGB圖像,圖9(b)為(a)對應的點云圖。在圖9(b)的第#100幀中選取斑馬線后方的道路目標0、6、8、21、35作為觀察對象,此時目標處于靜止狀態;在第107幀中目標21暫時丟失,其余目標仍保持跟蹤編號不變;在第155幀中道路目標處于直行的交通狀態,目標6、8、35一直存在且編號未發生變化,目標21在連續丟失4幀的情況下重新出現后仍被正確關聯,僅電動車目標0在長時間檢測不到的情況下跟蹤編號發生了改變。根據這幾幀數據的可視化結果,表明本文算法具有較好的關聯能力和良好穩定的多目標檢測與跟蹤效果。

圖9 多目標檢測與跟蹤可視化結果

4.3 消融實驗

為了驗證文中所提的自適應雙門控算法和生存周期管理策略的有效性,在實測數據集上進行了消融實驗。

比較單門控、雙門控和自適應雙門控算法的跟蹤性能,實驗結果如表2所示。結果表明,相對于單門控,雙門控算法在MOTA指標上有1.65 %的提升,同時降低了身份互換的次數,在運行速度上達到最優。在雙門控算法的基礎上,自適應雙門控算法在MOTA和MT上分別提升了1.44 %和1.69 %,僅在IDS和FPS上有所下降,表明其能夠執行更加穩健的數據關聯,同時運行速度仍優于單門控。

表2 不同關聯匹配設置性能比較

為了方便比較有無、固定與自適應的生存周期管理策略的跟蹤性能,設置最大生存周期Fmax值均為5,實驗結果如表3所示。結果表明,固定生存周期管理策略相比于無設置,其MOTA、MT、ML指標均有明顯提升,僅FRAG值比無設置時大。與固定設置相比,自適應設置在跟蹤準確度MOTA性能上提升了1.56 %,同時跟蹤打斷次數FRAG值有所降低,驗證了自適應生存周期管理策略能夠改善多目標跟蹤效果,減少目標丟失和漏檢,保證跟蹤過程中的穩定性。

表3 生存周期管理策略設計對比

5 結 論

本文提出了一種基于路側激光雷達的多目標檢測與跟蹤算法。首先利用背景減除法去除大量背景點云,極大地提高了算法的運行速度;緊接著采取三維點云剛體變換融合5幀數據,提高了細小目標的點云密度并校正其運動畸變;然后利用基于哈希數據結構的曲率體素聚類算法高效、準確的分割點云;之后通過歷史檢測置信度,利用可變閾值的雙門控設計和生存周期管理策略,自適應地調整數據關聯的搜索范圍和目標最大生存周期,提升了算法的速度和關聯的準確性,減少了目標丟失和誤檢;最后利用IMM-UKF-JPDAF的組合貝葉斯濾波器算法,保證對城市交叉口復雜環境下的具有非線性隨機運動模型的道路目標進行準確跟蹤。實驗結果表明,本文算法在真實道路交通場景中具有較高的跟蹤準確度和良好的實時性。