基于語義點云的巡航系統移動目標軌跡識別

張 業 徐 婧

(寧波市阿拉圖數字科技有限公司,浙江 寧波 315000)

0 引言

自適應巡航系統是當前智能汽車應用的主要系統之一[1],該系統將雷達作為傳感裝置,采集周邊環境信息,擴展司機的感知與識別性能。移動目標軌跡識別是自適應巡航系統的主要應用之一[2-3],能夠有效識別周邊車輛的行駛軌跡,可用于判斷車輛的駕駛意圖[3],對于保障汽車行駛安全產生重要影響,因此自適應巡航系統移動目標軌跡識別的研究具有重要意義。

黃士琛等人在研究軌跡識別問題中,構建深度學習模型重建移動目標軌跡,并通過自編碼網絡提取軌跡特征實現目標軌跡識別[4]。但該方法實際應用過程中未考慮深度學習網絡的特征分辨率下降與空間不敏感等現象,由此造成最終的軌跡識別結果存在一定誤差。胡春生等人采用圖像特征提取方法獲取目標圖像特征,通過立體視覺技術中的立體匹配算法實現目標軌跡識別[5]。但該方法實際應用過程中直接在圖像內提取軌跡特征,未對點云實施語義分割,因此特征提取精度存在一定不足。為此,本文提出了基于語義點云的自適應巡航系統移動目標軌跡識別方法,希望通過該方法為移動目標軌跡識別的研究提供新的方向,并對自適應巡航系統的應用起到積極影響。

1 自適應巡航系統移動目標軌跡識別方法

1.1 自適應巡航系統移動目標點云濾波處理

采用分層自適應移動曲面擬合濾波方法對自適應巡航系統所獲取的移動目標點云圖像進行濾波處理,具體濾波過程分為以下幾個環節。

(1)對移動目標點云圖像實施預處理[6],清除粗差點。

(2)采用優化后的均值限差法完成移動目標點云圖像粗濾波。

(3)通過Mean Shift算法劃分移動目標點云類別[7-8],同時標記類別劃分結果。

(4)虛擬格網劃分,基于格網內的種子點完成移動目標點云圖像次曲面擬合[9]。

(5)設置自適應閾值,實現移動目標點云圖像精濾波至遍歷全部區域為止。

圖1為自適應巡航系統移動目標點云濾波處理流程,該流程以漸進式濾波為基礎,通過粗濾波與精濾波兩個主要步驟實現自適應巡航系統移動目標點云濾波目的。需要注意的是,環節四中,網格窗口尺寸對于最終濾波性能產生直接影響,因此在實際移動目標點云圖像濾波處理過程中,窗口大小的設定非常關鍵。

圖1 自適應巡航系統移動目標點云濾波流程

環節(2)中,移動目標點云圖像粗濾波采用了均值限差法,具體操作過程中將任意點設定為中心,構建窗口,在XY平面上投影窗口內的點,確定除中心點外剩余點云的高程均值,在此基礎上確定中心點同均值間的差值,并將結果同閾值相對比,完成移動目標點云圖像粗濾波。但數據過程在實際應用過程中會因點云分布的密集度差異造成高程均值不同,降低最終濾波結果的準確性;同時考慮地形具有起伏特性,所設定的不變閾值與窗口尺寸也將降低最終濾波結果的準確性[10]。針對這些問題,可選取變窗口方差比值的方法進行完善。利用式(1)設定窗口尺寸s。

s=(smin)×2n-1

(1)

式中,n表示濾波循環次數。

Dγ和Dλ分別表示窗口內高程均值之上和之下點的方差,確定Dγ和Dλ后計算兩者比值,比值大于1、等于1和小于1分別代表與高程均值相比,地面點分布較為密集、較為均勻和較為稀疏。根據比值,利用式(2)所示的動態閾值法優化閾值。

(2)

式中,zc表示初始閾值。

1.2 移動目標點云圖像語義分割

對于自適應巡航系統移動目標軌跡識別問題,需要從自適應巡航系統所獲取的濾波處理后的點云圖像內確定移動目標物體的點云,將這部分包含了移動目標位姿信息的點云與其余圖像內的移動目標點云實施高精度配準,即可識別移動目標軌跡。在這一過程中的首要問題即為判斷點的類別[11],即確定屬于移動目標物體的點,而這一問題可通過語義分割來解決。語義分割的主要目的是劃分移動目標點云圖像內不同點的類別,由此檢測并分割移動目標點云圖像內任意或多個目標。語義分割過程可通過深度卷積神經網絡來完成,但考慮語義分割具有稠密預測的特征[12],標準的深度卷積神經網絡在實際應用過程中存在特征分辨率下降與空間不敏感等現象,因此可從以下三方面優化深度卷積神經網絡,更好地實現移動目標點云圖像的語義分割。

(1)利用空洞卷積提取稠密特征并擴展視野。移動目標點云的語義分割需根據大量空間位置信息實現點的分類[13-14]。為了避免空間信息丟失問題,可在深度卷積神經網絡內引入包含一個擴張因子卷積處理的空洞卷積。針對一維卷積來說,以x和y分別表示一維輸入信號和空洞卷積輸出,l和c分別表示濾波器和長度,則

(3)

空洞卷積具有輔助控制計算移動目標點云特征響應分辨率的功能[15],同時帶洞卷積結構并不密集,在感受野一致的條件下具有更少的參數,能夠顯著提升移動目標點云語義分割的效率。

(2)通過全連接條件隨機場精確提取邊界。一般情況下,條件隨機場的主要功能是實現圖像平滑和降噪。針對移動目標點云語義分割,各點位置i具有隱變量(即實際類別標簽)和對應的觀測值(即語義劃分結果)。以移動目標點云圖像內的各點為節點,節點間的相關性作為邊,構建條件隨機場[16]。經由確定yi判斷i對應的xi。條件隨機場滿足吉布斯分布。

(4)

式中,I表示全局觀測。

H(x)表示全連接的條件隨機場模型內的損失函數,公式描述如下:

(5)

式中,θi(xi)和θij(xi,xj)分別表示一元損失函數和二元損失函數。

θi(xi)是觀測序列位置的狀態特征函數,能夠反映觀測序列對標記變量的影響,公式描述如下:

θi(xi)=logP(xi)-1

(6)

式中,P(xi)表示關于i的輸出標簽分配概率。

θij(xi,xj)所描述的是不同觀測位置上的轉移特征函數,能夠反映變量間的相關性以及觀測序列對其影響,公式描述如下:

(7)

式中,cn(fi,fj)表示點i、j處特征向量fi與fj間的高斯核。

綜合式(6)、式(7)能夠得到,通過θij(xi,xj)能夠確定移動目標點云圖像內各點的一致度。若一致度高于設定的閾值,即可定義各點屬于同一類;反之則認為是各點分別屬于兩個類別。

(3)可分離卷積結構。利用深度卷積神經網絡實現移動目標點云語義分割過程中,通過可分離卷積結構Xception降低網絡參數數量,也就是通過深度卷積與駐點卷積兩個環節共同實現完整的卷積運算[17]。利用上述過程對深度卷積神經網絡進行優化后,通過優化后的網絡完成自適應巡航系統移動目標點云圖像的語義分割,由此將移動目標點云圖像內的點云劃分為兩部分,一部分是移動目標點云,另一部分是背景點云。針對不同場景內的移動目標點云,采用點云配準算法,識別移動目標軌跡。

1.3 移動目標點云配準

1.3.1匹配特征點搜索

在兩幅重疊的移動目標點云內提取獲取特征點集T1和T2。ti表示T2內的任意點,通過計算確定ti的高斯曲率與曲率均值,并生成屬性序列Stz(Ki,Hi),確定ti在T2內的匹配點。詳細匹配點搜索過程如下:

(1)根據T1,T2與點云內各點處的高斯曲率與曲率均值確定該點屬性序列st1i、st2i(i=1,2,…,n1;j=1,2,…,n2,n1與n2分別表示T1和T2內點的數量)。

(2)針對T1內各點對應的屬性序列st1i,通過式(8)分別確定T2內各點的屬性序列st2i與st1i的Tonimoto系數(相似度函數)T1i。

(8)

式中,A和B分別表示量特征點屬性向量。

(3)確定T1i的下限值,如果其低于閾值ε,那么對應的特征點對即為匹配點對;如果不存在低于ε的點對,那么搜索T1內后續點匹配點至T1內全部點在T2上的匹配搜索結束為止。

(4)將所確定的T1和T2內匹配的點對作為最終的配準點對,由此確定移動目標點云旋轉矩陣R與平移矩陣G。

基于不同場景內的點云配準結果獲取移動目標軌跡。

2.3.2點云配準

(9)

對語義分割所獲取的移動目標點云實施逆變換處理后,在完成高精度的點云配準,能夠快速獲取點云的旋轉與平移結果R′、T′。

2 實驗結果與分析

為驗證本文所研究的基于語義點云的自適應巡航系統移動目標軌跡識別方法的實際應用性能,以汽車上搭載的某自適應巡航系統為研究對象,采集研究對象內部點云圖像作為測試圖像集,采用本文方法對測試數據集內的移動目標進行軌跡識別測試。研究對象中采用一家德國汽車雷達生產制造商IBEO激光雷達獲取移動目標點云圖像,表1所示為IBEO激光雷達的相關技術參數。

表1 點云獲取的相關技術參數

2.1 濾波性能評價

在測試數據集內隨機選取三幅點云圖,采用本文對其進行濾波處理。為分析本文方法的濾波性能,選取國際普遍認可的濾波誤差定量評價標準,如表2所示,基于該標準,評價本文方法濾波性能,所得結果如圖2所示。分析圖2可知,采用本文方法對所選測試圖像進行濾波處理時,三類誤差均控制在4%以下,其中二類誤差與其他兩種誤差相比均較高。以上數據說明本文方法在濾波方面具有較高的濾波精度,同時穩定性也較好。

表2 濾波誤差定量評價標準

圖2 濾波性能評價結果

2.2 語義分割性能測試

針對上一實驗所選的三幅點云圖,圖內移動目標在行駛過程中均未發生遮擋問題,采用本文方法對其進行語義分割測試,圖3為本文方法點云語義分割測試結果。分析圖3可知,采用本文方法對移動目標進行語義分割時,在不同的距離條件與光源條件下均能夠有效實現點云類別的劃分,準確獲取移動目標點云,有利于提升移動目標軌跡識別精度。

圖3 語義分割測試結果

2.3 點云配準測試結果

以中心位置誤差(用于反映分割出的移動目標點云區域同實際移動目標點云區域的中心偏差),與覆蓋率(用于反映分割出的移動目標點云區域同實際移動目標點云區域合并部分內的重疊比例)為測試指標,客觀分析本文方法的點云配準性能,所得結果如圖4所示。分析圖4可知,本文方法在點云語義分割過程中,中心位置誤差控制在15像素以內,而覆蓋率則始終保持在85%以上。由此說明本文方法具有較好的語義分割效果。

圖4 點云配準測試結果

2.4 軌跡識別測試

以點云濾波與語義分割結果為基礎,采用本文方法識別不同移動模式下的移動目標軌跡,所得結果如圖5所示。分析圖5可知,在目標基本沿著直線移動的條件下,本文方法識別出的移動目標軌跡同其實際移動軌跡完全重合。在目標基本沿著曲線移動的條件下,本文方法識別出的移動目標軌跡同其實際移動軌跡大致重合,僅在小角度轉彎區域所得的軌跡具有一定誤差,但誤差較小。由此說明本文方法能夠準確識別移動目標軌跡。

(a)直線軌跡

為了進一步驗證本文方法的實用性,分別采用本文方法與文獻[3]、文獻[4]方法對巡航系統移動目標軌跡進行識別。以軌跡識別精準度作為指標,實驗具體結果如圖5所示。

分析圖6可知,使用本文方法對巡航系統移動目標軌跡識別的準確率均為95%以上,文獻[4]方法的準確率為87%～92%,而文獻[5]方法的識別準確率為85%～94%。本文方法的準確率明顯高于其他兩種方法。

圖6 目標軌跡識別精度

為了進一步驗證本文方法的可行性,選取識別時間作為指標,識別時間越長效率越低,識別時間越短效率越高。分別采用本文方法與文獻[3-4]方法對巡航系統移動目標軌跡進行識別。實驗具體結果如表3所示。

表3 移動目標軌跡識別時間 單位:s

分析表3可知,相比其他兩種方法,本文方法在進行巡航系統移動目標識別時的識別時間最短識別效率最高,識別時間僅需26 s。

綜上,可以得出本文方法具有較高的精確度及識別效率,更具實用性和可行性。

3 結束語

本文提出了基于語義點云的巡航系統移動目標軌跡識別方法,引用濾波技術、語義分割技術與點云配準技術等實現自適應巡航系統移動目標軌跡識別。實驗結果顯示,本文方法具有較好的應用性。但由于時間與技術所限,本文方法在實際研究過程中還存在一定不足,如測試過程中所識別的移動目標均為完整目標,對于處于遮擋狀態下的移動目標軌跡識別性能未進行測試。因此在后續優化過程中,將針對這部分內容進行詳細測試,并根據測試結果完善本文方法。