一種車載LiDAR點云道路提取深度神經網絡模型

劉 晉, 楊容浩, 文 文, 譚駿祥, 蘭青龍, 高 祥, 湯 洪

(1. 成都理工大學地球科學學院測繪工程系, 四川 成都 610059; 2. 廣州南方測繪科技股份有限公司成都分公司, 四川 成都 610031)

車載激光掃描(mobile laser scanning,MLS)作為一種先進的測量工具,能夠快速采集大面積的道路場景點云數據,具有快速、實時、動態及高精度等優勢[1],是高效采集精確道路三維幾何信息的重要手段,但如何快速從復雜的三維場景點云中精確提取道路點云仍是一個難點[2]。

采用偏度平衡[3]、布料濾波(cloth simulation filter, CSF)[4]、基于掃描線[5]、移動動態窗口分類[6]等傳統算法,能從MLS點云較完整地提取道路點云;但主要針對結構化道路場景,且依賴人工設置特征或閾值,普適性較差。在處理復雜的非結構化道路場景時,傳統方法表現不佳,難以完整地提取道路點云[7]。

深度學習是一種數據驅動的機器學習方法,能夠實現“端到端”的特征提取和模型訓練,在計算機視覺、自然語言處理等領域表現出明顯優于傳統方法的性能。在點云分類和道路點云提取方面,也出現了一些效果良好的深度學習框架。文獻[8-9]將三維點云投影到二維平面,利用二維卷積神經網絡(convolutional neural network, CNN)實現道路點云的分割提取,但難以應用于大場景,且會損失道路邊緣信息,精度較差。文獻[10-11]將點云轉化為體素,采用3D CNN進行特征學習,實現點云的語義分割,能夠提取完整的道路點云,但需要設置很高的分辨率,內存消耗大。文獻[12-13]采用PointNet網絡,直接以三維點云作為輸入,利用KNN算法增強點與點之間的互相關聯實現點云自動分類,能充分保留點云原始信息,且計算量較小,能應用于大型道路場景中,但只關注點云全局特征,缺乏對局部特征的提取,道路提取精度較低。文獻[14]提出的PointNet++網絡,以及在此基礎上改進的位置自適應卷積(position adaptive convolution, PAConv)網絡[15]均采用編-解碼結構,通過逐層下采樣捕捉局部幾何細節信息,對于道路點云提取精度有所提高,但在道路邊緣存在過分割和欠分割的現象。

針對以上問題,本文提出一種鄰域增強編碼E-PointNet++網絡模型,以PointNet++為基礎網絡,通過在特征提取前引入一個鄰域增強編碼模塊,在模塊中建立局部鄰域內點與點之間的聯系,以提高網絡的道路邊緣分割能力。

1 E-PointNet++網絡結構

1.1 E-PointNet++基本架構

E-PointNet++采用與PointNet++相同的4層架構(如圖1所示),即包括數據預處理(DG)層、編碼(Encoder)層、解碼(Decoder)層和全連接(FC)層。其中,DG層將原始點云劃分為一組重疊的局部鄰域并將其作為輸入;Encoder層由4個下采樣層(DS)組成,能將輸入數據轉換成4個包含不同尺度特征信息的特征向量。DS層包含采樣和分組(SG)、鄰域增強編碼(DE)和特征提取(PT)3個模塊。DS層首先利用SG模塊對點云進行下采樣,得到鄰域中心點,并查找在中心點固定半徑內的鄰域點;然后通過DE模塊重編碼鄰域點坐標,得到包含鄰域中心點與鄰域點及鄰域點間關系的輸出特征;最后經PT模塊輸出提取的特征。Decoder層由4個上采樣層(US)組成。每個US層包含插值模塊(IP)和特征提取模塊(PT′)。PT′層和PT層結構相似,它在上采樣中將特征進行降維操作。如在US4層中,它以PT4模塊(即DS4層)的輸出作為輸入,經IP4進行插值后,通過殘差連接與PT3輸出的點特征進行cancat連接,再經PT′4層進行特征降維后,將其作為US3的輸入。

圖1 E-PointNet++網絡結構

重復上述操作4次后,得到Decoder層的最終輸出,再經FC層分類后得到道路的最終分割結果。

1.2 DE-鄰域增強編碼模塊

DE模塊位于Encoder層中每個SG模塊后,PT模塊前(如圖1所示),其主要功能是對每個鄰域點添加鄰域中心點的坐標,以及該點對鄰域中心點的相對坐標、到鄰域中心點的歐式距離和強度信息。

原始的PointNet++網絡的PT模塊在局部鄰域內的單點特征提取操作公式為

(1)

E-PointNet++網絡在增加DE模塊后,PT模塊中特征提取操作公式為

(2)

與PointNet++相比,DE模塊增強了鄰域點間特征表達,使網絡能夠更好地提取點云的空間幾何、結構、和語義信息。

2 試驗與分析

為了驗證E-PointNet++相對于現有道路點云分割方法的優越性,并討論該方法在不同場景下的適用情況和性能,分別采用自建的廣臺高速點云數據集(Guangtai-Expressway-3D)和公開數據集Paris-CARLA-3D進行試驗與分析。

2.1 數據集介紹

2.1.1 Guangtai-Expressway-3D數據集

該數據集原始點云數據由車載移動測量系統采集于廣臺高速某路段,共計3.32億點,含空間坐標和強度信息。

由于原始點云不僅數量龐大,且存在大量的噪聲和離群點(如圖2(a)所示),為了獲取較完整、干凈且滿足網絡訓練需要的高速公路場景點云數據,首先對原始點云數據進行分段和去噪預處理。分段預處理沿道路方向進行,將原始道路點云數據分成332段,每段平均100萬點。點云去噪采用統計濾波方法[16],去噪后得到較完整、干凈的高速公路場景點云數據(如圖2(b)所示)。

圖2 點云預處理前后效果對比

對預處理后的點云數據使用Cloud Compare軟件進行逐點標注,得到包含高速公路和少量城市快速道路場景的樣本數據;并按照6∶2∶2分成196個訓練集、71個驗證集和65個測試集。

2.1.2 Paris-CARLA-3D數據集

Paris-CARLA-3D數據集是由移動激光雷達和攝像機系統構建的面向室外環境的若干密集彩色點云數據集,主要由兩組數據組成:在巴黎市采集的真實數據和CARLA模擬器的合成數據,共7.6億點[17]。Paris-CARLA-3D數據集共包含13個場景,其中,真實采集數據包含了巴黎市中心的3條街道,直線距離為550 m,主要分為盧森堡花園附近的兩個場景和道路兩側有建筑的4個密集城市場景點云,共6個場景,每個場景約1000萬點。合成數據中CARLA的直線距離大約為5.8 km,主要分為4個城市道路場景和3個農村道路場景,共7個場景,每個場景約1億點。Paris-CARLA-3D數據集將這13個場景分為6個訓練場景、3個驗證場景和4個測試場景。

2.2 試驗環境及網絡參數

試驗操作系統為Ubuntu 18.04,環境采用的GPU為NVIDIA GeForce RTX 2080Ti,內存為12 GB,利用pytorch框架搭建網絡。

試驗中所有深度學習算法的訓練采用一致的參數:學習率為0.001,每訓練10輪按比率0.7下降一次;每批次輸入大小為32,訓練迭代次數為100;優化器使用Adam,相比于SGD優化器,Adam能使模型更快收斂至性能最優;輸入場景塊尺寸設置為5 m;輸入場景包含的點數為4096(該超參數為每個場景下劃分的局部空間輸入點云數);損失函數使用有權重的NLL＿loss損失函數,與交叉熵損失函數相比,該損失函數能有效減小樣本不平衡對模型訓練的影響。

對比試驗中,傳統算法的各項參數通過反復試驗調整至效果最佳。

2.3 評價指標

為了定量評價道路場景中路面點云提取精度,借鑒文獻[18]的評價方式,將準確性(p)、完整性(r)、檢測質量(q)作為評價指標,公式為

(3)

(4)

(5)

式中,TP表示正確提取的路面點數量;FP表示錯誤提取為路面點的點數量;FN表示錯誤提取為非路面點的點數量。

2.4 試驗結果與分析

基于道路場景的特點,考慮本文是以解決道路邊緣的過分割和欠分割問題,提高算法道路邊緣分割能力為目標,因此,針對上述兩套數據集,分別選擇3種典型道路場景,即結構化道路場景(兩側有路緣石)、半結構化道路場景(一側有路緣石)和非結構化道路場景(兩側都沒有路緣石)進行測試,并與CSF[4]、基于多區域RANSAC的地面點云提取算法(MR-RANSAC)[19]、PointNet++[14]和PAConv[15]進行提取結果對比。

2.4.1 Guangtai-Expressway-3D試驗結果與分析

3種道路場景下的原始點云、標簽和5種算法的道路分割結果如圖3-圖5所示。

圖3 結構化道路場景道路提取結果對比

由圖3可以看出,對于結構化道路場景點云,布料濾波算法和MR-RANSAC算法提取的結果存在點云欠分割;而PointNet++、PAConv和E-PointNet++均能完整提取道路邊界。

由圖4和圖5可以看出,對于半結構化和非結構化的道路場景,在道路一側無路緣石或兩側都無路緣石時,CSF和MR-RANSAC會將道路邊緣的植被誤提取為道路,且道路中也存在大量的欠分割點云;PointNet++和PAConv都存在明顯欠分割和過分割現象。E-PointNet++提取結果與標簽更為接近,表明其能準確地提取結構化和非結構化道路場景中的道路點云,算法具有更強的穩健性。

圖4 半結構化道路場景道路提取結果對比

圖5 非結構化道路場景道路提取結果對比

對3種道路場景中4種算法的道路點云提取結果定量評價指標統計見表1。

表1 Guangtai-Expressway-3D數據集道路提取定量評價結果 (%)

由表1可以看出,總體上,E-PointNet++提取道路的準確性(p)、完整性(r)、檢測質量(q)均高于CSF、MR-RANSAC、PointNet++和PAConv算法。相對于結構化道路場景,其他4種算法在半結構化和非結構化道路場景時各項指標均下降明顯,但E-PointNet++能保持穩定,表明其對道路邊緣的提取受道路邊緣類型的影響較小,具有更好的穩健性。

2.4.2 Paris-CARLA-3D試驗結果與分析

為進一步驗證E-PointNet++在復雜道路場景下的有效性和泛化能力,在Paris-CARLA-3D公開數據集上進行試驗分析,選取結構化、半結構化和非結構化3種道路場景,道路提取結果如圖6-圖8所示,定量評價結果見表2。

表2 道路提取定量評價結果 (%)

圖6 結構化道路場景道路提取結果對比

由圖6-圖8可以看出,對于3種類型的道路場景點云,CSF算法提取結果普遍存在道路邊緣點云的過分割;MR-RANSAC對于合成數據(如(圖6(d)所示),由于該結構化道路場景中道路點云的z坐標均為0,因此提取效果非常理想;但對于半結構化(如圖7(d)所示)和非結構化(如圖8(d)所示)場景的自然采集數據,在道路中和道路邊緣都存在較大面積的欠分割現象。PointNet++和PAConv對3種道路場景都存在道路邊緣欠分割現象。E-PointNet++在3種道路場景的道路提取效果沒有表現出明顯的差異性,算法具有更強的穩健性,且整體上優于其他3種算法。

圖7 半結構化道路場景道路提取結果對比

圖8 非結構化道路場景道路提取結果對比

由表2可以看出,總體上,E-PointNet++提取道路的p、r和q均高于CSF、MR-RANSAC、PointNet++和PAConv算法。在該數據集中,對于結構化道路場景,除CSF外,另外4個算法都能取得較好的性能,p和r指標都在96%以上,而q也在95%以上。對于半結構化和非結構化道路場景,CSF、MR-RANSAC和PointNet++相對于結構化場景的3項指標都有所下降;而PAConv在結構化道路的邊緣存在大量的過分割,因此它的完整性(r)、檢測質量(q)有所下降,準確性(p)反而有所上升;E-PointNet++3項指標變化不大,仍在97%以上。由此說明,E-PointNet++算法道路邊緣提取受道路邊緣類型的影響較小,具有更好的穩健性。

試驗結果表明:①E-PointNet++網絡可用于高速公路場景和城市場景道路提取,能對道路點云進行高精度提取,且受車輛、植被和道路類型的影響較小。②與傳統方法相比,本文方法無需人為進行閾值設置和特征選擇,過程更為簡單;與PointNet++網絡模型相比,對于道路邊緣提取能力更強,對道路中的點提取完整性更好,具有更強的穩健性。

3 結 語

本文基于PointNet++基礎網絡模型,對其局部區域特征提取和網絡結構等方面進行改進,重新設計了一種包含鄰域點間信息的鄰域增強編碼模塊,并采用自建數據集和公開數據集進行了試驗驗證。試驗證明,與傳統的道路點云提取方法及PointNet++和PAConv網絡相比,本文網絡模型具有更強的穩健性,對道路邊緣欠分割和過分割的問題進行了改善,對道路邊緣提取效果更好,對于道路的提取更完整和準確,對道路點云的提取精度更高。此外,利用訓練好的網絡模型能夠在相似的高速公路和城市道路場景中直接提取高精度的道路點云,可為智慧交通和自動駕駛等應用提供高精度的實用數據。在后續研究中,將會進一步研究如何將本文提出的鄰域增強編碼模塊與其他網絡進行集成,嘗試用于其他類型地物點云的提取。