基于視覺的非結構化道路識別綜述

張軒銘

（重慶交通大學機電與車輛工程學院，重慶 400074）

0 引言

無人駕駛技術作為現代交通領域的前沿研究方向，正在迅速發展和演進，無人駕駛汽車成為未來交通系統的重要組成部分[1]。無人駕駛技術分為環境感知、決策和控制等領域，環境感知系統為無人駕駛車輛提供車輛周圍環境信息，其中非常重要的一項功能是對道路進行檢測[2]。目前可將道路劃分為結構化與非結構化2種道路類型。結構化道路一般是指高速公路、城市干道等結構化較好的公路，這類道路具有清晰的車道線，道路的背景環境相對單一，且有明顯的道路幾何特征，且路面的顏色通常較為固定，易于識別，如圖1a所示。而非結構化道路的情況則千差萬別，缺乏明確的路線和駕駛指示，如路標、交通信號等。其中越野場景更是復雜多樣，一些典型的場景是森林、鄉村道路、泥濘或沙質道路，或被茂密植物覆蓋的地形[3]。非結構化道路環境可以是任何沒有基本駕駛設施、道路指示和比通常條件更具挑戰性的環境，如圖1b所示。

目前非結構化道路檢測存在許多問題：

（1）由于非結構化道路本身類型不固定，可能是泥土、沙子、碎石等組成；

（2）非結構化道路表面不平整，大部分道路存在凹凸不平的情況；

（3）非結構化道路邊界模糊，道路與周圍自然植物相交而成，沒有明顯的道路邊界；

（4）非結構化道路形狀不規則，道路寬窄變化頻繁。除了道路本身的挑戰外，還存在外界干擾因素，如光照條件的變化、周圍環境的干擾、圖像噪聲的產生以及由于汽車行駛中的顛簸導致的圖像模糊。以上問題都給非結構化道路場景無人駕駛算法的準確性和魯棒性帶來很大的挑戰[4]。

目前，基于視覺的非結構化道路檢測主要分為3種方法：（1）基于道路特征的方法，（2）基于道路模型的方法，（3）基于機器學習的方法。本文將分別對這3個方法進行綜述。

1 基于道路特征的方法

非結構化道路檢測最常使用的方法就是基于道路特征的檢測方法，其主要是根據道路自身的明顯的特征來檢測道路，道路本身特征包括道路的顏色、紋理、邊緣等，依靠這些特征來區分可行駛的道路區域和非道路區域，再根據聚類或者區域生長的方法來獲取道路可行駛區域?；诘缆诽卣鞯臋z測方法其優點在于需要的先驗知識少，而且對道路的形狀不敏感，可以用于檢測形狀不規則的非結構化道路。但其缺點也非常明顯，由于是基于道路特征來進行檢測，當道路特征發生變化或受外部環境因素影響時，其檢測效果會非常差，如對路面陰影或水跡等比較敏感[5]。目前基于道路特征的非結構化道路識別方法分為基于顏色特征的方法、基于邊緣特征的方法、基于紋理特征的方法3種。

1.1 基于顏色特征的方法

一般情況下，在非結構化道路可行駛區域內的道路顏色基本一致，可將道路檢測問題轉化為基于顏色特征的道路提取問題，然后再利用閾值分割或區域生長等方法來獲取非結構化道路的可行駛區域。

Sotelo[6]提出基于HSV（Hue，Saturation，Value）顏色空間和二維空間約束的道路分割算法，并成功地在不同環境和天氣條件下對非結構化道路的邊緣和寬度進行正確估計。但是，在日出后和日落前陽光較強的時段，使用該道路跟蹤算法存在一定的局限性。李大杰等[7]根據非結構化道路的顏色特征提出一種基于色度差的邊緣檢測算法。該算法是將輸入原始圖像的RGB 顏色空間轉化為L*a*b*（L 代表明亮度，a 和b為兩個色度通道）顏色空間，結合L*a*b*顏色空間的明度與色度分離的特點，對色度差的信息進行融合后，通過霍夫（Hough）變換提取出圖像邊緣得到非結構化道路邊緣信息。該算法能夠減小陰影、水漬等外部因素對真實道路邊界的干擾。鐘鵬飛[8]將原始圖像的RGB 顏色空間轉化為HSV 顏色空間進行顏色分析。結合梯度幅值算法和大津法（OTSU）對圖像的非結構化道路區域進行分割，再利用形態學算法和路面與背景區域灰度值差異的特點，對道路邊緣進行提取。但該方法對于顏色差異較小的非結構道路檢測效果較差，特別是沙漠、雪地和山地等道路環境。Huang[9]提出了一種基于HSV 顏色空間和道路特征的非結構化道路檢測方法。該方法主要使用Hue 分量作為估計標準，因為它對陰影和水域不敏感，針對道路的色調組件可能會出現不穩定的情況，該方法將飽和度和值組件結合起來，以保證魯棒性。除此之外，該方法沒有一個一個地處理所有的幀像素，而是選取了一些像素進行處理，從而保證了處理速度。

1.2 基于邊緣特征的方法

圖像中的邊緣信息具體表現為其周圍像素灰度變化不連續的那些像素的集合，局部圖像顏色強度發生明顯變化的位置即是圖像邊緣。非結構化道路中的道路區域和非道路區域有明顯的邊緣特征，因此可以利用此邊緣檢測算法來提取圖像的邊緣特征，從而分割出非結構化道路的可行駛區域。

目前常用的邊緣檢測方法有小波變換[10]，常用的邊緣檢測算子有：一階的Roberts 算子[11]、Sobel 算子[12]等；二階的拉普拉斯算子[13]、康尼（Canny）邊緣檢測算子[14]等。王燕清等[15]根據非結構化道路存在邊界不規則問題，提出加權Canny 邊緣檢測方法和面向加權Canny 邊緣圖像的啟發式概率Hough 變換方法。經過試驗證明，該方法能夠在不同非結構化道路環境下進行道路邊界檢測，提高了算法的準確性和實時性。盧才武等[16]針對傳統圖像處理方法對噪聲敏感且容易誤判和漏判的問題，根據Canny 邊緣檢測的方法，利用一種平滑尺度自適應的高斯濾波方法對遙感影像進行降噪，在降低噪聲干擾的同時還保留了邊緣細節。該方法能明顯改善邊緣檢測的準確度和定位精度，且完整度和連續性顯著增強。其檢測結果如圖2 所示。鄭歡歡[17]將Sobel 算子的邊緣檢測算法進行改進，通過擴大構造5×5的梯度權值模板計算出圖像邊緣信息，然后利用K-means 聚類算法獲取最佳自適應閾值來完成圖像分割。該方法使得邊緣信息保留的更加完整。

圖2 邊緣檢測結果

1.3 基于紋理特征的檢測方法

紋理特征是廣泛存在于自然界中的物體表面的特征，非結構化道路也有屬于其獨特的紋理特征，如圖3所示?；诩y理特征的檢測可根據其紋理特征來提取非結構化道路可行駛區域。

圖3 非結構化道路紋理

Tuceryan[18]將提取紋理特征的方法分為5種：結構分析法、統計法、幾何法、模型方法和信號處理法。

（1）結構分析方法主要是研究紋理基元的類型和數目以及基元之間復雜的空間位置排序和組織結構，先假設紋理基元是分離狀態，然后以基元特征和規則排序識別圖像紋理。

（2）統計法的原理是利用概率來反映圖像的灰度方向、相鄰像素間隔和變化幅度等整體信息。

（3）模型法的研究重點是模型參數估計。該方法在對圖像進行分割處理時需要以模型參數為特征，或者采用某種分類法實現圖像分割。

（4）信號處理法的本質是對時域、頻域以及多尺度的分析。該方法對道路圖像進行處理是通過透視變換來實現的，提取出圖像中存在于某個區域的像素特征點，獲取其特征值，這種方式可體現出某個區域或者區域外的等同性和互異性。信號處理的算法在提取圖像紋理特征時，主要是利用線性變換、濾波器或者濾波器組將紋理轉換到變換域，然后利用一種能量分布準則提取紋理特征，這種準則是在頻域上給與一定的假設，即能量分布可以識別出圖像紋理。信號處理法的經典算法又分為：Tainura 紋理特征、自回歸紋理模型、Gabor小波變換。

在一些非結構化道路場景中，例如泥地、荒漠和戈壁等，由于紋理特征對這些可行駛區域圖像的顏色和光照魯棒性高，所以基于紋理特征的非結構化道路檢測是當前較常用的方法，其中基于消失點檢測的方法已逐漸成為主流。消失點是透視圖圖像平面上的一個點，三維空間中平行線的二維透視投影（或圖形）似乎會匯聚，圖像中的所有東西似乎都匯聚在一個點上，這個點被稱為消失點。如圖4 所示，圖4（a）是直線道路上的消失點檢測，圖4（b）是彎曲道路上的消失點檢測?；谙c的道路檢測方法一般又分為3種:（1）基于道路邊緣線的方法；（2）基于空間變換技術的方法；（3）基于紋理特征的方法。最常用的就是基于紋理特征來檢測道路的消失點。利用紋理方向來估計消失點最初是由Rasmussen[19]提出。

圖4 不同道路上的消失點

Shi[20]提出了一種以較低的計算代價提高消失點估計精度和魯棒性的新算法，利用4 個Gabor 濾波器的聯合活動和置信度來加快紋理方向估計的過程。該算法采用粒子濾波器降低了算法的誤識別率和計算復雜度，它限制了消失點搜索范圍，并減少了要投票的像素數量。該算法將投票累加器空間的峰性測度與觀測值的移動平均位移相結合，調節候選消失點的分布。Yang[21]提出了一種用于檢測道路圖像中消失點的新算法。首先使用輪廓小波紋理檢測器加速像素檢測。然后通過響應調制線投票方案對可靠主導向量的像素進行調制，為每個像素賦予適當的投票權重。與以往紋理方法不同，考慮了道路像素的紋理響應，增強了魯棒性并抑制與道路無關的紋理響應。最終候選的消失點由獲得最多投票的可靠調制投票點來確定。

2 基于道路模型的方法

基于道路模型的道路檢測方法的前提條件是假設非結構化道路具有較規則的邊緣，再利用道路邊緣的結構建立相匹配的道路模型，然后對道路模型進行擬合匹配得到道路區域與非道路區域的邊界[22]。道路模型的優點是在路面水跡、陰影和光照不均等環境下魯棒性較強。但缺點也很明顯，由于道路模型是基于道路形狀建立，所以當道路形狀發生變化而不符合預先假設時，模型的檢測精度會急劇下降。常用的道路模型有直線模型、拋物線模型和樣條曲線模型[23]。

直線模型基于直線道路建模，在減少內存限制的情況下，最有效的直線車道檢測和估計技術是霍夫變換（Hough Transform）[24]。這一步通常在使用投影模型獲得的原始圖像上執行，或者在應用反透視變換后執行[25]。Hough變換算法的性能在很大程度上取決于數據量。在大多數方法中，Hough 變換與其他方法如線分類相結合。Cela等[26]提出了一種基于無監督和自適應分類器的道路車道檢測算法。獲得車道需要3個步驟：第1步，在輸入圖像中使用亮度來了解環境條件，并突出顏色通道；第2步，采用無監督分類器和HT對左右道路線進行識別；第3步，應用卡爾曼濾波器估計車輛位置，跟蹤車道。

基于拋物線模型的方法，Kluge[27]提出了曲線道路模型。假設在平坦的地面上，車道邊界可以用拋物線曲線表示。雖然它可以近似正常的道路結構，但它仍然不能描述某些情況，如“T”型轉彎。在此基礎上，通過優化似然函數，提出了一種可變形模板算法。但是，該算法不能保證全局最優和精度，且不需要大量的計算資源。Jung[28]提出了一種車道偏離檢測技術。首先，使用邊緣分布函數和改進的霍夫非結構化道路檢測，目前主要是基于視覺或者視覺和激光雷達的多傳感器融合方法檢測車道邊界，在跟蹤階段，采用線性拋物線車道模型。在近場，采用線性模型獲得車道方向的魯棒信息。在遠場，采用二次函數，可以有效地跟蹤道路的彎曲部分。對于車道偏離檢測，使用兩個車道邊界的方向來計算每一幀的車道偏離測量，當該測量超過閾值時觸發警報。

基于樣條曲線模型的方法，Wang[29]提出了一種基于B-Snake 的不需要任何攝像機參數的車道檢測與跟蹤算法。與其他車道模型相比，基于B-Snake 的車道模型能夠描述更廣泛的車道結構，因為b樣條可以通過一組控制點形成任意形狀。利用透視平行線的知識，將檢測車道標記（或邊界）兩側的問題合并為檢測車道中線的問題。此外，提出了一種名為CHEVP的魯棒算法，為B-Snake模型提供良好的初始位置。

3 基于機器學習的方法

近幾年，機器學習和深度學習因其強大的自學習能力而迅速發展，被廣泛地應用于各個領域。在無人駕駛的環境感知方面，利用機器學習和深度學習來學習大量的樣本，訓練出魯棒性較強的模型。機器學習算法基于樣本數據（稱為訓練數據）構建模型，以便在沒有明確編程的情況下做出預測或決策。非結構化道路檢測也基于此方法做了大量研究。本文將基于機器學習的非結構化道路檢測方法分為傳統機器學習和深度學習的方法并分別進行綜述。

3.1 基于傳統機器學習的道路檢測方法

機器學習的道路檢測程序無需明確編程即可執行任務。它涉及計算機從提供的數據中學習，以便它們執行某些任務。對于分配給計算機的簡單任務，可以編寫算法告訴機器如何執行解決問題所需的所有步驟。在存在大量潛在答案的情況下，一種方法是將一些正確答案標記為有效。然后，這可以用作計算機的訓練數據，以改進它用于確定正確答案的算法。學者們基于傳統機器學習方法對非結構化道路檢測進行了大量的研究。

Shang[30]試圖找到一種選擇特征描述符的道路檢測方法。利用支持向量機技術分析了這些常見特征描述符在道路檢測過程中的重要性。在此基礎上，提出了一種基于混合特征的道路檢測算法。通過對一系列特征的分析，證明了其從背景中檢測路面的能力，其檢測結果如圖5所示。Wang[31]針對智能無人車輛在非結構化道路識別中需要采用眾多的特征參數，從而增加了特征融合識別難度與計算復雜度，以及部分背景與道路區域存在相似性會產生道路識別的誤分、誤判的問題，提出了一種基于主成分分析的支持向量機（Principal Component Analysis- Support Vector Machine, PCA-SVM）準則改進區域生長的非結構化道路識別算法，該算法能夠縮短識別時間和排除背景干擾。王曉彬等[32]在非結構化道路檢測中引入了感興趣區域（Region Of Interest,ROI）來消除環境噪聲，將HSV 圖像模型作為支持向量機分類算法的輸入，借助霍夫變換檢測道路邊緣。Ekhti 和Kobayashi[33]訓練高斯過程回歸器（Gaussian Process Classification,GPR），以預測車輛在地形上移動時的振動（作為地形可行駛性的衡量標準），結合車載RGB 攝像機處理圖像檢測到的地形紋理特征。同樣在這種情況下，回歸器使用遍歷過程中獲得的本體感覺數據（即加速度計數據）進行訓練，而在線遍歷成本回歸僅基于傳入的RGB圖像。

圖5 基于混合特征的檢測結果[30]

3.2 基于深度學習的方法

傳統的機器學習一般是用淺層模型，對于線性可分或者簡單的非線性比較有效。當輸入數據（樣本）和輸出數據（標簽）之間存在復雜度高、難以理解的非線性關系時，很難找到合適的淺層機器學習方法。在機器學習中，大多數應用程序的特征需要由專家識別，然后根據領域和數據類型、機型手工編碼。對于多變的道路類型、復雜環境背景的非結構化道路來說，這個過程在時間和專業知識方面是困難和昂貴的。因此基于深度學習的方法迅速發展，由于其神經網絡層數很深，所以非線性的建模能力很強，處理復雜任務性能較強。深度學習模型（如卷積神經網絡）可以自動學習數據的層次特征表示，從而減少了特征工程的需求。深度學習允許直接從原始數據到目標任務的端到端學習，減少了中間步驟和假設，這有助于簡化模型的訓練和調優過程。

在非結構化道路檢測中，基于計算機視覺的語義分割方法（Semantic Segmentation）最為常用，語義分割是計算機視覺中的一個分支，其主要是將一些原始數據（例如圖像或視頻）作為輸入并將它們轉換為具有突出顯示的感興趣區域的掩模。其中圖像中的每個像素根據其所屬的感興趣對象被分配類別ID。

Wang[34]提出了一種名為RD-Net 的語義分割網絡，實現了非結構化道路的語義分割。該網絡包括用于特征提取的反射填充和“卷積+池化”堆棧，用于加深網絡的擴張殘差過渡單元和用于大小恢復的上采樣，該網絡整體結構如圖6所示。Rasib[35]等提出了一種結合deeplabV3+的道路區域檢測和轉向角度估計機制的新型自動駕駛汽車模型，以確保在非結構化路況下的自動駕駛，將非結構化道路分割為可行駛區域和不可行駛區域，如圖7所示，第1列和第2列分別顯示原始測試圖像和地面真實圖像，第3列為預測圖像，第4列為將分割后的掩碼疊加在原始圖像上的預測結果。而王雪瑋[36]等將非結構化道路場景分割為強推薦行駛區域、弱推薦行駛區域、不推薦行駛區域和背景區域，針對非結構化道路存在邊界模糊和路況多變等問題，提出一種基于M 形深度架構的語義分割模型，其模型融合了多尺度交互策略并引入了雙重注意力機制。

圖6 RD-Net網絡整體結構[34]

圖7 基于DeeplabV3的非結構化道路分割結果[35]

3.3 非結構化道路開源數據集

基于深度學習的語義分割方法之所以能展現其強大的能力，是因為需要大量的數據驅動，需要從海量的數據中進行學習。但如果研究者從頭采集數據集并制作，需要耗費大量的時間成本和人力成本。本文介紹一些常用的開源非結構化道路數據集，如表1所示。

表1 常用的非結構化道路數據集

IDD 數據集[37]由10004 張圖像組成，從印度道路上182 個駕駛序列中收集的34 個類別進行了精細的標注，其混合了城鄉、高速公路、單車道和雙車道道路等多種道路場景。該數據集特點在于道路附近有很多建筑物、道路邊界不明確、行人和亂穿馬路的人很多以及道路上的摩托車和載貨車密度很高。CARL[33]在巴基斯坦100 多個城市的視頻序列上構建。因此，該數據集包含道路類型的多樣性，例如高速公路、農村道路、城市街道、丘陵和破舊道路。該數據集只有2個類別，即可行駛區域和不可行駛區域。

非結構化道路種類繁多，除了與人們生活相關的城鄉道路和農村道路等，其次就是越野道路，無人特種車輛或野外作業機器人需要穿越環境復雜多變的越野道路執行特定任務，因此越野道路的識別也廣泛受到關注。關于越野道路的數據集也被提出，下面對常用的越野數據集進行介紹。

RELLIS-3D 數據集[38]是在越野環境中收集的多模態數據集，包含13556 個激光雷達掃描和6235 個圖像的注釋。對于圖像注釋，天空、草、樹和灌木占總標記像素的94%。在LiDAR 數據中，草地、樹木和灌木占總點標簽的80%。這對于當前最先進的深度學習模型存在的類別不平衡問題提出了極大的挑戰。

費格堡數據集[39]研究了使用多光譜和多模態圖像進行語義分割，并開發了從RGB、近紅外通道和深度數據中學習的融合架構，引入了一個史無前例的多光譜分割基準，該基準包含15000 張圖像和366 個非結構化森林環境的像素級地面真值注釋。

ORFD 數據集[40]是由北京大學團隊提出的數據集。采集于不同場景（林地、農田、草原、鄉村）、不同天氣條件（晴、雨、霧、雪）和不同光照條件（亮、白天、黃昏、黑暗）下，共包含12198張LiDAR點云和RGB圖像對，并將圖像類別分為可行駛區域，不可行駛區域和不可到達區域。

CaT數據集[41]認為越野道路的可穿越性是取決于車輛的類型，比如對于灌木叢來說，轎車是無法穿越的，而越野車是可以穿越的。因此將標注類別根據車輛類型分類，分為轎車、多用途貨車和越野車。

4 結束語

本文介紹了基于道路特征和傳統圖像處理方法的非結構化道路識別方法，以及目前魯棒性較高的基于深度學習的語義分割方法。由于非結構化道路復雜多變，當道路特征和類型發生變化時，基于傳統圖像處理方法的識別準確性會下降。而基于深度學習的方法由于其強大的學習能力，能夠從大量的樣本中學習到如何準確識別各種類型的非結構化道路，其缺點是需要大量的數據驅動,且訓練時間長和可解釋性差。由于激光雷達成本高昂，所以目前基于視覺的非結構化道路識別成為主流方法，但非結構化道路環境復雜多變，基于純視覺的識別方法也存在缺陷，受環境亮度影響較大，且無法測量距離。隨著技術日趨成熟，激光雷達成本下降，視覺加激光雷達的多傳感器融合會成為主流方法。