國內基于深度學習的道路路面病害檢測研究綜述

山東高速工程檢測有限公司 劉憲明 辛公鋒

道路路面病害檢測和提取算法已經得到了廣泛的研究，但是傳統的圖片自動識別技術在面對復雜的道路場景上尚存在諸多的局限。近年來，隨著深度學習在圖像識別領域取得了較多突破，國內諸多學者開始嘗試將這一先進的工具應用于道路路面病害識別。典型的道路路面病害識別包括圖像預處理、病害特征提取、病害分類和結果輸出等。本文首先針對圖片預處理技術與手段，綜述了國內在路面陰影處理、車道線移除、光照均衡、復雜背景、圖像增強等重點問題上的研究進展；然后，針對深度學習在道路病害檢測中的具體應用，綜述了在數據集、模型選用、結果比較三個方面的研究進展；最后，提出了建設符合國內標準的道路病害數據集、二維圖片處理過渡至三維圖片處理、單項或成組病害識別轉向全病害類別識別、病害識別轉向病害成因識別及病害發展預測四個研究進展方向。

道路路面病害檢測既是一項傳統的道路運維管理基礎性工作，又是一項以目標檢測為典型任務的人工參與程度較高的工作。自上世紀80年代以來，各大公司和科研機構就已紛紛嘗試用自動檢測手段替代繁重和危險的人工作業，并取得了較為豐碩的成果。然而，道路病害類型多樣、形態復雜?！豆芳夹g狀況評定標準（JTG 5210-2018）》中，僅瀝青路面損壞類型就有11大類、21中類的病害需識別和評定。同時，除了各道路檢測單位使用的采集工具不同導致的圖片自身的質量和標準的差異較大以外，道路上的光照條件、車道線、旁車、油污、水漬、陰影、路標線、減速帶、車轍印、樹葉、雜物、道路路燈等不可控因素使得傳統的圖片自動識別技術的識別難度較大。近幾年，國際范圍內深度學習在圖像識別領域取得的突破性進展，使得國內的學者紛紛嘗試將這一先進的工具應用到道路路面病害自動識別中來。

1 圖片預處理技術與手段

圖像分析中，圖像質量的好壞直接影響識別算法的設計與效果的精度；因此，在圖像識別前，需要進行預處理。圖像預處理的主要目的是最大限度地簡化數據，從而改進特征提取和識別的可靠性。道路路面病害常見的需要預處理的是路面陰影處理、車道線移除和光照均衡；同時，復雜背景和圖像增強也是預處理的難點問題。

1.1 路面陰影處理

路面陰影不僅破壞了路面裂縫圖像亮度的一致性，而且路面陰影具有形狀極其不規則、半影區巨大、陰影區和非陰影區難以界定等特點。王驁（2016）采用了OTSU圖像分割算法進行了處理，其實質是對圖像進行灰度分割比較，首先將同一張圖像分別進行OTSU圖像分割，然后比較分析；如果差異小，則可以認為不存在陰影。李麗（2018）提出了一種自適應亮度高程模型的路面陰影消除算法SGRSR，其具體分為三步：首先采用形態學膨脹運算和高斯平滑濾波消除路面裂縫和路面紋理對后續陰影區域劃分的影響；然后利用最大熵閾值分割算法求解出高斯平滑后路面影像陰影區域和非陰影區域的劃分閾值，以此實現劃分閾值的自適應確定；最后，基于改進的亮度等高區域劃分模型和亮度補償方法實現路面陰影的消除。

1.2 車道線移除

在采用卷積神經網絡（Convolutional Neural Networks, CNN）等人工智能方法對路面圖像實現自動分類識別時，路面圖像中通常會出現白色車道線，車道線區域亮度偏高，邊沿處存在強烈的灰度跳變，車道線寬度往往大于裂縫寬度，經CNN卷積、池化操作后，對車道線的特征感知強于裂縫，若含車道線的路面圖像數量較多，不僅影響對路面圖像的光照校正，還會影響最后的分類結果。黃濤（2019）提出了利用Mask R-CNN首先檢出車道線區域，然后將該區域移除，接著采用改進Criminisi方法修復圖像，以達到移除車道線的處理目的。

1.3 光照均衡處理

王驁（2016）在直方圖均衡化方法的基礎上，利用灰度值矯正對橫向上的光照不均也進行了均勻化處理。黃濤（2019）基于變換域的方法，采用Mask勻光法完成圖像的初步光照校正，同時融合伽瑪校正算法調整勻光后圖像的亮度并增強其對比度，伽瑪系數取值通過二分法自適應查找獲取，不再手工干預，最后達到批量圖像的亮度基本保持一致的目的。白勝（2019）則采用了直方圖均衡化和中值濾波進行圖像預處理，降低光照不均帶來的影響。

1.4 復雜背景處理

王驁（2016）采取了改進的雙邊濾波算法，利用了局部噪聲方差的方式進行區域型的濾波，減少圖像濾波導致的目標信息丟失。借助圖像分割的手段將非目標信息濾除，以此來達到消除噪聲的目的。溫佳樂（2019）使用了全局對比度歸一化方法來移除圖片最為明顯的變化源，使得圖像像素之間的標準差滿足同一個尺度參數，接著通過數據集進行增強來減少模型的泛化誤差。

1.5 圖像增強

王驁（2016）采取了灰度變換、圖像平滑（領域平均法和中值濾波法）增強了圖像中有用的信息。王麗萍(2018)在混凝土路面裂縫檢測研究中，將24位RGB 彩色圖像經預處理把混凝土裂縫圖片切割成大小為256×256的灰度圖。馮卉(2019)用灰度圖LOG變換和CLAHE算法，基于路面圖像和裂縫的特征，提供一種像素灰度值的映射，以增強部分裂縫與其他路面信息的對比度。

2 深度學習在道路病害檢測中的具體應用

2.1 數據集

海量的標注數據能夠有效降低過擬合的風險，有效提高模型的泛化性能，還能進一步提高模型的魯棒性，因此能否獲取海量的標注數據就成為了影響模型性能的關鍵因素。

（1）自建數據集

李麗（2018）用大疆無人機Phantom 4pro自帶的CMOS面陣相機采集，采集高度30cm，采集分為了強光和弱光兩種模式，共采集了包括6種常見干擾物（車道線、下水道井蓋、落葉、車轍印、不同背景紋理的路面裂縫圖像、水漬），采集數量2000張。她采用了幾何變換、空間濾波、線性變換三類圖像處理方法對數據集中的圖像數量進行了擴充。司吉兵（2019）用Gopro Hero 6 Black相機搭載車輛的方式，采用了連拍和錄像兩種方式自行采集數據，連拍的圖像尺寸為4000×3000，視頻分幀后的圖像尺寸為1920×1080。為解決樣本量過少，他采取了鏡像處理、旋轉處理和添加少量高斯噪聲進行了數據增強。

（2）公共數據集

楊晨曦（2019）嘗試使用了谷歌地球的遙感影像數據，分辨率0.15～0.60m，圖片大小414×410～691×592，圖片1000張，目標個數4300，訓練樣本660。柏嘉洛（2019）選用了CFD和TITS數據集，采用了圖像變換（含亮度變換、圖像旋轉、圖像翻轉、圖像截取、圖像平移）、圖像合成（從源圖像中提取裂縫、對裂縫進行變換、將變換后的裂縫與獲取的背景圖像融合、合成圖像進行色彩變換）進行了數據增強。

（3）運營數據集

陳旭林（2018）除了用平移、翻轉和鏡像翻轉解決了樣本量不足問題，還嘗試采取丟棄一些負樣本、更改損失函數和通過算法生產樣本三個方法來解決正負樣本不均衡問題。黃濤（2019）所用瀝青路面圖像數據集由重慶市公路局提供，主要篩選出有代表性的三類病害圖像與正常路面圖像共四種類型，所有圖像均為單通道，經翻轉、裁剪及加噪增強后總計10800張，每一類型圖像均按比例隨機分為訓練集、驗證集和測試集。肖林（2019）采用了由長安大學三維路面破損檢測車拍攝得到的綏滿高速呼倫貝爾段的24000張圖片，其中12000張為裂縫圖像，12000張為非裂縫圖像，每一類圖像中隨機挑選8000張作為訓練集，2000張作為驗證集，剩余2000張作為測試集。

2.2 模型選用

司吉兵（2019）利用遷移學習技術，選擇了VGG-16、Inception-v3、Res Net-50三種經典的CNN網絡結構模型,三種模型的初始參數為Image Net數據集訓練過的參數。他采取了兩個方案（方案一：以預訓練模型的參數為初始參數，使用fine-tune對所有層進行訓練；方案二：以預訓練模型的參數為初始參數，使用Convent作為特征提取器，凍結除最后一層全連接層以外的所有層的權重）進行了對比分析,進一步地在第一種方案的基礎上，他進行了SGD、Adagrad、Adadelta、Adam、Momentum 以及Rmsprop優化算法測試。李麗（2019）選用了基于Alexent網絡的FCN模型。黃濤（2019）選用了Alex Net、VGGNet、GoogleNet和ResNet模型，并嘗試了Adagrad、Adadelta、Adam、GD、Momenetum、RMSProp進行了優化器的比較。陳旭林（2019）參考NIN和Inception，優化了CNN設計，進一步選用了FCN并用U-Net對其進行了改造。溫佳樂（2019）選用了VGG并對其網絡結構進行了優化；同時，他還基于Caffe框架搭建了改進的神經網絡模型結構。楊晨曦選用了多視角卷積神經網絡(Multi-Per Net)，并將其與ZF-net、PVANet進行了比較。馮卉（2019）則選用了直線型CNN模型（無圖像預處理）、直線型CNN模型、殘差模型和優化CNN模型，并進行了結果對比。柏嘉洛（2019）選用了編碼器-解碼器結構的全卷積神經網絡DenseCrack。王麗萍（2019）選用了CNN和Faster R-CNN兩種結構進行了對比分析。肖琳嘗試了ResNet50、ResNet34和Inception V3模型。

2.3 結果比較

神經網絡檢測結果的優劣通常會從準確率、精確率、召回率、F1值和ROC曲線等多個維度進行比較。但是，由于國內各研究者的研究指向的病害類別采用的數據集、數據增強方式、選用神經網絡模型、選用的模型優化方法等均不一樣，因此各研究之間的結果的比較難以進行。從各研究者各自的對比分析可以看出，圖像預處理、數據集、模型參數的調整、模型優化方法等均會對結果產生較大影響。

3 研究趨勢展望

3.1 建設符合國內標準的道路病害數據集

深度學習是一門數據驅動的技術，其訓練需要大量的標注數據。深度學習不同于淺層學習，其對樣本的依賴性很強，訓練樣本的設計是很重要的，訓練樣本應該具有足夠的代表性盡可能地覆蓋數據真實分布，才能讓網絡模型學習到數據的本質特征，使得模型具有強大的表達能力?；诰矸e神經網絡或全卷積神經網絡進行復雜背景下的路面病害檢測需大量的、帶語義類別標簽的路面病害圖像作為訓練集、驗證集和測試集。但是到目前為止，全球還沒有公開的、帶類別標簽的、用于道路病害圖像語義分割的數據集合。特別地，我國的道路病害檢測要求與發達國家還有著顯著的差異，這就要求道路病害檢測企業、道路病害檢測設備提供商、國內高校和科研機構通力合作，盡早建立符合《公路技術狀況評定標準（JTG 5210-2018）》檢測要求的道路病害數據集，以為進一步的模型訓練和優化奠定堅實的基礎。

3.2 二維圖片處理過渡至三維圖片處理

由于二維圖片缺乏關于高度的信息（當然可以通過一定算法計算獲得，但是既增加了難度，又難以保證精度），諸如沉陷、波浪擁抱、坑槽等的病害檢測難以利用該方法檢測。近年來，路面三維高精度檢測系統的問世與日漸成熟，這就為路面病害的智能檢測開啟了新的研究方向。未來的研究要緊跟采集技術的發展趨勢，在二維圖片檢測的基礎上，持續進行技術迭代，以適應未來三維檢測的需求。

3.3 單項或成組病害識別轉向全病害類別識別

目前，國內關于此領域的研究大部分集中在裂縫、裂紋的識別等，瀝青路面占大部分，水泥路面占少部分。然而，要使得現有的深度學習技術能夠從實驗室走向工程應用，就需要能夠盡可能多地覆蓋更多的病害類別。增加病害類別的數量，將會帶來系統設計和模型算法要求幾何級數的難度增長，這將是未來該領域的長期攻堅方向。

3.4 病害識別轉向病害成因識別及病害發展預測

現有的利用深度學習技術對道路病害的識別僅限于對道路病害表現的識別。但是從道路運營管理的全流程角度來看，對病害成因的識別和對病害長期發展的預測可能更具備應用前景和價值。國內已有部分研究涉及到路面結構病害檢測，但尚未形成相較成熟的應用前景。在未來的科研工作中，需要更多地結合道路病害運營管理訴求，結合各類檢測傳感系統的發展，堅強深度學習技術在此領域的應用研究。