基于ResNet網絡模型的排水管道缺陷檢測智能識別

李廣超，李澤偉，阮殿勇，張 昊，朱培民，何效周

(1.黃河勘測規劃設計研究院有限公司,河南 鄭州 450003;2.中國地質大學 地球物理與空間信息學院,湖北 武漢 430074)

1 引言

城市排水管道是必不可少的地下重要基礎設施之一,承擔著城市排水和排污的重要功能,具有大規模和高密度分布的特點。在管道老化、化學腐蝕、外力不均勻擠壓、土體松動[1]、植物根系入侵[2]和微生物腐蝕[3]等多種因素的作用下,許多排水管道會形成堵塞、泄漏、破損等多種管道缺陷,并造成污水滲漏和排水不暢,甚至會引起路面塌陷、城市內澇和環境污染等問題[4]。為了避免上述問題,定期組織專業的排水管道檢測,及時準確地掌握排水管道的結構穩固和功能保障狀況,是維持城市現代化建設和城市生活高質量、高效率運轉的基本保證。

目前,排水管道的檢測最常用的是通過管道閉路電視(Closed Circuit Television, CCTV)采集圖像或視頻[5],并依賴人工識別管道的缺陷。這種人工方法需要大量的人力和時間。為了能夠實現管道缺陷的自動識別,傳統的圖像處理和計算機智能算法被應用于排水管道缺陷的檢測中,如閾值分割算法[6]、Canny邊緣檢測算法[7]、支持向量機[8]、基于圖片的GIST特征的隨機森林算法[9]等。但是這些方法仍存在以下缺點:①管道缺陷必須與背景存在明顯差異,否則準確度較差,識別準確率低于75 %;②能夠識別的缺陷類型較少;③仍需要人為干預,無法實現自動化。因此,這些算法實用性較差。

近年來,隨著人工智能理論和技術的發展,特別是深度學習算法,在圖像識別、語音識別和無人駕駛等應用場景中取得了重大進展。由于管道缺陷的識別也是圖像識別的一種,許多學者利用各種深度學習算法來嘗試管道缺陷識別與分類。例如,一般的卷積神經網絡(Convolutional Neural Networks, CNN)和Unet(Unity Networking)網絡用于排水管道的多類型缺陷(如根部入侵、裂縫、沉積物)識別算法[10-14],以及基于改進的Faster R-CNN(Region-Convolutional Neural Networks)模型實現了排水管道的缺陷檢測等[15,16],為了實現CCTV視頻中管道缺陷的自動檢測。為了同時實現對排水管道的空間定位和幾何屬性的分割,周倩倩等提出了基于Deeplabv3+的排水管道缺陷檢測和圖像分割的方法[17]。

近年來,一種新的深度神經網絡模型——殘差網絡(ResidualNetwork,ResNet),被發展出來[18-20],并在圖像分類任務上取得了顯著的效果。ResNet的核心思想是通過引入“殘差塊”或“跳躍連接”來解決深度神經網絡中的梯度消失和梯度爆炸問題。傳統的深層神經網絡會隨著網絡的加深,梯度逐漸變小,導致訓練過程困難,效果下降。而ResNet通過在網絡中引入跨層連接,允許信息直接通過一個或多個層級跳躍傳播,從而保持梯度的傳播和信息流動。ResNet網絡模型中的殘差連接結構能夠提升淺層神經元的利用率,同時多條支路也保持淺層特征有效地應用于網絡整體中,提高了網絡的識別精度。

為了更快和更方便,且降低對計算資源的需求,本文將管道檢測的視頻視為圖片,并對其進行分類和標注,以生成大量的管道圖像數據集;借助ResNet網絡模型和結合排水管道缺陷的特點,提出了一種基于深度學習的排水管道缺陷內窺檢測智能識別算法PipeResNet。這種算法經過測試,并分別比較了ResNet50、ResNet18、DCNN(Deep Convolution Neural Network)、VGG16和Inceptionv3這5類網絡模型在排水管道檢測中的應用效果,PipeResNet網絡模型的識別精度最優,能夠滿足在實際排水管道檢測中的應用需求。

2 PipeResNet結構設計

為了解決深層網絡的退化問題,ResNet網絡模型由何凱明等在2015年提出[18]。該模型利用殘差連接的思想將淺層網絡的輸出恒等映射(Identity Mapping)至深層網絡中,減少了模型的參數和計算量,提高了網絡的性能。圖1為ResNet網絡模型中的一個典型殘差單元結構的例子。

圖1 ResNet網絡模型的殘差單元典型結構Fig.1 The residual element of ResNet

圖1中從輸入x到輸出F(x)代表了ResNet的一個殘差塊。它包含了兩個分支,其中一個是恒等映射路徑(xIdentity),即直接將輸入作為輸出。另一個分支是殘差映射路徑,通過一些卷積層進行特征變換(F(x))。最后,將恒等映射與殘差映射相加,得到最終的輸出(F(x) +x)。殘差塊中的恒等映射路徑實現了跳躍連接,允許信息直接繞過一些卷積層傳播到更深層次。這種跳躍連接有效地解決了梯度消失和信息丟失的問題,有助于網絡的訓練和優化。ResNet的架構允許網絡非常深,可達幾十甚至上百層的規模。通過堆疊殘差塊,每個殘差塊將輸入特征映射到更高維度的輸出特征,從而使網絡可以進行更復雜的特征提取。

為了實現區分排水管道各類缺陷的目的,本文以ResNet50的網絡結構為基礎[21],發展出了PipeResNet網絡結構(圖2)。PipeResNet50網絡結構設計有50個卷積層或全連接層,其中卷積層分為5組,每組卷積層的卷積核數量分別為64、256、512、1 024、2 048。

圖2 排水管道缺陷識別神經網絡PipeResNet結構Fig.2 Structure of PipeResNet designed for identifying defects of drainage pipe

殘差單元從第二組卷積層開始構建。第二、第三、第四和第五組的殘差單元個數依次為3、4、6、3。每個殘差單元由三層卷積層所構成,其卷積核大小分別為1×1、3×3、1×1。在經過5組卷積層之后,PipeResNet利用平均池化將特征的維度降低至256(最大缺陷類別數),并添加一個Softmax激活函數作為分類器的輸出,輸出結果為缺陷類別的概率分布。

3 樣本集

樣本數量及相應的質量對深度學習的算法有著至關重要的作用。本文采用的數據來源于武漢市區的排水管道視頻數據,該數據中排水管道的缺陷類型十分復雜,且數量不均衡,部分原始視頻存在模糊情況。為了獲取足夠多的數據樣本,本文將排水管道的視頻數據轉化為圖像數據,并將所有圖像的大小縮放為480×270,以保證深度學習算法能夠得到收斂。為了降低數據的不均衡性,本文對轉化后的圖像按照缺陷類別進行分類,并利用旋轉、平移和鏡像等幾何變換的方式來擴增缺陷類型的樣本數量,以構建數量均衡的各類排水管道缺陷數據集。該數據集包含4500張排水管道樣本圖像和9種管道缺陷類型,且每類排水管道缺陷的圖像個數都為500張。圖3展示了該數據集中正常、支管暗接/異物穿插、接口材料脫落、積水、腐蝕/結垢、浮渣、錯口、殘垣斷壁以及變形/破裂9種管道缺陷樣本圖像。

圖3 排水管道9種缺陷樣本圖像Fig.3 Samples of 9 pipeline defects

4 測試結果與分析

4.1 性能評價標準

在圖像分類的任務中,混淆矩陣常用于評價每組圖像的預測分類和真實分類。表1為二分類結果的混淆矩陣。對于一個二分類的任務,待測實例包含正類(Positive)和負類(Negative)兩個類別,因此分類器將會把實例樣本分為真陽性(True Positive,TP)、假陽性(False Positive,FP)、真陰性(True Negative,TN)和假陰性(False Negative,FN)4個類型。

表1 二分類結果的混淆矩陣

預測準確率(Prediction Accuracy,PA)是指被分類器預測正確的樣本(包含真陽性和真陰性)占所有樣本的比重,其定義形式為:

(1)

4.2 網絡的訓練與測試

為了評估PipeResNet網絡模型的分類性能,本文將武漢市區的一部分排水管道視頻數據各個分類中80 %的排水管道圖像數據作為訓練集,余下的20 %作為測試集。人們采用交叉熵代價函數進行PipeResNet網絡模型的學習,具體公式如下:

(2)

式中N表示樣本數量,C表示類別數量,yi,j表示第i個標本的真實類別為j的概率,pi,j表式第i個樣本預測類別為j的概率。

圖5 排水管道缺陷的混淆矩陣Fig.5 Confusion matrix of pipe defects

在訓練過程中,本文將訓練樣本批處理的數量設置為16,訓練優化算法采用了Adam優化器,訓練迭代次數為50Epoch。本文設置每次訓練保存一次網絡的權重參數,并記錄每輪的損失值和準確率,用來控制模型的迭代次數和收斂速度。圖4為PipeResNet網絡模型在訓練過程中損失值和準確率變化曲線,從圖4(a)中損失值的變化曲線可以看出,損失值在前10輪訓練中快速下降,隨后損失值下降速率變慢,最終損失值分別在訓練集和測試集上穩定收斂至0.07和0.11,說明該模型在訓練過程中收斂較好。另外,從圖4(b)中準確率的變化曲線可以看出,準確率快速上升并趨于穩定,并且訓練集的準確率稍高于測試集,最終準確率達到了94.6 %。

圖4 PipeResNet模型在訓練過程的損失值和準確率變化曲線Fig.4 Loss and accuracy curve of PipeResNet model during training

圖5為9類排水管道缺陷的混淆矩陣,矩陣中對角線的元素表示每一類別的準確率,其值越接近于100 %,分類的性能越優異。如圖5所示,正常、支管暗接/異物穿插、接口材料脫落、積水、腐蝕/結垢、浮渣、錯口、殘垣斷壁、變形/破裂的識別準確率分別為85.7 %、90.6 %、92.6 %、88.5 %、90.3 %、93.2 %、91.9 %、94.6 %、89.4 %。其中,殘垣斷壁的檢測準確率達到94.6 %,支管暗接/異物穿插、接口材料脫落、腐蝕/結垢、浮渣、錯口的檢測率都達到了90 %以上,但是正常、積水、變形/破裂這三種類別的準確率相對較低,不到90 %?？傮w來講,PipeResNet模型能夠將多種不同類型的排水管道缺陷進行正確地區分,檢測準確率的平均值達到90.8 %,對大多數缺陷類型的識別都具有較高的可信度。

4.3 與其它網絡模型的對比和泛化能力

為了進一步評估PipeResNet的排水管道缺陷內窺檢測智能識別方法的效果,本文選取四種常用的圖像識別網絡模型ResNet18、DCNN、VGG16和Inceptionv3進行對比[22-25]。為了更好地對比不同網絡對預測精度的影響,在網絡模型訓練時,這些網絡采用了相同的代價函數、激活函數、Adam優化函數等超參數。表2為五種網絡模型對每種類型缺陷的檢測準確度。從各神經網絡模型對9種類缺陷準確率的平均值來看,分類效果最好和最差的網絡模型分別是PipeResNet網絡模型和DCNN網絡模型,分別達到了90.7 %和83.8 %。從各類缺陷的識別準確度來看,對殘垣斷壁的識別效果最好,所有網絡模型都達到了90 %以上,但是對正常類別的識別效果較差,都未能達到90 %。相比于其它網絡,本文所提出的PipeResNet網絡模型對支管暗接、材料脫落、殘垣斷壁、變形/破裂4類缺陷的識別效果最好,但是對正常、腐蝕/結垢和浮渣的識別效果略低于ResNet18。整體分析來看,PipeResNet網絡模型對各種類管道缺陷的檢測正確率較高,識別效果最好。

表2 五種網絡模型對各類管道缺陷的檢測準確率(單位:%)

為了檢驗該算法的泛化能力,筆者在武漢市區另一部分排水管道視頻數據集上進行了測試,整體測試誤差不大于8 %,驗證了該算法的泛化能力。通過分析發現,測試誤差主要來源于樣本不足,部分缺陷的特征學習不夠。值得指出的是,本文算法在預設標簽的訓練后,是直接遷移到新的數據集上使用。上述泛化和遷移能力的測試,說明筆者設計的算法基本不受影響,具有較強的適應能力。

5 結論和討論

1)在詳細分析各類缺陷圖像特征及傳統檢測技術的基礎上,基于ResNet50網絡模型所構建的排水管道缺陷分類模型PipeResNet,相比于其它四種網絡模型(ResNet18、DCNN、VGG16和Inceptionv3),平均準確率達到了90.8 %,整體效果最優。

2)針對各類管道缺陷數量的不均衡問題,對管道視頻數據進行人工分類和預處理,并將視頻圖像按照缺陷類別進行分類,利用旋轉、平移和鏡像等幾何變換的方式來擴增缺陷類型的樣本數量,建立了多類缺陷和樣本均衡的優質的樣本集。這種方法建立的樣本集,使得訓練效果得到了保證。

3)未來工作中,需要進一步豐富排水管道樣本數量,加強圖庫分類建設和提高PipeResNet模型的準確率,使其能夠進一步滿足實際工程的需要。