基于無人機的壩面裂紋缺陷智能檢測方法

陳榮敏，王皓冉，汪 雙，馮春成，李永龍

(1.中國大唐集團公司，北京 100045；2.清華四川能源互聯網研究院，四川 成都 610000；3.西南科技大學，四川 綿陽 621000)

當前壩面人工巡檢存在安全風險大、巡檢成本高、缺陷識別效率低等問題[1-2]。近年來無人機在大型基礎設施巡檢方面發展迅猛，通過無人機搭載激光雷達、可見光相機等傳感器，可實現對基礎設施多維信息和全方位的缺陷巡檢[3]。壩面表觀裂紋具有背景復雜，分布不均，非結構化等缺點,利用無人機采集壩面圖像可以極大改善目前人工巡檢的效率。如果僅依靠人工從無人機采集的原始圖像中識別壩面裂紋缺陷，這也將面臨工作量大，同時存在效率低下、判斷主觀化等問題。而采用傳統圖像算法分析超聲圖像完成檢測缺陷的缺點在于設備成本高、識別率低且耗時，無法直觀給出缺陷檢測結果[4-7]。張小明[8]提出了一種包含數據采集與圖像數據處理的缺陷自動檢測方法，該方法使用圖像處理技術對采集到的數據進行分析和處理，并結合計算結果判斷出缺陷的位置和形狀。陳謀欽等[9]將二維視覺和三維視覺相結合，可以自動識別壩面缺陷，并獲得缺陷的大小、形狀和深度信息，但精度不是很高。

近幾年以計算機視覺和機器學習為基礎的缺陷檢測方法已成為研究熱點[10]。Gui等[11]提出了基于數據驅動和支持向量機的混凝土缺陷檢測算法，就時序數據而言可有效檢測出缺陷。Nishikawa等[12]提出了分步級聯式混凝土缺陷檢測算法，首先采用圖像濾波算子進行預處理，然后消除殘余噪聲以便有效地檢測出缺陷。Hoang等[13]建立了傳統邊緣檢測與卷積網絡兩種缺陷檢測方法，并進行了對比試驗，結果表明基于卷積網絡的缺陷分類識別率優于傳統方法。Feng等[14]提出了基于主動學習的方法檢測混凝土缺陷，該方法引入人工專家系統對較難分辨的數據樣本進行重新標注，提高了缺陷的識別精度。Kim等[15]結合數字圖像處理和形態學的方法，能夠定量檢測出毫米級的裂紋。Cha等[16]提出了基于全卷積網絡的缺陷檢測算法，可減少網絡參數并提高缺陷檢測的實時性。以上方法僅僅識別出了缺陷，并沒有實現缺陷定位，無法得知缺陷位于圖像中的具體坐標。Xue等[17]提出了基于RPN區域建議網絡的缺陷檢測識別算法，可識別并定位缺陷的位置。Chathurdara等[18]提出了一種基于自動編碼器的結構損傷識別框架，可支持深度神經網絡，并可用于求解高度非線性的模式識別問題。然而由于缺陷不具有結構化性質，定位指標并不是很高。Fei等[19]提出了一種基于深度學習的缺陷分割算法，并取得了較好的像素級檢測效果，但檢測精度仍有待提升。綜上所述，雖然缺陷檢測方法研究取得了一定的進展，但僅能獲得粗略的裂紋定位信息，且訓練得到模型的泛化性能和檢測精度均有待提升。壩面混凝土裂紋存在形狀不規則，分布隨機、背景干擾因素多等問題，采用像素級語義分割方式實現裂紋檢測更能滿足實際需求。本文采用無人機搭載高清云臺相機對水工混凝土大壩進行近距離圖像采集；然后對采集圖像進行預處理；其次以ResNet-152[20-21]網絡結構和參數為核心架構完成裂紋特征提取，并設計網絡的解碼層進行裂紋像素級檢測；通過迭代訓練得到最佳模型性能，最后在測試集驗證了模型的有效性。圖1為整個裂紋缺陷識別流程。

圖1 裂紋缺陷檢測流程

1 壩面數據集

1.1 壩面圖像采集

以亭子口水利樞紐大壩為研究對象。該大壩為重力型混凝土壩，壩頂高程465 m，最大壩高116 m，壩軸線總長995.4 m，共分50個壩段，從左到右依次為：1～16號為左岸非溢流壩段，軸線長292.1 m；17～20號為廠房壩段，軸線長112.0 m；21號為底孔門庫壩段，軸線長20.8 m；22～26號為底孔壩段，軸線長85.0 m；27～35號為表孔壩段，軸線長158.5 m；36號為縱向圍堰兼表孔門庫壩段,軸線長25.0 m；37號為升船機壩段，軸線長42.0 m；38～50號為右岸非溢流壩段，軸線長260.0 m，現場壩面如圖2所示。

圖2 嘉陵江亭子口水電站大壩

為適應壩面的復雜環境，高效地獲取圖像信息，設計了系留式無人機系統如圖3所示。該無人機采用系留式供電方式滿足長時間作業需求，并搭載高清云臺相機，通過控制云臺轉向調整合適的角度和焦距完成圖像采集。無人機軸距為1 000 mm，尺寸為80 cm×80 cm×50 cm，最大起飛重量為6.3 kg，相機CMOS為12.8 mm×9.6 mm，鏡頭等效焦距為28 mm，圖像像素為5 472×3 648。壩面環境處于半封閉狀態，無法有效依靠GPS信號進行定位飛行，因此采用了雙目視覺定位技術實現無人機定位。根據水電站實際壩面環境特點，同時考慮到廠房壩面高壓設備對無人機安全的影響，圖像采集重點在表孔和底孔壩段區域，最終共獲得2 000幅高清圖像。

圖3 無人機作業場景

1.2 圖像預處理及數據集創建

輸入圖像的質量對預測結果影響較大，因此數據預處理是很有必要的。針對獲得的原始圖像存在亮度低、有效數量少等問題，采用數據增強方法擴充裂紋圖像數量和提高圖像質量。首先剔除完全不含裂紋缺陷的圖像，進而篩選出帶有裂紋的有效圖像。通常圖像中裂紋像素與周圍背景像素的亮度差別明顯，多呈現出中間寬、兩端窄、長度不一、部分形狀呈拓撲發散狀態，且具有縫隙寬度和一定的深度，據此挑選出500幅有效的裂紋圖像，并采用專業標注軟件完成裂紋像素的標注。為減小硬件的算力成本，同時擴充數據量，在選出的有效數據集進行裁剪、翻轉、鏡像等仿射變換，共獲得1 040幅608×608圖像塊。圖4為圖像數據擴充示例。

圖4 裂紋圖像數據擴充示例

為充分開展模型訓練及驗證，從裂紋圖像樣本隨機選擇樣本創建訓練集、驗證集和測試集3個子集。根據常規數據集分配方式設置子集的分配比例為8∶1∶1，因此最終獲得訓練集圖像832幅、驗證集和測試集圖像各104幅。

2 裂紋缺陷識別模型搭建

2.1 模型整體結構

本文提出的裂紋缺陷檢測網絡模型由特征提取層和特征解碼層兩部分組成。特征提取是由多層普通卷積網絡構成的特征提取層；特征解碼是由反卷積網絡構成的像素分割層，以編碼后的特征圖為輸入，通過上采樣不斷將特征圖恢復至原始圖像大小，實現每個像素的分類[22]。提出的模型采用了ResNet-152作為特征提取層，ResNet-152作為多類別目標檢測領域中常用的網絡結構，該網絡在大型ImageNet數據集中表現優異，完全可以遷移到其他數據集上以提取圖像的高維抽象特征。壩面裂紋缺陷檢測網絡結構如圖5所示。

圖5 壩面裂紋缺陷檢測網絡架構

2.2 特征提取層

特征提取層的主要作用是完成輸入圖像的特征編碼和提取圖像特征。利用卷積和池化操作進行特征提取與降采樣，實現對輸入圖像的特征編碼。每個卷積層包含了批量歸一化處理、ReLU激活函數及池化層，通過多層卷積運算可有效提取原始圖像的豐富高維特征。具體而言，保留ResNet-152的卷積層結構及參數，并剔除掉分類層網絡。從原始輸入到特征提取層輸出會經過4次降采樣處理，即最小特征圖分辨率為19×19。通常采用2×2的池化操作降低特征圖分辨率，同時還能降低網絡模型的計算量。圖6為壩面裂紋特征提取層結構示意圖。

圖6 壩面裂紋特征提取層結構示意

2.3 特征解碼層

為了獲得端到端的像素級裂紋檢測結果，采用上采樣操作恢復特征圖的尺寸，確保最終的輸出與原始輸入尺寸保持一致。常用的上采樣操作包括反卷積和雙線性插值，本文提出的模型主要采用了反卷積操作進行上采樣。反卷積又稱為轉置卷積，但并非卷積的逆解，可將小尺寸稀疏矩陣變成大尺寸稠密矩陣。根據特征提取層中的不同降采樣階段獲得不同的特征圖，即分別利用1/8特征圖、1/16特征圖及1/32特征圖作為特征解碼層的部分輸入，特征提取層的卷積層數越深，其感受野越大，特征圖包含的個性化高級語義信息越豐富，卷積層數越淺，越接近于輸入端，特征圖包含的紋理、輪廓及顏色等信息越豐富。此外，卷積網絡的層數太深，也可能導致梯度消失或過擬合問題。為此，在特征解碼層分別利用了特征提取層的不同尺度的中間特征圖提升特征利用率，改善模型收斂效果，以防止梯度消失和過擬合問題。由于輸入圖像的分辨率為608×608，因此1/32特征圖的分辨率為19×19，1/16特征圖的分辨率為38×38，1/8特征圖的分辨率為76×76。首先對1/32特征圖使用1×1卷積進行降維處理，再進行一次反卷積和兩次3×3卷積操作，獲得分辨率為38×38的特征圖；1/16特征圖首先進行1×1卷積降維，再使用連續的3×3卷積操作，最后與1/32的輸出特征圖疊加。為了與1/8特征圖保持相應的維度，先后進行反卷積、1×1降維處理和2次卷積操作，獲得76×76×256特征圖后與1/8特征圖進行疊加。最后，采用反卷積操作、1×1卷積降維操作及3×3卷積獲得152×152×64的特征圖，后續再接4倍擴大率的反卷積和1×1卷積操作，獲得最終的608×608×2的特征圖, 并輸出模型預測結果。圖7為特征解碼層結構示意圖。

圖7 特征解碼層結構

3 損失函數及評價指標

3.1 損失函數

通過分析壩面裂紋數據集可知，圖像中的背景和裂紋的比例嚴重不均衡，最終結果導致背景的識別效果非常好，而裂紋的檢測精度則較低。為此引入權重交叉熵損失函數，通過增加裂紋樣本的損失的權重，減小背景樣本的損失權重，以提高裂紋的檢測精度。交叉熵通常用于表示兩個概率分布的相似度，交叉熵的結果越小，越相似；交叉熵的結果越大，越相異。首先使用softmax函數對網絡預測結果進行處理，然后分別計算正負樣本的像素損失值Lo和Lb，并計算所有像素損失的總和l，最后計算其平均值得到最終的損失值。

(1)

(2)

l=lo+lb

(3)

式中：wo為正樣本權重參數；to為正樣本標簽值；po為正樣本預測值；wb為負樣本權重參數；tb為負樣本標簽值；pb為負樣本預測值；n為輸入圖單通道的像素總數。

3.2 裂紋缺陷檢測評估指標

深度卷積網絡預測出的結果經過形態學后期處理后，需要對預測結果進行評估。像素級別的裂紋檢測本質上屬于像素二分類問題，因此可以采用查準率P、召回率R、綜合評價指標F值、平均交并比M作為評估指標。

(4)

(5)

(6)

(7)

式中：k為樣本數量；TP為預測結果為裂紋樣本，且標簽也為裂紋樣本的樣本數；FN為預測結果為背景樣本，但標簽為裂紋樣本的樣本數；FP為預測結果為裂紋樣本，但標簽為背景樣本的樣本數；TN為預測為背景樣本，且標簽也為背景樣本的樣本數。

P表示所有預測為裂紋樣本的像素中，像素標簽為裂紋樣本的概率;R表示所有標簽為裂紋樣本的像素中，正確預測為裂紋樣本的概率;F指標由P和R共同決定，該指標為P與R的折中選擇;M為平均交并比，表示所有裂紋、背景樣本的預測結果與標簽重復比例的平均值。

4 試驗結果與分析

4.1 模型訓練環境搭建

所有的試驗任務都在一臺圖像工作站上完成，其硬件平臺配置具有Intel核心i7-8750H，16 GB內存和6 GB顯存的NVIDIA GTX 1060的顯卡。采用Tensorflow 1.10深度學習框架來建立提出的裂紋檢測模型。GPU加速的軟件環境配置版本為CUDA-9.0和CUDNN-7.5，利用Anacoda-2以創建獨立的Python 3.5環境。

4.2 訓練結果及分析

模型訓練的學習率初始值設置為0.000 1，訓練周期設置為100，每次輸入的圖像數量為5。采用了Adam優化器進行梯度下降以計算參數更新增量。

圖8展示了模型的損失值隨訓練輪數的變化趨勢，驗證集損失與訓練損失值保持一定差值，在訓練輪數經過70個周期后，損失值變化較為平緩，沒有出現較大的異常波動，表明網絡模型具有較好的穩定性。模型訓練完成后，保存模型參數，加載未經訓練的測試集數據，測試網絡模型的缺陷檢測性能。

圖8 模型訓練中訓練集與驗證集損失變化情況

圖9所示為訓練過程中，在驗證集上的平均交并比變化情況。由圖可知訓練輪數達到30之前，雖然幅值波動較大，但總體上趨于增長趨勢。當訓練輪數接近40時，平均交并比逐漸趨于平穩狀態。部分測試結果示例如圖10(圖中紅色標記為識別示例，黃色框標記的為未能正確識別示例)所示，圖中標注為紅色部分為識別的裂紋結果，黃色為未能正確識別出的裂紋樣本，從測試結果可直觀看出所提模型能有效地識別出裂紋缺陷。但對于部分特征不明顯的，深度較淺的裂紋則不能完整地檢測出來，這也是后續工作提升的重點任務之一。

圖9 模型訓練中驗證集上的平均交并比變化情況

圖10 測試集部分測試結果示例

4.3 對比試驗

為了驗證本文提出方法的檢測性能，將本文提出的方法與FCN[23]、U_Net[24]、Deeplabv3[25]語義分割模型進行了對比試驗。FCN應用全卷積網絡到語義分割任務，并在反卷積層增加卷積操作，融合多個尺度特征來提升提取全局特征的能力。U_Net是醫學圖像分割表現優異的網絡模型，采用對稱型結構網絡設計，將淺層與深層特征直接對應拼接獲得更多特征。Deeplabv3采用了空洞卷積來擴大卷積的感受野，以獲得更大的特征范圍。以上模型均在同樣的數據上經過多次訓練得到的測試結果。試驗結果(表1)表明，本文提出的壩面裂紋缺陷檢測方法在測試集上的各項指標，均高于其他模型的測試指標。

表1 不同方法的裂紋缺陷檢測指標對比情況 單位：%

5 結 語

針對當前壩面巡檢存在的問題，設計了壩面系留無人機采集系統，通過遠程控制無人機完成壩面圖像采集，提高了采集效率，降低安全風險。提出了基于ResNet-152網絡的裂紋缺陷檢測模型，利用不同層級特征圖設計相應的解碼網絡，并進行權重參數訓練。最后在測試集上進行模型性能驗證，試驗結果表明，所提模型的查準率P、召回率R、F值和平均交并比M分別達到了74.61%、78.71%、74.99%和73.34%。與其他方法的對比試驗結果表明，該模型表現出更好的性能，能夠有效地檢測出壩面裂紋。本文提出的方法不僅減小了人力成本，還能有效地檢測壩面裂紋缺陷，同時提升了水利水電工程的智能化和信息化程度。