基于改進Deeplabv3+的橋梁裂縫分割算法研究

姚玉凱，郭寶云，李彩林，孫娜，王悅，孫曉凱

(山東理工大學 建筑工程與空間信息學院，山東 淄博 255049)

橋梁是交通運輸體系的重要組成部分,保障橋梁安全穩定運行至關重要?；炷帘砻媪芽p是橋梁設施常見的病害形式,對橋梁性能有很大的影響,裂縫嚴重時會威脅到過往車輛與行人的安全。因此,及時發現裂縫并進行維護保養是保障橋梁工程安全運行的重要舉措,有利于促進社會安全生產。傳統的裂縫檢測方法是人工進行目視觀測,這種檢測方法需要耗費大量人力,效率較低,對于一些高架橋進行人工檢測時,需要檢測人員高空作業,具有很大的安全隱患,并且檢測結果具有主觀性,無法統一標準[1]。

近年來,隨著科學技術的快速發展,國內外學者將計算機視覺應用于橋梁裂縫檢測領域,大大提高了橋梁裂縫檢測效率,節約了時間和成本[2-4]。閾值分割算法因其實現簡單、計算量小、性能較穩定被廣泛應用于橋梁裂縫檢測,如Li等[5]為了正確有效地從背景中分割出裂縫,提出了一種基于鄰域差分直方圖法的路面圖像閾值分割算法,但該算法易受噪聲干擾,抗干擾性差。 目標檢測算法能夠快速準確地檢測裂縫,廖延娜等[6]針對橋梁裂縫復雜多樣以及傳統檢測方法精度較低的問題,引入基于卷積神經網絡的YOLOV3單階段目標檢測算法,該算法可用于實際工作中。但由于橋梁裂縫大多形狀不規則、紋理復雜,所以目標檢測算法對于小目標的、相鄰緊密的物體檢測效果不好,檢測精度較低。

語義分割算法可以彌補目標檢測算法的不足,能夠對目標進行分割,準確地描述裂縫的整個區域,提供裂縫檢測所需的形狀信息。常用的語義分割算法有PSPNet、FCN、U-Net、OCRNet、Deeplabv3+。李良福等[7]提出了一種基于改進PSPNet的橋梁裂縫圖像分割算法,能夠提高算法檢測精度和最大化保留裂縫圖像細節信息。韓靜園等[8]為了準確地對裂縫進行分割,提高復雜背景下裂縫分割效果,通過分析特征通道之間的關系,在FCN的池化層加入擠壓和激勵模塊,并通過實驗證明改進后的FCN模型對裂縫的分割效果良好。胡文魁等[9]為了解決傳統圖像分割方法存在去噪效果不明顯、分割后裂縫連續性較差等問題,提出了一種基于全卷積神經網絡的 BCI-AS(bridge crack image-automatic segmentation)橋梁裂縫自動分割模型和一種基于投影技術的最小二乘擬合中心線的裂縫寬度測量算法,在實際工程中有良好的可行性。朱蘇雅等[10]為了解決傳統的橋梁裂縫檢測方法準確性低、容易丟失細節信息、難以獲取裂縫寬度信息的問題,提出了Net卷積網絡的像素級、小樣本的檢測方法,通過實驗證明了這種方法效果良好。王墨川等[11]為了提高橋梁裂縫的檢測效果,提出一種基于高語義特征與注意力機制的橋梁裂縫檢測方法,實驗結果表明該方法具有較高的檢測精度和準確的定位效果。葛小三等[12]提出了一種基于Deeplabv3+的地物分類方法,證明Deeplabv3+對圖像紋理及空間幾何特征的識別具有很高的有效性和適用性。Fu等[13]基于Deeplabv3+模型對裂縫進行檢測,證明Deeplabv3+能夠準確分割裂縫細節。

綜上所述,Deeplabv3+模型對于裂縫分割具有較好的效果,但是原始的Deeplabv3+模型需要依賴計算機的計算能力,并且分割速度較低。本文改進Deeplabv3+模型對裂縫進行檢測,并將本文改進模型與PSPNet、U-Net模型進行對比分析,證明本文改進DeepLabv3+模型的有效性。

1 Deeplabv3+模型簡介

Deeplabv3+是Deeplab系列中的最新內容,其分割效果非常好,是當前最流行的語義分割模型之一,其網絡結構如圖1所示。由圖1可以看出Deeplabv3+網絡結構包括兩大部分,分別是Encoder和Decoder,也就是編碼+解碼的過程。

圖1 Deeplabv3+網絡結構

編碼模塊的作用是逐步減少特征圖分辨率,捕獲高級語義信息,該模塊由DCNN和ASPP組成。利用DCNN可以獲取兩個有效特征圖,一個是低層有效特征圖,一個是深層有效特征圖,低層有效特征圖通過1×1卷積塊直接進入解碼模塊。ASPP模塊接受深層有效特征圖并使用不同擴張率(6,12,18)的卷積進行特征提取,提高了網絡感受野,能夠獲取更多的上下文信息,輸出高級語義特征圖,最后經過一個1×1卷積塊后送入解碼部分。

解碼模塊接受來自編碼模塊的兩個特征圖,對于高級語義特征圖進行一次4倍上采樣,在完成上采樣后與經過一次1×1卷積的低層特征圖進行特征融合,完成特征融合后再經過一次3×3的卷積進行特征提取,最后再次進行4倍上采樣得到與原圖分辨率大小相同的輸出分割結果圖。

2 改進的Deeplabv3+模型

改進Deeplabv3+模型的目的是提高模型的網絡運行速度和分割精度,擴大感受野以提高模型性能,增強模型對裂縫的細節切分效果,避免分割過程中出現漏檢、過檢等現象。本文對模型進行以下改進：(1)在ASPP模塊后增加RFB多分支卷積塊;(2)替換Deeplabv3+模型的骨干網絡,使用Mobilenetv2替換Xception作為主干特征提取網絡;(3)使用深度分離卷積替換ASPP模塊和Decoder部分的3×3普通卷積;(4)在ASPP模塊中增加一次對底層特征的融合。改進后的模型網絡結構如圖2所示,其中紅色虛線框內為改進部分。

圖2 改進Deeplabv3+網絡結構

2.1 引入RFB多分支卷積模塊

RFB多分支卷積塊是一個可以集成至其他檢測算法的模塊,具有很高的泛化性,能有效擴大感受野,提升模型魯棒性。在目標檢測過程中,使用強有力的主干網絡能夠提高網絡的特征提取能力,但需要強大的算力支撐,運行速度較慢;使用輕量級的主干網絡(如Mobilenetv2)運行速度快,但檢測性能較差,而RFB模塊能使輕量型模型在速度和精度上達到很好的平衡,將RFB模塊與輕量級主干網絡Mobilenetv2相結合能提高網絡的特征提取能力,使模型更快更準。RFB的網絡結構如圖3所示。RFB模塊包含兩個組件：多分支卷積層和dilated(膨脹)卷積層,模塊通過不同大小的卷積(1×1,3×3,5×5)和不同的卷積膨脹率(1,3,5)來提高網絡感受野。

圖3 RFB網絡結構

2.2 基于Mobilenetv2的主干特征提取網絡構建

Deeplabv3+采用的主干網絡是Xception,本文使用Mobilenetv2替換Xception作為主干特征提取網絡,主要原因有兩點：一是由于裂縫分割任務語義信息簡單,只包含裂縫和背景兩類,故為了加快網絡速度選擇用Mobilenetv2替代 Xception 作為骨干網絡;二是由于Mobilenetv2是Google公司針對手機、筆記本等移動嵌入式設備推出的一種輕量級的深層神經網絡,受算力限制較小,具有輕質高效的優點,方便對橋梁裂縫進行移動識別并獲得高質量像素級的分割結果圖。Mobilenetv2網絡結構如圖4所示。

(a)主干部分 (b)殘差部分圖4 Mobilenetv2網絡結構

Mobilenetv2使用了Inverted resblock(倒殘差模塊)和Linear Bottlenecks(線性瓶頸),倒殘差模塊首先對輸入特征矩陣通過1×1卷積進行升維,增加通道的大小,然后通過3×3的深度卷積進行卷積處理,最后通過1×1的卷積進行降維。由于倒殘差結構具有低維的特征,為了避免信息丟失,使用一個線性的激活函數替代Relu6激活函數。

2.3 融入深度可分離卷積降低模型參數量

通過實驗發現Deeplabv3+模型的ASPP部分和decoder部分的參數量很大,為了減少模型的參數量和計算成本,將所有的普通卷積替換為深度可分離卷積,如圖5所示。

(a)普通卷積 (b)深度可分離卷積圖5 網絡結構對比圖

深度可分離卷積的計算步驟主要有兩個,一個是逐通道卷積(depthwise convolution),另一個是逐點卷積(pointwise convolution)。逐通道卷積的一個卷積核負責一個通道,一個通道只被一個卷積核卷積,這個過程產生的特征圖通道數和輸入的通道數完全一樣;逐點卷積會將上一步得到的特征圖在深度方向上進行加權組合,生成新的特征圖。經過計算發現,在計算量相同的情況下,使用深度可分離卷積比使用普通卷積能夠提取到的網絡特征更深。另外,如果要提取的特征越來越多,使用深度可分離卷積能夠節省更多的參數,提高運算速度。

2.4 底層特征融合

通常情況下,橋梁表面裂縫形狀多樣、紋理復雜,且由于拍攝角度、光照條件以及圖片分辨率等因素的影響,會增加模型對裂縫的分割難度,導致模型對裂縫細節切分效果較差,造成裂縫細節信息丟失嚴重的后果。為了提高模型細節切分效果,將1/2大小的特征圖和decoder特征進行融合,有效提高了模型的分割效果。

3 實驗及結果分析

3.1 數據集與實驗環境

為了驗證本文改進的DeepLabv3+模型對裂縫的分割效果,將改進后的Deeplabv3+模型與原模型及當前主流的圖像檢測模型PSPNet、U-Net進行對比實驗。四種模型均使用相同的數據集,本文使用的橋梁裂縫數據集是VOC格式,包含3 876張圖片,將數據集中圖片按照 6∶2∶2 的比例隨機劃分為訓練集、驗證集和測試集。圖片包含各種干擾條件下拍攝的裂縫,可有效檢測模型的魯棒性和泛化能力,如圖6所示。

圖6 橋梁裂縫圖片

使用Labelme標注軟件對所用的圖像進行標注,構建橋梁裂縫數據集,以.json文件存儲標注信息,標注流程如圖7所示。實驗平臺軟硬件配置信息見表1。

圖7 標注流程

表1 實驗平臺配置信息

3.2 評價指標

本文的分割任務是提取影像中的裂縫信息,像素類別只有背景和裂縫兩類,因此使用類別平均像素準確率(mean pixel accuracy,MPA)、平均交并比(mean intersection over union,MIoU)、精準率(Precision)、每秒幀數(frames per second,FPS)對模型性能進行評價。MPA表示的是分別計算每個類被正確分類像素數的比例,然后累加求平均;MIoU表示的是模型對每一類預測的結果和真實值的交集與并集的比值,之后求和再計算平均值;Precision表示的是預測結果中某類別預測正確的概率;FPS表示模型的推理時間,考察實時性,數值越大推理速度越快。各指標計算公式分別見式(1)—式(3)。

(1)

(2)

(3)

式中：i代表真實值;j代表預測值;TP代表真實值與預測值相同,為真陽,即預測為裂縫且真實標簽也是裂縫的像素個數;FP表示預測為裂縫但真實標簽為背景的像素個數,為假陽;k+1為類別數(本文只有裂縫和背景兩類,故k=1)。

3.3 消融實驗

為了分析本文提出的改進方法對Deeplabv3+模型的優化效果,利用相同數據集進行消融實驗,實驗結果見表2。通過實驗數據可知,使用Mobilenetv2作為主干特征提取網絡和在模型中加入RFB模塊時模型的分割精度提高最為明顯,使用Mobilenetv2作為主干提取網絡時MIoU比原始模型提高2.62%,加入RFB模塊后得到的MIoU比原始模型提高2.97%,推理速度也有所提升,說明這兩點改進內容對于整體模型優化效果幫助最大。

表2 消融實驗結果

3.4 不同算法模型實驗對比

將本文改進模型與當前主流檢測模型PSPNet、U-Net進行實驗對比,實驗所得各項指標數據見表3。從表3可以看出,Deeplabv3+和本文改進模型的各項性能均優于PSPNet和U-Net,且本文改進模型的推理速度優于Deeplabv3+,MIoU較原始模型提高了4.07%。實驗結果證明,本文提出的改進Deeplabv3+模型能夠提高裂縫分割精度和速度。

表3 不同模型分割結果

為了更加直觀展示本文改進模型的有效性,將其與主流模型PSPNet、U-Net的 MIoU變化曲線進行比較,如圖8所示。從圖8可以看出,所有模型在前10輪訓練中的MIoU值呈現急劇增長趨勢,10輪以后逐漸趨于平穩,其中PSPNet模型在大約45輪訓練時MIoU又出現了一次較大幅度的增長,而U-Net、Deeplabv3+以及本文模型變化趨勢接近,但是可以看出本文改進模型MIoU值要高于Deeplabv3+和U-Net模型的,所以本文改進后的模型性能是有明顯提高的。

圖8 不同模型的訓練性能

3.5 不同算法模型實驗對比

將利用不同模型分割的裂縫結果進行可視化,分割效果如圖9所示。由圖9中(A)和(B)可以看出,對于一些紋理簡單、背景單一的裂縫,四種模型均具有很好的分割效果,均能準確提取圖像特征信息;但是對于裂縫紋理復雜、背景模糊的圖像來說,PSPNet、U-Net和Deeplabv3+均存在漏檢或過檢現象,對于裂縫細節切分存在不足,如圖9中(C)和(D)所示,而本文改進后的模型能夠準確地對復雜裂縫進行細節切分,效果較好,說明本文改進模型具有很好的魯棒性和抗干擾能力。

(a)原圖(b) PSPNet(c)U-Net(d)Deeplabv3+ (e)本文圖9 裂縫分割效果

4 結論

1)本文提出的基于改進Deeplabv3+和多分支卷積塊的橋梁裂縫語義分割算法,使用輕量級網絡Mobilenetv2作為主干特征提取網絡,提高了模型的分割速度。

2)替換模型原有的卷積方式并增加一次對底層特征的融合,提高了模型的分割精度與細節切分效果;在原有模型基礎上加入RFB多分支卷積模塊,更好地平衡了模型分割的精度與速度。

3)通過實驗證明,改進后的模型具有更好的細節切分效果,對于背景復雜的圖像受噪聲干擾較小,具有更高的魯棒性, 過檢、漏檢現象得到明顯改善。經過改進后的分割模型MIoU較原始Deeplabv3+模型提高了約4.07%,模型推理速度略有提高。在后續研究中要進一步提高裂縫分割精度,對裂縫進行量化。