基于圖像處理的橋梁橡膠支座剪切病害檢測方法

梁 棟 ， 張少杰 ， 周印霄 ， 王蓮香 ， 張 強 ， 劉躍飛

（1.河北工業大學 土木與交通學院，天津 300401；2.邢臺路橋建設集團有限公司，河北 邢臺 054000；3.天津市公路事業發展服務中心，天津 300170；4.天津公路工程設計研究院有限公司，天津 300171）

支座作為橋梁結構中重要的受力構件，其作用是將橋梁上部結構承受的荷載傳遞至下部結構，當支座出現損傷但未及時發現時，易導致橋梁損傷，嚴重時甚至危及橋梁的運營安全.所以對支座開展定期檢測工作以保證橋梁的安全性是必要的［1］.板式橡膠支座具有性能可靠、造價低、安裝和使用方便等特點，目前已成為國內中小跨徑橋梁最為常見的一種支座形式［2］.隨著服役年限的增加，橡膠支座本身結構設計、生產質量、施工不當和長期受疲勞荷載作用等問題導致大量以剪切變形超限、老化開裂等為主的病害也開始凸顯.支座剪切變形病害普遍存在于橋梁工程中，而且支座的剪切病害會進一步加速老化開裂并引發其他次生危害［3］.因此，支座剪切病害是研究者們應該重點關注的課題.

目前支座的病害檢測主要是人工現場測量來完成，但由于支座本身處于大梁與蓋梁之間，空間狹小，很難進入，再加上服役時間增加，其本身裸露于外部環境之中，周邊多有碎石遮擋甚至部分深入混凝土之中，嚴重影響了檢測效率和檢測精度，給檢測人員帶來了很大困擾.結合利用計算機視覺檢測結構損傷案例［4］，建立基于計算機視覺評估支座狀態的方法是非常必要的.

在傳統檢測手段的基礎上，目前基于圖像處理的橋梁結構損傷識別正朝向智能化、自動化檢測方向發展，但其中對支座病害的研究較少.參考混凝土裂縫的研究方法［5］，裂縫在圖像中像素占比極少，學者們通常先對圖像中裂縫分割提取后再進行參數如長度、寬度等計算.最初基于邊緣檢測［6］、閾值大?。?］或聚類技術［8］等完成對圖像中裂縫的分割提取，但將上述方法運用至支座圖像時，雖然支座本身在圖像中像素占比較多，但背景復雜多變，處理時常常會包含大量噪聲［9］，影響檢測結果，導致支座剪切病害程度評估較為困難.

隨著計算機科學的發展和計算能力的指數級增長，深度學習方法能夠對人為標記的大量數據集進行學習并自動尋找最佳的特征提取器和分類模型［10］，顯示出優于傳統檢測方法的能力，在橋梁損傷檢測中已有廣泛應用［9］，并向遠程、自動化方向發展.余加勇等［11］基于無人機技術對裂縫圖像采集并利用Mask R-CNN 網絡分割提取裂縫圖像后進行參數計算.在支座病害識別方面，Cui 等［12-13］首先利用卷積神經網絡（Convolutional Neural Network，CNN）完成了對于支座病害分類的初步嘗試，并利用注意力機制和尺度不變特征轉換（Scale-Invariant Feature Transform，SIFT）及支持向量機（Support Vector Machines，SVM）等技術對網絡進行改進提升了識別準確率.但對支座病害僅進行了定性分析，為使評估結果更加準確，需開展定量研究.

語義分割技術［14］能夠完成像素級的類別判斷，對目標圖像分割更加精確.利用此技術能更好地分割提取圖像中支座部分，保證后續支座剪切病害定量計算的準確性.相較于全卷積神經網絡（Fully Convolution Network，FCN）和U-Net+++等語義分割網絡，由Ronneberger 等［15］提出的U-net 網絡在增強邊緣等細節信息獲取的同時，還能有較高的效率.它采用卷積神經網絡結構，并且在網絡中加入了跳躍連接的機制，能夠在數據集較少的情況下更好地解決像素級別的分割任務，在醫學圖像分割領域［16］有良好的表現.在使用U-Net 的基礎上，為滿足工業化需要，Liu 等［17］通過選用新的評價函數和應用Adam 算法優化使得U-Net 在裂縫檢測上更加準確；梁棟等［18］通過優化網絡結構，融合深度可分離卷積搭建了輕量化的MU-Net，能夠在不丟失精度的同時快速進行裂縫識別.雖然已有利用U-Net對橋梁結構損傷檢測的研究，但在支座病害評估方面鮮有涉及.因此，本文通過對U-Net 網絡進行改進，融合深度可分離卷積來減小計算量的同時，加入多尺度注意力模塊（Multi-scale Attention Module，MAM）以提升支座分割的精度，并運用邊緣提取、凸包檢測和線性擬合等操作完成了對橋梁板式橡膠支座剪切病害的智能檢測.

1 支座剪切病害評估方法

1.1 支座圖像分割

基于U-Net 進行改進，本文提出了融合深度可分離卷積和MAM 的改進U-Net 網絡，結構如圖1所示.改進后的U-Net 網絡繼續沿用U-Net 的“U”型結構，主要由編碼器和解碼器兩部分組成，是一個端到端的分割模型.在編碼器中，為了使模型保證分割精度的同時還能加快速度，使用深度可分離卷積［18］代替傳統卷積操作進行特征提取，并引入MAM 提取更多的特征信息.輸入的圖像經過4 次MAM 并進行最大池化來實現下采樣操作；在解碼器中，設置上卷積層完成上采樣工作，獲得一個更高分辨率的特征圖；然后，使用跳躍連接層連接對應的編碼區和解碼區，跳躍連接層將MAM 提取到的特征與上采樣過程中對應相同尺寸的特征圖進行拼接，得到被分割物體多尺度的特征信息.最終，融合了多方面特征信息的分割結果以輸入圖片同樣的尺寸被輸出.

圖1 改進U-net 分割模型結構圖Fig.1 Schematic diagram of segmentation model for the improved U-net structure

1.1.1 深度可分離卷積

由于U-Net 有較深的網絡結構和較多的卷積層，計算時包含大量參數且像素級的處理導致了計算量的大幅增加.深度可分離卷積包含對每個通道應用單獨卷積核的深度卷積和能將所有通道不同位置進行組合的1×1 的點卷積兩部分，原理如圖2 （a）所示.由于深度可分離卷積中每個卷積核只負責自己的通道，所以參數計算量減少，計算復雜度降低，計算效率大幅增加.其結構如圖2 （b）所示，包含深度卷積、1×1 逐點卷積、批歸一化和線性整流函數（Rectified Linear Unit，ReLU）等.

圖2 深度可分離卷積Fig.2 Depthwise separable convolution

在輸入通道數C、輸出通道數Q、卷積核大小DK×DK、特征大小DF×DF的情況下，標準卷積的參數量為

深度可分離卷積參數量為

深度可分離卷積參數減少量為

1.1.2 多尺度注意力模塊

橋梁板式橡膠支座在長時間服役后，由于持續經受疲勞荷載、溫度變化共同作用，其本身變形無法預測，再加上周圍碎石等雜物干擾，支座邊緣不明顯且極易與周圍環境相混淆，而支座分割結果的邊緣線與后續角度計算精度密切相關.因此，提出一種如圖3 所示的MAM 來融合多尺度特征增加模型識別分割支座的能力，提高圖像分割的準確性和魯棒性.

圖3 MAM 結構圖Fig.3 MAM structure diagram

經過深度可分離卷積得到的特征通過通道注意力模塊（Channel Attention Module，CAM）和空間注意力模塊（Spatial Attention Module，SAM），實現全局和空間不同尺度特征的融合，保證最終輸出的特征圖能最大化地包含特征.

假設輸入特征圖X=RC×H×W，其中C、H和W分別代表特征圖的通道數、高和寬，經由深度可分離卷積后得到Y，Y通過CAM 后得到特征Y′，然后經過SAM 得到融合了整體多尺度包括空間位置信息的新特征圖Z.計算式為

1.1.3 通道注意力模塊

CAM 結構如圖4 所示，其中包含全局平均池化（Global Average Pooling， GAP）和全局最大池化（Global Max Pooling， GMP）.兩者均是將特征圖單個像素點劃分為單個區域，通過計算區域內特征值的平均值和最大值，生成單一特征用于下一層計算，兩者融合使用可以捕捉到更多圖像中關于支座的信息，提高分割精度和模型的泛化能力.圖4 中，1×1卷積、ReLU 激活函數和1×1 卷積共同組成CAM的網絡連接層，⊕表示加和.經CAM 得到特征圖Y′的計算式為

圖4 CAM 結構圖Fig.4 CAM structure diagram

式中：S代表Sigmoid 激活函數；K11×1代表大小為1×1 且步長為1 的卷積.

1.1.4 空間注意力模塊

SAM 用于增強模型識別分割時對圖像中支座空間位置信息的關注度.對于輸入特征，首先基于通道中的平均池化和最大池化得到兩個單通道的結果，兩結果拼接后經過卷積操作得到二維的特征圖，最終經過Sigmoid 函數得到空間注意力特征圖.經過CAM 的特征圖Y′輸入SAM，可以得到融合了全局和空間信息的特征圖Z，計算式為

式中：MP 表示最大池化；AP 表示平均池化；［MP(Y′)：AP(Y′)］表示兩者的拼接操作.

1.1.5 損失函數

在訓練過程中，設置合適的網絡參數，能夠幫助優化模型更好處理像素個數龐大的圖片，使得模型預測結果與真實的標簽之間誤差最小.使用交叉熵損失函數（Loss）來計算每次迭代的向前計算結果和真實值差距，從而指導下一步訓練方向.計算式為

式中：y為真實值，取值為0（非支座部分）或1（支座）；y?為預測值，y?∈［0，1］.

1.1.6 評價指標

由于支座本身目標與背景相比，面積較大，傳統如選擇像素準確率（Pixel Accuracy，PA）作為評價指標時，即使識別效果不好，但最終準確率仍在90%以上，不能準確地反映模型的識別能力.因此采用F1 值和交并比（Intersection over Union，IoU）以及識別效率t作為評價指標對本文模型支座識別分割性能進行評價.計算式分別為

式中：TP 代表標識為支座，且被模型正確識別為支座的像素；FP 代表標識為背景，但被模型錯誤識別為支座的像素；FN 代表標識為支座，但被模型錯誤識別為背景的像素，TN 代表標識為背景，且被模型正確識別為背景的像素.

1.2 剪切角度計算及分級

由于碎石等遮擋物的影響，支座本身往往在圖像中不能完全暴露，導致分割后的支座圖像并不完整，邊緣常常是鋸齒狀甚至溝壑狀.支座剪切角度的計算方法如圖5 所示，首先模型分割輸出的支座二值圖像利用改進的Alpha Shapes 算法提取輪廓線，對支座輪廓線運用凸包檢測生成凸包并提取凸包點，對這些凸包點根據其在像素坐標系中的位置，在篩選剔除偏差較大的點后對剩余點利用最小二乘法擬合得出支座各邊直線并計算各直線間夾角.

圖5 角度計算原理Fig.5 Principle of angle calculation

1.2.1 輪廓提取

Alpha Shapes 算法最早由Edelsbrunner 等［19］提出，它是一種簡單高效的邊界提取算法，主要應用于點云輪廓邊界線的提?。?0］.Alpha Shapes 算法邊界提取原理如圖6 （a）所示，對于任意形狀的集合，存在一個半徑為α的圓，繞其進行滾動.若半徑過小，則會將集合內部的點視為邊界點，當半徑適當增大到一定程度時，則其只會在集合邊界滾動，所有滾動點集便構成了邊界輪廓.因此需要設置適當的閾值，達到邊界提取的目的.具體計算示例如圖6 （b）所示，計算過程如下.

圖6 改進的Alpha shapes 算法Fig.6 Improved Alpha shapes algorithm

1）選取目標點集N中的任意一點ni（xi，yi），根據預先設置半徑α的滾動圓，從點集中搜尋距離小于2α的所有點，記為鄰域點集M；

2）選取點集M中任意一點nr（xr，yr），根據兩點ni、nr的坐標和半徑α，可確定兩個以O1（xo1，yo1）和O2（xo2，yo2）為圓心的圓；

3）分別計算點集M中除nr之外的其他點至圓心O1，O2的距離di1和di2，若存在所有的di1或所有的di2均大于半徑α，說明ni，nr為邊界線段，否則不是邊界線段；

4）重復1）~3）步，直至遍歷完點集M、N中的所有點.

對于支座二值圖像來說，支座區域的像素格即為目標點集N，由于支座本身面積很大，全部像素格計算需要花費大量時間，因此為了減少計算量，提高算法對支座邊緣線提取的計算效率，利用像素格八連通原理對Alpha Shapes算法進行了以下約束改進.

1）因支座邊緣線一般不會存在于支座區域中部位置，因此在點集N中，刪除所有周邊八連通全部為支座區域的像素格，如圖6 （c）所示，若P1 周邊的P2~P9 均為支座區域，則P1 不參與點集N的計算；

2）選取與點ni（xi，yi）八連通相連的像素點作為點集M中任意一點nr（xr，yr）的選取原則，能夠排除不連通的支座像素點.

利用改進的Alpha Shapes 算法對支座二值圖像提取，最后得到的是一個封閉的連續單位像素點的支座邊緣線，支座邊緣線效果如圖5 （b）所示.

1.2.2 凸包檢測

凸包檢測是計算機視覺和幾何圖形處理領域中的一項技術，能夠很好地解決圖像中支座部分被碎石等遮擋導致提取出的支座邊緣線出現鋸齒狀或者溝壑狀的問題，利用邊緣線中更具有代表性的凸包點擬合直線會更加迅速與準確.

假設支座邊緣線共包含6+1 個像素點，記作點集P，如圖7 所示，基于Graham 掃描法尋找點集P凸包的過程如下.

圖7 Graham 掃描法示例圖Fig.7 Example diagram of Graham scan method

1）找到點集P中像素坐標值最小的點，記作P0，并以P0為原點建立坐標系；

2）對剩余點按P0的逆時針方向進行排序，排序結果記作（P1，P2，…，P6），極角相同時保留極徑最大的點；

3）創建一個棧E，3 個點一組，按①~⑥的順序，作左轉判斷，滿足入棧，不滿足則出棧.如圖7 （c）所示，點集P中只有P2不滿足，其他點全部入棧；

4）形成完整凸包.

對支座邊緣線凸包檢測完成后的結果如圖5 （c）所示.

1.2.3 直線擬合

最小二乘法具有普遍的實用性，其計算簡潔、精度可靠且容易實現，是很實用的數據分析方法.

假設棧E中共包含m個凸包點，凸包點坐標分別為（x1，y1），（x2，y2），…，（xm，ym），利用最小二乘法對凸包點擬合直線y=ax+b，其中a為回歸系數，b為截距，具體擬合過程如下.

1）首先計算凸包點的均值.

2）計算回歸系數.

3）計算回歸截距.

4）最終得到目標直線.

根據凸包檢測得到的凸包點集進行直線擬合，共擬合得到4 條直線分別對應圖像中支座的4 條邊，結果如圖5 （d）所示.

1.2.4 剪切病害分級

通過計算擬合得到的不同直線間夾角即可得到支座的剪切角度.若擬合得到直線l1和l2斜率分別是k1、k2，夾角θ為

計算直線夾角時，取θ∈［0°， 90°］的角作為支座該位置的剪切角，并在4 個角中選取最大角作為該支座最終剪切程度判定依據.支座剪切病害程度評定標準如表1 所示.

表1 剪切病害程度評定標準Tab.1 Assessment criteria of shear damage degree

2 精度驗證試驗

2.1 分割精度實驗

2.1.1 實驗數據

從天津市周邊以往橋梁檢測留存的支座照片中共篩選880 張，包括但不限于支座前有碎石遮擋、輪廓不明顯、底部被銹蝕鋼板污染等圖像，如圖8 （a）所示.為了使訓練的模型在后續的識別中有更好的準確性與實用性，首先使用Labelme 軟件進行數據集制作，利用Create Polygons 工具對支座本身輪廓進行描點，區分支座前遮擋的碎石或者蜘蛛網等，如圖8 （b）所示；然后將生成的json 文件轉換為訓練所用的標簽，如圖8 （c）所示.

圖8 數據集制作Fig.8 Dataset production

由于數據集的大小能直接影響網絡模型學習的效果，結合支座識別實際要求，利用Augmentor 工具選擇其中的圖像旋轉180°、垂直或水平方向平移一段距離以及在修改亮度、顏色或者對比度三者中隨機選取一種的方法來豐富數據量.增強過后的數據集中共有2 640 張照片，同時數據集按照7：2：1 劃分為訓練集、驗證集和測試集.

2.1.2 實驗環境

本文的實驗模型在服務器中進行訓練，利用Anaconda 軟件建立虛擬環境，使用的語言為Python3.6.5 并基于PyTorch1.7.1 進行搭建，服務器操作系統為Windows 10 專業版64 位，處理器為Intel? Core? i9-11900k CPU @ 3.50GHz.測試時利用CUDA 和CUDNN 來進行GPU 加速訓練，所用GPU 為NVIDIA GeForce GTX 3070.

2.1.3 實驗分析

為驗證本文算法模型對支座的識別效果，利用測試集264 張支座照片對U-net 模型和融合深度可分離卷積與MAM 的FCN 模型結果進行對比.

對比結果如表2 所示，雖然在圖像識別效率方面，改進的FCN 模型識別較快，但是在F1 值方面，本文算法較U-Net 高4.3%，較改進的FCN 高2.8%；在IoU 方面，本文算法較U-Net 高7.9%，較改進的FCN 高3.3%；測試集中的橋梁板式橡膠支座圖像識別效果如圖9 所示.

表2 不同模型數據統計Tab.2 Data statistics for different models

圖9 支座部分特征提取效果對比Fig.9 Comparison of partial feature extraction effects of bearings

由圖9 可知，本文算法對圖像中的支座識別分割效果優于U-Net 和相同改進的FCN 模型，且當支座周邊在被碎石等遮擋時，本文算法在支座邊緣輪廓部分的識別上更加準確.

2.2 實橋試驗

2.2.1 試驗場地和圖像采集

某分離立交橋位于天津市，結構如圖10 （a）所示，橋梁總長60.0 m，總寬為18.0 m，共2 孔，跨徑布置為2×30 m，上部結構為30.0 m 混凝土小箱梁和板式橡膠支座，支座規格為Φ275×60 mm，全橋共64 個支座.

圖10 場地概況及人工測量工具Fig.10 Site overview and manual measurement tools

支座圖像使用佳能80D 相機進行采集，拍攝時相機和被拍攝支座不需要控制距離，注意相機和支座水平豎直拍攝即可.考慮到圓形板式橡膠支座的特殊性，在對支座尤其是明顯有剪切病害的支座拍照時，變換角度共拍攝3 張圖像，最終同一支座以3 張圖像中計算得到的最大角度作為其剪切病害程度的判定依據.

根據規范要求，對于支座的檢測在目測的基礎上要輔以必要的檢測工具［1］.考慮到支座位置的特殊性，人工現場使用思蜀邦護床頭角度儀S20M 進行支座剪切角度測量，如圖10 （b）所示.測量時只需將其直邊貼在圓柱形支座母線即可讀出剪切角度.圖像采集作業如圖10 （c）所示.

2.2.2 實驗結果對比

編號原則為“跨-墩-梁-支座”，梁和支座號在圖10 （a）中均從左到右、從上到下計數.

選取明顯具有剪切病害支座，利用本文算法計算，可視化結果如圖11 所示.根據擬合得到的直線計算夾角并同人工測量結果進行對比，結果如表3所示，兩者得到的剪切角度基本一致，最大誤差為1.3°，支座剪切病害分級基本相同，證明本文算法對板式橡膠支座健康狀況的評估具有良好的可靠性.

表3 結果對比Tab.3 Comparison of results

圖11 支座剪切病害計算的可視化結果Fig.11 Visualization results for bearing shear damage calculations

3 結論

1）融合深度可分離卷積和MAM 的U-Net 模型，分割支座圖像有效去除了碎石等雜物的干擾，測試F1 值和交并比均在95%以上，在F1 值方面，本文算法較U-Net 高4.3%，較同樣改進的FCN 模型高2.8%；在交并比方面，本文算法較U-Net 高7.9%，較同樣改進的FCN 模型高3.3%.

2）構建基于輪廓線提取、凸包檢測和直線擬合等算法的支座剪切角度自動測量程序.在天津市某橋梁進行的實橋驗證中，本文方法計算角度和剪切病害分級結果與傳統人工測量結果一致，證明本文方法對支座剪切病害評估具有良好的可靠性.

數據量的大小會影響模型的整體性能表現.由于支座位置深入，圖像采集較為困難，本文所構建數據集中支座圖像較少，后續還需通過不斷進行橋梁檢測積攢支座照片并進行模型訓練，提高模型分割的準確率和魯棒性.