基于ResNeXt網絡的多歷史螺栓松動檢測算法研究

朱 均

（成都維創軌道交通特種設備有限責任公司，四川成都 610000）

隨著我國城市軌道的快速發展，城市地鐵運行的安全問題日益受到重視。螺栓連接的穩定性決定了車體各部件能否正常運行。近年來，國內外學者對螺栓松動檢測問題進行了積極探索。

于俊輝利用采集系統采集與螺栓相耦合部件在螺栓發生松動現象時的振動信號，對采集的信號用快速傅里葉變換和小波分析法做進一步處理，結合頻率響應特征和時域上能量分布特征來完成螺栓連接松動特征的提取[1]。廖如天提出了一種全局信息融合的R-FCN（region-based fully convolutional networks）網絡結構，再結合霍夫變換，實現螺栓位置檢測[2]。王九龍等提出基于STFT-IP（Short-time Fourier Transform，STFT）時頻特征的螺栓松動識別方法，利用短時傅里葉變換處理振動信號獲得時頻圖，再通過對振動時的信號特征分析來完成對松動狀態的檢測[3]。

目前，大部分無損螺栓松動檢測算法需要額外的傳感器或者加入人工標注線來輔助松動判斷，而且只能針對單一歷史對比檢測。

1 螺栓區域定位

本算法首先利用軌旁兩側的面陣相機采集轉向架圖像數據，引入改進的YOLOv4（You Only Look Once，YOLO）網絡對車體各關鍵部位螺栓區域進行粗定位和精定位。其次將采集的所有螺栓數據隨機兩兩組合，并分為松動和不松動兩類，構成訓練數據集。利用改進的深度神經網絡的聚合殘差變換網絡（Aggregated Residual Transformations for Deep Neural Networks[4]，ResNeXt）對其進行訓練、預測。最后，對相關算法分別進行實驗驗證，結果證明了方法的有效性?；赗esNeXt網絡的多歷史螺栓松動檢測算法流程如圖1所示，通過車側設備采集車體圖片，經過降噪標準化處理獲得噪聲小、運算量少的標準圖像，用改進的YOLOv4進行區域定位，并提取區域圖片；通過改進的YOLOv4對區域中的螺栓進行定位；再利用優化的ResNeXt網絡對組成松動與非松動的數據進行訓練。最后用相機記錄同車輛、同位置的不同歷史中的螺栓圖像，并用最終的松動檢測模型進行檢測。

圖1 算法流程

1.1 車側圖像采集

為了得到螺栓數據集，在軌旁安裝4只面陣相機，完成實時圖片數據采集。圖2為軌旁面陣機分布圖，本算法采集得到的構建數據集均為2K圖像。為了更準確定位到螺栓，需要減少圖片其他物體的特征干擾。對此，本文提出兩個步驟完成對螺栓的定位，首先對車體圖像中螺栓所在的關鍵區域進行定位，在待檢測區域的基礎上對螺栓進行進一步的定位[5]。

圖2 軌旁面陣相機分布

1.2 YOLOv4網絡

YOLOv4是在YOLOv3基礎上改進而來，屬于一步檢測算法。檢測時，將待測圖片分割成n×n的網格，每個網格負責不同的區域，當待檢測目標的中心落在某個網格中，則由該網格負責完成對目標的檢測[7]。YOLOv4的主干網絡CSPDarknet53是算法的核心。YOLOv4在上一個YOLO版本基礎上，引入跨階段部分（Cross Stage Partial，CSP）結構，這兩部分結構具有特殊的映射，包括主通道的特征圖和走捷徑輸出的特征圖。同時為了提高準確率，再合并多階段層次結構。激活函數選擇方面使用的是比ReLu計算量更大的Mish函數，其目的是更精準地檢測物體。

與YOLOv3不同，YOLOv4構建了空間金字塔池化結構（Spatial Pyramid Pooling，SPP）和更好結合上下語義的路徑聚合網絡（Path Aggregation Network，PANet）結構，如圖3所示，其中，P1～P5代表不同的層數。為了更好地增加特征提取的感受野，分離出顯著的上下文特征。SPP結構是對特征層P5輸出的特征圖經過卷積后的結果進行多種尺度的特征信息最大池化處理。其池化核大小分別為1×1、5×5、9×9、13×13。PANet結構包括不同的卷積、上采樣、下采樣、跨層的特征層融合構成的循環金字塔結構。所以YOLOv4的網絡結構中PANet能夠實現高層特征與底層特征信息融合，來達到提高車體螺栓的檢測率的目的。最后，對每個輸出的特征層的3個先驗框進行判別，判斷是否包含目標以及目標種類，并進行非極大值抑制處理[8]。

圖3 YOLOv4網絡結構

YOLOv4的損失函數見公式（1），其損失函數是由回歸框預測位置的誤差、置信度誤差和目標種類誤差構成[9]。

式中，IOU為真實面積與預測面積的交并比；A和B為預測目標與真實目標；ρ2（Actr，Bctr）為兩個中心點的歐式距離；m為同時包含預測框和真實框的最小封閉區域的對角線距離[6]；a為正數是度量的參數；v為度量長寬比的相似性；2為網格數；B為網格中的先驗框數量。為預測的邊界框中存在目標的表達式，為預測的錨框里不具有目標的表達式，預測置信度。為真實置信度。c是檢測目標的種類，代表檢測目標的類別數，是指預測為真實目標的概率，為單元格中目標屬于類別c的實際概率[6]。

αv的作用是讓模型預測的寬和高更快地收斂于真實的寬和高。當真實框和預測框的寬和高相似，則v為0，該懲罰項就不起作用。其表達為公式（2）和（3）。

式中，wgt為真實框寬度，hgt為真實框高度，w為預測框寬度，h為預測框高度。

1.3 改進YOLOv4算法

1.3.1 K-means聚類

在原始的YOLOv4算法中，其先驗框的大小是依據在COCO數據的目標平均尺寸大小設定的。由于COCO數據集包含的目標多樣，目標的長寬比例不同，其先驗框尺寸大小也不同。對于車體的螺栓而言，尺寸基本固定，因此需要新的大小的先驗框。而通過K-means算法對于語義分割后的數據集的anchor大小進行聚類，得到與螺栓特征比例相似的尺寸大小與聚類中心。并用聚類中心與標簽的交并比IOU（1，C）作為聚類的相似度參數來代替原來的歐式距離以減少誤差。聚類距離計算公式如下[10]：

1.3.2 網絡結構改變

本文引入了注意力機制中典型的SENet[11]（Squeeze and Excitationn）擠壓激勵模塊。對于輸入二維圖像來說，兩種不同的維度分別是圖像的尺度空間和通道。該機制通過添加各個通道的影響程度的權重，針對不同的視覺檢測任務增強或者刪除對應無效的通道，更好對有效特征進行提取。

該結構首先進行壓縮操作，對所有通道特征圖做一個全局平均池化，生成1×1×c特征圖，其中每個特征圖都具有全局特征信息。此步驟將特征通道變成包含所有維度通道特征的均值，H×W為通道空間維度大小，其表達式為公式（5）：

式中，Zk為產生的特征圖壓縮向量，μij為第i組的第j個特征向量。

其次是激勵操作，通過一個2層FC層和Sigmoid激活來實現，見公式（6）。

式中，S為激勵操作的輸出，σ為激活函數sigmoid，Fex為對特征圖進行特征提取的操作，z為壓縮后的特征向量，W為權重參數，W1和W2分別為兩個全連接層對應的參數，δ為激活函數ReLU。然后對降維后的特征圖進行升維操作。

最后是重新賦值權重，對每個通道重新賦值權重到之前的輸入特征上。再基于之前的通道維度，對原始特征的權重重新分配。

式中，uc為通道輸出特征值，sc為此通道反饋計算出的權重，Fscale（uc，sc）為對特征張量進行特征拼接的操作。

圖4為SEnet結構圖，其中，c為通道數，r為組數，h和W分別為特征圖的寬和高。

圖4 SEnet結構

改進后的YOLOv4結構如圖5所示，其中，P1～P5為每個大殘差神經網絡塊的層數，Conv為卷積操作，SPP為空間金字塔池化結構，SE為激勵擠壓模塊。

圖5 改進YOLOv4結構

1.4 關鍵區域定位

對車體相關待檢測區域進行定位，如圖6所示。在對車體關鍵區域進行劃分的基礎上，為了提高定位模型的魯棒性，利用軌旁面陣相機采集得到不同天氣、不同光照條件下的地鐵轉向架以及車體高清圖像600張，并在保持橫縱比的情況下對原始高清圖像進行尺寸統一，以適應模型更好的提取特征和學習。使用labelImg工具完成對車螺栓區域圖像數據的標注，用來訓練改進后的YOLOv4定位模型。

圖6 車體關鍵區域圖

1.5 關鍵區域中螺栓定位

對待測區域定位后，利用預測定位框的相對坐標，從原始高清圖像中截取定位到的所有包含螺栓的區域。再次利用labelImg圖像標注工具對螺栓區域中的螺栓進行標注，以構建螺栓定位數據集，如圖7所示。利用該數據集訓練改進的YOLOv4螺栓定位網絡對關鍵區域內的所有螺栓進行定位，從而組成螺栓松動判定數據集。

圖7 螺栓定位效果圖

1.6 螺栓松動檢測數據集構建

為了提高模型的魯棒性和泛化性，所有采集的螺栓隨機兩兩組合，再劃分為松動的正樣本和非松動的負樣本，如圖8所示。

圖8 螺栓正負樣本

2 基于ResNeXt網絡的螺栓松動檢測

2.1 ResNeXt網絡結構

由于螺栓的外形特征豐富多樣，并且部分螺栓在外形上存在極大的相似性，為了提升圖像的識別精度，需要提取更豐富的特征。ResNeXt借鑒和繼承了Resnet和Inception的優點，在提升網絡的精度下，保持同樣的參數量。ResNeXt結構包括一系列拆分和融合的分組卷積[12]。其中Resnet中較大的卷積核被省去，取而代之的是多組小尺寸的卷積核組成的一種平行的結構。利用多組的分組卷積方式能使得模型具有更高的精度。ResNeXt結構有4種類型，如圖9所示，其中，RB為一個完整的殘差網絡塊。

圖9 4類殘差模塊結構

ResNeXt-50與Resnet50相比參數量少了5×105，同時速度更快。與Resnet101相比速度更快，所以本文選擇ResNeXt-50作為主干提取網絡。

在使用ResNeXt-50網絡時，并不是所有通道提取的特征信息都是有效的，無效部分大大影響了螺栓松動檢測分類的準確率。針對這個問題，同樣引用SENet，使得網絡能夠自適應學習得到每個特征通道的影響權重，通過重新賦值調整通道對有效特征提取的權重，降低無效特征提取通道占比。對于低質量螺栓圖像，可以使模型專注于具有更多能代表目標信息的通道，抑制無用的特征信息。改進后的結構如圖10所示，其中，RB為完整的殘差網絡塊，FC為全連接層。

圖10 改進后的ResNeXt網絡結構

2.2 訓練優化

為了提升螺栓松動檢測模型的魯棒性，避免模型過擬合，先對單個螺栓進行亮度值改變和灰度變換，再對一對螺栓進行concatenate拼接然后再進行隨機旋轉、平移、翻轉等操作。對于螺栓的特征比較明顯，不必用過深的特征提取層，本文采用ResNeXt-50網絡作為主干網絡，用Resnet50為主干網絡的孿生網絡作為對比網絡。同時針對定位導致的螺栓偏差問題，采用不同尺寸的中心裁剪，再進行訓練比對。

3 實驗與分析

為了驗證算法有效性，對提出的算法進行實驗驗證和現場實際效果驗證。

3.1 實驗環境

處理器Intel i9-10900X，內存32G，顯卡RTX3090，顯存24G，操作系統Windows10專業版，深度學習框架PyTorch和Darknet。為了提高螺栓定位模型及松動檢測模型的收斂速度，網絡訓練參數設置見表1，其中，Batchsize為每一個送進網絡訓練的批量大小，StepLR為使用固定步長衰減策略，Adam為自適應梯度下降。

表1 網絡訓練參數設置

3.2 評價標準

采用一致的量化評價標準能夠對比出同類算法的性能的優缺點。本文螺栓松動判定算法采用精確率（Precision）和召回率（Recall）兩個評價指標，分別由式（8）和式（9）表示。

式中，TP為被正確分類到正樣本的個體數量，FP為被錯誤分類到正樣本的個體數量，FN為被錯誤分類到負樣本的個體數量[13]。

3.3 螺栓區域及螺栓定位

對采集軟件采集的260張地鐵車體圖像按5∶1劃分訓練集和驗證集。采用mAP作為模型算法的好壞的評價指標，mAP為平均精讀，先計算每一類物體的AP，相加后除以檢測的目標種類數。AP為單一目標的檢測精度。實驗分別采用SSD，YOLOv3，YOLOv4和改進后的YOLOv4進行訓練，其螺栓區域對比結果見表2。

表2 螺栓區域定位模型mAP對比

對定位到的區域再進行螺栓定位訓練、預測。其定位對比見表3。

表3 螺栓定位模型mAP對比

通過對4個網絡的橫向對比，可以看出對螺栓區域定位而言，由于區域差異大，特征明顯，其定位效果都不錯。改進的YOLOv4在原有基礎上提高1.1%。對于螺栓定位來說，YOLOv4網路模型由于采用了新的CSPDarknet53的網絡結構，比YOLOv3特征提取能力更強，同時具備多尺度檢測優勢，提高了對螺栓的檢測精度，其檢測精度比YOLOv3提高5.4%。而改進后的YOLOv4更加專注有效特征的提取，其精度在原來基礎上提高3.0%，有效減少螺栓定位偏差現象。松動模型是通過定位后對螺栓進行裁剪，最后resize統一尺寸。螺栓定位偏差會導致螺栓松動檢測效果變差。圖11為當前和歷史中螺栓定位偏差效果圖。

圖11 當前歷史螺栓定位偏差效果

3.4 螺栓松動檢測

根據螺栓定位，對螺栓進行截取。本算法訓練集由定位的螺栓隨機兩兩配對組成正負樣本構成，驗證集、測試集都由配對后數據集的20%構成。

本算法應用于國內某地鐵線路車輛段檢測以驗證效果。該地鐵線路平均每輛車548顆需檢測螺栓，10輛過車共計5480顆螺栓。測試結果見表4。

表4 某地鐵線路的測試結果

4 結語

本文提出了基于ResNeXt網絡多歷史螺栓松動檢測算法，能夠有效檢測地鐵車輛上的螺栓。該算法包括引入改進的YOLOv4網絡對車體各關鍵部位螺栓區域進行兩次定位；利用改進的ResNeXt網絡獲取更加有效的目標螺栓的特征。最后，對所提出的算法分別進行實驗，結果證明了方法的有效性。本算法優點是能檢測多歷史的螺栓松動，能夠檢測螺栓的緩慢松動情況。