改進YOLOv5s的鋼材表面缺陷檢測算法

呂秀麗 盧海濱 侯春光 王志剛

基金項目：黑龍江省教育科學規劃課題（批準號：GJB1421131）資助；黑龍江省高等教育教學改革研究項目（SJGY20210110）資助的課題。

作者簡介：呂秀麗（1971-），教授，從事圖像處理、模式識別領域的教學和科研工作。

通訊作者：盧海濱（1997-），碩士研究生，從事圖像處理、模式識別的研究，18746933517@163.com。

引用本文：呂秀麗，盧海濱，侯春光，等.改進YOLOv5s的鋼材表面缺陷檢測算法［J］.化工自動化及儀表，2024，51（2）：

301-309.

DOI：10.20030/j.cnki.1000-3932.202402020

摘 要 為提高鋼材表面缺陷檢測的準確率，提出一種改進YOLOv5s的鋼材表面缺陷檢測算法。首先，在特征提取網絡中引入Swin Transformer結構，增強網絡對特征的感知能力；其次，添加坐標注意力機制，加強對重要特征信息的關注；最后，針對鋼材缺陷的特點增加檢測層，提升多尺度目標檢測能力，并使用SIOU損失函數評估檢測效果。將所提出的算法在公開數據集NEU-DET上進行消融實驗，結果表明：所提算法能有效提高鋼材表面缺陷目標檢測的準確率。

關鍵詞 缺陷檢測 深度學習 改進YOLOv5s Swin Transformer 注意力機制

中圖分類號 TP391.41? 文獻標志碼 A? ?文章編號 1000-3932（2024）02-0301-09

鋼材作為重要的工業材料之一，在船舶、航天及建造等諸多領域中有著不可替代的地位。在生產過程中難免會在其表面產生一些缺陷，如凹面、裂紋及劃痕等［1］。這些缺陷有可能降低鋼材的使用性能，進而導致事故發生的風險增加。因此，在鋼材投入實際使用前，使用準確高效的檢測方法對其表面進行缺陷檢測確認其質量具有重要意義［2］。

機器視覺技術具有安全可靠、適用范圍廣及檢測效率高等優點。近年來，國內外研究者在機器視覺技術上針對缺陷檢測進行了廣泛的研究，主要分為基于機器學習的方法和基于深度學習的方法?；跈C器學習的方法主要依賴人工提取特征，難以捕捉高級語義特征，適用于簡單場景，對于特征復雜、缺陷不規則的情況并不適用。與機器學習算法相比，基于深度學習的算法能夠自動學習模式特征，并將特征學習融入到建立模型的過程中，從而削弱了人為設計特征導致的不完備性，在復雜環境中仍具有較強的魯棒性。憑借著上述優點，深度學習技術迅速發展，在一些領域逐漸取代了傳統機器學習方法。王立中和管聲啟針對傳統鋼材缺陷檢測方法無法自動準確提取特征的問題，以卷積神經網絡（CNN）為框架，建立了鋼材表面缺陷檢測的基礎模型［3］，通過fine-tuning的方法訓練，實驗證明該方法具有很強的抗噪性，但是該模型使用的圖像數據量較少。唐壽權在進行樣本擴充后，使用ResNet-50結構提取特征和R-FCN結構增強特征感知能力的方法改進了原始Faster R-CNN模型［4］，有效提高了檢測精度，但對于鋼材缺陷中的小目標仍存在漏檢的情況。李維剛等以YOLOv3算法為基礎，使用K-means算法聚類出更適合的先驗框參數，并增加了殘差結構［5］，提高了對鋼材表面缺陷中小目標的檢測能力，但改進后的模型參數量大幅度增加。袁洪強等利用知識蒸餾機制結合ResNet50和MobileNetV3，生成了一種輕量化的模型［6］，模擬實際檢測場景通過隨機翻轉與旋轉的方式增強數據，模型訓練后成功部署在移動端并具有較高的檢測精度。馬燕婷等將Transformer機制融入YOLOv5中［7］，提升了主干網絡特征提取的全局性，并改進BiFPN網絡為T-BiFPN網絡結構，使得圖像的特征融合能力得到了增強，使用RepVGG網絡替換部分卷積層，提高了特征提取能力，有效提升了鋼材表面缺陷的檢測能力。

筆者基于YOLO［8］系列經典目標檢測算法中的YOLOv5s，提出了一種改進YOLOv5s的鋼材表面缺陷檢測算法（YOLOv5s-STCD），在公開數據集NEU-DET［9］上證明了該算法對于鋼材表面缺陷有較好的檢測能力。

1 算法原理

YOLOv5是目前廣泛應用的單階段目標檢測算法之一，具有檢測精度高、速度快的特點，按照網絡深度和寬度的加深程度可分為YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x 4種模型。筆者選用模型體積較小的YOLOv5s作為基準模型，YOLOv5s網絡結構如圖1所示。

YOLOv5s網絡分為四大模塊：Input（輸入）、Backbone（主干網絡）、Neck（特征融合網絡）和Head（預測頭部）。Backbone部分的作用是對圖像特征進行提取，由CBS、CSP1_X和SPPF組成（其中，SPPF結構在YOLOv5-6.0中首次使用，作為SPP結構的優化形式，同樣能夠實現輸出自適應尺寸的功能，但SPPF改變了結構形式，減少了模型計算量，提升了模型速度）。Neck部分將Backbone提取的特征進行融合，由CSP2模塊、上采樣模塊和Concat（聯合模塊）構成。Head部分包含3個不同尺度的特征檢測器，對輸出的特征圖進行目標預測。

2 YOLO-STRCD算法介紹

筆者提出的YOLOv5s-STCD的整體結構框架如圖2所示。算法YOLOv5s-STCD中，ST代表Swin Transformer［10］網絡結構，C代表坐標注意力機制Coordinate Attention［11］，D代表添加的檢測層Detection。在主干網絡中使用C3STR結構替換部分C3結構（CSP+CBS），融入滑動窗口的多頭自注意模塊，增強網絡對特征的感知能力；為減少無用信息的干擾，引入坐標注意力機制，提高感興趣信息關注度；針對數據集中大部分缺陷目標尺度大小不均衡這一特性，增加一個檢測層，并在Neck部分添加相應的特征融合結構；改進邊界框回歸損失函數，采用SIOU損失函數，加快推理速度并進一步提升模型檢測鋼材表面缺陷的精度。

2.1 C3STR結構

Transformer憑借自注意力機制以及良好的模態融合能力，在自然語言處理（Natural Language Processing，NLP）任務中取得突破性進展，但其從NLP領域跨越到計算機視覺（Computer Vision，CV）領域存在一定困難，例如文本單詞與高分辨率圖像像素之間有巨大的差異。Swin Transformer通過構建層次化特征圖和滑動窗口的形式解決了這些差異，在目標分類和目標檢測任務上都取得了極佳的效果。為了增強特征提取能力，在主干網絡部分將Swin Transformer中的窗口自注意力融入C3模塊形成C3STR結構，如圖3所示。

Swin Transformer Block由窗口多頭自注意層（Window Multi-head Self-attention，W-MSA）、移位窗口多頭自注意層（Shifted-window Multi-head Self-attention，SW-MSA）、多層感知器（Multilayer Perceptron，MLP）組成，各模塊間連接方式采用殘差結構，W-MSA與SW-MSA成對出現［12］，多頭自注意力機制計算方式如下：

Attention（Q，K，V）=SoftMAX（QK/+B）V （1）

式中 B——相對位置偏置；

d——Query/Key的維度；

K——Key（索引）矩陣；

Q——Query（查詢）矩陣；

V——Value（值）矩陣。

相比于傳統的Transformer，C3STR采用滑動窗口的形式，滑動窗口使其包含不同的像素點以實現相鄰窗口間的信息傳遞，減小了計算量，可提高網絡的運算效率。

2.2 引入坐標注意力機制

注意力機制憑借簡單有效和計算量增幅小的特點，在深度學習領域中引起許多學者的興趣并展開了研究。例如壓縮和激活（Squeeze and Excitation，SE）［13］注意力機制，使用全局平均池化操作提取通道信息，通過兩個全連接層構建通道間的聯系并得到各通道的權重值，但其忽略了空間特征；卷積塊的注意力模塊（Convolutional Block Attention Module，CBAM）［14］通過引入大尺度的卷積核提取空間特征，增加了對空間信息的關注，但其僅僅考慮了局部區域的信息，而無法建立遠距離的依賴；坐標注意力機制（Coordinate Attention，CA）具有捕獲跨通道信息的能力，同時能夠加強對位置和方向信息的感知能力，并且其能夠簡單地插入到輕量級網絡的核心模塊中。

在鋼材缺陷圖像中，裂紋、凹面等類型缺陷容易受到背景因素的影響，筆者在模型中引入CA來抑制此種情況，原理如圖4所示。為了避免空間信息全部壓縮到通道中，CA分別在寬度和高度兩個方向上進行全局平均池化，可以得到高度與寬度方向上的兩組特征圖，將二者拼接后通過激活函數獲取兩個維度上的權值。CA模塊主要分為坐標信息嵌入和坐標注意力生成兩部分。

圖4 CA模塊

C——特征圖通道數；? H——輸入特征圖的高度；

W——輸入特征圖的寬度； r——通道壓縮率

坐標信息嵌入。由于全局平均池化將全局空間信息壓縮到通道描述符中，忽略了位置信息，故將其轉換為一對一維特征編碼操作，高度為h的第c通道的輸出可以表示為：

z（h）=x（h，i）? ? （2）

式中 x（h，i）——水平方向第c通道的輸入。

同樣，寬度為w的第c通道的輸出可以寫成：

z（w）=x（j，w） ? ? （3）

式中 x（j，w）——垂直方向第c通道的輸入。

上述兩種變化分別沿兩個空間方向聚合特征，得到一對方向感知的特征圖。

坐標注意力生成。通過信息嵌入變換后，將上面的變換進行連接操作，然后使用1×1卷積變換函數F1對其進行變換操作：

f=δ（F［z，z］） ? ? ?（4）

式中 δ——Sigmoid激活函數。

將f沿著空間維數分解為2個單獨的張量，將其變換后展開得到CA的輸出y：

y（i，j）=x（i，j）×g（i）×g（j） ? ? （5）

式中 g——水平方向上的注意力權重；

g——垂直方向上的注意力權重。

由此，g、g兩個權重被添加到輸入特征圖中來增強特征圖的表示能力。

為更好地驗證不同注意力機制對YOLOv5s網絡模型的影響，將添加了3種注意力機制的YOLOv5s模型在NEU-DET數據集上進行對比實驗，結果見表1。實驗采用召回率R、精確度P和均值平均精度mAP進行評價。實驗表明添加3種注意力機制對模型性能均有不同程度的提升，CA表現最佳，CBAM次之，SE最差。

表1 對比實驗? ? ?%

2.3 增加檢測層

原始YOLOv5s模型包含3個不同尺度的檢測層，當輸入圖像大小為640×640時，檢測層輸出的3個尺度為80×80、40×40、20×20，根據感受野大小不同進行區分，大尺寸特征圖檢測小目標，小尺寸特征圖檢測大目標。在對鋼材缺陷進行檢測的實際應用場景中，各缺陷特征的尺寸均不相同，所以映射到圖像中的鋼材表面缺陷特征有許多大小不同的尺度。為了提高YOLOv5s模型對不同尺寸鋼材缺陷目標的檢測能力，在原始模型基礎上增加一個檢測層。在主干網絡中最后一個C3層后添加一組CBS和C3模塊，同時在特征融合部分對應位置上添加一組上采樣和相應的下采樣，這樣能更好地實現特征融合功能。新增的檢測層有利于增強網絡的泛化能力。

2.4 改進邊框回歸損失函數

目標檢測領域中應用較廣的損失函數有IOU（Intersection over Union） Loss［15］、GIOU（Generalized Intersection over Union） Loss［16］、DIOU（Distance Intersection over Union） Loss［17］、CIOU（Complete Intersection over Union）［17］等。IOU是較早提出來用預測框和真實框的重合度來判斷模型預測準確度的指標；GIOU在IOU的基礎上解決了兩框無重疊導致的梯度為零的問題。DIOU在GIOU的基礎上將兩矩形框中心點距離加入，改進后訓練更加穩定，收斂更快。CIOU將兩矩形框寬高比加入計算：如果兩框的重疊區域較小，則寬高比在損失函數中影響較小，此時著重優化兩框間的距離；反之，如果重疊區域較大，此時著重優化兩框的寬高比。但以上幾種損失函數均未考慮兩框之間的方向是否匹配，導致收斂速度緩慢且效率較低。鑒于上述問題，GEVORGYAN Z提出了損失函數SIOU，其考慮了回歸向量的角度，增加了角度懲罰項，提高了模型的收斂速度和推理的準確性。

SIOU由4個代價函數構成，分別是角度代價、距離代價、形狀代價和IOU代價。添加角度感知LF組件，有效減少了與距離相關的變量數量，添加角度感知LF組件的計算方式如下：

Λ=1-2×sin2arcsin α- ? ? （6）

式中 α——預測框和真實框中心點連線的水平夾角；

Λ——角度損失。

根據上面的角度代價重新定義了距離代價函數：

Δ=（1-e） ? ? ? （7）

γ=2-Λ

當t為x時，ρ表示真實框和預測框寬的差值比真實框和預測框最小外接矩形寬的平方值；當t為y時，ρ表示真實框和預測框高的差值比真實框和預測框最小外接矩形高的平方值。

形狀代價函數定義如下：

Ω=（1-e） ? ? （8）

ω= ? ? ?（9）

ω=

式中 w、h——預測框的寬、高；

w、h——真實框的寬、高；

θ——用于控制對形狀損失的關注程度，為了避免過于關注形狀損失而降低對預測框的移動，θ的取值范圍應在［2，6］。

IOU代價函數仍按照兩框之間的重合度計算。綜上，SIOU損失函數表達式為：

LOSS=1-IOU+? ? ?（10）

3 實驗結果與分析

3.1 數據集介紹

在公開數據集NEU-DET上進行鋼材表面缺陷檢測實驗，NEU-DET數據集包含裂紋（Crazing，Cr）、夾雜物（Inclusion，In）、斑塊（Patches，Pa）、凹面（Pitted Surface，PS）、軋制氧化皮（Rolled-in Scale，RS）和劃痕（Scratches，Sc）共6種缺陷。NEU-DET數據集的部分缺陷圖片如圖5所示。數據集共有1 800張圖片以及相對應的XML格式注釋文件。將XML格式的注釋文件轉換為YOLO模型能夠識別的TXT格式，將其與圖片數據對應整合之后，按照6∶2∶2的比例對6個類別的缺陷數據進行均勻隨機劃分，得到訓練集圖片1 080張，驗證集圖片360張，測試集圖片360張。

3.2 實驗設備及參數設置

實驗在Windows11操作系統下進行，內存為64 GB，深度學習框架為PyTorch1.12.1，Python版本為3.8.13，CUDA版本為11.6，CPU為Intel（R）Core（TM） i7-12700H@2.30 GHz，GPU為NVIDIA

GeForce RTX 3060 6GB。在訓練中，超參數設置為初始學習率0.001，衰減系數為0.000 5；動量為0.937，批次為16，訓練次數為300。

3.3 實驗評估指標

使用多個指標來對算法進行評估，主要通過平均精度AP和均值平均精度mAP［18］分別對各類缺陷以及整體網絡模型的性能進行評價，同時需要考慮精確度P、召回率R及模型體積等參數。

3.4 實驗結果分析

為檢驗筆者提出算法的有效性，在公開數據集NEU-DET上進行了消融實驗，實驗結果見表2，其中Detection表示檢測層。

表2 消融實驗結果 %

由表2可知，以上改進方法中，在網絡中加入CA，mAP提升了0.7%；增加檢測層，mAP提升了0.5%；引入C3STR結構，mAP提升了0.8%。當原YOLOv5s中加入全部改進機制時，整體mAP提升了5.0%。

將YOLOv5s模型的訓練損失與YOLOv 5s-STCD的訓練損失曲線進行對比，如圖6所示。

圖6 改進前后模型損失曲線對比

由圖6可知，改進后的模型YOLOv5s-STCD與原始YOLOv5s相比，在定位損失、置信度損失和分類損失3個方面均有所改善，在前15次訓練中，兩種模型損失值接近，損失曲線近似重合；此后差異開始逐漸明顯，YOLOv5s-STCD模型的損失開始加速收斂，二者曲線開始分離，并且改進后的模型損失值始終低于原始YOLOv5s模型；在260個訓練次數后，二者損失曲線均趨向于平穩，在訓練結束時YOLOv5s-STCD模型的3種損失均低于YOLOv5s模型，證明改進方案對YOLOv5s模型具有優化作用。

為更直觀地展示改進后算法的檢測效果，將部分檢測結果與原YOLOv5s模型的檢測結果進行對比，如圖7所示。

由圖7所示的改進前后模型檢測結果的對比可知，改進后的模型改善了原始模型檢測時存在漏檢的情況，并且提高了原始模型對部分缺陷目標檢測時的置信度，在PS類型缺陷上表現最為明顯，有效地證明了改進模型相對于原始模型的性能提升。

3.5 對比實驗

為了進一步證明筆者算法在鋼材表面缺陷檢測方面的優勢，選取了4種主流目標檢測算法SSD300［19］、Faster-RCNN［20］、YOLOv4［21］和

YOLOv5s在NEU-DET數據集上與筆者算法對比，結果見表3。

由表3可知，相比于SSD300、YOLOv4、YOLOv5s目標檢測算法，Faster-RCNN憑借著兩階段檢測網絡的優勢在鋼材缺陷檢測中精度最高，但其缺點也很明顯，模型體積較大。從檢測精度上看，SSD300在大目標類型Ps缺陷中效果較好，但在以小目標為主的Sc類型上效果較差，這是由于SSD300算法對于小目標的檢測存在些許不足。YOLOv4在上述實驗中的mAP值為69.3%，存在檢測精度低、模型體積大的問題。YOLOv5s-STCD作為改進后的模型，比原YOLOv5s的mAP值提高了5.0%。綜上所述，筆者所提出的改進算法在精度和模型體積上更具有優勢。

4 結束語

針對鋼鐵表面缺陷檢測問題，提出一種YOLOv5s-STCD算法。引入Swin Transformer結構增強特征提取能力；添加CA注意力機制，增加重要特征的關注度；增加目標檢測層，提高對部分類型目標的檢測精度；改進損失函數。在實驗中，筆者所提算法相較于原YOLOv5s，均值平均精度mAP在NEU-DET數據集上提升了5.0%；與主流算法SSD300相比，mAP值提升了6.4%，表明筆者所提算法對于鋼材表面缺陷檢測的有效性。今后將進行模型的輕量化研究，繼續優化模型，提高檢測效率，嘗試將其布署到移動端。

參 考 文 獻

［1］ 李鑫，汪誠，李彬，等.改進YOLOv5的鋼材表面缺陷檢測算法［J］.空軍工程大學學報（自然科學版），2022，23（2）：26-33.

［2］ 朱宏平.基于卷積神經網絡的鋼表面缺陷檢測方法［J］.工業控制計算機，2020，33（8）：83-84.

［3］ 王立中，管聲啟.基于深度學習算法的帶鋼表面缺陷識別［J］.西安工程大學學報，2017，31（5）：669-674.

［4］ 唐壽權.基于深度學習的帶鋼產品表面缺陷檢測方法［D］.沈陽：東北大學，2018.

［5］ 李維剛，葉欣，趙云濤，等.基于改進YOLOv3算法的帶鋼表面缺陷檢測［J］.電子學報，2020，48（7）：1284-1292.

［6］ 袁洪強，杜國鋒，余澤禹，等.基于輕量神經網絡的鋼材表面缺陷快速識別［J］.科學技術與工程，2021，21（34）：14651-14656.

［7］ 馬燕婷，趙紅東，閻超，等.改進YOLOv5網絡的帶鋼表面缺陷檢測方法［J］.電子測量與儀器學報，2022，36（8）：150-157.

［8］ REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once： Unified， real-time object detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Piscataway，NJ：IEEE，2016.DOI：10.1109/CVPR.2016.91.

［9］ HE Y，SONG K，MENG Q，et al.An end-to-end steel surface defect detection approach via fusing multiple hierarchical features［J］.IEEE Transactions on Instrumentation and Measurement，2019，69（4）：1493-1504.

［10］ LIU Z，LIN Y Y，CAO Y，et al.Swin transformer：Hierarchical vision transformer using shifted windows［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE，2021.DOI：10.1109/ICCV48922.2021.00986.

［11］ LI B Y，LIU Y，WANG X G.Gradient harmonized sin-gle-stage detector［C］//Proceedings of the AAAI Conference on Artificial Intelligence.Honolulu：AAAI，2019.DOI：10.48550/arXiv.1811.05181.

［12］ 趙文清，康懌瑾，趙振兵，等.改進YOLOv5s的遙感圖像目標檢測［J］.智能系統學報，2022，18（1）：86-95.

［13］ 胡欣，周運強，肖劍，等.基于改進YOLOv5的螺紋鋼表面缺陷檢測［J］.圖學學報，2023，44（3）：427-437.

［14］ 江培營，陶青川，艾夢琴.基于注意力機制和深度學習的鋼板表面缺陷圖像分類［J］.計算機應用與軟件，2021，38（9）：214-219.

［15］ 唐靚，余明慧，武明虎，等.基于改進 YOLOv5 的絕緣子缺陷檢測算法［J］.華中師范大學學報（自然科學版），2022，56（5）：771-780.

［16］ REZATOFIGHI H，TSOI N，GWAK J Y，et al.Gener alized intersection over union：A metric and a loss for bounding box regression［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2019.DOI：10.1109/ CVPR.2019.00075.

［17］ ZHENG Z，WANG P，LIU W，et al.Distance-IoU loss：Faster and better learning for bounding box regression［C］//Proceedings of the AAAI Conference on Artificial Intelligence.NewYork：AAAI，2020.DOI：10.1609/aaai.v34i07.6999.

［18］ 趙月，張運楚，孫紹涵，等.基于深度學習的螺紋鋼表面缺陷檢測［J］.計算機系統應用，2021，30（7）：87-94.

［19］ LIU W，ANGUELOV D，ERHAN D，et al.Ssd：Single shot multibox detector［C］//Computer Vision-ECCV 2016：14th European Conference.Amsterdam，2016.

［20］ REN S Q，HE K M，GIRSHICK R B，et al.Faster R-CNN：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

［21］ BOCHKOVSKIY A，WANG C Y，LIAO H Y M.YOLOv4 ：Optimal speed and accuracy of object detection［J］.arXivPreprint，2020.DOI：10.48550/arXiv.2004.1 0934.

（收稿日期：2023-03-21，修回日期：2024-01-30）

Improved YOLOv5 Algorithm for Steel

Surface Defect Detection

LV Xiu-li1， LU Hai-bin1， HOU Chun-guang2， WANG Zhi-gang2

（1. School of? Physics and Electronic Engineering， Northeast? Petroleum University；

2. Office of? the Network Security and? Information? Technology? Committee of

the CPC? Daqing Municipal? Party Committee）

Abstract? ?For purpose of improving the accuracy in detecting steel surface defects，an improved YOLOv5s algorithm for the steel surface defect detection was proposed. Firstly， having Swin Transformer structure introduced into the feature extraction network to enhance feature perception ability of the network； secondly， having coordinate attention mechanism employed to enhance the attention to important feature information；finally， through considering the characteristics of steel defects， having detection layer added to improve the? detection ability of multi-scale target， and having SIOU lossfunction used to evaluate the detection effect.Im plementing ablation experiments of the proposed algorithm on the public data set NEU-DET shows that，the proposed algorithm can effectively improve the average accuracy in detecting steel surfaces target defect.

Key words? ?defect detection， deep learning， improved YOLOv5s， Swin Transformer， attention mechanism