改進YOLOv5-S的交通標志檢測算法

劉海斌，張友兵，周 奎，張宇豐，呂 圣

湖北汽車工業學院汽車工程師學院Sharing-X移動服務技術平臺聯合實驗室，湖北 十堰 442000

在無人駕駛領域，道路交通規則制約著智能汽車的應用與部署，對于智能汽車來說，實時可靠的交通信息是其在道路上安全行駛的首要前提[1-2]。作為智能交通系統（intelligent transportation system，ⅠTS）的一項基礎功能，同時也是無人駕駛體系下的一個研究對象，交通標志的感知及其含義的理解有著重要的研究意義。

交通標志檢測旨在識別圖像或視頻序列中交通標志的位置、類別和大小，根據技術種類的不同分為傳統的交通標志檢測方法和基于深度學習的交通標志檢測方法。傳統的檢測方法更多的是結合交通標志自身的顏色與形狀特征[3-4]，采用滑動窗口等方式產生候選區域，使用諸如尺度不變特征變換（scale invariant feature transform，SⅠFT）或者方向梯度直方圖（histogram of oriented gradient，HOG）等算法提取候選區域的圖像特征，再使用諸如支持向量機（support vector machine，SVM）等分類器篩選目標類別。綜合來看，傳統方法需要結合多個處理步驟，算法的設計更復雜，同時人工設計的特征魯棒性差、適用性弱，不能滿足無人駕駛場景下的可靠性需求。

隨著深度學習技術的興起，卷積神經網絡（convolutional neural network，CNN）在模式識別領域取得了重大的技術突破?；诰矸e神經網絡的目標檢測算法可以克服傳統方法的諸多缺陷，具有更高的檢測精度和魯棒性。根據是否生成目標的區域建議，基于深度學習技術的目標檢測算法分為兩類：two-stage 算法和singlestage 檢測算法。在two-stage 檢測算法中，選擇性搜索或區域建議網絡（region proposal network，RPN）被用來生成目標的區域建議，在此基礎上通過神經網絡進行分類處理，在結構上略為復雜，常見的有Fast R-CNN[5]、Faster R-CNN[6]、Mask R-CNN[7]等。張毅等人[8]通過改進Faster R-CNN的基礎網絡結構，在TT100K數據集上將檢測精度提高了13.14%，但是算法的計算量太大，實時表現差。Han 等人[9]提出了一種改進Faster R-CNN的實時小尺寸交通標志檢測方法，通過修剪冗余網絡層以及采用空洞卷積的方式使得算法在分割小尺寸交通標志候選區域時更加穩健。雖然two-stage 算法具有不錯的檢測精度，但其整體性能依賴于候選區域選擇算法，實時性較差。而single-stage算法不需要生成目標的區域建議，可同時完成不同目標的定位和分類，檢測效率更高，常見的有SSD[10]和YOLO[11-18]系列。劉紫燕等人[19]通過改進空間金字塔池化（spatial pyramid pooling，SPP）[20]層以及特征金字塔網絡（feature pyramid network，FPN）[21]層產生更大尺度的特征圖，提高了YOLOv3 對小尺寸交通標志的檢測精度。Fan等人[22]使用DenseNet作為YOLOv3的骨干網絡，使得模型具有更少的參數量和更快的檢測速度。馮愛棋等人[23]通過融合注意力機制以及視覺Transformer 來增強對交通標志的關注程度，改善了對小尺寸交通標志的漏檢情況。俞林森等人[24]提出YOLOT 算法，采用注意力機制以及改進損失函數的方法改善算法對交通標志的檢測效果，但是實時性不夠好，檢測速度不夠快。

長期以來，交通標志的檢測是計算機視覺領域當中具有挑戰性的一項任務。交通標志通常是小尺寸目標，缺乏足夠的視覺特征，因此有時很難將其與背景或類似的物體區分開來，這也使得交通標志更容易受到自然因素如復雜光照或遮擋問題的影響。為了能夠更好地識別道路場景中的交通標志，需要定制一種能夠抑制背景噪聲干擾、具有高精度和高計算效率的交通標志檢測算法。YOLOv5作為當前流行的深度學習目標檢測算法，其已經整合了大量的優化策略，但是在檢測交通標志時還是容易出現錯檢或漏檢的問題?；诖?，本文提出一種改進YOLOv5-S的交通標志檢測算法，在保證實時檢測的同時有著更高的檢測精度及魯棒性。本文的主要工作如下：（1）提出一種融合了坐標注意力（coordinate attention，CA）[25]機制的C3 模塊并將其應用到YOLOv5的主干網絡當中，在減少網絡層數占用的同時獲得更好的注意力關注效果。（2）在邊界框回歸階段引入定位損失計算函數Focal-EⅠoU[26]，使得算法更加關注高質量的分類樣本，提高對難分類樣本的學習能力。（3）在頸部網絡當中采用輕量級卷積結構GSConv[27]來替換普通降維卷積，在降低網絡參數量的同時提高特征的豐富程度。（4）本文改進了YOLOv5 的特征金字塔結構，通過更大尺度的特征圖來檢測小尺寸物體，在不增加過多計算量的前提下獲得更好的交通標志檢測效果。

1 相關工作

1.1 YOLOv5整體結構

YOLOv5 是一種single-stage 的目標檢測算法，它結合了以往YOLO 系列的諸多優點，有著不錯的精準度以及實時性表現。YOLOv5 包含多種版本，包括YOLOv5-N、YOLOv5-S、YOLOv5-M、YOLOv5-L 和YOLOv5-X等，通過調整配置文件可以自由的改變網絡的深度和寬度。YOLOv5有著出色的可擴展性，在生產環境當中有著廣泛的應用部署。YOLOv5 的網絡結構如圖1所示。

圖1 YOLOv5網絡結構Fig.1 Network structure of YOLOv5

1.2 損失函數

YOLOv5 采用了分類損失、定位損失以及置信度損失三種損失函數來評估算法的預測性能。交并比（intersection over union，ⅠoU）是一個計算定位損失的簡單函數，通過計算交并比來評估兩個邊界框的重疊程度。然而，ⅠoU 有著諸多的缺陷，無法應用于實際情況。如今，定位損失的計算方法有著許多不同的改進版本，常見的如GⅠoU[28]、DⅠoU 和CⅠoU[29]等，其中CⅠoU 是一種考慮了更多優化策略的損失函數，有著比較好的評價準確度。最新的YOLOv5算法使用了CⅠoU函數來計算定位損失。ⅠoU 以及CⅠoU 的表達式如式（1）和式（2）所示：

其中，b和分別表示預測框和真實框，ρ表示兩者之間的歐式距離，C表示兩者的最小閉包區域內的對角線距離。v和α分別為長寬比評價參數和平衡因子，其公式如式（3）、式（4）所示：

2 YOLOv5網絡改進

作為當前流行的目標檢測算法，YOLOv5已經整合了大量的優化策略，但其提取到的特征易受噪聲的影響、特征信息的豐富程度不足等問題使得YOLOv5 容易出現錯檢或漏檢的問題。對此，本文設計了改進的YOLOv5檢測算法，能夠更加有效地檢測交通標志。

2.1 融合坐標注意力機制

注意力機制可以降低背景噪聲帶來的干擾，使得神經網絡更關注于目標物體的顯著特征區域，生成質量更優的特征圖。常見的注意力機制從特征通道[30]或者特征空間域[31]的角度出發，獲取目標信息在不同通道和空間維度上的重要性權值。但是這種方法僅可以捕獲到物體的局部信息，缺乏對長范圍依賴特征的捕獲能力。坐標注意力CA是一種能夠產生精確位置感知的注意力機制，能夠在空間方向進行位置感知，使得網絡能夠在更大的區域上進行注意力關注。坐標注意力同時考慮了特征通道間的關系以及位置信息，能夠更好的定位敏感區域。坐標注意力機制主要由坐標信息嵌入和坐標注意力生成兩個部分來構建對目標的長范圍依賴，圖2為坐標注意力機制的結構組成圖。

圖2 坐標注意力機制的結構Fig.2 Structure of coordinate attention mechanism

2.1.1 坐標信息嵌入

不同于采用二維全局池化來計算通道注意力，坐標注意力機制將二維全局池化拆分為兩個一維的編碼過程，分別從水平和垂直兩個方向獲取位置信息。具體而言采用一對尺寸為(H,1)和(1,W)的池化核對輸入特征的每個通道進行水平和垂直方向的特征編碼，得到兩個方向的感知特征，計算過程如式（5）、式（6）所示：

其中，表示垂直方向上的感知特征，表示水平方向上的感知特征，Pc表示來自上層網絡的輸入特征，下標c為特征向量的所屬通道。

2.1.2 坐標注意力生成

在得到感知特征之后，就可以對通道信息進行編碼。編碼時首先將兩個方向的感知特征進行拼接，再使用一個卷積核為1×1 的卷積對通道進行壓縮。隨后使用批標準化和非線性回歸來編碼兩個不同方向的空間信息，得到注意力關系圖fc，如式（7）所示：

在得到注意力關系圖后，將其先后經過切分、1×1卷積變換和激活函數激活得到最終的區域權重和，將其作用于輸入特征Pc，就可以得到注意力增強后的特征圖。其中垂直區域權重的表達式如式（8）所示，水平區域權重的表達式如式（9）所示，調整后的特征如式（10）所示：

其中，和為切分之后的兩個獨立的張量，σ表示sigmoid激活函數，Dc為經過注意力調整后的特征圖。

本文在C3 模塊的輸出端連接坐標注意力機制，形成新的C3CA模塊。相較于在網絡當中單獨插入CA模塊，這種方法可以減少網絡層數的占用，計算效率更高。新的C3CA 模塊融合在主干網絡當中有著最大感受野的位置，可以充分地捕獲全局特征信息，有效地發揮注意機制的作用。

2.2 損失函數的改進

雖然CⅠoU 考慮了邊界框的相交面積、中心點距離以及邊界框的長寬比，但是長寬比的衡量參數v計算比較復雜，降低了模型的收斂速度。當v滿足條件{(w=kwgt,h=khgt)|k∈R+}時參數v就會失效，無法反映邊界框的差距。進一步地對v求偏導數，可以得知w和v不能同步增減，阻礙了算法評估邊界框相似度的準確性。

交通標志有著眾多的類別，常見種類如警告標志、強制標志和禁止標志，而多數類別的標志特征不夠明顯，識別起來存在困難；同時，處在室外場景下的交通標志會受到多種因素的影響，使得算法在樣本分類時會產生大量的負例，進一步降低了難分樣本的識別?；诖?，本文采用Focal-EⅠoU 損失函數取代默認函數，提升算法對多分類的識別精確度和魯棒性。Focal-EⅠoU 由兩部分組成，分別是Focal Loss[32]和EⅠoU 損失函數。EⅠoU 取消了對邊界框長寬比的計算，改為邊界框長寬值的回歸，解決了w和v不能同步增減的問題。而引入Focal Loss 是因為Single-Stage 算法在訓練時更容易受到難易樣本以及正負樣本不均衡問題的影響，導致模型泛化能力的降低，而Focal Loss通過平衡不同類別和不同質量樣本的權重，減少對易分類樣本的依賴，更加關注高質量樣本，提高對難分類樣本的學習能力。Focal-EⅠoU的公式如式（11）、式（12）和式（13）所示：

式中，LIoU為ⅠoU損失，Ldis為距離損失，Lasp為方位損失，wc和hc為包含兩個邊界框的最小閉包區域的寬度和高度，參數α、β和γ為控制抑制程度的超參數，用來平衡有益梯度和抑制有害梯度對模型的影響，C為保持函數連續的常數值。

2.3 融合GSConv卷積

深度可分離卷積（depth-wise separable convolution，DSC）是一種輕量級的卷積結構，通常情況下，在網絡當中部署DSC 能夠有效地緩解計算成本帶來的壓力，但隨之而來的問題就是檢測精度的大幅度下降。由于DSC在計算過程中拆分處理每個通道的信息，丟失了大量的隱藏連接，其特征提取能力不如普通卷積。因此，本文參考了一種更優秀的DSC 結構GSConv。相對于標準卷積，GSConv參數量更少，更適合于構建輕量級的檢測模型。

如圖3所示，GSConv是由標準卷積、DSC和隨機排序所組成的混合卷積結構，通過隨機排序混合標準卷積和DSC 所產生的特征圖，使得標準卷積所保留的特征信息滲透到DSC內部，保持通道間的隱藏連接，提高特征的豐富程度?？紤]到主干網絡的優勢是特征提取，本文將GSConv模塊部署到網絡的頸部，在保證特征圖質量的同時降低對模型推理時間的影響。

圖3 GSConv模塊結構Fig.3 GSConv module structure

2.4 增加小尺寸檢測層

YOLOv5 采用了特征金字塔網絡FPN 以及路徑聚合網絡（path aggregation network，PANet）[33]相結合的結構來融合不同尺度的特征。然而，默認融合路徑產生的特征圖尺度最大為80×80，按照等比縮放的原則，原圖像相應區域的物體在特征圖當中占比只會更小，這不利于小尺寸物體的檢測。因此，本文將頸部網絡進行加深，產生尺度更大的特征圖。具體來說就是在FPN結構當中添加一個上采樣層，產生160×160 大小的特征圖，再與骨干網絡的P2 輸出端進行拼接。同時充分利用大尺寸特征圖的優勢，在PAN結構中將特征進行一次下采樣，增強小尺寸特征圖的表達能力。最后得到4種不同尺度的特征圖（160×160，80×80，40×40，20×20）分別用來檢測小尺寸、中尺寸、大尺寸和最大尺寸的物體，在不增加過多計算量、不損失檢測精度的前提下獲得更好的小尺寸物體檢測效果。調整后的網絡結構如圖4所示。

圖4 調整后的特征融合網絡結構Fig.4 Structure of adapted feature fusion network

由于更改了特征融合網絡，原有的錨框不再適用，因此本文基于TT100K 數據集使用K-means 聚類算法來重新計算新的錨框，聚類結果如表1 所示。對比默認錨框，新的錨框尺寸更小，更符合交通標志檢測的實際情況。

表1 K-means算法聚類結果Table 1 Cluster results of K-means algorithm

2.5 改進后的整體結構

改進后的網絡整體結構如圖5所示。

圖5 改進算法的網絡結構Fig.5 Network structure of improved algorithm

3 實驗結果與分析

3.1 實驗環境

實驗所采用的硬件與軟件環境，如表2所示。

表2 實驗環境Table 2 Experimental environment

除此之外，網絡輸入的大小為640×640，啟用MOSAⅠC圖像增強；模型訓練時的batch size 為自動確定，訓練周期設置為200；權重參數優化器使用隨機梯度下降（SGD）算法，初始學習率為0.01，使用余弦周期退火調整學習率。

本文采用TT100K[34]數據集來訓練和驗證改進后的算法。TT100K是一個大型的中國交通標志檢測基準數據集，單張圖像的分辨率為2 048×2 048，在標志尺寸、角度和遮擋程度等方面都有很大的變化。由于該數據集標注了數百種檢測類別，而多數類別樣本量不足，會影響模型的訓練效果。本實驗從中篩選出了樣本數大于100的45個類別，總共8 293張圖片，按照8∶1∶1的比例劃分訓練集、驗證集與測試集。由于不同類別的訓練樣本數量有較大差異，使用copy-paste 功能對訓練樣本進行擴充。

3.2 評價指標

本實驗選擇了一些常見指標來評價檢測算法的性能，包括精準率（precision）、召回率（recall）、F1 分數、mAP@0.5、mAP@0.5：0.95、參數量、FLOPs 和每秒幀速率FPS。F1分數是一個綜合指標，同時考慮了精準率和召回率來評價算法在正負樣本上的性能表現。均值平均精度（mAP）用于衡量多類別目標檢測的準確性，是所有類別平均精度（AP）的均值。mAP@0.5表示ⅠoU閾值為0.5時所有類別的均值平均精度；mAP@0.5：0.95表示ⅠoU閾值為0.5到0.95時的均值平均精度，其步長取0.05。

3.3 實驗結果分析

3.3.1 消融實驗結果與分析

本文采用了多種方法來改進YOLOv5-S算法，本小節設計了幾組消融實驗來對比分析改進的效果，實驗結果匯總如表3所示。

表3 消融實驗Table 3 Ablation experiment單位：%

從表中可以看出，對比前兩種方法的實驗數據，整合了小尺寸檢測層后的模型在精準率、召回率和F1 分數上均提升了5.1 個百分點，同時mAP@0.5 提升了5.5個百分點、mAP@0.5：0.95 提升了5.6 個百分點，這說明新的小尺寸檢測層能夠顯著改善算法對交通標志的檢測效果，提升整體的性能表現；第3 種方法在此基礎上融合了坐標注意力機制，能夠輔助網絡在特征提取過程中捕獲目標信息，獲得更多有效的特征細節，訓練結果顯示各項指標均得到了一定程度的提升，對比上一種方法精準率提高了0.7個百分點，召回率提升了0.3個百分點，F1分數提升了0.5個百分點，mAP@0.5提升了0.6個百分點，mAP@0.5：0.95 提升了0.2 個百分點；第4 種方法采用了GSConv卷積模塊來取代網絡頸部的普通1×1卷積，實驗結果顯示整合了GSConv之后模型的精準率和召回率出現了一定的波動，F1分數有所下降，而mAP指標有著0.1個百分點左右的小幅提升，這說明GSConv在構建輕量化模型的同時也能夠有效地輔助網絡提取特征；第5種方法采用了Focal EⅠoU作為邊界框回歸的損失函數，Focal EⅠoU通過平衡不同類別和不同質量的樣本來提高模型的泛化能力，而EⅠoU 損失函數則克服了CⅠoU 的缺陷，提升多分類模型的魯棒性。通過分析實驗結果，在引入Focal EⅠoU損失函數之后模型的精準率和召回率維持在89.7%和82.8%，而mAP@0.5 和mAP@0.5：0.95繼續提升，達到了88.1%和68.5%?？偟膩碚f，這些改進方法顯著提升了模型檢測交通標志的能力，所帶來的效果是顯而易見的。

為了驗證不同的注意力機制對算法性能的影響，分別選取幾種不同種類的注意力機制進行對比分析，實驗結果如表4所示。

表4 不同的注意力模塊對算法的影響Table 4 Effect of different attention modules on algorithm單位：%

從表4 中可以看出，坐標注意機制CA 有著最好的F1 分數和mAP 精度表現，這說明坐標注意機制可以有效地構建物體的位置感知，實際效果優于常見的幾種注意力機制，更適合于交通標志的檢測。

改進模型在所有類別上的precision-recall曲線如圖6所示。得益于各種改進方法，綜合了所有改進策略的模型曲線有著最大的橫縱軸覆蓋面積，說明其在所有的檢測類別上有著最高的查準率和查全率。

圖6 所有類別的precision-recall曲線Fig.6 Precision-recall curves for all categories

為了直觀對比YOLOv5-S 和改進后的模型在每個類別上的精度，本文計算了每個類別的平均精度并制作柱狀圖，結果如圖7 所示?？偟膩碚f，改進后的模型對各個種類的交通標志都有著更好的檢測精度，對于某些類別如p12、ph4和ph5則有著顯著的改善。

圖7 YOLOv5-S和改進模型在所有標志類別上的平均精度Fig.7 Average accuracy of YOLOv5-S and improved models on various sign categories

圖8 為各個模型在訓練時的mAP 變化曲線?？梢钥吹皆谝胄〕叽鐧z測層后mAP保持著較快的增長速度，在100 輪左右達到了擬合狀態。而在引入Focal EⅠoU 損失函數后mAP 的增長速度開始放緩，直至訓練后期才逐漸超越其他模型，達到擬合狀態。

圖8 mAP曲線Fig.8 mAP curves

提升算法計算效率的一種途徑是使用TensorRT 推理引擎來優化深度學習模型的網絡結構和推理過程，減少模型的計算量和資源消耗。為了使用TensorRT 推理引擎需要把權重文件從.pt 格式文件轉換為.onnx 中間文件，再由其構建.engine 引擎文件。表5 為YOLOv5-S和本文模型在使用TensorRT 加速前后所耗費的推理時間。

表5 TensorRT加速對推理時間的影響Table 5 Ⅰmpact of TensorRT acceleration on inference time

從表5中可以看出，本文所提出的模型略微增加了推理時間，而在使用TensorRT 引擎加速后推理時間平均降低了約3 倍，有效地降低了計算延遲，節省計算資源，使得模型具有更好的實時性。

3.3.2 與其他算法的對比實驗結果與分析

本小節在相同的實驗環境下訓練了多種流行的檢測算法，包括YOLO系列、RetinaNet以及Faster R-CNN，實驗數據匯總見表6。其中YOLOv6、YOLOv7 以及DAMO-YOLO屬于較新的檢測算法，在網絡架構、優化策略以及復雜度等方面有著很大的不同，因此在網絡輸入端采取統一的輸入大小。

表6 與其他算法的性能對比Table 6 Performance comparisons with other algorithms

從表6當中可以看出，對比YOLOv3、YOLOv5-L以及YOLOX等參數量和FLOPs規模更大的檢測模型，本文模型有著最高的mAP@0.5和平均mAP@0.5：0.95，在檢測速度上處于領先。對比較新的模型如YOLOv6-S、YOLOv7以及DAMO-YOLO-S，本文模型的總體檢測精度更高，參數量及FLOPs 更少，檢測速度更快。對于小目標的檢測，本文模型的mAP@0.5：0.95 比YOLOv3 高出了8.1 個百分點，比YOLOv5-L 高出了3.0 個百分點，比YOLOX 高出了2.2 個百分點，這說明改進后的模型對小尺寸目標的檢測效果更加顯著。而YOLOv6-S、YOLOv7 以及DAMO-YOLO-S 更傾向于檢測中型和大型目標，對小目標的檢測不夠好。對比YOLOv5-S 模型，本文模型對于小目標的mAP@0.5：0.95 提高了6.7個百分點，對于全部目標則有著6.6個百分點的提升，參數量則減少了約4.2個百分點。雖然檢測精度得到了提升，但FLOPs也從16.1×109增加到18.7×109，對FPS也產生了一定的影響，但這沒有過多的影響到算法的實時性，改進后的模型依然有著83 FPS 的實時檢測速度。對比參數量以及FLOPs更少的YOLOv7-Tiny模型，本文模型在檢測精度上更優。其他模型當中文獻[38]的mAP@0.5 較本文模型低了0.8 個百分點，文獻[39]低了3.2個百分點，同時本文模型的檢測速度優勢更加明顯。對比RetinaNet和Faster R-CNN，兩者則達不到可靠檢測和實時檢測的需求，它們的性能表現均遜色于采用了更多優化策略的算法。

如圖9 為YOLOv5-S 和改進模型的檢測效果。圖中每個子圖的左上角為標志區域的放大圖，右下角是在160×160 的檢測層上繪制的熱力圖。從圖中可以看出YOLOv5-S 在檢測場景當中的小尺寸標志時給出的分數偏低，同時還存在漏檢的問題，而改進后的模型有著更高的檢測分數，漏檢問題得到了緩解。通過熱力圖可以看到YOLOv5-S的輸出有著更多的不均勻熱點，說明其受到了背景噪聲的干擾。而改進模型由于采用了坐標注意力機制，可以抑制噪聲帶來的干擾，熱點的分布也更多的集中在標志區域。

4 結束語

針對現有的目標檢測方法在檢測交通標志時出現的錯檢、漏檢和低精度問題，本文提出了一種改進YOLOv5-S的實時交通標志檢測算法。為了增強神經網絡對目標關鍵特征的關注度，提出了一種融合坐標注意機制的C3CA模塊，將其部署在網絡當中來感知物體的位置信息；使用Focal-EⅠoU損失函數使得算法更加關注高質量的分類樣本，提高對難分類樣本的學習能力；在網絡頸部融合GSConv卷積，減少模型參數，提升計算效率；最后改進頸部的特征融合路徑，將特征圖大小擴大一倍，同時使用K-means聚類算法更新錨框。實驗結果表明，改進后模型的mAP@0.5 和mAP@0.5：0.95 分別提升了6.4個百分點和6.6個百分點，其中對于小目標的mAP@0.5：0.95 提高了6.7 個百分點，模型的參數量減少了約4.2%。與其他的一些目標檢測算法相比，改進后的算法在交通標志檢測任務中更有優勢。未來的工作將在移動計算設備上開展實驗分析，實現實時可靠的道路交通標志檢測。