基于改進YOLOv4的X射線圖像違禁品檢測算法

穆思奇， 林進健， 汪海泉， 魏雄志

(武警警官學院 訓練基地， 廣東 廣州 510440)

收稿日期：2020-12-21

作者簡介：穆思奇(1969—)，男，教授。

通信作者：林進健(1993—)，男，講師，碩士。E-mail:dgszgdut@163.com

0 引言

X射線圖像檢測違禁品主要是對違禁品進行定位與分類，即用目標檢測算法自動從待檢測的安檢圖像中判斷是否有違禁品，并判斷違禁品的類別、位置及置信度。X射線是一種波長短、能量高的電磁波，能夠穿透一般物體。物體密度越低，X射線越易穿透。X射線源發出射線照射被檢測物品后，圖像采集器接收X射線，生成不同灰度大小的圖像，經過偽彩色處理后由專業人員對偽彩色圖像進行觀察、分析，在無需開箱的情況下判斷有無攜帶違禁品。為了有效應對日益增長的旅客運輸量，減少安檢人員工作量，加快安檢效率和降低漏檢風險，將人工智能方法應用于違禁品位置和種類檢測的研究已成為熱點之一[1-3]。

X射線圖像的成像結果主要與物品自身的密度、成分以及成像時空間位置等有關，最重要的是安檢過程中待檢測物品隨機性和物品擺放隨意性，導致X射線圖像與自然圖像相差較大，不利于安檢人員進行識別判讀。卷積神經網絡(CNN)具有強大的特征提取能力和權值共享等特點，得到廣泛應用研究，基于CNN的目標檢測算法也取得了進一步研究和應用，形成很多經典的目標檢測算法，如空間金字塔池化網絡(SPPNet)、單次多盒檢測器(SSD)、YOLO系列。盡管目標檢測技術取得了飛速發展，但由于X射線圖像違禁品檢測任務有別于其他目標檢測任務，應用上仍具有較大挑戰，存在很大的提升潛力和空間[4-7]，特別是X射線圖像成像背景復雜、物品間存在嚴重重疊、遮擋現象和違禁品多尺度等問題受到越來越多學者的關注[8-9]。

本文主要針對X射線安檢圖像檢測難點，同時考慮到安檢對實時性要求較高，以YOLOv4[10]算法為基礎網絡，利用CNN具有平移不變性，可有效提取背景復雜的目標特征，提出空洞密集卷積模塊和注意力多尺度特征圖兩個模塊：前者用于加強網絡對違禁品目標細粒度特征學習能力，提升遮擋違禁品的檢測精度；后者通過對融合后特征信息引入注意力機制，增強有益特征通道，有利于降低多尺度目標的漏檢率。實驗結果表明，在X光安檢領域公開的數據集，本文算法取得了令人滿意的效果，能有效提高X射線圖像檢測違禁品目標的精度，滿足安檢速度要求。

1 違禁品目標檢測研究工作

違禁品檢測具有十分重要的現實意義，運用圖像處理技術自主對X射線圖像進行違禁品分類和檢測研究工作發展迅速。在以傳統圖像處理算法的研究、探索與應用方面，文獻[11]針對車輪胎子午線檢測圖像中的質量問題，通過高斯- 拉普拉斯算子檢測邊緣和改進模板匹配算法，采用先全局掃描、后小范圍區域掃描來滿足實時性和精度，得到輪胎子午線圖像得到較理想的檢測效果。文獻[12]針對X射線安檢圖像的特點，使用小波分解重構的方法進行邊緣提取，進而使用形態學處理得到刀具違禁品形態特征元素，最后采用決策樹與隨機森林相結合方法降低了刀具識別錯誤率。文獻[13]實現了一種X射線行李掃描圖像中手槍目標的自動檢測系統，利用不同核大小的Sobel算子進行邊緣檢測，為每個方向設置一個支持向量機分類器來實現旋轉不變性，取得了較高的準確率，但對重疊目標的檢測效果有待研究。安檢系統生成的偽彩色圖像中含有重疊的紋理信息，利用傳統圖像處理算法難以提取到違禁品目標有效的紋理細節信息，特別是對重疊遮擋和方向變化的違禁品目標分類與檢測效果不佳。

相比而言，基于CNN的目標檢測算法則取得了更好的研究進展和效果。文獻[14]設計了一種基于改進SSD方法的檢測網絡，實現了基于X射線安檢圖像并且能夠滿足實時任務要求的限制品檢測模型，但對尺度變化和遮擋問題未考慮，檢測器對小目標檢測效果不理想；文獻[15]中通過基于顏色信息來提取前景特征，然后提出了一種基于深度卷積神經網絡(DCNN)的物體檢測框架Faster R-CNN檢測違禁品，但Faster R-CNN檢測速度較慢，難以達到實時檢測；文獻[16]通過使用YOLOv2算法對兩類槍支違禁品檢測問題達到較高的檢測精度，但該數據集復雜度不大和檢測物品種類較少。

綜上所述，單一的目標檢測算法不能完全滿足X射線安檢圖像違禁品檢測的需求，安檢任務對實時性要求較高，X射線安檢圖像特點導致檢測目標相互重疊遮擋，多尺度違禁品加大檢測難度，背景與違禁品密度相近的X射線安檢圖像泛化性差。

2 X射線圖像違禁品檢測算法

為解決第1節中所述問題，本文提出適用于X射線安檢圖像違禁品檢測的網絡，網絡結構如圖1所示。

圖1 本文網絡結構圖Fig.1 Network structure diagram

本文以精度和速度都表現出色的YOLOv4算法為基礎，首先由主干特征提取網絡(記作CSPDarknet53)對輸入圖像進行特征提取，CSPDarknet53的輸出進行3次卷積后作為空間金字塔池化(SPP)模塊的輸入，SPP輸出經過通道拼接和3次卷積得到的特征圖，與殘差模塊3和殘差模塊4輸出的特征圖輸入到路徑聚合網絡(PANet)中，利用上采樣鏈路中將高層特征的語義信息與低層特征的高分辨率信息相融合；然后將融合后特征信息輸入本文設計的空洞密集卷積模塊，進一步精細地合并多尺度信息，再沿著從低層到高層的信息傳輸路徑，通過下采樣加強特征金字塔；最后將不同層的特征圖輸入到注意力輔助模塊進行融合，聚合成針對任務的更高級語義特征來做預測，從而達到整體性能提升的效果。

2.1 空洞密集卷積模塊

X射線檢測系統生成的偽彩色圖像中物品紋理信息相互重疊遮擋，導致圖像中違禁品目標信息不完整，特別是高密度違禁品成像信息會覆蓋低密度違禁品成像信息，質地接近違禁品相互疊加遮擋，導致算法模型出現漏檢、誤檢現象，從而影響違禁品檢測的召回率和準確性。本文設計的空洞密集卷積模塊如圖2所示。對輸入特征X，利用密集卷積加強對特征的學習能力，通過不同卷積膨脹率來擴大網絡感受野，得到加強特征X′輸出，從而提高對遮擋違禁品的檢測精度。

圖2 空洞密集卷積模塊Fig.2 Dilated dense convolution module

為了減少引入過多額外參數，利用不同大小的卷積核對特征圖進行卷積操作，提高捕獲不同尺度的違禁品目標能力。為了精細地合并多尺度的信息，使用密集連接，使感受野每個層都接受其前面所有層作為其額外輸入，然后輸入到下一個感受野層，從而加強了特征傳播。

使用密集連接多個空洞卷積疊加時，減少損失信息的連續性與相關性，避免產生網格效應，采用3×3卷積核和膨脹率為1、2、5循環結構[17]。

為了保持初始輸入的粗粒度信息，對原始輸入特征進行全局平均池化壓縮，見(1)式，再通過上采樣恢復特征尺寸與空洞密集連接層的輸出拼接起來，并將拼接結果輸入到1×1卷積層，以融合粗粒度和細粒度的特征。

(1)

式中：zc表示通道全局平均池化輸出結果；F(·)表示對通道全局平均池化映射函數；μc表示某一個通道特征；W表示寬度；H表示高度；i、j表示特征圖像素的索引。

2.2 注意力多尺度特征圖

融合不同尺度的特征對網絡性能有較大提升，主要表現在：低層特征分辨率高，細節信息豐富，對位置平移旋轉比較敏感，但其語義性更低，噪聲更多；高層特征分辨率低，對象語義信息豐富，但對細節的感知能力較差。為了充分利用不同特征層語義信息，通過融合高低層特征信息對不同尺度大小的違禁品進行分類和定位目標。但并不是所有的信息都會對目標檢測精度有效果，過多冗余信息可能會減弱了語義信息和位置信息的依賴關系。借助DCNN的有效信道注意(ECANet)[18]、選擇核心網絡(SENet)[19]注意力機制思想，通過改善特征圖不同通道的權重系數，增強有益特征通道并抑制無用特征通道，可實現特征通道自適應校準。本文將CSPdarknet53骨干網絡輸出的3個有效特征圖經由高低層特征信息融合后加入注意力機制，聚合成針對違禁品檢測任務的注意力多尺度特征圖，再輸出到檢測頭部中。多尺度特征圖加入注意力機制后形成的注意力多尺度特征圖如圖3所示，圖中C表示通道數。

圖3 注意力多尺度特征圖Fig.3 Attention multi-scale feature

由圖3可知：注意力模塊對輸入的融合特征信息的一個分支進行擠壓操作，得到一個C×1×1的向量，然后特征激活過程，利用一維卷積計算得到每個通道的權值后進行激活函數處理；接著恢復原來特征圖尺寸；最后通過乘法將其逐通道加權到初始的特征上，完成通道維度上對原始特征的重標定，再輸入檢測頭部中。一維卷積的卷積核大小通過一個函數來自適應，使通道數較大的層可以更多地進行跨通道間的信息交互。

自適應卷積核大小的計算公式為

(2)

式中：k為自適應卷積核大小結果；ψ(C)表示對通道C進行非線性映射；γ為縮放因子，在這里取2.

2.3 損失函數

在目標檢測中，損失函數的優劣對模型收斂的效果有很大影響。YOLOv4算法的損失函數由邊界框回歸損失、置信度損失和分類損失3部分組成，損失函數如下：

Loss=bbox_loss+conf_loss+prob_loss，

(3)

式中：Loss為損失函數；bbox_loss為邊界框回歸損失；conf_loss為置信度損失；prob_loss為分類損失。

在計算邊界框回歸損失中常使用均方誤差(MSE)，但MSE損失函數將檢測框中心點和寬、高等坐標信息作為獨立變量，實際上框的中心點和寬、高存在一定關系。因此，引入交并比(IoU)損失代替MSE損失函數，預測框與真實框的重疊度越高，IoU值越大。IoU的計算公式如下：

(4)

式中：A表示預測框；B表示真實框。

基于此思想，文獻[20]對其進行改進，并提出一種新的損失函數(記作CIoU損失)，CIoU損失將目標與Anchor之間的距離、重疊率、尺度以及懲罰項都考慮進去，克服了預測框與真實框不重合、缺失兩邊界框中心點距離等信息的不足，使目標框回歸變得更加穩定，能夠更好地反映預測框與真實框的重合情況。CIoU損失的計算公式如下：

(5)

式中：p2(b,bgt)表示預測框和真實框中心點的歐式距離，b表示預測框的中心點坐標，bgt表示真實框的中心點坐標；c表示能夠同時包含預測框和真實框的最小閉包區域的對角線距離；α為一個正數，

(6)

v用來測量長寬比的一致性，

(7)

wgt表示真實框的寬，hgt表示框的高，w表示預測框的寬，h表示預測框的高。

由此得到本文使用的CIoU損失函數為

(8)

3 實驗結果與分析

本文算法的實驗過程包括實驗數據集與數據預處理、實驗對比和消融實驗三部分，由此可得出本文算法在X射線安檢圖像違禁品檢測上的有效性。

3.1 實驗數據集與數據預處理

本文實驗使用的數據集來源網絡公開，且由實際安檢場所拍攝的SIXray數據集[21]。SIXray數據集包含槍、刀、鉗子、扳手和剪刀5類違禁物品共8 900張X射線圖像。該數據集中圖像背景較復雜，違禁品與違禁品、違禁品與非違禁品會以任意數量和類型相互混合、重疊存在，故SIXray數據集能較好地反映安檢實際情況，具有很大的研究價值，滿足研究要求。

為了提高模型的泛化能力并獲得更好的訓練效果，在數據預處理階段，本文采用Mosaic數據增強的方法(見圖4)。首先從訓練數據隨機選取4張圖片進行翻轉、高斯模糊、色域變換等操作；然后對圖片隨機縮放尺寸；最后隨機拼接為一張新的圖片，同時獲得這張圖片對應的框。

圖4 Mosaic數據增強Fig.4 Mosaic data angmentation

Mosaic數據增強方法有效擴充了原始數據集數量，訓練時相當于一次性計算4張圖片的數據，不僅可以降低網絡模型訓練難度，而且有利于模型更好地學習安檢X射線圖像數據集中的背景特征，豐富圖像的上下文信息。同時，該方法的隨機縮放處理增加了很多小目標，平衡了原始數據集目標尺度問題，從而網絡具有更好的魯棒性。

3.2 實驗環境與評價方法

本文實驗使用的硬件環境為：Intel(R) Core(TM) i7-8750H CPU@2.20 GHz處理器，Nvidia GeForce GTX 1070 8GB顯卡，16GB內存；實驗使用的操作系統為Windows 10，采用Pytorch深度學習框架。

采用Pascal Voc 2012的評價標準均值平均精度(mAP)和每秒幀率(FPS)作為模型的評價指標。精確率P、召回率R、平均精度AP和mAP的定義分別為

(9)

(10)

(11)

(12)

式中：TP表示被預測為正樣本、實際為正樣本的數量；FP表示被預測為負樣本、實際為負樣本的數量；FN表示被預測為正樣本、實際為負樣本的數量；N表示類別數。一般地，mAP指標越高，模型的檢測效果越好。

FPS定義為模型1 s內檢測的圖像數，模型的FPS越高，檢測速度越快，實時性越高。

3.3 目標檢測算法實驗對比

本文選取3種具有代表性的單階段目標檢測算法(包括SSD[22]、YOLOv3[23]和YOLOv4算法)與本文改進算法進行對比實驗。其中SSD算法使用VGG19作為骨干網絡，YOLOv3算法使用Darknet53作為骨干網絡，YOLOv4算法和本文算法使用CSPDarknet53作為骨干網絡。在IoU=0.5時，SSD、YOLOv3、YOLOv4、本文算法4種算法在X射線圖像測試集上的mAP檢索結果及各類別目標預測結果如圖5所示。

圖5 4種算法測試集上的mAP結果及各類別目標預測結果Fig.5 mAP results and target predicted results on test sets by 4 algorithms

由圖5可以看出，YOLOv3、YOLOv4算法和本文算法的mAP比SSD算法的mAP高，其中本文算法在檢測精度上獲得最好的檢測效果。同時，與其他3種算法相比，本文算法對鉗子、槍、扳手、刀和剪刀5類違禁物品進行預測，均獲得最高的準確率，分別為80.69%、95.25%、78.20%、84.94%、80.91%. 4種算法的檢測性能如表1所示。由表1可以看出，與其他3種算法相比，本文算法的mAP最高，達到80.16%，高于文獻[21]中獲得的最高mAP值79.56%，本文算法的檢測速度相比YOLOv4算法FPS略有下降，但比SSD算法和YOLOv3算法FPS有所提升。

表1 4種算法的檢測性能Tab.1 Detection performances of 4 algorithms

進一步將本文算法與SSD、YOLOv3、YOLOv4 3種算法在X射線圖像測試數據集上進行檢測驗證，部分檢測結果可視化如表2所示。

由表2可見，SSD算法在該數據集上檢測違禁品的效果較差，有部分違禁品未能檢測出來，特別是重疊遮擋、小目標違禁品漏檢，YOLOv3和YOLOv4算法雖然檢出率和檢出精度有一定提升，但在低密度物品被高密度物品遮擋和相近密度物品相互遮擋兩種情況下容易產生漏檢：第1張X射線圖像中有3把刀重疊在一起，表明SSD、YOLOv3和YOLOv4算法均存在漏檢問題；第4張X射線圖像中有1把小剪刀小目標，表明SSD和YOLOv3算法均存在漏檢問題；本文算法在定位準確情況下表現出較高檢出率，對小目標有較好的檢測效果，在重疊遮擋情況下也表現出較低的漏檢率與誤檢率。

3.4 消融實驗

通過消融實驗驗證本文改進算法的有效性，得到實驗結果如表3和表4所示。其中，表3是預置條件和設置不同Trick(圖像分辨率、數據增強、正則化、損失函數)對X射線圖像違禁品檢測結果的影響進行評估，以確定最優的初始條件并論證模型的非結構改進作用。表4是在表3取得最優檢測結果的模型基礎上，增加本文提出空洞密集卷積模塊、注意力多尺度特征圖模塊與YOLOv4算法檢測效果對比，得到的本文設計的模塊對檢測性能的影響。

表3 不同Trick對X射線違禁品圖像檢測結果的影響Tab.3 Influences of different Tricks on detected resultsof prohibited items in X-ray image

表4 不同模塊對檢測性能的影響Tab.4 Influences of different modules on detectionperformance

由表3第2行和第3行可知，使用高分辨率圖像輸入訓練，比低分辨率圖像輸入訓練獲得更高的mAP值；由第2行和第4行、第2行和第5行可知，使用Mosaic數據增強和DropBlock正則化，對mAP分別提升了1.91%和0.85%；由第6行、第7行、第8行和第9行可知，使用CIoU損失函數，相比MSE、GIoU、DIoU損失函數獲得更高的值。

由表4可知：在檢測精度方面，改進后模型的mAP相比改進前模型的mAP提升接近2.29%；在檢測速度方面，改進后模型速度略有下降。對比改進前后多尺度特征融合網絡的檢測結果可以看出：增加了空洞密集卷積模塊后，相對于原始多尺度特征融合網絡，多尺度特征融合網絡有著更好的特征表達能力，mAP提升接近1.18%，增加注意力模塊改進后的網絡也有1.11%的提升。

4 結論

本文對X射線圖像中違禁品自動檢測算法進行了研究，針對X射線圖像中違禁品目標的特點，對YOLOv4檢測算法進行了改進，在SIXray公共數據集上驗證了改進后YOLOv4算法對X射線圖像中違禁品檢測效果。得到以下主要結論：

1)本文改進YOLOv4檢測算法X射線圖像違禁品檢測的mAP達到了80.16%，檢測速度為25幀/s.

2)提出空洞密集卷積模塊和注意力多尺度特征圖能夠在擴展網絡寬度、提高信息利用率的同時，保持較快檢測速度，促進檢測模型性能的提升。

3)本文改進YOLOv4算法能夠更好地完成X射線圖像中違禁物品的檢測。