復雜背景下SAR圖像近岸艦船目標檢測

李永剛，朱衛綱，黃瓊男，李云濤，何永華

（1.航天工程大學電子光學工程系，北京 101416；2.電子信息系統復雜電磁環境效應國家重點實驗室，河南 洛陽 471032）

0 引 言

合成孔徑雷達（synthetic aperture radar，SAR）是一種全天時、全天候，不受天氣和光照等條件影響的主動微波成像傳感器，在軍用和民用領域對艦船、飛機、車輛目標的監控具有重要作用。隨著SAR技術的不斷提高，SAR圖像艦船目標檢測也被廣泛應用于軍事和民用領域。當對?？吭诤０兜呐灤繕诉M行檢測時，由于海岸背景雜波的影響，針對?？吭诤０兜呐灤繕巳菀自斐陕z，同時容易產生較高的虛警。因此，提高SAR復雜背景下艦船目標的檢測精度，無論是在軍事領域還是在民用領域都具有重要的研究價值。

近年來，隨著卷積神經網絡（convolutional neural network，CNN）技術在SAR圖像艦船目標檢測領域的不斷應用，使得檢測效果得到了顯著的提高。文獻［1］采用淺層特征增強網絡結構，為了增加小尺寸目標特征提取網絡的適應性，引入了空洞卷積進行特征圖感受野的擴大。文獻［2］將單次多盒檢測器（single shot multibox detector，SSD）算法應用在SAR圖像艦船目標檢測，針對小目標檢測效果不佳采用融合上下文信息和遷移模型學習的方法進行創新。文獻［3］通過設計不同殘差網絡的殘差單元，改進特征金字塔網絡結構，引入小尺寸艦船目標的平衡因子進行損失函數的優化，提高小尺寸艦船目標的檢測效果。文獻［4］中采用穩定極值區域的決策準則代替閾值決策準則來選取候選區域，使用快速區域CNN（faster regional CNN，Faster RCNN）對SAR圖像艦船目標進行檢測。文獻［5］利用全卷積神經網絡對海面與陸地區域進行圖像分割，對排除地面雜波之后的海雜波建立統計模型，利用恒虛警率（constant false alarm rate，CFAR）進行艦船檢測。文獻［6］提出了提高檢測算法對不同場景的適用性，利用比重調節系數在損失函數中，使得訓練過程中更多地利用背景包含的復雜信息。文獻［7-8］提出了結合上下文信息的檢測方法，借助目標周圍的背景雜波特征與目標特征進行特征融合，提高艦船目標的檢測性能。文獻［9］采用海岸分割的方法進行近岸艦船目標檢測，提高近岸艦船目標檢測性能。

隨著深度學習技術在SAR圖像艦船目標檢測中的不斷發展，針對SAR圖像艦船目標的檢測率不斷提高，但針對復雜背景下SAR圖像艦船目標的檢測率仍存在檢測率低，漏檢率和虛警率高的問題。這是因為采用CNN對近岸艦船目標進行檢測時，容易受到海岸背景雜波的影響。同時，CNN只能提取目標區域相對規則的特征，對于?？吭诤０毒€的SAR圖像艦船目標，所擁有的邊界框包含了很多海岸的背景信息，在很大程度上影響網絡提取艦船目標的特征。采用CNN容易受背景海岸信息所影響。由于SAR圖像艦船目標具有不同的尺度信息，通過CNN進行特征提取時，不同的CNN具有不同的語義特征，隨著網絡層數的增加對小目標的語義信息的提取相對較少，直接應用在復雜背景下SAR圖像近岸艦船目標檢測對不同尺度的艦船目標無法取得良好的檢測效果。

本文針對復雜背景下SAR圖像艦船目標的檢測率仍存在檢測率低，漏檢率和虛警率高的問題，構建了復雜環境下近岸艦船目標檢測的數據集；為了提高復雜背景近岸艦船目標的檢測效果，在Yolov5（you only look once 5）的基礎上，對YOLOv5進行結構性的改進。首先，采用可變形CNN（deformable CNN，DCNN）提高網絡特征的表達能力。其次，為了將淺層特征和深層語義信息進行融合，通過借鑒級聯和并列的inception思想進行特征融合。為了降低特征提取的計算量，采用空洞卷積擴大視覺感受野，增強模型對復雜背景下近岸艦船目標不同尺度的適應性。最后，通過多組對比實驗和復雜環境下SAR圖像艦船目標的檢測結果進行分析，驗證了本文算法在SAR圖像復雜背景下近岸艦船目標檢測中的實用性和有效性。

1 復雜背景SAR圖像

SAR圖像艦船目標檢測任務中，目標與海雜波之間的區分較為明顯，這是由于目標的灰度特性明顯高于海雜波的灰度特性，使用多尺度檢測算法在簡單的海雜波背景下目標檢測效果較佳。但是在實際SAR圖像成像過程中，SAR圖像中往往會出現城市、港口、島礁等背景，這些背景往往具有很高的灰度特性，且分布隨機性較高，難以描述其統計特性，使用深度學習目標檢測的方法檢測率低，虛警率高。本文所提到的復雜背景是指在成像中具有港口、島礁等背景的SAR圖像。簡單海雜波背景和復雜背景圖像如圖1所示。

圖1 簡單海雜波背景和復雜背景圖像Fig.1 Simple sea clutter background and complex background image

2 算法

2.1 Yolov5檢測算法

Yolo（you only look once）是2016年 由Redmon等人提出的一種基于回歸的目標檢測算法。2020年推出了第5代Yolov5，包含4個目標檢測的版本Yolov5s，Yolov5 m，Yolov5 l，Yolov5 x，其 中Yolov5 x的網絡深度最大，特征圖寬度最大，檢測效果相比于Yolov4較好。不同的版本通過代碼修改寬度和深度，Yolov5包括輸入端、主干網絡、Neck網絡等部分，本實驗選擇了Yolov5 x進行訓練，Yolov5具體結構如圖2所示。

圖2 Yolov5網絡整體結構圖Fig.2 Overall structure diagram of Yolov5 network

Yolov5在目標檢測領域有著良好的檢測性能，主要原因如下：①輸入端采用Mosaic數據增強，自適應錨框計算，自適應圖像縮放減少填充帶來的計算冗余，豐富特征數據的多樣性，有利于提高目標檢測的性能。②主干網絡采用跨階段部分網絡（cross stage partial network，CSP）模塊，CSP模塊增加了CNN的特征表達能力，能夠保持特征提取的準確性的同時降低網絡的參數和計算機內存成本的消耗。③特征融合模塊采用特征金字塔網絡（feature pyramid network，FPN）＋感知對抗網絡（perceptual adversarial network，PAN）結構，通過FPN層的特征提取采用自頂向下的方式針對強語義特征進行提取，而特征金字塔針對強定位信息采用自底向上的方式。通過不同的主干層對不同的檢測層進行參數聚合，提高目標檢測性能。

盡管Yolov5算法在SAR圖像目標檢測中取得了不錯的檢測效果，但是針對復雜背景下SAR圖像近岸艦船目標檢測存在著檢測率低，虛警和漏檢率高的問題，主要原因如下：①Yolov5主干提取網絡采用CNN，只能規則地針對目標區域的特征進行提取，而對于?？吭诤０兜腟AR圖像艦船目標，由于海岸背景雜波的影響，在CNN對SAR圖像艦船目標特征提取時，容易受到背景雜波信息的干擾，影響特征提取網絡的特征表達能力。②主干提取網絡沒有針對上下文信息進行融合，針對不同尺度的近岸艦船目標，檢測效果不佳。

2.2 改進的Yolov5檢測算法

本文將Yolov5算法應用于復雜背景下近岸艦船目標檢測當中，通過改進主干網絡特征提取能力，提出了采用DCNN和多特征融合的方法，提高了復雜背景下近岸艦船目標檢測性能。

2.2.1 DCNN

原始的Yolov5目標檢測算法主干網絡采用的是CNN進行特征提取，CNN針對復雜環境下近岸艦船目標的特征提取容易提取海岸背景信息，很大程度對特征提取產生了一定的局限性。因此，本文在特征提取部分CSP2_1模塊中引入DCNN（簡稱為DCNC SP2_1）代替CNN，具體結構如圖3所示。

圖3 改進的DCNNFig.3 Improved DCNN

針對SAR圖像特征提取網絡的卷積操作是卷積核與SAR圖像上對應的目標區域進行乘積運算，其表達式為

式中：和分別表示輸入SAR圖像艦船目標特征圖和SAR圖像艦船目標輸出特征圖；為SAR圖像艦船目標特征圖上像素的位置；為卷積核的元素數量；w 為第個位置處的權重；p 表示預定義的采樣偏移。

CNN只能規則地針對目標區域的特征進行提取，對于?？吭诤０毒€的艦船目標，由于海岸背景雜波存在著較高的灰度特性，在CNN進行特征提取時，背景雜波信息容易對特征提取網絡的特征表達能力產生干擾。為了避免CNN對海岸信息的特征提取，使得?？亢０毒€的艦船目標更好地特征表達。本文引入了DCNN針對SAR圖像特征提取的采樣點進行自適應性調節，其表達式如下所示：

式中：Δp 為可學習的偏移量；Δm為可學習的縮放因子，取值范圍為［0，1］。

如圖4所示，假設SAR圖像區域已經被中間層CNN進行了特征提取，接著對中間特征點進行采樣，圖中圓點代表卷積核采樣點位置。CNN針對SAR圖像特征圖進行特征提取時，卷積核不可避免地針對海岸信息進行采樣，對艦船目標特征提取造成了影響。而DCNN為了避免對海岸信息的采樣，通過特征自適應的進行采樣點的調節。在采樣過程中，DCNN通過設置可學習的縮放因子Δm調節采樣過程中特征的權重。實驗結果表明，采用DCNN提高了SAR圖像目標檢測網絡的特征表達能力。

圖4 CNN和DCNNFig.4 CNN and DCNN

2.2.2 多特征融合

SAR圖像復雜背景下近岸艦船目標存在著不同尺度的艦船，直接使用Yolov5算法主干提取網絡提取特征并不理想，其主要原因是并沒有對上下文特征信息進行融合。本文采用Yolov5x進行訓練，隨著Yolov5的主干提取網絡加深，深層的特征提取網絡只能采用淺層特征圖的語義信息，對不同尺度的艦船目標的檢測，容易造成明顯的漏檢。因此，本文為了提高不同尺度艦船目標的檢測效果，考慮將SAR圖像淺層特征圖通過級聯的方式和深層特征提取的語義信息進行融合，提高Yolov5特征提取網絡對不同尺度SAR圖像艦船目標檢測的適應性。具體改進后的結構如圖5所示。圖5（a）為原始的Yolov5中空間金字塔池（spatial pyramid pooling，SPP）網絡模塊，圖5（b）為改進的網絡模塊。本文核心是在主干特征提取網絡SPP模塊中進行改進借鑒inception模塊思想，通過設計多個金字塔模塊級聯和并列的多特征融合結構（multi feature fusion-1／2／3，MFF-1／2／3），融合不同層級上的SAR圖像艦船目標特征圖，實現SAR圖像不同尺度艦船目標的特征圖的融合。采用多特征融合的SAR圖像艦船目標檢測方法，能夠有效提高艦船目標的檢測精度和算法的魯棒性。針對不同尺度的復雜背景艦船目標有良好的檢測效果。

圖5 多特征融合網絡結構Fig.5 Multi-feature fusion network structure

金字塔模塊如圖6所示，金字塔模塊1采用A1_1×1的卷積；金字塔模塊2采用A2_1×1卷積，A3_1×1卷積，B1_3×3卷積；金字塔模塊3采用A4_1×1卷積，B2_3×3卷積，5×5卷積；金字塔模塊4采用A5_1×1卷積，B3_3×3卷積，7×7卷積；針對不同尺度的艦船目標進行特征融合，為了不增加計算量B*_3×3卷積（*＝1，2，3），5×5卷積及7×7卷積采用空洞卷積方式，增加感受野，提高不同尺度艦船的特征提取。

圖6 金字塔模塊Fig.6 Pyramid module

對于一個卷積層，如果希望增加輸出單元的感受野，一般可以通過3種方式實現：①增加卷積核的大??；②增加層數，例如兩層3×3的卷積可以近似一層5×5卷積的效果；③在卷積之前進行匯聚操作。而前兩種方式會增加參數數量，第3種方式會丟失一些信息。本文采用空洞卷積的方式，不增加參數數量同時增加了感受野?？斩淳矸e即通過給卷積核插入“空洞”變相地增加其大小。如果在卷積核的每兩個元素之間插入-1個空洞，卷積核的有效大小為

式中：稱為膨脹率。正是利用空洞卷積擴大卷積核進而增加卷積感受野，增大多尺度任務的上下文信息，使得對特征圖可以提取更加豐富的特征。

圖7 空洞卷積的應用Fig.7 Application of null convolution

3 實驗結果與分析

3.1 實驗平臺

本文所有的實驗均在pytorch框架上，利用Yolov5檢測算法的基礎上開展。實驗的硬件平臺：CPU：Intel（R）Core（TM）i9-9820X＠3.30 GHz，GPU：TITAN V，32 G內存；操作系統Window10；軟件方面：基于深度學習架構Pytorch和Python開發環境Pycharm；采用CUDA10.1加速。

3.2 數據集構建

為了適應復雜環境SAR圖像近岸艦船目標檢測，構建一個用于復雜環境SAR圖像近岸艦船目標檢測的數據集，數據集模仿PASCAL VOC數據集構建，包含靠近港口和大片海域的艦船目標，數據集共2 778張圖像，在Yolov5網絡的訓練階段，將數據集按照8∶2的比例分為訓練集和測試集。數據來源主要是目前公開的衛星高分三號、TerraSAR-X衛星、哨兵系列衛星等。每張圖采用labelimg進行艦船標注。圖8所示為部分數據集SAR艦船圖像，包括不同尺度的SAR艦船目標，也包含密集和稀疏型艦船。

圖8 數據集部分SAR圖像艦船目標Fig.8 SAR images of ship targets in part of the data set

3.3 評價標準

基于CNN的SAR圖像艦船檢測算法性能的評價標準與一般的光學圖像的評價標準是相同的。本文將準確程度作為SAR圖像艦船檢測算法的衡量標準。

準確程度是指檢測算法輸出結果的準確度的高低，主要通過以下4個指標進行度量：精確度，召回率，平均準確率AP，1分數1，這4個指標的定義或計算公式分別如下：

式中：TP，FP，FN分別為正確檢測的目標個數、虛警的目標個數、漏檢的目標個數。從式（4）～式（7）可以看出，的實際含義為實際正樣本中被預測正確的概率；為正確檢測到的目標占所有待檢測目標的概率；AP是指不同召回率時精確率的平均值，即曲線與坐標軸形成的區域的面積，取值范圍為［0，1］，AP是基于CNN的目標檢測算法中最常用的準確率指標，待檢測的目標類別數大于1時，以AP的算術平均值m AP來衡量算法性能，本文研究中待檢測目標只有一類艦船目標，因此全部以AP作為評價指標。

處理速度：處理速度主要通過檢測所有圖片消耗的平均時間和計算每秒處理圖像的幀數，即算法檢測速度（frames per second，FPS）進行量化評價，平均時間與檢測速度FPS兩者互為倒數，即

顯然，平均時間與檢測速度FPS這兩個評價指標與計算機硬件資源的性能密切相關，相同算法在不同的計算機硬件資源上的處理速度存在著差異。

3.4 實驗方案

實驗主要包含兩部分：各處改進對算法性能的影響和檢測性能評估。各處改進對算法性能的影響實驗用于驗證本文對Yolov5算法各處改進和優化的實驗效果，包含DCNN對算法性能的提高，可變形卷積多特征融合對算法性能的提高。為了方便引用和說明，本文對增加DCNN的Yolov5簡稱為D-Yolov5（deformable Yolov5），對改進的可變形多特征融合Yolov5簡稱為DFF-Yolov5（deformable feature fusion Yolov5）。

現在她6歲，枕邊書是卡爾維諾的《意大利童話》。她不太愛看《牛頓科學館》，喜歡《米勒的花園》，迷上了花木的名字，我為她備了花盆和砂土，卻忘了小朋友愛玩沙的天性。

3.5 測試結果與分析

為了驗證改進的Yolov5算法應用于復雜環境下近岸艦船目標上的檢測性能，在本文所構建的數據集的基礎上，分別針對Yolov5，D-Yolov5，DFF-Yolov5進行實驗驗證，具體結果如表1所示。

表1 實驗結果對比Table 1 Comparison of experimental results

通過表1對比Yolov5，D-Yolov5和DFF-Yolov5的各項性能指標，D-Yolov5的準確率相比于Yolov5提高了0.13%，DFF-Yolov5的準確率相比于Yolov5提高了5.09%，平均準確率達到了85.99%。DFF-Yolov5的精確度相比于Yolov5提高了1.42%，平均精確度達到了93.20%。但是DFF-Yolov5的檢測效率相比于D-Yolov5和Yolov5有所降低，主要原因在于本文算法引入了DCNN和多特征融合模塊，雖然提高了復雜環境下近岸艦船檢測的平均準確率，但是網絡層數的增大導致計算量增加。

為了充分地展示出所提算法的各項性能，圖9為部分有代表性的SAR圖像艦船檢測結果。其中，矩形框為算法預測的艦船邊界框，邊界框上方的“ship”為算法預測的該目標的類型，其后的數字為該目標為艦船的置信度；橢圓內的目標為能夠證明DFF-Yolov5算法性能的艦船檢測結果?？梢钥闯?，DFF-Yolov5對SAR圖像復雜背景下近岸艦船檢測性能的提高比較顯著，主要體現在以下3個方面。

（1）改善了不同尺度的艦船檢測：由圖9可知Yolov5，D-Yolov5和DFF-Yolov5對大尺度的艦船目標檢測效果較佳。由表2和圖9可知，針對艦船目標A1，E1，F1，G1，H1像素占比較小的小尺度艦船目標，Yolov5出現漏檢。如（3，1）中，艦船E1僅占該圖像總面積的0.11%，Yolov5和D-Yolov5并沒有檢測出E1 和E2 艦船目標，而DFFYolov5對（3，3）中的E3艦船目標也能準確檢測，說明本文方法對不同尺度的目標檢測效果也很好。

表2 檢測結果Table 2 Test results

（2）實現了不同場景下的艦船檢測：如第1列為遠海艦船目標，2，3，4列都為復雜背景近岸艦船目標，由圖9可知不同的場景下DFF-Yolov5都能表現出良好的檢測性能。

圖9 Yolov5，D-Yolov5和DFF-Yolov5的檢測結果Fig.9 Detection results of Yolov5，D-Yolov5 and DFF-Yolov5

（3）提高了復雜背景下艦船的檢測準確率：如2，3，4列的圖像中目標。對比第4列中的I，J和K便能很好地說明這一點，同時將復雜背景下的（4，3）中的目標I3檢測為艦船的置信度從0.69提高到了0.83。另外一個值得注意的地方是，（4，1）中的目標I1，J1和K1，Yolov5并未檢測出來，而本文所提方法檢測的結果是目標是置信度分別為0.83，0.92，0.80的艦船目標，這部分區域檢測難度在于目標靠近海岸背景雜波復雜，對檢測干擾較大。在這種比較復雜的情況下本文所提方法能夠準確地檢測出目標，證明了該方法在復雜背景下的良好適用性。

本文算法通過引入DCNN和多特征融合模塊，提高了復雜背景下近岸艦船目標檢測的效果。由實驗可視化檢測結果可以看出，本文提出的方法對SAR圖像復雜背景下近岸艦船目標檢測算法的檢測能力得到了提高。

4 結 論

針對CNN在復雜背景下SAR圖像近岸艦船目標檢測中容易產生漏檢和誤檢的缺點，本文提出了DFF-YOLOv5目標檢測算法，針對于復雜背景下的SAR圖像艦船目標的檢測效果得到了明顯的提高。通過實驗對比分析，可以得到以下結論：①DFF-Yolov5檢測算法網絡結構相比于原始Yolov5檢測算法檢測精度明顯提升，虛警率明顯降低，DFF-Yolov5的平均準確率達到了85.99%。其最主要的原因是主干提取網絡中引入了DCNN和多特征融合模塊，增強了主干網絡的特征提取能力，提高了算法針對復雜背景下SAR圖像近岸艦船目標檢測的性能。②從可視化的檢測效果可以看出，本文算法在不同的場景下檢測性能得到明顯提高，漏檢和誤檢明顯下降。