基于雙支網絡協作的紅外弱小目標檢測

王強, 吳樂天, 李紅, 王勇, 王歡, 楊萬扣*

(1.東南大學 自動化學院, 江蘇 南京 210096; 2.東南大學 復雜工程系統測量與控制教育部重點實驗室, 江蘇 南京 210096;3.江蘇自動化研究所, 江蘇 連云港 222061; 4.南京理工大學 計算機科學與工程學院, 江蘇 南京 210094)

0 引言

當前主流的目標探測系統可分為3類: 基于可見光圖像的目標探測、基于熱紅外圖像的目標探測和雷達信號的目標探測系統。其中,熱紅外探測系統只對目標的溫度與本身的材料特性敏感,使得其在3類探測系統中脫穎而出,具有顯著優勢[1-2]:1)不依賴光照條件,可以全天時工作;2)非主動發射探測波方式,隱蔽性好;3)穿透能力強,基本不受環境因素如灰塵、云層等的影響,可以更好地識別虛假的偽裝目標。上述優勢使得基于熱紅外圖像的目標探測系統成為傳統基于可見光圖像與基于雷達信號的目標探測系統的有效補充。

鑒于此,紅外弱小目標檢測具有廣泛的應用,常用于軍事領域,例如跟蹤、防御及預警等[3]。除了軍事領域以外,它在其他多個領域都有著應用價值,如在醫學成像病理分析、海上救援等任務中,紅外弱小目標檢測技術有助于獲取很多用信息。因為檢測方法的效果極大地影響這些應用系統的性能,所以檢測的準確性至關重要。

然而,紅外弱小目標檢測面臨諸多挑戰。紅外圖像一般由背景、目標和噪聲3部分組成。一方面,紅外圖像的信雜比低,由于距離遠和大氣對紅外輻射的影響,紅外弱小目標信號通常非常微弱,且與背景差異不明顯,極易淹沒在背景中;另一方面,紅外弱小目標尺寸非常小、缺少結構性特征[3-7],增加了在實際應用中檢測紅外弱小目標的難度。

深度學習方法極大地推動了紅外圖像處理領域的發展,包括紅外檢測任務。通常紅外弱小目標檢測方法分為直接目標檢測方法和圖像語義分割方法。婁康[8]提出一種基于生成式對抗神經網絡的紅外目標檢測算法,并通過Gabor核函數實現對紅外圖像降噪處理。黃樂弘[9]針對空中紅外目標圖像的固有特點,在YOLOv3模型[10]的基礎上改進了邊緣損失函數,從而提高了檢測定位精度。楊其利等[11]通過在網絡中增加遞歸和殘差模塊來提升檢測效果。在紅外弱小目標檢測領域中,若直接使用通用的目標檢測或語義分割網絡,則檢測效果不理想,原因有:

1)紅外弱小目標的特點[12]:

①目標信號弱。目標和背景之間的對比度很小,導致目標容易被背景淹沒而抹去。

②目標尺寸小。目標的尺寸很小,通常低于9×9個像素,因此其結構特征很少。深度卷積神經網絡(CNN)通常都是采用卷積、池化等方法來提取目標的特征,通過堆疊多個卷積層、池化層或其他的下采樣層來提取淺層和深層特征,然后根據特征圖進行上采樣恢復。在此過程中圖像的分辨率會降低,紅外弱小目標特征幾乎可以忽略不計,甚至完全消失,容易導致下采樣過程中的小目標丟失,因此上采樣也無法恢復。在訓練過程中,網絡在靠后的特征層中失去了小物體的特征信息,因此會造成檢測性能的下降。

2)擴大網絡感受野帶來的問題。原因1進一步導致紅外弱小目標的結構特征非常少,局部來看,弱小目標與噪聲和背景干擾極為相似,需要借助全局分析來區分。在深度學習中表現為需要更大的感受野,在深度卷積網絡中,一般通過不斷降低特征圖像的分辨率來提高感受野,然而,這一過程一定程度降低了目標定位精度。

3)占空比不均衡問題。紅外圖像中,目標少且稀疏,絕大部分是背景區域,目標和背景的占空比極不均衡,導致一般語義分割網絡模型會傾向于關注背景像素識別為目標像素的錯誤,忽略目標像素識別為背景像素的錯誤,導致目標欠分割,甚至丟失。

此外,已有的基于圖像語義分割的紅外弱小目標檢測方法只設計了一個網絡,難以同時保持低虛警率和漏檢率。

本文針對紅外弱小目標圖像特點,提出一種基于兩支網絡協作的紅外弱小目標檢測模型(DualNet模型)。DualNet模型包含兩個分別針對紅外弱小目標檢測虛警率和漏檢率任務的子網絡,通過對兩個子網絡的結果進行融合輸出,進一步提高紅外弱小目標檢測的準確性。

1 圖像語義分割相關工作

圖像語義分割任務是輸入一個圖像(多通道或單通道),然后輸出與源圖像分辨率相同的圖像,每個像素點帶有分類標簽。圖像語義分割的基本算法思想是給出一張圖像I,將問題轉化為函數求解,從I映射到掩碼Mask,分割出物體的輪廓。

1.1 基于圖像塊的分割方法

針對一個像素,使用該像素為中心的鄰域圖像塊作為輸入用于神經網絡的訓練和預測[12-14],其缺點有:

1)占用內存量大。以圖像塊的大小為11×11為例,每次滑動窗口將得到一個分類結果,隨著滑動次數的增加,消耗的存儲量將不斷上升。

2)冗余計算。相鄰的圖像塊只在邊緣部分存在差別,因此針對每個圖像塊進行計算會有大量重復,導致計算效率較低。

3)圖像塊的大小限制了感受野大小。以全局觀來看待圖像較局部圖像塊來判別分類更加準確,因此圖像塊的大小限制了分類的性能。

1.2 基于全卷積網絡的圖像分割

全卷積網絡(FCN)用全連接層得到特征向量,再進行判別分類。FCN的輸入不受尺寸限制,將分類網絡的全連接層用卷積層替換,對最后一個特征圖進行反卷積操作。因此網絡輸出的圖像分辨率與輸入圖像保持一致,將每個像素當成一個樣本進行訓練,從抽象的特征圖中得到判別結果,同時保留輸入圖像中的空間結構信息。最后,在網絡輸出的特征圖上實現像素級的分類操作,得到輸出結果。經典CNN結構和FCN結構如圖1和圖2所示。

圖1 經典CNN結構Fig.1 Classic CNN network structure

圖2 FCN結構Fig.2 FCN simulation structure

1.3 基于U型網絡(U-net)的圖像分割

U-net采用對稱網絡結構[15-16],形狀如U形。下采樣過程稱為編碼器,它用來提取特征,得到深層和淺層特征,上采樣過程稱為解碼器,它結合了淺層相同分辨率的特征圖和深層信息,跨聯之后作為上采樣過程的輸入,因此逐級提升圖像精度。與FCN網絡特征拼接不同的是,U-net按照通道的維度進行拼接,在同樣大小的分辨率處形成更厚的特征。FCN融合時將對應像素點相加,特征維度不變。U-net 結構如圖3所示。

圖3 U-net結構Fig.3 U-net simulation architecture

2 基于DualNet協作的紅外弱小目標檢測方法

由于第1節中3類網絡模型包含較多的下采樣結構,導致網絡用于紅外弱小目標檢測的性能不佳。網絡設計中一個關鍵性的挑戰是在紅外圖像的漏檢率和虛警率之間找到一種平衡,盡可能地降低二者。然而這二者在一定程度上是對立的關系,通常在實驗中是采取相反的策略去減小二者的大小,正如傳統的圖像處理方法的最后一步是選取合適的閾值來進行圖像的二值化:為了降低虛警率,增大閾值;為了降低漏檢率,減小閾值。針對CNN框架固化圖像全局閾值的缺陷,本文將整個紅外弱小目標檢測任務劃分成兩個子任務來進行,提出了一種兼顧漏檢和虛警的圖像分割網絡DualNet。

2.1 網絡結構

傳統深度CNN方法使用單個網絡同時降低漏檢率和虛警率。與傳統的網絡訓練不一樣,本文將整個圖像語義分割任務分成兩個子任務,即采用兩個子網絡來完成圖像語義分割任務。子網絡分支1的目的是降低目標的漏檢率,即學習較低的閾值,使網絡具有較高的召回率,子網絡分支2的目的是在降低目標的虛警率,即學習較高的閾值,使網絡具有較高的精確率,最后采取一定的比例將兩個網絡輸出的結果融合得到分割結果。DualNet的整體結構設計如圖4 所示。

圖4 DualNet結構Fig.4 DualNet architecture

DualNet分為兩個子網絡,紅色框標記為子網絡分支1,綠色框標記為子網絡分支2,兩個網絡的輸入均為圖像I,分別經過多個模塊得到網絡分支1的輸出為S1,網絡分支2的輸出為S2,網絡最終的分割結果為S。S由S1和S2經過加權融合得到。為了更清晰地了解DualNet結構設計,圖5和圖6分別顯示了網絡分支1和網絡分支2的詳細結構,說明了各模塊的選取原因,從理論上闡明了網絡設計的合理性。

圖5 網絡分支1結構Fig.5 Architecture of SubNetwork 1

2.2 網絡分支1結構

圖6 網絡分支2結構Fig.6 Thearchitecture of SubNetwork 2

網絡分支1設計原則包含兩點:1)為了避免池化模塊可能丟失小目標,本文舍棄了池化模塊與標準卷積模塊,而是使用了空洞卷積,不僅保證了特征圖的空間分辨率,同時也保證了圖像的感受野[17-20];2)由于空洞卷積可能造成“棋盤”效應,網絡添加了空洞空間金字塔池化(ASPP)模塊[19],通過使用不同空洞率的卷積來提取不同感受野下的信息,高效利用了整張圖片信息。

記輸入圖像標記為I,分割結果標記為S1,網絡分支1對應的函數為F1,則網絡輸入到輸出之間的映射記為

F1(I)=S1

(1)

為了實現降低目標的漏檢率的目的,本文基于平滑的絕對值損失(Smooth L1),構建網絡分支1的損失函數:

(2)

MD1=SmoothL1Loss(S1,G)·G

(3)

FA1=SmoothL1Loss(S1,G)·(1-G)

(4)

Loss1=λ1MD1+FA1

(5)

式中:MD1和FA1分別代表網絡分支1的漏檢率和虛警率;G代表輸入圖像的真值;λ1是MD1的權重參數。

2.3 網絡分支2結構

語義分割模型大多是類似于U-net這樣的編碼器——解碼器形式[15],先進行下采樣,再上采樣到與原圖一樣的尺寸。設計思想包含3點:1)為了避免下采樣過程中小目標消失,防止上采樣過程中無法恢復,采用空間金字塔池化(SPP)模塊[21-23]來構造空間池化層,使特征圖的淺層特征和深層特征得到有效融合;2)依據經典的編碼器—解碼器架構,構建對稱網絡結構,將對應層的特征圖按通道級聯,充分的結合低層級精確的位置信息與高層級的高語義信息[22];3)標準卷積無法精確的學習不規則形狀的目標特征,因此在輸出部分舍棄了標準卷積,采用可形變卷積,通過學習偏置量使卷積的區域實現變形,從而挖掘更為準確的目標的形狀和尺寸信息,而標準卷積的卷積核則無法做到這一點[24-27]。

網絡分支2設計模塊如下:

1)通道注意力模塊[28],特征圖的尺寸由C×H×W變換為C×1×1,其中C、H、W分別代表特征圖的通道數、高度和寬度。通過卷積激活函數等運算得到對應掩碼,與原特征圖按通道相乘,從而分配給了每個通道不同的權重。

2)空間注意力模塊[29],與通道注意力模塊類似,特征圖的尺寸由C×H×W變換為1×H×W,經過激活函數后添加到原始的特征圖中,對原特征圖的每個像素點分配了不同的權重。

3)將通道注意力與空間注意力模塊并聯,目的是得到具有更強語義信息的特征圖。在編碼解碼的過程中,每個塊后面均添加通道—空間注意力模塊,從而提高了網絡提取圖片內部語義信息的能力,使得分割的結果更加精確。

4)ASPP模塊[21],通過將不同尺寸的池化層并聯,有效地提取了圖像的多尺度信息。ASPP模塊將圖像的局部特征和全局特征高效融合,有效地提取了特征圖的上下文信息。

5)可形變卷積[24],可形變卷積通過對特征圖的每個位置學習一個偏移量,使卷積核具有變形的效果。

記輸入圖像標記為I,分割結果標記為S2,網絡分支2對應的函數為F2,輸入圖像到輸出圖像之間的變換記為

F2(I)=S2

(6)

同樣地網絡分支2為了達到降低目標的虛警率的目的,本文也基于Smooth L1,構建網絡分支2的損失函數,如式(7)～式(9)所示:

MD2=SmoothL1Loss(S2,G)·G

(7)

FA2=SmoothL1Loss(S2,G)·(1-G)

(8)

Loss2=MD2+λ2FA2

(9)

式中:MD2和FA2分別表示網絡分支2分支的漏檢率和虛警率;λ2為FA2的權重參數。

2.4 兩支網絡融合

兩個網絡獨立訓練,即分別按照各自定義的損失函數完成訓練,獲得各自網絡的最優參數。為了使二者在整個分割任務中有機結合起來,需要設計讓網絡信息在二者之間協作合作,統一地抵近真實結果,采用式(10)融合二者分割結果:

S=αS1+βS2

(10)

式中:α和β為超參數,根據實驗效果取α=0.1,β=0.9最佳。

上述融合策略將網絡分支1和2的結果作線性加權,雖然簡單,但卻能充分利用兩支網絡的互補優勢。從表2實驗中的可視化結果觀察發現,網絡分支2的弱小目標識別能力(識別真假目標)強于網絡分支1,雖然會存在目標的欠分割,例如目標有3個像素,只分割出1個,但較少出現虛假目標;而網絡分支1的定位能力(檢測定位真目標)則強于網絡分支2,即網絡分支1雖容易檢測出了一些虛假目標,但真實目標都能全部檢測出來,并且分割較為完整。為此,加權融合策略可以一定程度上避免網絡分支2的目標欠分割、抑制網絡分支1輸出的虛假目標。

3 紅外弱小目標檢測結果與分析

3.1 紅外弱小目標檢測數據集

由于缺少紅外弱小目標檢測領域的標準數據集,本文在仿真合成的紅外圖像數據集上驗證算法的有效性。該數據集包括2類包含弱小目標的數據集,分別記為All Seqs和Single,其中All Seqs數據集包含504張圖像,Single數據集共有100張圖像。這里對數據集進行了擴充,從原本的圖像中隨機抽樣128×128的圖像塊作為輸入,依此將訓練集中圖像的數量擴充到10 000幅圖像。相關合成用于訓練的紅外圖像部分樣本如圖7所示。

圖7 紅外弱小目標檢測數據集中的典型訓練樣本Fig.7 Samples of the training set

3.2 評價標準

由于本文將弱小目標檢測看成目標分割問題,目的是將圖像分為目標和背景,采用二分類模型的評價標準,即精度Precision、召回率Recall和F1測量F1-measure:

(11)

(12)

(13)

式中:TP、FP和FN分別為正確檢測出的目標像素個數、虛檢的像素個數和漏檢的像素個數。Precision被定義為被正確預測的目標數據占所有預測為目標數據的比例;Recall被定義為被正確預測的目標像素占全部目標像素的比例。由于Precision和Recall之間存在一定的矛盾性,單獨看Precision和Recall這兩個指標均有局限性,衡量目標分割算法的有效性應該注重F1-measure的大小。

3.3 實驗設置

本文實驗硬件環境為8 GB RAM、1.8 GHz Intel i7 CPU和Tesla P40 GPU;軟件環境為Ubuntu 18.04系統、Python語言和Pytorch深度學習開發軟件框架。實驗相關參數設置為:λ1=100,λ2=10,α=0.1,β=0.9;學習率每10次迭代降低20%,一共訓練30個周期。兩個網絡分支獨立訓練,分別按照各自定義的損失函數完成訓練,獲得各自網絡的最優參數后進行融合。

3.4 實驗結果與分析

本文實驗與當前基于深度學習的優勢方法進行對比,包含FCN-RSTN[30]、cGAN[31]、U-net[15]、DeepLab-v3[19],實驗結果如表1所示。表1顯示了在All Seqs和Single數據集上Recall、Precision以及F1-measure指標的大小,三者的數值均為越大越好,通過F1-measure平衡了Precision和Recall單一度量的局限性。由表1可以看出,本文DualNet方法在兩個數據集上均獲得了最高的F1-measure值,在保證召回率在可接受的條件下有著較高的精確率,這顯示了DualNet方法具有更好的檢測效果,在像素級別使得漏檢率和虛警率達到了最優的平衡。

表1 不同方法的結果對比Table 1 Experimental results using different methods

DualNet方法的檢測效果見表2,表2每一行為一組,從左往右分別為輸入紅外圖像、真實標簽圖、網絡分支1檢測結果、網絡分支2檢測結果和最終融合結果。由表2可以看出,網絡分支1為了達到漏檢率較低的要求,會將部分背景噪聲當作目標分割出來,繼而提高了目標的召回率,但同時也增加了虛警率。網絡分支2為了達到降低虛警率目的,導致其輸出的結果中目標對比度降低,沒有網絡分支1中目標與背景的對比度明顯,最后通過加權融合這一協作操作較好地緩解了兩個網絡的各自缺點,從而提升了整體網絡的精度。

本文實驗分析了DualNet各個模塊的影響,DualNet各個模塊的消融實驗如表3所示,包括空洞卷積Dilated-Conv、ASPP模塊、PPM模塊、注意力模塊scSE以及可形變卷積DCNv2。根據實驗結果:在網絡分支2不變的情況下,網絡分支1添加ASPP模塊相較于直接使用空洞卷積時,F1-measure值更高,分割效果更好;在網絡分支1不變的情況下,網絡分支2添加SPP模塊要優于添加PPM模塊[32];在網絡編碼模塊中添加注意力機制達到了最高的分割精度,針對本文實驗中的紅外圖像數據集,將可形變卷積DCNv2應用于網絡輸出部分無明顯的提升效果。

表2 DualNet方法的分割效果

表3 DualNet方法的消融實驗

進一步分析可知,空洞卷積是在不增加網絡參數的前提下用于擴大卷積操作的感受野。SPP模塊用于多尺度特征提取,ASPP模塊則是將空洞卷積與SPP模塊相結合,同時擴大感受野和提取多尺度特征。在本文的模型中,網絡分支1專注于避免漏檢,需要局部信息來盡可能地檢測和定位目標,因此其感受野不需要太大;而網絡分支2專注于避免虛警,需要較大的全局上下文信息來鑒別目標,因此需要較大的感受野(使用空洞卷積)。此外,無論網絡分支1和網絡分支2,都需要在各自的感受野范圍內提取多尺度信息,故兩支網絡都需要采用SPP(或ASPP)模塊用于提取多尺度特征。

本文分析了式(10)中權重參數α和β對DualNet性能影響,對比結果如表4所示。通過合理分配權重,可以獲得最佳的融合效果。表4中,根據α和β的變化可以看出網絡分支1的分割結果所占的比例較低,網絡分支2的分割結果所占的比例較高時,分割的精度更高。因為網絡分支2旨在降低圖像的虛警率,用它的分割結果去定位網絡分支1的分割結果,即二者比例分配為2高1低時,效果較好。

表4 不同權重對DualNet方法影響Table 4 Influence of α and β on DualNet method

本文對比了配置不同損失函數DualNet的性能,如表5所示,其中包括Focal Loss、L1 Loss、L2 Loss、Smooth L1 Loss和Balanced L1 Loss。表5中,實驗比較了5種損失函數的分割效果,其中目標檢測中多分類場景中使用的Focal Loss[33-34]、L1 Loss和Balanced L1 Loss在本文實驗中沒有效果,這可能與損失函數中的參數選取有關。根據表5中數據比較,實驗最終選取了Smooth L1 Loss函數。其中損失函數公式定義為

L1 Loss:loss=abs(pred-target)

(14)

(15)

Balanced L1 Loss:

(16)

(17)

Focal Loss:loss=-(1-p)γlog2(p)

(18)

式中:pred和x為預測值;target為標簽值;p為預測類別概率;其余為網絡訓練中可調節的參數。

表5 不同損失函數的DualNet方法效果Table 5 Influence of different loss functions on DualNet method

表6給出了參數λ1和λ2在選取不同值時的性能比較結果。實驗表明取λ1=100和λ2=10時,模型在兩個數據集上均達到最好性能。

表6 參數λ1和λ2的不同選取對性能的影響Table 6 Influence of different values of λ1 and λ2

DualNet的模型大小以及在GPU上對單張圖像的檢測速度如表7所示。表7顯示DualNet模型非常小,速度很快,利于部署。

表7 DualNet模型的參數量以及檢測速度Table 7 Speed and model size of DualNet model

表2直觀顯示了DualNet的側重點,網絡分支1旨在降低圖像的漏檢率,所以為了防止目標被濾去,網絡分支1的輸出結果中會包含少許背景噪聲,相當于圖像進行二值化分割時選取了較低的閾值;而網絡分支2旨在降低圖像的虛警率,所以為了防止將背景噪聲誤認為是目標,網絡分支2的輸出結果會盡可能地減少虛警,因此可能會導致目標欠分割,相當于圖像二值化分割時選取了較高的閾值。最終融合兩支網絡結果時,通過調整合適的融合比例,達到較高的融合效果。即:網絡分支2關注虛警的消除,給出的結果提供了較高的目標定位準確性,但也會存在目標的欠分割問題;網絡分支1 避免漏檢的產生,給出的結果中提供了目標較為完整的分割結果,但會存在一些虛警;融合模塊將兩者很好的結合,能在定位準確的基礎上進一步保證目標分割的準確性,達到更好的檢測效果。圖8 表明兩支網絡的損失函數都隨著訓練輪數的增加而穩定地降低,最終都達到收斂。

由表1可以看出,直接使用通用的目標檢測網絡和語義分割網絡來實現紅外弱小目標檢測任務,效果往往不佳,而經過設計后的DualNet方法提升了紅外弱小目標檢測的準確性。

表3顯示了本實驗的模塊設計對分割效果的影響,根據實驗數據,最終的DualNet結構設計為:網絡分支1:ASPP結構+空洞卷積;網絡分支2:參考U-net結構實現特征圖跨聯+SPP結構+注意力機制。

表4顯示了實驗中不同融合方式對分割效果的影響,根據表3中數據,可以得出網絡分支1的比重較低,網絡分支2的比重較高時,融合的效果較好。需要注意的是,網絡分支1權重比較低并不意味著網絡分支1沒有意義。當進一步降低網絡分支1權重,提高網絡分支2權重,即權重系數組合為(0.05,0.95)時,模型處理效果反而比系數組合(0.1,0.9)更差,在AllSeqs和Single數據集上F1-measure分別從0.4降到0.38,以及從0.53降低到0.51,由此可見,網絡分支1是有作用、有意義的。

表5顯示了實驗中配置不同損失函數對分割效果的影響,根據表5中數據,復雜設計的損失函數對紅外弱小目標檢測任務無甚效果,相反選取較為簡單的距離損失函數L2 Loss和Smooth L1 Loss函數效果更好,其中Smooth L1 Loss用于網絡的學習性能更為顯著。此外,對于All Seqs和Single兩類數據集,DualNet對于Single數據集中紅外圖像樣本更有效果,而All Seqs數據集中背景噪聲與目標更為相似,其網絡性能指標不如Single數據集。

最后,為了進一步驗證本文提出的新模型在真實數據集上的泛化能力,在近期公開發布的真實數據集SIRST上進行測試。測試遵循該數據集評測指標,即交并比IoU、檢測率Pd和漏檢率Fa,這3個指標的計算方式分別為

(19)

(20)

(21)

式中:pre為預測的二值標簽圖;Label是真實的二值標簽圖;Tcorrect為檢測正確的目標的數量;Tall為所有目標的數量;Pfalse為檢測錯誤的目標的數量;Pall為整張圖片的像素大小。判斷檢測是否正確的方法是計算預測的目標的中心點坐標與真實的目標的中心點坐標之間的像素偏差小于閾值(2個像素)。

將所提模型與已發表的在該數據集上測試過的基于頂帽變換(Top-Hat)方法、基于最大中值濾波(Max-Median)方法、基于加權增強局部對比度度量(WSLCM)方法、基于三層窗口的局部對比度度量(TLLCM)方法、基于紅外塊分解(IPI)方法、基于非凸秩近似最小化(NRAM)方法、基于重加權塊圖像張量(RIPT)方法、基于張量核范數部分和(PSTNN)方法、基于多子空間學習和時空塊張量模型(MSLSTIPT)方法、基于非對稱上下文調制(ACM)方法、基于漏檢與虛警的生成對抗網絡(MDvsFA-cGAN)方法這11種方法進行了比較。具體試驗步驟如下,先使用10 000幅仿真數據訓練本文模型得到預訓練模型,然后使用SIRST的訓練集對模型進行微調10個epoch,最后使用其測試集測試模型。從表8中可以看出,DualNet方法的IoU指標排第1、Pd指標排第1、Fa指標排第3。綜合起來看,本文方法的性能指標要明顯高于多個代表性的傳統方法,也高于兩個基于深度卷積網絡的弱小目標檢測方法ACM和MDvsFA-cGAN。同時,表9給出了DualNet、MDvsFA-cGAN和ACM方法對SIRST數據集中4幅代表性圖像的可視化檢測效果,不難發現,較MDvsFA-cGAN和ACM方法,DualNet方法的結果更接近真實標簽圖。

表8 SIRST數據集上泛化性能測試Table 8 Generalization capability tests over SIRST dataset

表9 可視化檢測結果比較

4 結論

本文分析了通用深度CNN直接遷移到紅外弱小目標檢測任務的局限性,指出紅外弱小目標檢測任務的難點。針對單個網絡對紅外弱小目標特征提取的有限性,基于通用的目標檢測網絡和語義分割網絡模型,提出DualNet模型。與以往單個網絡模型不同,DualNet將整個任務劃分成兩個子任務:一個網絡用來學習低閾值分割,負責降低漏檢率;另一個網絡用來學習高閾值分割,負責降低虛警率。最后將兩個網絡的輸出結果進行加權融合,以取得最佳的分割效果。得出主要結論如下:

1)本文通過將紅外弱小目標檢測任務劃分為兩個子任務,有效地兼顧了紅外弱小目標的漏檢率和虛警率。

2)相比于傳統方法和通用語義分割檢測方法,本文方法獲得的檢測結果更準確、魯棒性更強;在自建數據集上,相比于FCN、DeepLabv3、cGAN以及U-net語義分割網絡模型,本文方法的F1-measure提高了8%;在SIRST公開數據集上,本文方法的檢測性能也顯著超過了基于深度學習的紅外目標檢測模型ACM、MDvsFA-cGAN和多個經典的非深度學習紅外弱小目標檢測方法。

3)在紅外弱小目標檢測任務中,本文方法能有效的提高目標檢測的精度。