融合圖像修復的遮擋目標檢測算法

徐 旸， 史金光， 鄭子玙， 趙 渭

(1.南京理工大學能源與動力工程學院，南京 210000； 2.中國兵器工業試驗測試研究院，陜西 渭南 714000)

0 引言

軍事目標檢測在現代戰爭中具有非常重要的地位，具備目標檢測能力的制導武器既要保證精準、有效地打擊并摧毀目標，也要能夠及時偵察敵情，減少己方人員傷亡，這就要求該武器系統的目標檢測同時具有很高的檢測精度和很快的識別速度。如今，隨著深度學習技術的突破和計算硬件的發展，基于深度學習的目標檢測算法[1-2]已經不再依靠人工提取特征，而是借助深度卷積神經網絡自行提取更具表達能力的深層特征，這不僅使目標檢測更具有泛化能力，而且具有很高的檢測精度。目前，基于深度學習的目標檢測算法大致可以分為兩類，一類是以R-CNN為代表的兩階段(Two-stage)算法[3]，另一類則是以YOLO為代表的單階段(One-stage)算法[4-5]。目前，兩階段目標檢測算法被應用于日常情況下已經具備了精度高、速度快的特點，然而應用于檢測實際軍事戰場環境中的目標時，尤其是遇到軍事目標借助物體隱蔽的情況，目標檢測算法無法維持原有的檢測精度和速度，甚至會出現漏檢和誤檢的情況，這對于瞬息萬變的戰場來說是致命的。于是，康帥等[6]針對復雜場景下檢測精度下降和漏檢的問題，在YOLOv4網絡中添加了基于空洞卷積的HDC模塊和SJDC結構，增大感受野，從而獲得更多的特征信息，一定程度上降低了漏檢率；李軒等[7]在YOLOv3算法上除了同樣采用空洞卷積層，還使用改進殘差網絡(ResNet)后的密集網絡結構，通過重用特征保留更多的特征細節，提高目標檢測算法在復雜天氣環境下的魯棒性。采用空洞卷積模塊改進目標檢測算法，雖然能夠通過增大感受野盡可能提取到更詳細的目標特征，但是空洞卷積是面向整個特征圖，會存在冗余的特征信息，而且空洞卷積是以擴充的方式增大感受野，會損失信息的連續性。因此，融合注意力機制被提出，令網絡模型重點提取目標區域的特征信息，以此解決目標有遮擋的問題。鄧杰等[8]在YOLOv3網絡的輸出層中加入時頻域融合注意力模塊(TFFAM)，通過給特征圖分配權重，令網絡更多地關注目標區域，有效地提高了密集行人的檢測精度；王楊等[9]考慮到檢測目標經過迷彩偽裝會影響檢測精度，對YOLOv5算法添加Triplet Attention和SE(Squeeze and Excitation)注意力模塊，能較為準確地檢測出隱蔽目標且保持較高精度。

對于目標檢測的遮擋問題，無論是采用空洞卷積模塊增大感受野，還是添加注意力機制提高關注度，研究人員都是針對目標未被遮擋的部分進行研究，通過改進目標檢測算法來實現遮擋條件下的目標檢測任務。很少有人從目標整體的角度出發來研究目標存在遮擋的檢測精度問題，因此，本文結合圖像修復提出一種針對目標被遮擋問題的目標檢測算法(YOLO-Inpainting)，該算法由兩部分組成，一部分是基于YOLOv4算法改進的目標檢測算法，另一部分是基于生成對抗網絡的圖像修復算法，這部分用于對去除遮擋物的目標圖像進行修復，盡可能還原圖像中目標的完整性。算法訓練分為兩部分訓練，除了搜集的圖像外，訓練的數據集還使用EmbedCut算法進行數據增強。

1 基于YOLOv4的目標檢測算法

1.1 YOLOv4目標檢測算法

YOLOv4算法[10]是單階段目標檢測算法中較為完善的一種算法，它在YOLOv3的基礎上增加了許多優秀的優化技巧，主要從網絡結構、數據增強、激活函數和網絡訓練等方面進行優化，可以實現檢測精度和速度的均衡。

YOLOv4的網絡結構主要由主干網絡(Backbone)、頸部(Neck)和頭部(Head)3個部分組成。主干網絡借鑒CSPNet網絡結構，采用CSPDarkNet53網絡，該網絡將特征提取分割為兩個支流，一個支流需要經過若干殘差模塊進行特征提取，另一個則只需要經過一個卷積塊，最后合并成一組特征圖，這樣既保留了網絡的深度，提高網絡的學習能力以及豐富特征內容，又減少了模型參數，降低了模型的計算成本。CSPDarkNet53網絡還采用Mish激活函數，不同于其他激活函數，Mish函數沒有上邊界，能避免由于邊界存在而導致的飽和，并且更加平滑，可以更好地傳播信息，保持很好的準確性。網絡的頸部(Neck)即特征融合部分，主要采用了SPP模塊和PANet網絡結構，SPP模塊是多層池化結構，在YOLOv4中除了用來消除卷積神經網絡受固定輸入尺寸的限制，還可以增加感受野，并分離出最重要的上下文特征。PANet網絡結構是在FPN結構的基礎上增加了自下向上的特征金字塔，這樣可以從主干層對不同的檢測層進行特征融合。YOLOv4的損失函數在原YOLOv3的基礎上改用了CIoU-Loss，作為丈量目標框和預測框之間的位置損失，包含了重疊面積、中心點距離和長寬比3個因素，進一步提高了目標檢測算法的精度。

模型訓練方面，YOLOv4算法采用了多個可以提升算法精度的訓練小技巧。Mosaic是YOLOv4中提出的一種新型數據增強的算法，它將4張訓練圖片拼接為1張，極大地減少了訓練成本。訓練過程中采用DropBlock正則化，選擇丟棄單元領域內的區塊，增加模型訓練的復雜性，效果比通常的Dropout形式更好。除此之外，YOLOv4還采用遺傳算法，在前10%的訓練時間里選擇出最優的超參數。

1.2 改進的目標檢測模塊

檢測目標的遮擋問題，一般是指存在物體遮擋住目標的一部分區域，只留剩余部位暴露在檢測視覺范圍內，而且遮擋區域大小通常都是隨機的，因此，目標暴露的部位以及區域大小成為影響檢測效果的關鍵因素。

現有的YOLOv4算法雖然已經具有很好的檢測效果，但是面對檢測目標的遮擋區域過大或者暴露區域為非關鍵區域時，很容易出現漏檢和誤檢的現象。本文同樣在YOLOv4算法的基礎上進行改進，對算法主干網絡部分引入卷積注意力模塊[11](Convolutional Block Attention Module，CBAM)，增強網絡對目標區域的特征提??；同時，在計算條件有限的情況下，為提高模型訓練效率，在模型的頭部采用交叉迭代批量標準層[12](Cross-Iteration Batch Normalization,CBN)。

圖1所示為改進的YOLOv4結構圖。

圖1 改進的YOLOv4結構圖Fig.1 Structure diagram of the improved YOLOv4

1.2.1 卷積注意力模塊

卷積注意力模塊(CBAM)是由通道注意力模塊(Ch-annel Attention Module,CAM)和空間注意力模塊(Spatial Attention Module,SAM)兩個獨立的子模塊組合而成，通過每一步訓練讓網絡學會關注更重要的特征圖以及特征信息，采用給通道和空間分配不同權重的方式，使注意力信息流通整個網絡。

通道注意力模塊是對特征圖的通道進行權重分配，輸入尺寸為H×W×C的特征圖，分別經過全局最大池化和全局平均池化，得到2組1×1×C的特征圖，然后在一個神經網絡中進行2次卷積讓通道數在C/r和C之間轉換(r為超參數)，最后再將得到的特征圖經過Sigmoid函數輸出一個C維向量的權重值，對輸入的特征圖賦值。

空間注意力模塊則是對每張特征圖的內容進行權重分配，對輸入的特征圖先做一個基于通道的全局最大池化和全局平均池化，得到兩個H×W×1的特征圖，再將2張特征圖進行通道拼接，最后經過1個卷積層和激活層降維成H×W×1的權重系數，賦值給每張特征圖。

圖1(b)中，本文將CBAM注意力模塊添加在主干網絡的殘差模塊(Resunit)中，并且在CSP模塊中額外加入通道注意力模塊，由于CSP模塊是網絡的主要組成部分，可以保證注意力機制深入網絡，提升網絡對特征圖通道和空間的敏感性，而且避免了模型計算量的大幅增加。

1.2.2 交叉迭代批量標準化

批量標準化(Batch Normalization,BN)通過對一個小批量(Batch Size)的特征圖進行標準化，令特征圖的數據可以滿足分布規律，能夠大幅加快模型訓練的收斂速度，緩解網絡中特征分布較散的問題，還能改善內部協變量偏移(Internal Covariate Shift)現象。然而，產生這些優勢的前提是Batch Size的數量足夠大，這就需要較好的模型計算環境，因此，為了在有限的計算條件下不降低模型訓練效率，本文在算法模型的頭部采用交叉迭代批量標準化層代替原來的批量標準層。

(1)

(2)

(3)

(4)

(5)

(6)

2 基于生成對抗網絡的圖像修復模塊

生成對抗網絡(Generative Adversarial Network,GAN)是由GOODFELLOW等[13]提出的，主要用于實現圖像去噪、圖像修復、圖像風格轉換等計算機視覺任務。生成對抗網絡一般包含生成器G和判別器D兩個部分，生成器經過學習數據分布將隨機輸入的噪聲生成接近真實的樣本，鑒別器則是用來判斷輸入的樣本是生成器生成的假樣本還是真實樣本，然后遵循“二人零和博弈”的思想，將生成器網絡與鑒別器網絡進行博弈，從而使訓練出的生成器能夠生成足以以假亂真的樣本。其中，博弈過程就是優化GAN網絡目標函數的過程。

GAN的對抗損失公式為

(7)

式中:E為分布函數的期望；Pdata(x)為真實樣本的數據分布，x即為真實樣本；Pz(z)表示隨機輸入的噪聲分布，通常采用正態分布。

2.1 網絡模型結構

考慮到目標圖像不完整的輪廓會對目標檢測結果有一定的影響，因此受到NAZERI等[14]提出的基于對抗性邊緣學習的圖像修復算法(EdgeConnect)啟發，本文在基于生成對抗網絡設計的圖像修復網絡上增加邊緣修復網絡，這樣可避免圖像修復的邊界模糊問題，而且盡可能保證目標圖像輪廓信息的完整性，模型結構見圖2。

圖2 圖像修復模型結構圖Fig.2 Structure diagram of image restoration model

本文的圖像修復模型由2個生成器和2個判別器組成。前半部的生成器用于邊緣生成，保證目標圖像輪廓的完整性，并對應一個判別器；后半部的生成器則用于圖像內容的紋理修復，對應另一個判別器。邊緣生成器依照原模型進行結構布局，采用自編碼的形式，包含2次下采樣、8個殘差塊以及2次上采樣。圖像修復生成器使用本文目標檢測模塊的主干網絡作為自編碼部分，這樣可以共享特征提取的參數，節省部分運算時間。解碼部分使用了5個上采樣模塊，包含2個卷積塊、上采樣層和跳躍連接層，其中，上采樣的擴張因子為2，Leaky ReLU激活函數的參數α=0.2，最后添加1個卷積層將特征圖輸出為三通道的樣本圖像。由于圖像修復生成器融合YOLOv4主干網絡作為編碼器，因此還采用跳躍連接[15]的形式，將編碼器各層輸出的特征圖跳躍連接到解碼器中，與上采樣的特征圖進行融合，從而保證高層次語義信息和低層次局部信息的有效融合，為圖像修復增添更多局部細節信息，同時也有助于梯度的反向傳播，加快訓練速度。2個判別器均采用70×70的PatchGAN結構[16]，將輸入映射為N×N的矩陣，矩陣塊的每個元素代表著原圖像中對應的70×70感受域的評價值，再通過求均值來判斷是否為真實樣本。

2.2 損失函數

原始GAN網絡的損失函數是用KL散度和JS散度作為距離衡量指標，在高維度空間中，當生成分布和真實分布沒有重疊部分或者重疊部分可以忽略時，KL散度和JS散度無法反映兩者的遠近，而且無法提供梯度，這會導致判別器優化良好的情況下生成器發生梯度消失現象，而且使用GAN損失函數訓練生成的圖像缺乏多樣性。因此，本文在兩個判別器中均應用WGAN網絡[17]的損失函數，它是使用Wasserstein距離來衡量生成樣本分布和真實樣本分布之間的距離，相同情況下，由于Wasserstein距離是平滑的，所以能夠提供有效的梯度。WGAN網絡的損失函數L為

(8)

2.2.1 邊緣生成網絡的損失

由于邊緣生成網絡只針對目標圖像的輪廓進行補全，所以損失只包含了對抗損失和特征匹配損失，其中,特征匹配損失通過對比判別器各層的激活圖，有利于穩定模型的訓練。

對抗損失Ladv,1采用WGAN網絡的損失函數，所以定義為

Ladv,1=E(Cgt,Igray)[D1(Cgt,Igray)]-EIgray[D1(Cpred,Igray)]

(9)

特征匹配損失LFM為

(10)

邊緣生成網絡的目標函數為

(11)

式中，λadv,1和λFM為正則化參數，表示損失權重的分配，設置為λadv,1=1，λFM=10。

2.2.2 圖像修復網絡的損失

圖像修復網絡的修復內容包括紋理特征、顏色特征和細節特征，為了使修復后的圖像最大程度地還原出缺失內容，除了對抗損失外，還引入了感知損失和風格損失。

對抗損失Ladv,2也采用WGAN網絡的損失函數,即

Ladv,2=E(Igt,Ccomp)[D2(Igt,Ccomp)]-ECcomp[D2(Ipred,Ccomp)]

(12)

感知損失Lperc是通過定義真實圖像卷積得到的特征圖與生成圖像卷積得到的特征圖之間的距離來懲罰不相似的結果，用它作為懲罰項有助于還原圖像的高層信息。感知損失的函數為

(13)

式中，ψi為生成器網絡中第i層卷積的特征圖。

風格損失Lstyle是用Gram矩陣來計算真實圖像和生成圖像之間的風格差異，函數為

(14)

圖像修復網絡的目標函數為

(15)

式中，λp和λs分別表示感知損失權重和風格損失權重，均為正則化參數，設置為λadv,2=λp=0.1，λs=250。

3 算法總體結構

本文算法總體結構如圖3所示，由前文所述的改進YOLOv4算法模塊和圖像修復模塊構成。

圖3 YOLO-Inpainting算法總體結構圖Fig.3 Structure diagram of YOLO-Inpainting algorithm

輸入的圖像經過目標檢測網絡得到檢測結果以及主干網絡的特征圖，再根據檢測結果判斷是否需要進行圖像修復，如果目標檢測結果的置信度低于檢測閾值，則將特征圖和檢測圖像輸入圖像修復網絡中進行修復，最后對修復后的圖像重新進行目標檢測，否則，直接輸出檢測結果。

4 模擬仿真與分析

4.1 構建數據集

本文選擇坦克作為檢測的軍事目標，通過在互聯網上搜集到的和在相關視頻中截取得到的各類坦克的目標圖像，共計2000張。在構建用于目標檢測模塊訓練的數據集時，為了提高算法的魯棒性和準確率，還使用EmbedCut算法進行數據增強，將含有大尺寸目標的圖像經過剪切、縮放后嵌入到各類場景圖像中，構造出更多不同環境背景的目標圖像，共計叢林、山地、丘陵、廢墟和沙漠5種環境，而且變換后的目標尺寸更具多樣性，經過數據增強后的數據集總計4200張圖像，并通過LabelImg工具完成標注，以PASCALVOC數據集的格式保存。

對于圖像修復模塊的數據集，以搜集到的2000張目標圖像為基礎，用不規則掩膜進行遮擋，遮擋范圍包括圖像的20%，40%和60%。

圖4所示為構建的數據集示例圖像。

圖4 數據集圖像Fig.4 Dataset image

圖4(a)是用于目標檢測模塊訓練的數據集，里面包含不同尺寸大小和不同數量的目標圖像，以及用EmbedCut算法合成的圖像。圖4(b)則是訓練圖像修復模塊的數據集。

4.2 模型訓練

實驗環境是Windows10操作系統和 Python3.6編程語言，采用PyTorch1.2.0的深度學習框架，使用PyCharm作為編程軟件。整個模型訓練為兩部分算法模塊單獨訓練。

在訓練目標檢測模塊時，根據計算條件，將輸入圖像的分辨率大小調整為416像素×416像素，每一步迭代的Batch Size設置為4。訓練之前，先使用K-means聚類算法對數據集實現目標框的聚類。訓練的迭代步數設置為160，采用余弦退火算法來調整學習率的下降，可以防止出現局部極小值的現象，其中，前100步迭代設置初始學習率為1×10-4，最小值為1×10-5，后60步迭代設置初始學習率為1×10-5，最小值為1×10-6，下降間隔步數均為5。

對于圖像修復模塊，Batch Size設置為2，預設迭代15萬次，并根據具體收斂情況進行增加，直至模型收斂。采用Adam優化器優化生成器，設置參數為β1=0，β2=0.99，學習率為1×10-3。由于2個判別器都應用WGAN損失作為對抗損失函數，因此根據文獻[17]，采用RMSProp優化器對判別器參數進行優化，設置平滑常數α=0.9，學習率為1×10-4。其中，邊緣生成網絡中采用Canny算子進行邊緣檢測，高斯濾波器的標準差設置為σ=1.5，閾值為0.5。

4.3 模擬仿真與結果分析

4.3.1 驗證目標檢測算法優化后的檢測效果

為驗證本文提出的目標檢測算法的優越性，挑選正常目標圖像和帶掩膜遮擋的目標圖像各200張作為測試集，分別采用YOLOv3,YOLOv4以及本文所提的YOLO-Inpainting算法進行測試。評估目標檢測效果的指標通常為mAP，是指各類目標物體平均準確率(AP)的均值，由于本文只選擇坦克這一類物體作為檢測的軍事目標，因此mAP值即為AP值。數值上，它等于準確率(Precision)和召回率(Recall)所圍成P-R曲線圖的面積，準確率表示算法檢測出的正確目標數與檢測出的所有目標數的比值，能表現算法的誤檢情況；召回率則表示算法檢測出的正確目標數與目標圖像中所有目標數的比值，可表現算法的漏檢情況。

首先對比本文的YOLO-Inpainting算法與YOLOv4算法對無遮擋圖像的檢測效果，測試圖像包括正常圖像和合成圖像，如圖5所示。圖5(a)和圖5(b)分別為兩種算法對200張正常坦克類目標圖像測試集檢測的P-R曲線，從中可以看出，YOLO-Inpainting算法檢測的AP值略高，但僅高出了2.5%。仔細對比圖5(a)和圖5(b)，雖然曲線所圍成的面積大小相似，但是兩條曲線有明顯差異，圖5(a)中曲線更加平滑，準確率的值基本穩定在最高值，而且從橫坐標的召回率來看，曲線的橫向跨度略大，這表明YOLO-Inpainting算法一定程度上可以解決漏檢問題。

圖5(c)和圖5(d)分別為兩種算法對測試集檢測結果中的8張示例圖，從中可以看出，兩種算法對于正常的目標圖像檢測效果都不錯，無論是多目標的情況還是目標處于不同光線環境下，只存在檢測置信度高低的差距。然而，在面對合成的目標圖像時，YOLOv4算法出現了檢測不穩定現象，相比之下，YOLO-Inpainting算法雖然檢測結果一般，但并未出現檢測不穩定現象。這說明添加注意力模塊后，算法對于檢測小目標圖像或者與周圍環境相似的目標圖像有一定的提升，同時使用EmbedCut算法進行數據增強可以有效提高目標檢測算法的檢測精度。

4.3.2 驗證圖像修復模塊的修復效果

圖6為本文算法中圖像修復模塊對200張帶掩膜遮擋的目標圖像進行修復的結果示例圖。從圖6上看，對于遮擋較少的圖像，修復后的目標圖像能較好地顯示出紋理細節，沒有明顯的局部色差問題。在修復遮擋區域較大的圖像時，雖然無法細致地還原目標的紋理結構，出現了局部模糊現象，但是由于使用了邊緣修復的雙生成器模型，修復后的目標圖像基本沒有出現偽邊界，從視覺效果上看，圖像也比較完整、連續，能清晰地觀察出目標的整體輪廓。

圖6 圖像修復模塊的修復結果Fig.6 Results of image restoration module

為了更加直觀地體現出圖像修復模塊的修復效果，引入結構相似性(Structural Similarity，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)兩種指標來評估圖像修復的效果。PSNR是基于修復圖像和原始圖像之間對應像素點的誤差進行圖像質量評估，其數值越大，表明修復效果越好；SSIM則是通過對比2張圖像的亮度、結構和對比度來測量相似度，數值范圍為(0,1)，同樣數值越大，表示修復效果越好。

表1所示為圖像修復模塊的PSNR值與SSIM值。

表1 圖像修復模塊的PSNR值和SSIM值

從表1也能看出，模型修復效果較佳，能有效還原出被遮擋的目標區域，而且由于各種損失函數的約束，減小了修復圖像的亮度、結構和對比度等誤差。

4.3.3 驗證整體算法的檢測效果

融合圖像修復模塊的目的是為了提高目標有遮擋時的檢測精度，因此，還需要驗證添加圖像修復模塊后算法對于目標遮擋情況的檢測效果。檢測圖像是借助白色掩膜來模擬遮擋環境的目標圖像，遮擋區域約占30%～60%，且隨機遮擋目標部位。

圖7所示為算法對遮擋目標的檢測結果。

將各種算法對200張帶掩膜遮擋的坦克類目標圖像測試集進行目標檢測，其AP曲線圖見圖7 (a)～7(d)，結果表明，即使不使用圖像修復模塊，YOLO-Inpainting算法依然比其他兩種算法具有更好的檢測效果。其中，YOLOv3算法的檢測效果較差，這是因為網絡深度會影響提取特征的能力，無法提取出更多、更細節的有效特征，進而導致較低的檢測精度。本文算法在YOLOv4的基礎上引入注意力機制，會對目標未被遮擋的部分產生更多的關注度，能較為準確地檢測出目標的部分區域，而且添加注意力機制在一定程度上可以加深網絡，增強網絡的特征提取能力，從而提高算法精度。

圖7 不同算法對遮擋目標的檢測結果Fig.7 Detection results of occluded targets based on different algorithms

圖7(e)為4種算法對測試集檢測結果中的8張示例圖。自上而下依次為YOLOv3，YOLOv4，YOLO-Inpainting(目標檢測模塊)和YOLO-Inpainting。從檢測結果圖像可以明顯地看出，各算法對遮擋目標的檢測效果，無論是YOLOv3算法還是YOLOv4算法，都存在漏檢或者誤檢的情況，檢測的準確率更是無法達到要求。經過比對，對于不同區域大小以及不同部位的遮擋，單純的目標檢測算法會出現較大差距的檢測結果，甚至對同一遮擋目標的不同部位檢測出多個結果，嚴重不符合軍事目標的檢測要求。而YOLO-Inpainting算法通過圖像修復模塊還原出目標被遮擋的部分，即使存在修復不佳的情況，如圖7(e)的第1，3列，但還是能夠準確地檢測出目標，這是因為圖像修復模塊還原了目標圖像的整體輪廓。

模擬仿真最終檢測結果如表2所示。

表2 3種算法檢測效果對比

從表2可知，本文提出的YOLO-Inpainting算法對于檢測遮擋目標有很大的優勢，這也表明本文算法具有很好的可行性。

5 結論

本文提出一種融合圖像修復模塊的目標檢測算法，用于針對復雜環境中目標被遮擋的問題。在目標檢測模塊中以YOLOv4算法為基礎，引入注意力機制，增強網絡的特征提取能力，較原YOLOv4算法提高了2.5%的檢測精度；隨后基于生成對抗網絡設計了圖像修復網絡，用于修復還原目標被遮擋的部位。經過模擬仿真表明，在其他算法對遮擋目標檢測結果較差的情況下，本文算法借助圖像修復模塊能夠使檢測精度達到79.63%，同時可以較好地解決復雜背景情況下的漏檢和誤檢問題，這對于復雜戰場中的軍事目標檢測具有重要的意義。由于本文在目標檢測算法中增添了圖像修復模塊，會導致算法的檢測速度下降，削減了算法的實時性，因此，如何更好地融合圖像修復模塊是下一步工作中需要重點研究的問題。