基于ISE-StyleGAN 的紅外艦船圖像生成算法

李海軍，孔繁程，牟俊杰，劉霄，杜貞斌，林云

（1 海軍航空大學 岸防兵學院，山東 煙臺 264001）

（2 煙臺大學 計算機學院，山東 煙臺 264005）

（3 煙臺大學 教務處，山東 煙臺 264005）

0 引言

紅外成像制導相對于傳統紅外制導方式抗干擾能力強，動態范圍更明顯，是當前精確制導武器主要制導手段之一，精確制導的主要目標是精準發現，精確打擊，因此紅外制導的關鍵因素在于目標的檢測。傳統紅外目標檢測一般先對圖像區域進行選擇，利用尺度不變性特征變換（Scale Invariant Feature Transform，SIFT）和方向梯度直方圖（Histogram of Oriented Gradient，HOG）等方法進行特征提取，通過一系列的邏輯運算，然后再使用分類器進行區分，這樣的方法需手工設計，時間復雜度高，并且魯棒性差。近年來，隨著計算機視覺領域的不斷發展，深度學習逐漸應用在目標檢測領域中，根據實際領域需求，不斷發展成單階段和兩階段的目標檢測算法。當前，將深度學習應用至紅外目標檢測領域越來越受到關注，紅外目標檢測大多通過可見光領域的算法實現，模型的訓練對于數據的數量和質量的要求很高，而復雜環境下的完整紅外艦船圖像難以獲取，所以對基于深度學習的紅外艦船檢測精度有所影響。近年來出現基于人工智能的深度生成模型，包括變分編碼器（Variational Auto-Encoders，VAE）［1］、深度信念網絡（Deep Belief Network，DBN）［2］、生成式對抗網絡（Generative Adversarial Networks，GAN）［3］等，其中GAN 可以通過無監督學習實現對目標特征的提取，在生成模型中其具有較強的泛化能力，已發展出多種變體［4-7］，基于GAN 的圖像生成成為研究熱點。針對使用GAN 對小樣本進行圖像生成訓練時易出現過擬合的問題，UTKARSH O 等［8］提出基于錨點的策略，增強潛在空間對于圖像中不同區域擁有不同的真實感，能夠保持源圖像和生成圖像的差異性和相對相似性。LIU R 等［9］通過引入同框架相兼容增強潛在的對比損失，使得相鄰潛在空間生成的圖像相似度高，而不同潛在空間生成的圖像差異性高，生成圖像能夠保證視覺質量且更加多樣化。SAR 圖像中存在相干斑噪聲，導致其條件生成對抗網絡模型（Conditional Generative Adversarial Nets，CGAN）出現崩潰，GUO J Y 等［10］通過歸一化相干斑噪聲解決了模型崩潰的問題。

目前，利用GAN 進行數據生成的研究對象仍是以可見光圖像為主［11］，紅外圖像生成領域的研究方法集中于可見光圖像轉紅外圖像，通過紅外圖像進行生成處理的研究較少，對紅外背景下艦船數據生成的研究更是少之又少。由于實地采集紅外艦船圖像難度較大、費效比高、數據量較少，為能更好地提升基于深度學習的紅外目標檢測精度和效果，本文提出基于樣式的生成對抗網絡（Style Generative Adversarial Nets，StyleGAN）的紅外艦船圖像生成算法，通過訓練生成式對抗網絡模型，得到高質量紅外艦船圖像，能夠提供紅外艦船數據。根據紅外艦船圖像特點，采用StyleGAN 作為基礎架構，在生成器引入自注意力機制，增強艦船圖像細節，精簡噪聲模塊，以免圖像風格混亂；同時，調整模塊分辨率大小，使模型更適合本文圖像；利用小波判別器通過小波分解提取圖像特征，減少圖像偽影的產生，使用雙時間尺度更新規則和Adam 優化器優化.訓練過程，同時再引入WGAN-gp 損失函數提升收斂效率。

1 算法原理與網絡結構設計

1.1 生成式對抗網絡

生成式對抗網絡GAN 本質是對抗雙方生成器和判別器通過零和博弈不斷學習、不斷改進，最終生成能夠以假亂真的本不存在的數據。生成器主要進行樣本偽造，訓練過程中要不斷提高偽造水平，盡可能與真實樣本相同；判別器用來判斷生成器生成樣本的真實性，通過計算生成樣本與真實樣本的差值去引導生成器不斷減小差異。GAN 基本結構如圖1 所示。

圖1 生成式對抗網絡結構Fig.1 Generative adversarial network structure diagram

原始GAN 中目標優化函數為

式中，D表示判別器，G表示生成器，x～pdata表示x來源于真實分布，Z～pz表示隨機噪聲z來源于模擬分布，Ex～pata[lnD(x)]表示判別器損失，EZ～pzln {1-D[G(z)]}表示生成器損失。

訓練結束時，對抗雙方達到納什平衡，判斷器無法識別生成圖像的真偽。原始GAN 訓練過程中生成器從隨機噪聲中取樣，存在生成樣本圖像狀態不可控的問題，近年來不斷改進，其中KARRAS T 等提出基于樣式的生成式對抗網絡（StyleGAN）［12］，StyleGAN 移除傳統隨機噪聲，將潛向量（latent code）作為初始輸入，采用無監督學習對圖像中的語義進行解耦，并采用樣式傳遞方式解決生成圖像不可控的問題。

1.2 網絡結構設計

StyleGAN 模型在高分辨率圖像生成以及樣式風格變換上有良好的性能，網絡結構如圖2 所示，因此，以StyleGAN 為基礎結構，針對數據集的特點，對其生成器結構進行改進。StyleGAN 能夠在可見光自然.圖像的紋理細節方面有很好的表現，對于紅外艦船圖像來說，其圖案形狀、顏色豐富程度以及樣式種類遠.不及可見光自然圖像，直接將結構復雜的StyleGAN 應用在紅外圖像生成上難以得到理.想的生成圖像。因此，在原始StyleGAN 基礎上對模型進行修改，提出紅外艦船增強StyleGAN（Infrared Ship Enhancement StyleGAN，ISE-StyleGAN）模型，以顯著提高模型訓練的穩定性并獲取高質量生成樣本。

圖2 StyleGAN 生成器結構Fig.2 StyleGAN generator structure

1.2.1 基于自注意力機制的生成器

1）StyleGAN 中的感受野大小受限于卷積核，在訓練過程中難以從全局角度捕捉紅外艦船圖像內容，導致圖像部分內部信息和長距離像素關聯信息丟失，但是如果使用全連接層獲取全局信息，會使模型冗余增加，計算量激增。所以，考慮通過引入自注意力機制解決此問題。自注意力生成對抗網絡（Self-Attention Generative Adversarial Networks，SAGAN）［13］首次將自注意力機制引入生成式對抗網絡中，生成模型的效果得到極大提升。本文將自注意力引入生成器中，使算法能夠在全局領域進行操作，學習到圖像中更多的細節和長距離像素關聯信息。

如圖3 所示，自注意力機制將特征映射為三部分，第一部分f(x)和第三部分h(x)使用1×1 卷積模塊進行f(x)=W線性變換，第二部分g(x)進行通道壓縮，即

圖3 自注意力機制Fig.3 Self-attention

式中，Wf、Wg、Wh、Wv表示四個1×1 卷積層權重矩陣。

然后將f(x)、g(x)轉換為矩陣形式，進行轉置相乘，經過softmax 處理得到注意力權重βi，j為

式中，βj，i表示第i個位置對生成第j個位置的關系權重，N表示輸入特征圖中含有特征的位置數量。

再將h(x)與得到的注意力權重βj，i相乘，再經過1×1 卷積層處理得到自注意力特征映射oj為

最后將自注意力特征映射與一比例參數相乘，再同輸入特征圖加權相加得到最終輸出zi為

式中，γ是初值為0 的預定義系數。

2）由于紅外艦船圖像具有色彩單一、樣式結構樸素的特點，所以，對生成器進行針對性簡化，將生成器最后一個模塊的分辨率大小設定為256×256，使生成器更適合本文提供的數據需求，在確保生成圖像質量的前提下，能夠減少網絡所需參數量，提高生成器的運算效率。

3）減少隨機噪聲的輸入數量。由于紅外艦船圖像的紋理細節特征沒有可見光圖像豐富，按照原始StyleGAN 模型進行圖像生成時，噪聲過多會引入較多噪點，影響自適應實例歸一化［14］的進行，進而導致生成圖像質量下降。因此，生成器每個不同分辨率網絡模塊的噪聲輸入均只引入一個噪聲模塊。最終改進生成器結構如圖4 所示。噪聲模塊N的生成方法表示為

圖4 改進的生成器結構Fig.4 Improved generator architecture

1.2.2 小波判別器

使用小波判別器［15］（Wavelet discriminator）進行偽影抑制。由于實驗過程中發現，在64×64 分辨率的早期訓練階段，可以觀察到阻塞偽影，但隨著訓練的進行，它們逐漸消失。由于判別器判別失敗，偽影會使高分辨率合成缺失高頻細節，因此需要使用更強的鑒別器來抑制偽影的產生。

小波判別器結構如圖5 所示，在每一個分辨率模塊中，使用一個基于跳躍連接的網絡從小波分解中提取特征，并將它們合并到從更高分辨率塊派生的特征表示中。判別器對輸入圖像分層，進行雙線性下采樣降尺度處理，并在每個尺度上檢測離散小波分解位置與真實圖像的頻率差異。這樣的小波鑒別器在對抗阻塞偽影方面效果顯著。同時，它對分布匹配沒有任何負面影響，可有效引導生成器生成豐富的圖像細節。

圖5 小波判別器結構Fig.5 Structure of wavelet discriminator

1.2.3 損失函數

使用WGAN-gp［16］損失函數提升收斂效率，以此將生成圖像z同真實樣本x的Wasserstein-1 距離輸入至判別器，并基于WGAN 的損失標準，用梯度懲罰項替換權重裁剪項，避免梯度爆炸。最終損失函數為

1.2.4 雙時間尺度更新規則

訓練時采用雙時間尺度更新規則（TTUR）［17］。TTUR 提出新的訓練參數更新策略，將生成器G和判別器D自動設置不同的學習率，讓D的收斂速度加快，并且能夠平衡兩者的訓練速度。訓練過程是根據生成器和判別器損失函數LG、LD的隨機梯度來進行的，其中θ是生成器中的學習變量參數，ω是判別器的學習變量參數。由于梯度是隨機的，從圖像數據集Pdata(x)中隨機選擇m個真實樣本x(i)，1 ≤i≤m，和生成圖像數據集PG(z)中m個隨機選擇的生成樣本z(i)，1 ≤i≤m。如果實際梯度為h(θ，ω)=?θ LG和g(θ，ω)=?ω LD，那么就用隨機變量M(ω) 和M(θ) 定 義和。因此梯度隨機近似于實際梯度。TTUR 一般假設生成器和判別器更新的學習率為a（n）和b（n），則

2 實驗結果及分析

2.1 實驗數據集

實驗數據的獲取采用網絡爬蟲方式，主要是通過網絡檢索“艦船”、“貨輪”等軍用民用船只，共4 284 張紅外艦船圖像，其中艦船數量為7 196 艘。首先按照8∶2 的比例將圖片劃分成訓練集和測試集，然后從測試集中隨機抽取一半作為驗證集，實驗前不對紅外圖像進行任何處理。

2.2 實驗配置

本文所有實驗均在Ubuntu20.04 操作系統中進行，CPU 是core i9-12900KF，GPU 為顯存12G 的NVIDIA GeForce RTX 3080ti，python 版本為3.7.11，開發工具是pycharm2020.1，框架使用Pytorch1.9.0。實驗前首先將自建紅外艦船數據集進行批處理，訓練參數設置如表1 所示。學習率使用TTUR，批訓練數設置為32，單次實驗訓練900 個Epochs，使用Adam 優化器。

表1 實驗訓練參數Table 1 Experimental training parameters

2.3 算法訓練過程

ISE-StyleGAN 算法實現過程為：

2.4 圖像生成效果評價

2.4.1 目視判斷評價

為全面展示生成的紅外圖像，圖6 中選取了某一圖像在各個迭代生成階段的生成效果?？梢娫贓poch=100 時，圖像像素化嚴重并存在失真現象，無法辨別出艦船圖像；當Epoch=300 時，圖像網格基本消失，但在圖像中央已能大致看出艦船輪廓；當Epoch=600 時，艦船圖像開始顯現，輪廓已接近真實清晰，但圖像背景略微模糊；當Epoch=900 時，整體生成的紅外圖像非常接近真實圖像，艦船目標已能夠通過目視判讀出。

由圖6 可以看到，在Epoch 從100 到900 的訓練過程中，能夠得到不同分辨率的紅外艦船圖像。因此，可以通過利用低分辨率圖像得到艦船的整體輪廓以及部分艦船特征，以此來對艦船目標進行檢測識別，并持續跟蹤目標；利用高分辨率圖像可識別出艦船中的細節特征，因此，可以更具針對性地進行艦船目標的細粒度識別，比如，可對艦船中的駕駛室、雷達、水線等要害部位進行識別定位，利用反艦導彈進行精確打擊。

圖6 ISE-StyleGAN 訓練過程Fig.6 The training process of ISE-StyleGAN

為進一步驗證算法的生成圖像質量，對圖像中顯著位置天線桅桿進行放大對比。圖7 展示了兩幅圖的原圖、艦船天線桅桿放大圖以及ISE-StyleGAN 生成圖像。從圖7（b）、（d）中可以看到雖然生成圖像的天線桅桿略有模糊，并且中間的桅桿和右邊的桅桿中部橫桿一小部分不相同，但是圖像整體形狀、桅桿位置分布以及其他細節部分基本一致，并且整體的亮度以及對比度比較符合人眼要求。相比圖7（f），圖7（h）也略微模糊，整體亮度偏灰暗，天線桅桿形狀大致相同，能夠看出輪廓邊緣，較好地區分出天線桅桿和海面背景。綜上，通過將原圖和生成圖像中顯著位置進行對比看出，盡管在整體亮度以及模糊程度上略有差別，但是生成圖像能夠較好地生成圖像局部特征，基本還原出原圖的效果。

圖7 原圖與生成圖像的對比Fig.7 Compare of the original images with the generated images

基于相同實驗條件、不同場景進行實驗，隨機選擇不同背景的生成紅外圖像如圖8 所示，對比原數據、DCGAN、CycleGAN、StyleGAN 和ISE-StyleGAN 的實驗結果。DCGAN 生成圖像背景部分同原圖像相差較多，并且該算法生成的第一張圖像中目標尺度大小存在問題，第二張圖像中存在空間扭曲，說明仍然存在訓練不穩定、模型坍塌的現象；CycleGAN 的生成圖像對于曝光度較低的背景部分具有較好的生成效果，但是整體的灰度分布、灰度等級存在著較大差異并且有顏色偏移的現象。StyleGAN 也能生成表面光滑、質量較好的自然圖像，但是部分圖中夾雜著一些明顯與原始圖像特征不符的缺陷特征，存在風格混亂的問題，該算法生成的第一張圖中艦船位置顛倒，第四張圖中海面出現黑色條紋，圖像缺乏真實性。

圖8 不同生成式對抗網絡算法生成圖像對比Fig.8 Comparison of images generated by different generative adversarial network algorithms

根據紅外圖像的先驗知識以及目視判讀得到：1）本文算法在白天、黑夜、云霧等各種氣象條件下都能得到較好的艦船和背景的紅外成像效果；2）本文算法在艦船目標不同尺度不同數量的條件下也能有較好的紅外成像效果；3）圖中展示的生成圖像滿足艦船的大多數特征要求，輪廓清晰可辨，圖像紋理細節較明顯，整體的灰度分布同真實圖像的紅外效果非常接近，僅僅在整體亮度以及色差上略有差別。

通過目視圖像中特征顯著位置對比以及主觀評價生成圖像可得：使用本文算法所得紅外圖像能基本展示出艦船的輪廓以及紋理細節，在灰度分布上與真實圖像大致相同，整體上兩幅圖片的相似度很高，通過目視以及主觀判斷，生成的紅外艦船圖像表現較好。

2.4.2 客觀指標評價

為進一步驗證實驗生成圖像的有效性，通過客觀性能指標峰值信噪比（Peak Signal to Noise Ratio，PSNR）和多層級結構相似性（Multi-Scale Structural Similarity Index，MS-SSIM）［18］對生成圖像進行定量分析。PSNR 指標基于原始圖像和生成圖像中對應像素點的誤差大小，主要是衡量生成圖像失真程度，分值越高，圖像越逼真。由于數據集中圖像尺度豐富多樣，所以另一個評估指標采用MS-SSIM。同SSIM 程序相同，MS-SSIM 也是進行原始與生成圖像的分辨率、亮度、對比度以及相關結構的比較，得到比較分數然后進行積累，對圖像進行下采樣，整個過程重復迭代，以此來進行不同圖像尺度的多SSIM 評價。

表2 和表3 給出了各個模型對各種背景、尺度的紅外艦船圖像生成客觀指標評價結果，可以看到ISEStyleGAN 的PSNR 值以及MS-SSIM 值在各種類型的目標下都是最高，說明本文提出的改進算法相比幾種經典生成式對抗網絡方法生成的紅外艦船圖像更加逼真，質量更好。同時，ISE-StyleGAN 生成的艦船輪廓和細節同原始圖像更相似，因此，可以推斷出ISE-StyleGAN 生成的艦船圖像特征同原始圖像特征更相似。

表2 生成式對抗網絡模型PSNR 指標結果Table 2 PSNR index results of generative adversarial network model

表3 生成式對抗網絡模型MS-SSIM 指標結果Table 3 MS-SSIM index results of generative adversarial network model

2.4.3 目標檢測算法測試

生成紅外艦船圖像旨在解決由于紅外數據量不足影響目標檢測精度的問題。所以，可以通過將生成數據集應用至艦船檢測任務來進一步驗證生成圖像的有效性。驗證過程采用不同的數據集，包括原始紅外艦船數據集，原始數據集同常規增廣的數據組合數據集，DCGAN、CycleGAN、StyleGAN、ISE-StyleGAN 生成圖像組合數據集分別進行艦船檢測訓練，數據集具體設計如表4 所示。常規增廣包括圖像平移變換、隨機縮放、隨機裁剪等方法，檢測算法采用YOLOv3、SSD、Faster R-CNN、Centernet，epoch=50，使用平均精確率（mAP）作為評價指標。

表4 目標檢測測試數據集構成Table 4 Data set composition of object detection test

圖9 給出了四種算法訓練在不同數據集中的mAP 變化曲線，對比可知，使用原始數據集進行目標檢測，精度結果都不是很理想，并且不同檢測算法使用這1 000 張圖片得到的結果相差較大，說明不同檢測算法對數據集依賴程度不同。對原始數據集進行擴充后無論是使用常規增廣還是通過算法數據生成，目標檢測精度均能得到一定程度的提升，同時，不同生成式對抗網絡算法得到的擴充數據集在相同目標檢測模型中運行，可比較出各個模型的性能差異。使用常規增廣方法在不同檢測算法上有8%左右的精度提升，其他主流生成算法能將精度提升10%左右，但是，存在使用生成算法的效果不如常規增廣的情況。對比表5 中序號2和序號5 的YOLOv3 算法檢測精度，常規增廣的檢測效果提升更明顯，對比序號2 和序號4 使用SSD 算法，也是常規增廣效果更好。因此，雖然主流生成算法能夠豐富紅外艦船特征多樣性，但是使用該數據集生成的圖像質量不高，存在風格混亂以及缺陷特征的問題，會造成海雜波的虛檢。從表5 可以看出本文算法生成的數據使用四種目標檢測算法測試都能有較好的檢測效果，魯棒性較強。例如在YOLOv3 算法中，ISEStyleGAN 擴充后的目標檢測網絡與原始數據集相比在平均精確率上提升15%左右，驗證了基于ISEStyleGAN 生成紅外艦船圖像的有效性和可行性。

圖9 各數據集用不同算法得到的mAP 值Fig.9 mAP value of each dataset by different algorithms

表5 各數據集目標檢測的mAP 值Table 5 mAP value of target detection in each dataset

3 結論

本文針對紅外艦船數據難以獲取的問題，提出ISE-StyleGAN 紅外艦船圖像生成算法，通過目視判讀以及客觀評價指標對原始圖像以及DCGAN、CycleGAN、StyleGAN、ISE-StyleGAN 生成圖像進行對比實驗。結果表明，本文算法生成的紅外艦船圖像質量較好，同真實紅外圖像相似度較高；再經過4 種經典目標檢測算法測試，本文算法生成圖像構建的數據集檢測效果均最優。因此，該方法可用于紅外圖像生成，為紅外艦船數據提供來源。