基于生成對抗網絡的水下圖像增強

丁元明，劉蘇睿,2，楊 陽,2

(1. 大連大學 通信與網絡重點實驗室，遼寧 大連 116622；2. 大連大學 信息工程學院，遼寧 大連 116622)

0 引 言

水下圖像作為水下信息的載體，其對深海環境感知與資源探索發揮著重要作用。水下成像環境復雜光的散射導致了霧霾效應，光的衰減導致了顏色偏色。這些問題對進一步的水下研究（目標識別、目標檢測等）造成嚴重影響，所以需要對所采集到的圖像進行處理。圖像處理是為了改善圖像的視覺效果，而改善圖像質量最有效的方法是圖像增強。圖像增強可提高圖像的分辨率和質量，將圖像變得更加清晰，方便計算機對圖像的分析和處理。

針對水下成像特點，存在3 類方法可增強水下圖像清晰度，分別為：基于物理模型方法、基于非物理模型方法、基于深度學習方法[1]?；谖锢砟Ｐ偷姆椒ㄖ饕罁﨡affe-McGlamey[2]水下成像模型，通過求解水下成像模型的逆運算以獲得清晰的水下圖像[3-4]。這列方法建立在假設的基礎上，所以與實際存在一定偏差，對圖像恢復程度很有限。非物理模型的方法參考于傳統圖像處理方法，直接調整圖像像素取值[5-6]。由于未考慮水下圖像成像特點，單一使用無法解決圖像偏色和對比度低的問題。另外，這2 種方法使用的數據量不大，泛化能力難以保證，也難以移植于水下視頻增強等領域?；谏疃葘W習的方法根據主體結構的不同可分為兩大類，即基于卷積神經網絡的(CNN) 方法和基于生成對抗網絡（GAN）方法。Wang 等[7]提出了一種基于卷積神經網絡（CNN）的水下圖像增強方法，該方法提高了水下圖像的亮度和對比度，但紅色過度增強在顏色矯正上還有待改善。Islam 等[8]提出一種基于生成對抗網絡的實時水下圖像增強模型，該方法增強后的圖像呈現出暗黑色，整體視覺效果較差。

針對上述問題，本文結合特征融合思想，提出一種基于色彩均衡和生成對抗網絡的水下圖像增強算法。該算法由生成網絡和判別網絡2 個模塊組成。其中在生成網絡中引入色彩均衡模塊，通過去偏色算法解決水下圖像偏色問題。判別網絡通過學習區分生成圖像與參考圖像，判斷數據是否為真。此外，通過構建包含結構相似性和最小絕對值偏差的多項損失函數，進一步提升模型性能。結果表明，本文算法能夠更有效地改善水下圖像的顏色失真與偏色問題。

1 基本原理

GAN 需要訓練2 個模型，一個生成模型D 負責負責憑空捏造數據出來，一個判別模型G 負責判別網絡通過學習區分生成圖像與參考圖像。2 個網絡相互博弈，其網絡結構如圖1 所示。

圖1 GAN 原理圖Fig. 1 Schematic diagram of GAN

首先向G 中輸入隨機噪聲，G 根據一串隨機數據捏造假圖像用于欺騙D，D 負責判別真假圖并且給出一個結果。G 的目標是生成幾乎與原圖相似的假圖從而使得D 判斷錯誤的概率增大。而D 的目標是有效區分真假圖。GAN 的原理公示可表示為：

式中，x為目標數據，z為G端輸入的隨機噪音。在對抗訓練中模型在訓練G的同時也會訓練D，訓練G 使[log(1-D(G(Z)))]的值最小。在理想訓練情況下，D 是完美的， logD(x)等于1，D(G(Z))等于0 。最終G 的輸出值為0，D 的輸出值為1。

2 基于生成對抗網絡的水下圖像增強

本文提出一種特征提取的GAN 模型。其特點在于G 中分為2 個模塊，將U-Net[9]提取的特征與偏色校正圖像的特征融合，通過卷積神經網絡完成增強后的圖像重構。相比普通GAN 算法，能夠更有效地改善水下圖像的偏色問題。所提算法的執行過程如下：首先通過U-Net 網絡提取圖像特征F1，然后使用去偏色算法解決水下圖像偏色問題，通過卷積網絡提取特征F2，將其與F1 以對應元素相乘的方式融合，最后以卷積網絡完成特征到增強圖像的重構。D 采用全卷積網路結構，來實現對生成圖像與其對應的參考圖像的判別。本文算法的網絡結構及數據流動方向如圖2所示。

圖2 本文網絡結構Fig. 2 The network structure of this paper

2.1 生成器

2.1.1 G 生成器設計

在G 中添加去偏色模塊，基于U-Net 網絡提取到的特征F1 與通過卷積網絡提取的去偏色圖像特征F2，通過對應元素相乘進行特征融合，最后通過卷積網絡完成重構。其流程如圖3 所示。

圖3 G 流程圖Fig. 3 G flow chart

2.1.2 特征提取U-Net 網絡模塊

使用U-N e t 網絡進行特征提取，其結構如圖2 所示，采用了對稱編碼器解碼器，該模塊主要由下采樣和上采樣部分組成。其中，下采樣單元中包含一個卷積步長為1 和一個卷積步長為2 的卷積層，而上采樣單元中包含一個卷積步長為1 的卷積層和一個卷積步長為2 的反卷積層。對提取到的特征使用批歸一化(BN)處理，同時使用LeakyRe LU 函數作激活函數。水下圖像經過特征提取后被映射為F1特征。

2.1.3 去偏色模塊

光的衰減程度在水下環境中是不同的，其中紅光衰減最快，藍綠光衰減相對較慢，導致獲得的水下圖像會出現呈現偏藍或偏綠特性[10]。為了提高網絡的水下修復效果，在生成器G 中添加了去偏色模塊。顏色校正的傳統算法有灰度世界算法[11]和完美反射算法[12]。它們的處理水下圖像的效果如圖4 所示?？梢钥闯?，灰度世界算法在處理偏色問題時有明顯作用。同時復雜度較低，但其對紅色通道像素強度顯著區域會出現過度補償。原因是水對紅色光的衰減最為明顯,使得紅色通道的均值較小，灰度世界算法對紅色通道部分像素值顯著區域出現過度補償的問題。

圖4 不同顏色校正算法結果對比Fig. 4 Comparison of the results of different color correction algorithms

針對以上問題，Ancuti 等[13]在2018 年提出一種新的白平衡算法，該算法提出基于各個通道的像素差值對紅通道和藍通道進行補償，然后用灰度世界算法對顏色補償后的圖像進行顏色校正。其紅色通道補償格式為：

式中：Ir和Ig分別為處理后水下圖像的紅色通道和綠色通道，為Ig的均值，為Ir均值， α為常數。

本文在文獻[13]的基礎上進行改進。在對紅通道進行補償時，由于灰度世界假設所有通道的均值相同，而紅通道均值和綠通道均值的差值體現紅、綠通道衰減的不平衡性，因此基于該差值對紅通道進行補償。補償后的紅通道像素值為：

在使用改進過的去偏色算法對水下圖像進行初步處理后，設計一個特征提取網絡來提取去偏色圖像的特征F2 該網絡結構由2 個卷積層構成。使用大小為3、卷積長為1 的卷積核，并在卷積層后添加批歸一化BN 層和Leaky ReLU 激活層。

2.1.4 特征重構

在G 的最后，通過對應元素相乘的方式融合顏色校正圖像的特征和原始水下圖像的特征，并通過卷積層將融合的特征映射為增強后的水下圖像。

2.2 判別器

在本算法中，D 使用的馬爾可夫判別器[14]，完全由卷積層構成，輸出的是一個n×n 矩陣，接著取輸出矩陣的均值作為True/False 的輸出。若輸出為True，則代表清晰的水下圖像，False 則代表生成器G 所生成的水下圖像。

2.3 損失函數

為了保證輸入圖像與輸出圖像的相似度，采用損失函數的線性組合，將結構相似性損失值納入到目標函數中，以提高圖像結構相似性。當2 張圖像趨近相同時，則SSIM 的值趨近于1。所以這種類 SSIM 的損失函數可表示為：

此外，引入L1 損失函數，也被稱為最小絕對值偏差，有著很好的魯棒性，損失函數為：

式中：x為X范圍內單個像素的坐標，X為輸入圖像的所有像素的坐標集合，N為輸入圖像像素數量的總和，g(x)為模型輸出的圖像坐標x處的像素值，y(x)為真值圖像坐標x處的像素值。最后的損失函數可表示為：

在幾次實驗和對最佳重建結果的觀察后，將 α設置為0.8。

3 實驗結果與分析

為驗證算法的有效性，將本文算法與幾種經典的水下圖像增強算法進行對比。

3.1 實驗設置及數據

仿真實驗是在i5-11400H 處理器，16GB RAM，NVIDIA 3060Ti 8GB 顯卡配置的計算機上運行。本文選用的水下數據集包含從海洋生物養殖場收集的真實世界水下圖像，大致可分為兩類，一類包含近場綠色調圖像，另一類包含遠場場景的藍綠色調圖像。在訓練過程中，G 和D 的優化交替進行。根據 Adam 優化器，學習速率設置為 0.000 1，訓練過程中生成模型更新一次，判別模型更新5 次。

3.1.1 算法有效性驗證

為了驗證本算法的有效性，本文從數據集中選取了部分偏藍和偏綠程度不同場景不同的圖片。將本文所提出的算法與傳統算法文獻[15]UCM 算法、文獻[16]UDCP 算法和深度學習算法文獻[17]UGAN、WGAN[18]算法進行對比。不同方法在數據集上實驗結果對比結果如圖5 所示。

圖5 不同方法在數據集上實驗結果對比Fig. 5 Comparison of experimental results of different methods on data sets

3.2 實驗結果評價

3.2.1 主觀評價

從圖5 可看出，文獻[15]可以增強圖像的亮度和對比度，但在顏色恢復方面不太均勻，并且在圖像的某些區域似乎過度增強。文獻[16]的結果似乎具有合適的色調，但缺乏足夠的飽和度和對比度。對于綠色調圖像，不能很好地恢復，它們使圖像更暗，但增強了圖像的對比度。文獻[17]和文獻[18]可增強圖像的對比度，但它們不能很好地恢復顏色并產生一些偽影，從而破壞圖像的結構信息。相比之下本文所提出的方法可在保持適當亮度和對比度的同時恢復退化水下圖像的顏色。

3.2.2 客觀評價

為使實驗對比的結果更加客觀，采用非參考指標UIQM[19]來定量評估數據集上的水下圖像質量。UIQM 是一種基于人眼視覺系統激勵的無參考水下圖像質量評價指標，其針對水下圖像的退化機理與成像特點，采用色彩測量指標（UICM），清晰度測量指標（UISM），對比度測量指標（UIConM）作為評價依據，將UIQM 表示為三者的線性組合。其值越大，表示圖像的顏色平衡、清晰度、對比度越佳。表1展示了不同算法處理之后的圖像在指標UIQM 上的結果?？梢钥闯?，在經過本文算法的增強后大部分結果較為優異，與其他4 種算法評價指標的平均值對比，UIQM 有一定提升，證明了本文算法能夠有效地還原圖像真實色彩、提高圖像對比度和清晰度。

表1 不同算法的UIQM 評價指標結果對比Tab. 1 Comparison of UIQM evaluation index results of different algorithms

表2 不同算法的PSNR 和SSIM 結果對比Tab. 2 Comparison of PSNR and SSIM evaluation index results of different algorithms

另外，還選擇了全參考評估指標PSNR 峰值信噪比和SSIM 結構相似性指數進行客觀評測。PSNR 值取決于原始霧圖與生成圖像對應像素間的誤差，其值越大，恢復得到的無霧圖像清晰度越高。SSIM 從亮度、對比度、結構3 個方面對圖像相似性進行評估，其值越大，代表圖像失真越小。結果表明，本文提出的算法在峰值信噪比和結構相似性上取得了較好結果。

3.3 去偏色模塊的對比實驗

為了更好地驗證本文特征融合算法的有效性，分別對本文算法和未采用去偏色模塊的GAN 模型進行實驗對比，結果如圖6 所示?？梢钥闯?，未采用去偏色模塊的GAN 模型雖大致可矯正退化水下出現的藍綠色調，但矯正效果欠佳，圖像整體視覺感知效果較差。而本文算法采用特征融合，有效提升了模型的性能，使得增強后的圖像在清晰度、對比度和顏色矯正方面均表現良好。

圖6 未添加去偏色模塊的GAN 模型與本文算法結果對比Fig. 6 Comparison between GAN model without adding depigmentation module and the algorithm results in this paper

4 結 語

針對對水下圖像出現的顏色失真和對比度低的問題，本文結合深度學習，提出了一種基于GAN 的特征融合圖像增強算法。采用U-Net 網絡結構結合改進的白平衡算法，引入損失函數L-SSIM 和L1 的線性組合實現水下圖像的增強，能夠有效地還原圖像真實色彩，提升圖像的對比度和清晰度。實驗結果表明，與不同算法相比，本文算法在UIQM、PSNR 和SSIM 指標上的平均值為5.071、25.310 和0.996，分別比第二名提升了1%、7%和5%。表明本文算法在清晰度、顏色校正和對比度方面均表現良好，能有效增強圖像。