融合門控變換機制和GAN 的低光照圖像增強方法

何銀銀，胡靜，陳志泊，張榮國

（1.太原科技大學計算機科學與技術學院，山西 太原 030024；2.北京林業大學信息學院，北京 100083）

0 引言

低光照場景下拍攝的圖像受成像環境影響，具有整體較暗、細節丟失和噪聲干擾等質量問題，嚴重影響了物體檢測、語義分割和圖像分類等下游高級視覺任務的性能。為提高該類圖像的質量，低光照圖像增強算法變得尤為重要。

傳統低光照圖像增強算法主要歸納為兩類［1-2］：

1）基于直方圖均衡化（HE）的方法［3］。該方法通過對圖像進行非線性拉伸，使得一定范圍內的像素達到近似均勻化分布的狀態，從而達到圖像亮度和對比度提升的目的。但增強后的圖像往往存在顏色失真現象。

2）基于Retinex 的增強方法［4］。該方法將圖像分解為反射率和照度兩個分量，其中反射率描述了物體的內在固有屬性，照度表述了物體的亮暗程度。該方法通過消除光照對圖像的影響提升圖像的整體亮度，但增強后的圖像會產生曝光不足、噪聲明顯的現象。

近年來，隨著深度學習的蓬勃發展，越來越多科研人員將深度學習相關算法應用到低光照圖像增強領域中，并展現其優越的性能。目前，基于深度學習的低光照圖像增強方法大多需要大批量配對數據集進行網絡的監督學習。WEI 等［5］將Retinex 理論與深度學習算法相結合，提出了低光照圖像增強網絡RetinexNet。該網絡由分解、增強和重建三個步驟組成，分解網絡將圖像分解為反射率和照度，增強網絡利用編碼-解碼框架提取多尺度全局上下文信息，最后對調整后的反射率和照度進行逐像素相乘輸出增強圖像，但增強圖像容易出現顏色失真、噪聲信息放大的現象。ZHANG 等［6］提出了一種簡易高效的低光照圖像增強網絡KinD。該網絡結合雙分支結構，在亮度調節的同時抑制低光照圖像增強過程中放大隱藏的退化，但增強圖像會產生未知偽影。LV 等［7］提出了MBLLEN，通過特征提取網絡提取不同尺度的細節特征，并通過不同子網進行增強，最后通過多分支結構融合輸出增強結果，但增強后的圖像仍存在顏色失真、偽影現象。REN 等［8］提出一種基于內容流和邊緣流的混合神經網絡架構，內容流用于增強低光照輸入的可見性并學習場景內容的整體估計，邊緣流基于改進的空間變換網絡對邊緣細節進行建模，并引入感知損失和對抗損失進一步提高增強圖像的視覺質量，但增強后的圖像存在過度增強問題。ZHANG 等［9］提出利用靜態圖像實現低光視頻增強方法StableLLVE，通過光流來模擬全局和局部的動態場景運動，使用原始圖像和變形圖像對進行訓練，并在輸出圖像對之間強制執行一致性，提高了時間穩定性，但增強圖像整體偏白、模糊。上述基于深度學習的低光照圖像增強算法均依賴于配對的低光圖像和正常光圖像數據集。然而在現實世界中，捕獲同一場景下的低/正常圖像對是非常困難的?，F有的方法大多通過合成技術來獲得低/正常光照圖像對來解決網絡訓練時的配對數據需求，然而利用合成數據訓練的網絡，當用于真實世界的微光圖像增強時，仍會產生未知偽影。

為了解決配對數據的依賴問題，LIU 等［10］提出一種基于最優加權多曝光融合機制的低曝光圖像增強方法，以從單個低照度圖像生成多曝光圖像序列，并使用能量函數計算局部對比度、飽和度和曝光度的最優權重，增強圖像雖然提升了亮度和對比度，且最大程度保留了細節信息，但仍存在明顯的噪聲偽影。GUO 等［11］提出Zero-DCE 網絡。該網絡采用無監督方式進行訓練，通過設計深度曲線估計網絡（DCE-Net）獲得輸入圖像的最佳擬合光增強曲線（LE-Curves），然后通過迭代應用曲線映射輸入RGB通道的所有像素，以獲得最終的增強圖像，但增強圖像會出現細節丟失和未知偽影。JIANG 等［12］提出了一種基于生成對抗網絡（GAN）［13］的無監督低光照圖像增強網絡EnlightenGAN，其中生成器采用注意力引導的U-Net［14］網絡以得到增強圖像，并通過全局-局部判別器以辨別增強圖像和輸入正常光圖像的真偽，但增強后的圖像易出現噪聲放大現象。

目前，基于深度學習的低光照圖像增強算法大多都需要配對的圖像數據集，基于無監督的增強算法雖然解決了配對數據依賴問題，但噪聲抑制能力較弱，甚至會出現圖像細節丟失和色彩失真現象?；谝陨戏治?，本文基于生成對抗網絡，結合門控通道變換（GCT）單元［15］、注意力機制、卷積殘差結構，提出一種無監督低光照圖像增強方法AGR-GAN。首先，設計由多個基于GCT 單元的多尺度卷積殘差模塊（GCTRM）構成的特征提取網絡，在此基礎上，引入卷積殘差結構，減少網絡傳播過程中的信息丟失，提取輸入圖像的全局上下文特征和多尺度局部特征信息，在特征融合網絡中將提取的深淺層特征進行充分融合以獲取豐富的細節信息，獲得最終的增強圖像；然后，使用雙判別器結構改善低光照圖像局部亮度分布不均的問題，避免過曝/曝光不足現象；最后，引入聯合損失函數指導網絡訓練，抑制圖像噪聲，提升增強圖像的色彩還原質量。

1 相關理論

GAN 由相互抗衡的生成網絡G和判別網絡D組成：G通過一系列非線性計算捕獲真實數據的潛在分布，生成模擬圖像；D是一個二元分類器，其目的是判斷輸入數據是生成圖像還是正常光照輸入圖像。G和D相互博弈，當D無法判別輸入圖像的真偽時，說明G生成的圖像分布最大程度相似于真實圖像，即獲得最優的生成圖像。優化函數如式（1）所示：

其中：x～Pdata(x)源于真實圖像分布規律；z～Pz(x)表示含噪聲z的輸入數據。目標函數的作用是使Pz(x)的數據分布與Pdata(x)盡可能相似。

2 本文模型

2.1 網絡結構

為使增強后圖像的細節信息最大程度保留，同時更好地抑制噪聲和還原色彩，本文基于門控通道變換單元和GAN 結構提出無監督低光照圖像增強方法（AGR-GAN），該方法由生成網絡和雙判別網絡結構組成：生成網絡主要包括特征提取網絡（FAN）和特征融合網絡（FFN）兩部分，分別用于輸入圖像細節特征提取和深淺層特征充分融合；雙判別網絡結構用來改善低光照圖像局部亮度分布不均的問題，避免增強后的圖像出現局部曝光不足/過曝現象。AGR-GAN 方法的整體結構如圖1 所示（彩色效果見《計算機工程》官網HTML 版，下同）。

圖1 AGR-GAN 整體結構Fig.1 Overall structure of AGR-GAN

2.2 生成網絡模型

U-Net 網絡是一種完全對稱的編碼-解碼結構，編碼結構將輸入圖像的特征信息進行壓縮，再經由解碼結構恢復原始圖像分辨率，獲得最終增強圖像。為了防止分辨率變化導致特征信息丟失，編碼-解碼的相對稱層之間添加了橫向連接，保留了豐富的圖像紋理信息。借鑒U-Net 網絡結構的設計思路，生成網絡結構設計如圖2 所示。

圖2 生成網絡結構Fig.2 Structure of generate network

2.2.1 特征提取網絡

FAN 由GCTRM 和最大池化層構成，用以提取輸入圖像的全局上下文特征和多尺度局部特征信息。FAN 結構如圖2（a）所示。

每個GCTRM 均由GCT 模塊、卷積層、批量歸一化層（BatchNorm）、LeakyReLU 激活函數和卷積殘差結構構成。GCTRM 結構如圖2（c）所示。由于卷積操作感受野受限，所有通道上提取的特征本質上都是局部的，導致增強后的圖像存在嚴重的細節丟失問題。對此：首先，將GCT 模塊放在首位以提取全局上下文信息并對通道進行建模，實現全局上下文信息的聚合和利用；其次，利用批量歸一化層將數據壓縮到［0，1］區間，加快網絡的收斂速度；然后，利用LeakyReLU 非線性激活函數提升網絡對圖像特征的提取能力；最后，引入卷積殘差結構抑制模型過擬合，并促進淺層提取的低頻特征和較深層次高頻特征的融合，避免網絡前向傳播過程丟失有用特征信息，保留豐富的細節特征。每個GCTRM 模塊后接最大池化層實現降采樣操作，將獲取的特征進行壓縮，降低特征圖維度并保留有效信息。

2.2.2 特征融合網絡

FFN 采用與FAN 完全對稱的結構充分融合提取的淺層細節特征和高層語義特征，恢復圖像原始分辨率，獲得增強后的圖像。FFN 由雙線性插值算法、卷積殘差塊和橫向跳躍連接結構構成。FNN 結構如圖2（b）所示。雙線性插值算法用以恢復特征圖的原始分辨率，避免上采樣過程中圖像出現棋盤效應；卷積殘差塊用以促進低高層特征的充分融合，防止有用信息丟失，確保上下文信息的完整性。為了使圖像恢復效果更好，在FAN 和FNN 的相對稱層之間添加橫向跳躍連接結構，進一步促進特征信息拼接融合，保留更豐富的細節特征。

受低光照圖像成像環境的影響，采集的圖像存在光照不均的問題，局部區域容易出現過亮現象，如果對這部分區域不做特殊處理，那么增強后的圖像容易出現局部過曝、顏色失真問題。為了讓生成網絡重點增強圖像中較暗區域，對局部較亮區域不做二次增強，本文借鑒EnlightenGAN 中的的自特征注意力機制，提取輸入彩色低光照圖像的照明通道，并將其歸一化到［0，1］區間得到灰度圖PGray［計算方法如式（2）所示］，再利用1-PGray作為自特征注意力圖。最后，調整自特征注意力圖大小，與特征提取網絡得到的特征圖逐像素相乘，促使生成網絡在圖像增強過程中重點關注圖像中較暗區域，對于亮區域分配較少權重，使得最終增強圖像整體色彩更勻稱。

2.3 判別網絡模型

判別網絡采用雙判別器結構，均使用PatchGAN［16］網絡，如圖3 所示。其中：全局判別器以整幅圖像作為輸入來改善圖像的整體色彩強度，提升圖像的整體亮度和對比度；局部判別器分別從增強圖像和輸入正常光照圖像上隨機裁剪5個等尺寸的圖像塊作為輸入來改善增強圖像局部光照不均的問題。采用雙判別器結構能在提升低照度圖像全局亮度的同時自適應增強局部暗光區域，避免增強圖像出現局部曝光過度或曝光不足的現象。

圖3 雙判別器結構Fig.3 Structure of double discriminator

2.4 損失函數

AGR-GAN 將低光照圖像輸入生成網絡G得到增強圖像，使用判別網絡來辨別增強圖像和正常光照圖像的真偽，通過生成網絡和判別網絡的多次對抗迭代，最終使得增強后的圖像與正常光照圖像分布盡可能相近。為了使增強后的圖像質量更好，本文引入聯合損失函數，包含生成網絡損失LGen和判別網絡損失LDis兩部分，如式（3）所示：

2.4.1 生成網絡損失

生成網絡G的整體損失由對抗損失、感知損失、全變分損失（TV Loss）和顏色恒定損失（Col Loss）組成。

1）對抗損失。計算增強圖像與正常光照圖像的像素變化的損失，如L1 Loss、MSE，但較多關注像素之間的差異，增強后的圖像容易產生模糊現象，故采用對抗損失使得增強圖像和正常圖像的分布盡可能相似，獲得清晰的增強圖像，如式（4）所示：

其中：Preal代表正常光照圖像的特征映射；Pfake代表增強圖像的特征映射；x和xf分別是抽樣于Preal和Pfake的部分樣本；Pfake-patches和Preal-patches分別代表從增強圖像和正常光照圖像中隨機裁剪的圖像塊特征分布。

2）感知損失。感知損失［17］通過采用預訓練的VGG［18］網絡來建模增強圖像和正常光照圖像之間的歐氏距離，本文使用該損失來約束輸入低照度圖像與增強圖像之間的特征距離，使網絡關注圖像內容，保證增強前后的圖像細節特征近似一致，如式（7）所示：

其中：i表示第i個最大池化層；j表示第j層卷積層；Ci，j、Hi，j、Wi，j表示第i個 最大池化后的第j層卷積提取的特征圖的維度；IL代表輸入的低照度圖像；G(·)表示生成器輸出圖像；φi，j表示在ImageNet 數據集上預訓練的VGG-16 模型提取的特征分布映射。

3）全變分損失。受成像環境影響，低光照圖像含有的噪聲信息容易在圖像增強過程中被放大，嚴重影響增強圖像的質量。本文采用全變分損失［19］在不丟失細節特征的基礎上抑制圖像噪聲信息，如式（8）所示：

其中：C、H、W表示輸入低照度圖像的通道數、高度和寬度；?x和?y分別代表水平和豎直方向的梯度運算。

4）顏色恒定損失。低照度圖像局部光照分布不均，本文使用顏色恒定損失［11］來控制局部亮度提升程度，從而校正增強圖像潛在的顏色偏差，如式（9）所示：

其中：R、G、B代表輸入圖像不同顏色通道；Jp表示增強圖像p通道的平均值；(p，q)代表通道對。

生成網絡損失如式（10）所示：

其中：ωα、ωβ、ωχ、ωγ分別為損失Ladv、Lper、Ltv、Lcol的權重參數，取值均為1.0。

2.4.2 判別網絡損失

判別網絡損失由全局判別器損失和局部判別器損失組成。

1）全局判別器損失。全局判別器損失采用基于最小二乘GAN（LSGAN）［20］的相對論判別器［21］，用以估計正常圖像比增強后的圖像更真實的概率，如式（11）所示：

2）局部判別器損失。局部判別器損失采用LS-GAN作為損失函數，用以解決梯度消失問題，使得網絡訓練過程更加穩定，如式（12）所示：

3 實驗結果與分析

3.1 實驗數據集

訓練集選用EnlightenGAN［12］算法提供的非配對圖像數據集，包含914 幅低光照圖像和1 016 幅不成對的正常光照圖像。測試集選用國內外公共低光照數據 集DICM［22］、MEF［23］、NPE［24］、VV［25］、Exclusively Dark［26］（下文簡稱ExDark），其中，ExDark數據集中只包含隨機挑選的157 幅圖像。為了驗證所提方法在配對圖像數據集上的性能，從獲取訓練數據所使用的數據集中，隨機挑選148 對低光照/正常光照圖像對，將數據集命名為Test-ImageSet 來驗證本文所提方法，其中，所有圖像尺寸均被調整為600×400 像素。

3.2 實驗條件與訓練細節

本文實驗基于PyTorch 深度學習框架，CPU 配置為Intel?Xeon?Gold 5320，GPU 配置為RTX A4000，共訓練200 個周期。在訓練過程中，前100 次迭代學習率設置為0.000 4，后100 次迭代采用線性衰減策略，學習率逐步降低至0。生成網絡和判別網絡均使用Adam 優化器，batch size 設置為32。

3.3 評價指標

選用圖像處理領域最常用的峰值信噪比（PSNR）、結構相似性（SSIM）［27］和無參考圖像評價指標（NIQE）［28］作為增強圖像質量評價指標。其中：PSNR 通過對各像素點間的差異進行評估，PSNR 值越大，表明增強圖像的質量越高；SSIM 用來衡量兩幅圖像的相似程度，SSIM 值越大，說明增強后的圖像更好地保持了原始圖像的結構細節特征；NIQE不需要任何參考圖像，其值越大，表示增強圖像的質量越差，反之，圖像質量越高。

3.4 結果分析

本文選擇低光照圖像增強領域中6 種經典的方法與本文所提AGR-GAN 方法進行對比實驗，分別為RetinexNet［5］、KinD［6］、MBLLEN［7］、StableLLVE［9］、Zero-DCE［11］、EnlightenGAN［12］，從主觀 視覺效果和客觀評價指標兩方面評估各方法的增強圖像質量。

3.4.1 主觀視覺效果分析

在DICM、MEF、NPE、VV、ExDark 5 個數據集上使用上述各方法進行實驗，主觀視覺效果對比如圖4 所示。通過觀察增強圖像可知：RetinexNet 和Zero-DCE 方法增強圖像存在顏色整體偏黃、顏色失真問題；StableLLVE 方法增強圖像整體泛白、內容模糊；MBLLEN 方法增強圖像出現未知偽影；EnlightenGAN 方法增強圖像出現未知偽影并存在細節丟失問題；其他方法增強效果較好，能夠有效提升原始圖像的亮度和對比度。

圖4 不同方法在5 個低光照數據集上的增強效果對比Fig.4 Comparison of enhancement effects of different methods on five low-light datasets

在Test-ImageSet 數據集上應用上述各方法進行實驗，主觀視覺效果對比如圖5 所示。通過觀察增強圖像可知：各方法的增強圖像相比于原始輸入低光照圖像，亮度和對比度有了顯著提升，但KinD 方法增強圖像顏色整體偏白，圖像色彩存在一定程度的失真；MBLLEN 和Zero-DCE 方法增強圖像都存在畫面顏色過深的現象；StableLLVE 方法增強圖像細節丟失嚴重、整體泛白；RetinexNet 和EnlightenGAN 方法增強圖像色彩不真實且存在噪聲放大現象；本文方法增強圖像的色彩更接近真實圖像，細節恢復更好，極大程度減弱了噪聲信息。

圖5 不同方法在Test-ImageSet 數據集上的增強效果對比Fig.5 Comparison of enhancement effects of different methods on Test-ImageSet dataset

綜上分析，AGR-GAN 在不同數據集上增強后的圖像曝光程度適宜，圖像色彩分布均勻，抑制噪聲信息的同時保留了圖像的細節紋理，增強圖像與真實光照圖像更為貼切。

3.4.2 客觀指標評價

除了分析主觀視覺效果之外，本文還使用PSNR、SSIM 和NIQE 3 種評價指標客觀評估AGRGAN 方法的性能。

由于數據集DICM、MEF、NPE、VV、ExDark 中都只包含低光照圖像，無同一場景下正常光照的配對圖像，因此使用NIQE 來評價各方法的性能，具體結果如表1 所示（加粗表示最佳結果，下同）?？梢钥闯?，本文方法在DICM、NPE 和ExDark 數據集上的NIQE 值最低，在VV 數據集排名第二，均值第一，增強圖像質量整體最高。

表1 不同方法在5 個低光照數據集上的NIQE 值Table 1 NIQE values of different methods on five low-light datasets

由于Test-ImageSet 為配對圖像數據集，因此本文使用有參考圖像評價指標PSNR 和SSIM 來評估各方法的性能，具體結果如表2 所示?？梢钥闯?，本文方法相較于其他方法PSNR 和SSIM 值最高，表明增強圖像和真實圖像分布最接近，增強圖像質量最高。

表2 不同方法在Test-ImageSet數據集上的客觀評價結果Table 2 Objective evaluation results of different methods on Test-ImageSet dataset

3.5 消融實驗

本節分析FAN、FFN、TV Loss 和Col Loss 對實驗結果的影響。消融實驗具體設置如下：

F1：使用FAN+FFN+TV Loss+Col Loss；

F2：生成網絡替換為U-Net 結構，其他不改變；

F3：移除Col Loss，其他不改變；

F4：移除TV Loss，其他不改變；

F5：移除TV Loss 和Col Loss，其他不改變。

上述各組合的主觀視覺效果對比如圖6 所示?？梢钥闯觯寒斒褂肬-Net 網絡作為生成網絡的主干時，增強圖像明顯存在未知偽影、曝光過度問題，如圖6 中F2 所示；當移除Col Loss 之后，增強圖像局部色差較大，明暗界限明顯，如圖6 中F3 所示；當移除TV Loss 之后，增強圖像中的路面存在明顯噪聲信息，如圖6 中F4 所示；同時移除上述兩個損失函數之后，增強圖像存在顏色失真和噪聲放大現象，如圖6中F5 所示；采用本文方法增強后的圖像，原始亮區域未出現曝光過度問題，較暗區域亮度明顯提升，同時增強圖像邊界清晰，未出現噪聲放大現象，如圖6中F1 所示。

圖6 消融結果可視化對比Fig.6 Visual comparison of ablation results

定量結果如表3 所示，由實驗F1、F2 可得，在DICM、MEF、NPE、VV 4個低光照數據集上AGR-GAN的NIQE 值最小，在ExDark 上排名第二，整體均值第一，驗證了FAN 網絡和FFN 網絡能有效提高增強圖像的質量。由實驗F3、F4、F5 可得，缺少圖像平滑函數和顏色一致性損失函數之后，NIQE 值明顯增大，增強圖像的質量降低。

表3 消融結果基于NIQE 基準的定量比較 Table 3 Quantitative comparison of ablation results based on NIQE benchmarks

4 結束語

針對低光照圖像增強過程中存在的問題，本文提出低光照圖像增強方法AGR-GAN。設計基于GCTRM 模塊的FAN，以提取輸入圖像的全局上下文特征和多尺度局部特征信息，并在FNN 中將提取的深淺層特征進行充分融合以獲取豐富的細節信息，獲得最終的增強圖像。在此基礎上，改進網絡的損失函數，起到圖像降噪的效果，使增強圖像色彩均勻且真實。在多個低光照圖像數據集上與該領域經典的算法進行對比實驗，結果表明，AGR-GAN 方法能有效提高低光照圖像的亮度和對比度，減弱圖像噪聲信息，較對比方法增強圖像更清晰、細節更豐富且色彩更真實，圖像質量更高。下一步將把AGR-GAN低光照圖像增強網絡嵌入目標檢測框架中，完成低照度場景下的特定目標識別定位任務。