一種基于MDARNet 的低照度圖像增強方法*

江澤濤,覃露露,秦嘉奇,張少欽

1(廣西圖像圖形處理與智能處理重點實驗室(桂林電子科技大學),廣西 桂林 541004)

2(桂林信息科技學院,廣西 桂林 541004)

3(南昌航空大學,江西 南昌 330063)

在照度低或逆光等光照環境差的情況下采集的圖像,稱之為低照度圖像(low-light images,簡稱LLI),此類圖像容易出現低質量現象,例如對比度低、顏色失真和細節信息模糊等.由于其低質現象,低照度圖像往往會造成目標識別、檢測和跟蹤等計算機視覺任務算法性能的降低.低照度圖像增強方法旨在通過一些技術手段和方法恢復原本低質圖像的真實場景信息,以獲得具有完整的結構和細節信息且視覺效果自然、清晰的圖像.低照度圖像增強方法主要分為傳統增強方法和基于神經網絡的增強方法.

傳統圖像增強方法可以分為以下4 類.

1) 基于直方圖的增強方法.通過統計方法調整圖像中的像素值,使圖像直方圖達到均衡狀態,從而對低照度圖像的亮度和對比度進行提升,如LDR[1],ERMHE[2]等.但此類方法的增強結果圖中常出現難以平衡圖像暗區恢復和亮區保留的問題,同時也容易出現色彩失真問題,具有較弱的魯棒性;

2) 基于Retinex 的傳統增強方法.受益于Land[3]提出的人眼視覺的亮度與色彩感知模型——Retinex 理論,眾多學者在該模型的基礎上提出了單尺度Retinex(SSR)、多尺度Retinex(MSR)、帶顏色恢復的MSR(MSRCR)[4]、LIME[5]、RobustRetinex[6]和JED[7]等經典算法.此類傳統方法能夠有效增強圖像亮度且較好保存如邊緣和角落等高頻信息,但它們無法有效避免對比度不均勻和顏色失真等問題;

3) 基于偽霧圖的增強方法.Dong 等人[8]通過研究發現,低照度圖像的轉置圖與霧霾圖像的特征具有很高的相似性,由此提出對此類偽霧圖應用去霧方法實現低照度增強的方法(Dehaze).此類方法只能有效改善部分圖像的視覺效果,但是易產生邊緣效應、光暈效應和不實際現象;

4) 基于圖像融合的方法.該方法通過將多張不同照度的圖像進行融合的方式提升低照度圖像的質量,如Ying_CAIP[9],Ying_ICCV[10]等算法.然而此類方法通常需要采集同一場景下的不同曝光程度子圖,或者通過其他技術手段獲取系列子圖才能實現較好的圖像融合,這局限了該方法的應用.此外,該方法在對照度不均勻圖像進行增強的過程中,無法有效地提升較暗區域的亮度.

隨著卷積神經網絡(CNN)在圖像分類、目標檢測、目標跟蹤等計算機視覺領域取得了出色的成績,越來越多的研究人員將CNN 運用到低照度圖像增強領域.Shen 等人[11]通過結合卷積神經網絡與MSR 算法,提出了MSRNet 低照度增強模型,學習暗圖像到亮圖像的反射分量,很好地將基于Retinex 傳統方法與基于卷積神經網絡的方法進行結合,增強效果顯著.但MSRNet 會出現圖像增強不均勻和色彩偏差的問題.Lv 等人[12]提出了一種基于深度學習的多分支微光增強網絡(MBLLEN),該方法提取多個不同級別的豐富特征,通過多個子網應用增強功能,最后通過多分支融合生成輸出圖像.Tao 等人[13]通過卷積神經網絡進行圖像去噪,利用亮度通道先驗實現照度增強;隨后,他們又提出LLCNN[14]實現端到端的低照度圖像增強網絡.Wei 等人[15]通過聯合生成對抗網絡和圖像質量評估技術,實現低照度圖像增強方法.Wang 等人[16]提出了一個全局照明感知和細節保存網絡(GLADNet),首先為低光輸入計算全局照明估計,然后在估計的指導下調整照明,并使用與原始輸入的串聯來補充細節.Zhang 等人[17]受到Retinex 理論的啟發,提出了一個簡單而有效的網絡(KinD).該方法將圖像分解為兩個部分:一部分(照明)負責調光,另一部分(反射)負責降解.以這種方式將原圖像空間解耦為兩個較小的子空間,以更好地進行正則化和學習.江澤濤等人提出一種利用改進的U-Net 生成對抗網絡實現低照度圖像轉換為正常照度圖像的網絡(LLEGAN)[18];隨后,該團隊將低照度增強需要解決的多重失真問題轉為兩重增強,提出了一種多重構變分自編碼器(MRVAE)[19],通過兩個階段的增強網絡,分別解決多重失真.雖然上述方法都能在一定程度上解決低照度圖像的低質問題,得到較好的亮度、色彩還原度,但難于在同一個網絡中完全解決所有低質問題.如果僅用簡單的卷積運算構建低照度圖像增強模型,此時的模型是簡單利用CNN 的學習能力直接學習如何將低照度圖像映射正常照度圖像.然而普通卷積對圖像的每個像素或通道都分配以相同的學習權重,這將可能導致模型無法有針對性地實現低照度圖像增強,容易出現增強圖像亮度提升過于均衡、色彩失真等問題.此外,基于神經網絡的方法需要大量的數據進行學習訓練,因此,數據集的構建效果也同樣嚴重影響著模型的最終增強性能.

為了解決上述問題,且有效實現低照度圖像亮度的提升、對比度的增強、色彩信息的還原以及噪聲的去除,本文將卷積神經網絡強大的學習能力與圖像構成模型Retinex理論相結合,提出了一種基于Retinex的低照度圖像增強網絡——MDARNet,其中,通過引入Attention 機制和密集卷積塊來增強網絡模型對圖像特征的提取能力.首先,MDARNet 利用多尺度卷積實現對圖像的初步特征提取;其次,通過密集卷積塊對初步特征圖進一步增強特征;然后,利用Attention 機制對特征圖進行動態分配權重,實現有針對性的增強;最后,利用Retinex 理論將環境光照和噪聲分量從低照度圖像中除去,得到最終的增強圖像.通過實驗對比分析,MDARNet 與其他主流算法相比較,能夠有效提升圖像的亮度、對比度和色彩還原度,同時實現噪聲去除.

1 相關理論

1.1 Retinex理論

Retinex 理論[8]指出,人眼視覺或攝像設備所感知的物體亮度由物體本身的反射分量和環境光照這兩個因素構成,如圖1 所示,其數學表達式為

其中,I(x,y)表示采集圖像對應(x,y)坐標的像素,R(x,y)表示圖像(x,y)坐標像素的反射分量,E(x,y)表示該位置的環境光照分量.

Fig.1 Form of image composition in Retinex theory圖1 Retinex 理論中的圖像構成形式

顏色恒常性理論指出:視覺感知到的物體顏色僅僅由物體本身的反射性能所決定,在不同波長的光線下感受到不同顏色僅僅取決于物體對該波長光的反射能力,而與該環境光無關.因此,若能夠近似估計出采集圖像時所處環境的光照強度分量E(x,y),我們就可以根據這一理論將環境光照對成像的影響去除,從而得到物體本身的反射分量R(x,y).為了簡化計算,將公式(1)改寫為

其中,log(·)表示對圖像進行以自然對數或10 為底的對數運算,Ic(x,y)則表示輸入圖像中第c層通道圖.

SSR 算法[9]是Jobson 提出的首個基于Retinex 理論的照度增強方法,該方法通過構造高斯環繞函數對環境光照分量進行估計,其數學表達式為

其中,*表示兩張圖像之間進行卷積運算,F(x,y)表示估計的高斯環繞函數,而F(x,y)的標準差為σ2、尺度為λ.其中,λ滿足在整個概率域上的積分為1,即滿足下式:

綜合上述分析可知,將公式(3)的等號兩邊取對數后代入公式(2)匯總,即可得到SSR 算法的最終增強結果:

其中,N表示尺度數量,Rcn表示第n個尺度下第c層通道的SSR 估計結果圖,為根據MSR 計算得到 的第c層通道的增強分量圖,wn表示第n個尺度增強圖在該層合成增強結果圖中的合成權重.

1.2 Attention機制

注意力(attention)機制因其具有捕獲長距離交互的能力被廣泛應用于序列建模的計算模塊,如機器翻譯、自然語言處理領域[20].通俗而言,注意力機制就是對輸入數據的各個部分按照其對結果的影響程度分配不同權重,然后再著重對重要部分進行特征提取.注意力機制模仿的是人類的行為慣性,無論在文字閱讀還是視覺感受過程中,人們總會著重閱讀或觀察自己的感興趣的部分.自注意力機制(self-attetion)是輸入數據利用自身的特征,通過卷積運算等方式給自身各部分分配不同權重的機制[21].

近年來,許多學者在不同視覺任務的研究過程中引入注意力機制,以解決單一卷積存在的弱點.在計算機視覺中引入注意力機制的根本目的,是讓網絡學會在學習過程中給圖像的不同信息分配不同的注意力,做到忽略無關信息,重點關注有用信息[22].在視覺任務中的注意力機制通常是通過使用注意力圖(Attention map)的形式實現,通過構建的注意力模塊學習到特征圖中的關鍵特征,并形成Attention Map,然后再將輸入的特征圖與Attention Map 進行乘積運算,突出關鍵區域特征,完成對特征的區域關注[23].Hu 等人[24]提出了一種全新的圖像識別結構SENet,該網絡利用注意力機制對特征通道間的相關性進行建模,通過降低無關信息的影響和強化重要區域的特征,實現準確率的顯著提升.Chen 等人[25]提出了基于通道注意的定向感知功能(SISR-CAOA)融合模塊,采用通道注意力機制,自適應地將從不同通道中提取到的特征進行融合,從而實現了恢復精度和計算效率都更高的超分辨率模型.

在針對低照度圖像增強的研究任務中,也有不少學者通過在CNN 增強網絡中嵌入注意力機制的方式增強模型的性能.該方式促使模型更有效地處理低照度圖像中多種導致圖像低質的因素,包括亮度、對比度、色彩、噪聲等.Wang 等人[26]在CNN 增強網絡的基礎上,考慮到特征通道及多層特征的重要性,構建了具有特征提取模塊和特征融合模塊兩部分的增強網絡.然而,該模型并未從像素的角度考慮圖像中不同區域存在的照度、噪聲不均等問題.Lv 等人[27]利用CNN 構建了兩個注意力網絡,分別學習獲取用于引導亮度增強和去噪任務的掩膜(mask),通過mask 對亮度不均的區域和噪聲分布不均的區域進行針對性的指導增強.然而,該模型在得到mask之后組建了多個分支子網絡實現增強,網絡結構相對龐大,且其將原本存在聯系的圖像亮度及噪聲分開考慮的處理方式欠妥.

2 基于MDARNet 圖像增強方法

2.1 基于Retinex的圖像增強問題描述

為了能利用Retinex 實現低照度圖像的增強,設X∈Rw×h為低照度圖像,Y∈Rw×h為與之對應的正常照度圖像,則根據公式(6)和公式(7)知,增強圖像可表示為

當N=1 時,表示SSR 算法;當N>1 時,表示MSR 算法.若令:

則最終增強圖像可表示為

傳統的Retinex 算法通常根據先驗知識直接構建一個高斯環繞函數,與低照度圖像X進行卷積運算后,得到 環境光照分量的估計圖.然而在實際的應用中,通過先驗知識進行估計運算的方法往往魯棒性較差.因此,本文借助卷積神經網絡能夠很好地學習數據特征的特性,用于代替估計的傳統方法[28].

2.2 MDARNET模型設計

針對上述基于Retinex 的圖像增強問題,本文利用卷積神經網絡對Retinex 理論中的分量進行估計.通過在網絡中引入Attention 機制與DenseNet[29]模塊,增強對圖像有用特征的提取和降低干擾特征的影響.提出一種基于Retinex 與Attention 相結合的低照度圖像增強網絡——MDARNet(multiscale dense Attention Retinex network),該網絡能夠有效地對低照度圖像的亮度、對比度以及色彩實現增強,當圖像存在噪聲時,同樣能進行有效的降噪.MDARNet 的網絡結構如圖2 所示.

Fig.2 Network structure of low illumination image enhancement method based on Retinex and Attention圖2 基于Retinex 與Attention 的低照度圖像增強方法的網絡結構

MDARNet 模型分為fMS,fDense,fgaussions這3 個子模塊,分別進行多尺度特征提取、密集特征提取、環境光照與噪聲分量估計.

首先,fMS通過將多個不同尺寸和形狀的卷積核直接用于對原始輸入的低照度圖像進行多尺度特征提取,并將得到的多尺度特征進行連接;接著,利用像素注意模塊(pixel-wise Attention,簡稱PA)進行特征篩選,得到初步圖像特征fMS(X);其次,fDense利用多個跳躍連接對fMS(X)做進一步的特征提取,并將不同階段輸出的特征進行連接和通道壓縮,得到特征圖fDense(fMS(X));然后,通過構建的通道注意模塊(channel-wise Attention,簡稱CA)和像素注意模塊對特征進行篩選,再通過一個1×1 卷積將多通道特征圖進行通道壓縮,隨后進行對數運算即可得到輸 入圖像的環境光照與噪聲分量;最后,根據公式(10)計算得到增強結果圖.

2.2.1 非對稱卷積

Ding 等人[30]證明了:采用非對稱卷積可以顯著增強標準方形卷積核的表示能力,并且可以有效減小運算的復雜度.因此,本文采用如圖3 所示的非對稱卷積方式代替部分的普通卷積.MDARNet 將一個非線性映射(nonlinear mapping,簡稱NLM)運算H(·)定義為一個卷積運算和一個ReLU激活函數的組合,為了能夠最大限度地保留圖像的信息,本文均不采用批量歸一化,即:

其中,W,b 分別表示該非線性映射層的權重與偏置,k×k表示卷積核的尺寸.由此,非對稱卷積AConv(·)可表示為

Fig.3 Asymmetric convolution AConv structure diagram圖3 非對稱卷積AConv 結構示意圖

2.2.2 特征注意力機制

在絕大多數低照度圖像增強網絡中,將圖像或提取到的特征圖中每一個通道或像素對最終增強結果的貢獻都視為是平均的.為了避免在低照度圖像增強過程中常出現的局部亮度增強不足或過度增強、色彩失真、噪聲放大等現象,本文通過增加基于像素和通道的兩種注意力模塊,分別對不同圖像的特征情況給不同的像素區域或特征通道分配不同的學習權重,從而使得模型能夠靈活的對特征進行取舍,避免上述失真問題.

1) 像素注意模塊(PA)

像素注意模塊是指對不同的像素點賦予不同的學習權重,從而使網絡能夠有針對性地應對低照度圖像中光照不均勻及存在噪聲的問題.如圖4 的Pixel Attention-AConv 所示,PA 模塊首先利用兩個AConv對圖像進行特征學習,然后利用一個Sigmoid激活函數將結果映射到(0,1),由此得到與輸入尺寸相同的權重圖(PAMap):

其中,S(·)表示Sigmoid函數.最后,將得到的PAMap與輸入xin進行元素相乘,即可得到像素注意模塊的輸出為:

Fig.4 Characteristic attention mechanism network structure diagram圖4 特征注意力機制的網絡結構圖

2) 通道注意模塊(CA)

在提取到的特征圖中,每張特征圖所提取到的特征不盡相同,且所提取到的特征不一定都有利于進行照度增強.因此,本文引入了通道注意模塊,其目的是通過學習給不同的特征圖賦予合適的權重,從而提升具有明顯特征的特征圖所占的比例,降低對噪聲等特征的學習.CA 結構如圖4 的Channels Attention-AConv 所示.

首先,CA 對輸入H×W×C大小的xin進行全局平均池化,實現對每一層通道的空間信息壓縮,從而得到一個1×1×C向量vector:

然后,利用兩個AConv對向量進行權重學習,同樣采用Sigmoid激活函數將結果映射到(0,1),得到權重向量(CAVector):

最后,將得到的基于通道的權重向量與輸入xin的各個通道層進行相乘,即可得到通道注意結果為

2.2.3 多尺度特征提取模塊

由于卷積操作的感受野有限,因此,采用固定尺度大小的單個卷積核對圖像進行特征提取也局限了特征提取的結果.為了能夠更好地提取到圖像的特征,本文采用3 個不同尺度的卷積核分別對圖像進行特征提取,然后將多個尺度的卷積結果進行通道拼接,如圖2 的fMS所示.本文利用非對稱卷積的優點,將多尺度卷積設計為二維的方塊形卷積與一維的卷積相結合的形式,實現對圖像的多維特征提取.由于此模塊對原始圖像進行初步特征提取,因此一維卷積采用大尺寸的卷積核,即,此處多尺度卷積核大小分別為一個3×3,一個1×5 和一個5×1.其次,為了能夠最大限度地利用提取到的特征,此處將3 個不同尺度提取到的特征圖進行通道連接:

然后,利用像素注意模塊對該多尺度特征圖FMS進行加權學習,由此獲得多尺度特征提取模塊的輸出結果XMS可表示為

2.2.4 密集特征提取模塊

密集卷積神經網絡(DenseNet)是Huang 等人[28]為了克服隨著CNN 深度的增加而出現梯度彌散的問題而提出的一種網絡結構,它確保了網絡中各層之間的最大信息流,且能夠有效緩解梯度消失問題、增強特征傳播,大大減少了參數量,同時能夠增強網絡的泛化能力.本文設計的密集跳躍結構設計如圖2 中的fDense模塊所示,實現在多尺度特征提取模塊的結果提取到更豐富、更高階的特征,為后續的環境光照與噪聲分量估計奠定特征基礎.首先,為了更好地定義密集特征提取模塊,將跳躍卷積單元(skip conv unit,簡稱SConv)定義為兩個非線性運算和一個拼接層:

然后,fDense由N個跳躍卷積單元構成,且所有的跳躍卷積單元輸出結果將被連接在一起,即:

其中,SConvi表示第i個跳躍卷積單元的輸出結果.最后,用一個非線性映射對進行降維,得到密集特征提取模塊fDense的輸出結果:

公式(22)輸出的結果XDense通過密集卷積進一步提取特征之后,具有比XMS更加豐富的特征.

2.2.5 環境光照與噪聲分量估計模塊

在密集特征提取結果XDense上,環境光照估計模塊先通過一個通道注意模塊和像素注意模塊對特征圖進行權重學習.通過基于通道注意力和像素注意力的結合,實現對特征圖中不同通道和不同像素區域的關注學習,能夠有效提取特征中的環境光照和噪聲信息.然后,利用1×1 非線性映射對特征進行降維,得到三通道特征圖后進行取對數運算,得到輸入圖像X的環境光照與噪聲的估計為

由此,根據公式(23)可以得到環境光照與噪聲信息的估計圖.最后,結合公式(10)和公式(23)即可得到增強結果圖.但為了避免在網絡傳播過程中出現像素點的值超出(0,1)范圍,本文在輸出結果圖之前,使用Sigmoid函數進行像素值的映射,即:

2.3 MDARNet的損失函數

MDARNet 網絡模型的訓練目的是,將輸入低照度圖像X送入網絡得到照度增強圖像與對應的正常照度圖像Y盡可能接近.目前,機器視覺任務中用于度量圖像對應像素點之間差異的損失函數中,運用較為廣泛的有均方誤差(mean square error,簡稱MSE)損失函數和平均絕對誤差(mean absolute error,簡稱MAE)損失函數:

其中,p表示像素點索引,P 則表示整張圖像切片,N表示圖像切片中像素總數,而分別表示正常照度圖像Y和網絡輸出的照度增強圖像在像素點p的值.雖然LMSE能夠很好地度量兩張圖像像素之間的差距,但是LMAE能夠更準確地反映實際預測誤差的大小.在圖像增強方面,由于LMAE不會過度懲罰圖像的差距,因此在對比度、亮度方面效果要優于LMSE.

雖然直接使用LMSE或LMAE度量與Y之間差異的計算很簡單方便,但是它并不符合人眼視覺的主觀感受,因此,有學者提出將基于人眼視覺系統啟發的結構相似度(structural similarity,簡稱SSIM)評價標準作為損失函數.像素級的SSIM數學表達式為

其中:μX,μY分別表示圖像X與圖像Y的像素平均值;則分別對應于圖像的方差;σXY為兩幅圖像的協方差;C1=(k1L)2和C2=(k2L)2是兩個用于維持函數穩定的常數,能夠防止分母出現0 的情況,其中,L為像素值的動態范圍,且k1=0.01,k2=0.03.

由此,基于SSIM 構建的損失函數可定義為

而根據卷積神經網絡的性質,本文將上式改寫為

由于SSIM 對圖像質量的度量結合了圖像結構失真與人眼感知兩個方面,因此,基于SSIM 的損失函數的引入,能夠更好地恢復圖像的結構與細節.但是由于SSIM 對均值的偏差不敏感,因此得到的增強圖像亮度與顏色的變換在視覺效果上偏暗.

其中,λMSE,λMAE和λSSIM表示用于調整LMSE,LMAE與LSSIM損失權重的參數.采用不同訓練的數據集不同時,可能會影響λMSE,λMAE和λSSIM的取值,但是其取值是平衡不同部分損失函數的量級和收斂速度,一般來說,先使用超參調整損失到同一量級,而本文的取值為λMSE=1,λMAE=2 和λSSIM=2.

2.4 伽馬校正與Retinex理論構建數據集

無論是簡單的線性降低圖像亮度,還是單一的非線性伽馬校正調整圖像的亮度,都無法很好地模擬真實低照度圖像的低亮度、低對比度.文獻[27]對不同曝光程度的圖像進行研究,提出將線性變換與伽馬變換同時應用于合成亮度、對比度更逼近于真實低照度圖像的合成圖像,其數學表達式為

其中,α和β用于對圖像進行線性變換,Iγ表示對圖像I進行伽馬變換,且這3 個參數服從均勻分布:α~U(0.9,1.0),β~U(0.5,1.0),γ~U(1.5,5.0).此外,本文分別通過對圖像進行高斯模糊、添加噪聲和伽馬校正的方法來模擬真實低照度圖像的特性,可表示為

其中,BG(μB,σB)表示用于模糊圖像的高斯濾波器,NG(μN,σN)表示向圖像中添加噪聲的高斯函數.上述兩個高斯函數的參數取值為:μB=0,σB~(0.8,1.6),μN=0,σN~(0,20).

綜上,為了能夠合成“低照度-正常照度圖像”數據集,本文首先采用公式(31)實現低照度圖像的亮度、對比度合成,然后采用公式(32)對圖像進行高斯模糊和添加高斯模糊,實現對低照度圖像出現模糊和存在噪聲問題的仿真,合成過程如圖5 所示.

Fig.5 Synthesizing process of synthesizing low-illuminance image data sets圖5 合成低照度圖像數據集的合成過程

為了更直觀地顯示合成數據集的合成效果,將正常照度圖像與合成低照度圖像在YCbCr 中的Y通道進行主觀視覺效果比較并顯示其直方圖信息,如圖6 所示.

Fig.6 Visual comparison and histogram of Y channel in normal illumination image and synthesized low illumination image in YCbCr圖6 正常照度圖像與合成低照度圖像在YCbCr 中Y 通道的視覺比較和直方圖

為了使模型學習到更好的圖像增強效果,需保證訓練圖像的正常照度圖像的質量.因此,本文從MSCOCO數據集和NIR-RGB 數據集中選取了1 800 張具有適當的亮度、豐富的色彩、細節豐富清晰的圖像,將其中的 1 400 張圖像用于合成訓練集,余下400 張則用于合成測試集.針對訓練集圖像進行40 次隨機切片為128×128大小的圖像切片,構建包含56 000 對圖像的訓練集(GLN-trian).此外,為了使圖像增強過程中能夠得到更好的色彩還原,本文在訓練集中增加16 對純黑到純黑、純白到純白的特殊圖像對.而針對訓練集進行一次隨機切片出512×512 的圖像切片,構建包含400 對的測試集(GLN-test).

3 實驗結果及分析

3.1 實驗參數設置

本文模型使用Tensorflow 框架實現,并在Windows10+NVIDIA GTX 960 GPU 的計算機上對網絡模型進行訓練.訓練網絡模型的實驗將BatchSize 設為16,一共迭代10 個epoch,并在訓練過程使用學習率為10-4的Adam優化器對訓練過程進行參數優化.

3.2 網絡結構評估

為了驗證多尺度特征提取(MS)、跳躍連接結構(Dense)、光照與噪聲分量的估計(Gaussions)及注意力機制(Att)的應用是否能夠有利于提升圖像增強結果,本文設計了多個不同的模型,分別對MS 和Dense 模塊的設計單元進行評估實驗,如圖7 所示,對比模型在某些模塊的不同設計以進行消融實驗.用于對比評估的模型中,除圖7所示的模塊不同外,其余部分的模型設計和實驗設置不變.這些模型訓練后,對測試集(GLN-test)進行測試,得到的客觀評價指標結果見表1,其中,MDARNet w/o PACA 表示在MDARNet 模型中去掉所有注意力機制.

Fig.7 Multi-scale feature extraction and evaluation model of jump connection structure圖7 多尺度特征提取和跳躍連接結構的評估模型

Tabel 1 Objective evaluation indicators of different network structure enhancement effects表1 不同網絡結構增強效果的客觀評價指標

如表1 結果顯示:當對MS 模塊評價時,無論是去除MS 模塊、去除MS 中的PC 單元還是在MS 模塊的基礎上增加CA 單元,都降低了增強圖像的PSNR,SSIM,MSE 指標.對Dense 模塊評估時,通過去除跳躍連接(w/o skip)和增強跳躍連接構建兩種對比模型與本文的跳躍設計進行性能對比分析,可以看出,沒有跳躍連接的增強結果在各項評價指標得分上均差于MDARNet.雖然增加密集的跳躍連接的方式能夠得到更高的SSIM 和MS- SSIM 值,但其PSNR 和MSE 的得分明顯差于MDARNet,此外還增加了計算消耗.在Gaussions 模塊的消融實驗中可以看出:像素注意力和通道注意力的應用能夠更有利于對圖像環境光照和噪聲分量的估計,能有效提升增強結果圖的各項評價指標.通過對整個網絡的注意力機制單元進行消融實驗發現:注意力機制能夠彌補簡單卷積運算的缺陷,從而顯著提升增強圖像的質量.

3.3 聯合損失函數評估

通過多組實驗對聯合損失函數的組合方式進行對比分析,實驗結果見表2.

Tabel 2 Objective evaluation indexes of different joint loss function enhancement effects表2 不同聯合損失函數增強效果的客觀評價指標

可以看出:當只采用LMSE或LMAE時,可以得到很高的PSNR和MSE 值,但是SSIM 和MS-SSIM 值較低;而只采用LSSIM時,得到的評價指標則正好相反.此外,無論是LMSE,LMAE和LSSIM的哪兩種損失函數的兩兩組合,得到的增強結果都比三者的組合效果差.雖然λMSE·LMSE+λSSIM·LSSIM的組合在 SSIM 和 MS-SSIM 的得分與λMSE·LMSE+λMAE·LMAE+λSSIM·LSSIM存在可忽略的差異,但在 PSNR 和 MSE 指標上的測試結果要明顯比λMSE·LMSE+λMAE·LMAE+λSSIM·LSSIM的效果差.

3.4 不同照度增強方法評估

為了驗證MDARNet 能夠有效實現低照度圖像增強,本文分別對通過合成低照度圖像測試集和真實低照度圖像測試集進行測試實驗和對比分析.實驗通過與一些流行低照度圖像增強算法進行增強對比,包括非基于學習的LDR[1],LIME[5],RobustRetinex[6],JED[7],Dehaze[8],Ying-CAIP[9],Ying-ICCV[10]方法,基于學習的MSRNet[11],MBLLEN[12],LLCNN[13],GLADNet[16],KinD[17],LLEGAN[18]和MRVAE[19]方法.上述所有基于學習的增強方法均采用同MDARNet 相同的數據集和實驗設置進行訓練和測試.

3.4.1 合成低照度圖像測試集增強結果對比

采用第2.4 節的合成低照度圖像測試集(GLN-test)進行驗證實驗,其增強結果如圖8 和表3 所示,表中數據為400 對測試結果的平均值.

Fig.8 Test result graph of the learning-based enhanced algorithm on GLN-test圖8 基于學習的增強算法在GLN-test 上的測試結果圖

Tabel 3 Objective evaluation indexes of different methods in synthetic test set表3 不同方法在合成測試集的客觀評價指標

從圖8、表3 的結果可以看出:每一種照度增強方法均能對低照度圖像實現照度上的增強,但也都分別存在不足之處.從細節圖像可以看出,MSRNet,MRVAE,LLEGAN 和GLADNet 方法的增強效果存在不同程度的降噪效果差的問題.由于原始模型沒有考慮圖像的噪聲問題,因此MSRNet 的去噪效果最差;此外,增強的圖像細節不夠清晰、出現圖像整體泛黃的色彩失衡問題.雖然KinD 能夠有效去噪,但是照度提升有限,故其各項客觀評價指標也最差.MBLLEN 方法的細節與色彩信息恢復較KinD 更好,但是仍然欠佳.LLEGAN 和MRVAE 方法的噪聲較少,但背景的還原效果與真實情況存在偏差,且客觀評價得分較低.LLCNN,GLADNet 和MDARNet 在該測試集中的還原效果比較接近,且與對應的真實圖像在視覺效果相差無幾.但是MDARNet 在各項客觀評價指標的得分均優于LLCNN,GLADNet,說明在客觀評價方面,MDARNet 的增強結果更加接近于原始正常照度圖像.綜上所述,在相同的條件下,MDARNet 的增強結果相較于這幾種增強方法,能得到更好增強圖像.

3.4.2 真實低照度圖像增強結果對比

為了進一步驗證MDARNet 對真實低照度圖像的增強效果,本文從圖像數據庫DICM[31],TID2013[32],VV[33],RGB-NIR[34],ExDark[35]中選取多張經典圖像進行增強測試,其增強結果分別對應圖9~圖13.

Fig.9 Subjective visual contrast effect of different algorithms on DICM data set圖9 不同算法在DICM 數據集上的主觀視覺對比效果

Fig.10 Subjective visual contrast effect of different algorithms on TID2013 data set圖10 不同算法在TID2013 數據集上的主觀視覺對比效果

Fig.11 Subjective visual contrast effect of different algorithms on VV data set圖11 不同算法在VV 數據集上的主觀視覺對比效果

Fig.12 Subjective visual contrast effect of different algorithms on RGB-NIR data set圖12 不同算法在RGB-NIR 數據集上的主觀視覺對比效果

從圖中對比結果可以看出,LDR 方法的增強效果較差,不僅亮度得不到明顯的增強,而且圖像細節丟失、色彩還原度差.LIME 方法的增強效果圖在亮度、對比度方面表現很好,但是存在色彩增強過于鮮艷,且還原細節不夠清晰的問題.Dehaze 方法會出現亮度不足,尤其是光照不均的圖像中的逆光區域無法得到有效的亮度提升,但是Dehaze 在針對平均亮度較暗的圖像進行增強時能得到較好的對比度.RobustRetinex 和JED 方法均有相近的增強性能,雖然亮度、對比度得到了一定在增強,但是色彩還原度出現比LIME 更嚴重的過度增強.Ying-CAIP增強的亮度不足,且細節還原度不夠.Ying-ICCV 的增強結果是非學習類方法中性能最佳的,其增強結果圖的亮度、對比度和色彩均從視覺效果上有很好的效果,但是在對亮度較低的超低照度圖像的增強時,存在亮度增強不足的情況.從圖中可以發現:傳統方法的增強結果圖在對比度方面均優于基于學習的方法,且在對逆光圖像進行增強時,傳統方法不會破壞圖像背景的亮度、色彩等信息,如圖9 和圖11 的天空,但是傳統方法增強的整體圖像亮度低于基于神經網絡的方法.

在基于神經網絡的方法中,KinD 方法的增強結果圖亮度增強效果最差,但其對比度較好,且在天空等區域的恢復與傳統方法更接近.MSRNet 的增強效果圖像亮度增強較好,但細節較模糊,且出現了色彩失真.MRVAE增強的亮度和細節較好,但存在對比度不足、噪聲放大和偽影等現象,如圖11 的人臉和圖13 的房子.MBLLEN,LLCNN,GLADNet 方法的增強結果都較好,能夠很好地提升圖像的亮度、對比度和還原圖像細節信息.但是MBLLEN 的增強結果亮度比MDARNet 低,且從圖10 的細節圖和圖11 的天空看,色彩不夠鮮艷;LLCNN 在逆光圖像的亮光區域增強時色彩丟失更嚴重,且對比度欠佳于MDARNet 方法;而從圖9 和圖10 的細節圖可以看出:GLADNet 在細節的亮度增強方面欠佳于MDARNet,且圖11 中,GLADNet 的增強結果圖的手臂上出現了偽影.LLEGAN 方法的增強結果圖整體對比度較低,且在圖13 的天空出現偽影.經過多組測試圖像的對比分析可知:從整體圖像的亮度、對比度、色彩、圖像細節等多方面衡量,MDARNet 得到了比其他方法更好的增強效果.

4 結 論

針對低照度增強中亮度、色彩及噪聲的增強問題,本文結合卷積神經網絡、Retinex 理論、Attention 機制和密集卷積塊,提出了一種基于Retinex 和Attention 的低照度圖像增強網絡——MDARNet.首先,MDARNet 利用非對稱卷積和像素注意力模塊對圖像進行的多尺度卷積和特征融合得到多維度特征圖,隨后利用密集卷積塊對特征圖進一步提取特征,然后利用注意力機制在通道和空間維度上獨立地完善卷積特征,最后根據Retinex理論將估計到的環境光照和噪聲分量從低照度圖像中減去,由此得到增強結果圖.實驗結果表明:MDARNet 能夠有效地提升低照度圖像的亮度、對比度,并得到與真實圖像更接近的色彩增強和噪聲抑制效果.從視覺主觀效果和多項客觀指標的結果可以看出,MDARNet 方法的增強效果優于一些主流經典的低照度圖像增強算法.