從局部到全局的零參考低照度圖像增強方法

楊偉,王帥,2,吳佳奇,陳偉,3,田子建

(1. 中國礦業大學(北京)人工智能學院,100083,北京; 2. 國家礦山安全監察局內蒙古局,010010,呼和浩特;3. 中國礦業大學計算機科學與技術學院,221116,江蘇徐州)

低照度條件下如夜間、陰天和地下空間等,物體表面反射光較弱,拍攝到的圖像受到背光、不均勻光照、低對比度和密集噪聲的影響,不僅圖像質量嚴重降低,難以獲得理想的采集效果和關鍵信息,而且為后續的高層視覺任務帶來巨大挑戰,如目標檢測、圖像分割和物體追蹤等[1-2]。因此,低照度圖像增強在計算機視覺領域具有重要的研究意義和應用價值[3]。

隨著計算機視覺的快速發展,低照度圖像增強算法在視覺監控、自動駕駛、智能交通和攝影等領域有廣泛應用,主要分為基于傳統的低照度圖像增強方法和基于深度學習的低照度圖像增強方法。傳統低照度圖像增強算法包括直方圖均衡化方法[4]、頻域方法[5]、基于Retinex理論的方法[6-7]和基于去霧模型的方法[8-9]。此類方法一定程度上提高了主觀視覺效果,但優化過程較為復雜,運行時間較長,圖像的照度調整不夠靈活,增強效果往往伴隨著嚴重的色彩失真和細節損失。

相比于傳統低照度圖像增強算法,憑借大規模數據中提取先驗的強大能力,基于深度學習的低照度圖像增強算法具有更強的魯棒性、適應性和處理速度[10],根據學習策略可以分為監督學習、強化學習、無監督學習和零次學習。其中,Lü等[11]基于監督學習設計了端到端的多分枝增強模型。部分基于監督學習的方法采用了Retinex理論[12-14],如Wei等[15]通過新的約束條件和先進的模型設計,使得Retinex-Net達到了較好的增強性能。Zhang等通過圖層分解、反射率恢復和照度調整提出了KinD[16]和KinD++[17]方法,有效緩解了圖像增強后的主觀視覺缺陷問題。Yu等[18]基于強化學習提出了DeepExposure方法,在沒有配對數據集的情況下,通過融合不同曝光下的多個修飾圖像獲得增強后的圖像。Jiang等[19]基于無監督學習提出了EnlightenGAN方法,通過全局-局部判別器和特征保留損失函數,解決了基于合成數據訓練的過擬合和難以泛化的問題?；诒O督學習的模型需要基于配對數據進行訓練,因此模型泛化性不強,對現實低照度圖像的增強效果不理想;基于無監督學習的模型較大,不利于模型部署;基于強化學習的模型難以實現高效穩定的訓練。因此,使用零次學習實現低照度圖像增強具有重要意義。零次學習僅從訓練數據中學習照度增強過程,應用過程中不需要配對或非配對的數據。Zhang等[20]通過估算適合輸入圖像的S曲線來調整濾波器分離出來的基礎層,融合調整后的基礎層和細節層得到增強后的圖像。Guo等提出Zero-DCE[21],將低光增強作為針對圖像光照曲線的估算任務,利用高階曲線對輸入圖像光照的動態范圍進行調整得到增強圖像,并在此基礎上提出了輕量化版本Zero-DCE++[22],通過共享高階曲線的權重參數和模型優化達到了增強過程的快速推算,但增強結果存在不同程度的偏色、亮區增強過度和暗區增強不足現象。以上低照度增強方法在人眼主觀視覺和客觀評價指標取得了明顯提升,一定程度上提高了目標檢測與識別的性能,但低照度增強任務和目標檢測任務的目的不同,前者對細節敏感側重于抽象度低的特征,后者側重于抽象度高的目標特征,經過低照度增強后的圖像可能包含不利于目標檢測的噪聲,無法保證增強后圖像有更好的目標檢測效果。

綜合以上分析,本文從圖像視覺質量和目標檢測效果兩個角度考慮,提出了一種從局部到全局的零參考低照度圖像增強方法,解決了以下幾個問題:Zero-DCE的自適應光照映射估計函數的動態調整范圍不足;多次生成像素級的高階迭代參數需要較多的參數量和運行時間;增強圖像的對比度不足、噪點突出和曝光現象;低照度圖像的目標檢測精度低。

1 從局部到全局的零參考低照度圖像增強方法

提出的低照度圖像增強方法的總體架構如圖1所示,主要包含兩部分:①局部照度增強,由7個卷積組成,每個卷積后采用ReLU激活函數,最后1個卷積采用Tanh激活函數,并對自適應光照映射估計函數進行改進,采用倒數函數取代原有的二次迭代函數,提高照度的調整范圍,降低參數量和運算時間;②基于Transformer的全局圖像調整,包含Transformer結構、顏色校正矩陣和伽馬變換,通過捕獲單個像素和周圍像素之間的關系,獲得更豐富的全局特征信息,解決亮區增強過度和暗區增強不足的問題,提高圖像的整體對比度。

圖1 提出的低照度圖像增強方法的總體架構Fig.1 Overall architecture diagram of proposed low-light image enhancement method

1.1 局部照度增強

局部照度增強用于估計像素級的照度映射關系以校正光照的影響,結構如圖1所示,采用了7個卷積和3次拼接操作,每個卷積后采用ReLU激活函數,最后1個卷積采用Tanh激活函數,未采用下采樣和采樣操作,盡可能保留圖像的細節信息。局部照度增強是在Zero-DCE的基礎上改進了自適應光照映射估計函數。Zero-DCE方法提出的基于二次函數迭代的光照映射估計函數為

E(X)=X+αX(1-X)

(1)

En(X)=Xn-1+αnXn-1(1-Xn-1)

(2)

式中:X表示輸入;E(X)表示為給定輸入X的增強版;En(X)表示迭代第n次產生的增強結果;αn∈[-1, 1]是通過模型訓練得到的參數,用于第n次疊代調整映射曲線,控制曝光水平。

由于調整參數α為像素級的參數,即輸入圖像的每一個像素都有一個最適合的α曲線來調整其動態范圍,因此基于二次迭代函數的像素級光照映射關系可表示為

En(X)=En-1(X)+AnEn-1(X)(1-En-1(X))

(3)

式中:An與輸入X的維度相同,表示第n次迭代的權重。

提出的基于倒數函數的光照映射估計函數可表示為

(4)

式中:X表示輸入;E(X)表示為給定輸入X的增強版;α∈ [-∞, -1]∪ [0, +∞]是通過模型訓練得到的參數。

由于調整參數α為像素級的參數,即輸入圖像的每一個像素都有一個最適合的α曲線來調整其動態范圍,因此提出的基于倒數函數的像素級光照映射關系可表示為

(5)

式中:Aα是與輸入X維度大小相同的權重。所有像素都被歸一化為 [0, 1],并將曲線分別作用于RGB的3個通道。

圖2為自適應光照映射估計函數曲線。從圖中可以看出,迭代次數越多,光照調整能力越強,但表征范圍仍有缺失。同時,迭代次數越多,計算量和參數量越多,模型結構越復雜,模型推理時間越長。提出的基于倒數函數的光照映射估計函數如圖2(c)所示,光照調整范圍更大,不需要迭代計算,因此學習參數更少,模型更加輕量化。

(a)二次迭代函數(n=4)

1.2 基于Transformer的全局圖像調整

全局圖像調整過程中,首先對輸入圖像進行卷積,獲得高維度和低分辨率的圖像特征,低分辨率可以節省計算成本,有利于模型實現輕量化,較高的維度特征有利于提取圖像的全局特征。然后,通過特征編碼后進入多頭注意力模塊,捕獲周圍像素和單個像素之間的全局交互,獲得圖像的全局特征[23-25]。全局圖像調整的具體計算過程如圖3所示。

h,w—第一次卷積后圖像的高和寬;Q,K,V—多頭注意力機制的3個向量;dk—向量k的維度。圖3 全局圖像調整的計算過程Fig.3 Calculation process of global image adjustment

進入多頭注意力模塊之前,首先要進行特征編碼,特征序列化過程如圖4所示。第一次卷積后的特征圖大小為64×h×w,首先將h×w大小的特征圖的每個像素作為一個token,并在通道上拉直展開得到64維的特征向量,即(h×w)×64的二維矩陣X′T,將X′T經過線性變換進行編碼,得到滿足條件的輸入序列XT。

圖4 特征圖的序列化過程Fig.4 Serialization process of feature maps

輸入序列XT分別乘上模型自行學到的權重Wq、Wk、Wv得到Q、K、V,并拆分得到Qi、Ki、Vi在多個空間內進行注意力計算,計算過程可表示為

(6)

(7)

式中:Attention為求取注意力機制操作;softmax為softmax函數;Wq、Wk、Wv是由模型自行習得的權重;Wqi、Wki、Wvi分別為Q、K、V的第i個子空間的權重;Zi為第i個子空間的注意力計算結果;dq、dk、dv分別分Q、K、V的維度,且dq=dk=dv。

多頭自注意力是在多個子空間進行注意力計算,該過程可表示為

Z=MultiHead(Q,K,V)=

Concat(Z1,Z2,Z3,Z4)Wo

(8)

式中:MultiHead為求取多頭注意力機制操作;Concat為拼接操作;Wo為權重矩陣。輸入序列XT經過式(6)得到Q、K、V,分別進入不同的子空間,通過式(7)得到所有子空間的注意力權重Z1～Z4,通過式(8)得到多頭注意力機制權重Z。

多頭注意力的輸出大小為1×10×64,經過多層感知機和線性變換生成一個3×3的顏色矩陣和一個1×1的伽馬值。顏色矯正矩陣對R、G、B三通道顏色進行色彩調整,伽馬值用于全局圖像照度的非線性調節。對局部增強后的圖像進行全局調整的過程可表示為

G(X)=(max(∑Wcol×E(X),ε))γ

(9)

式中:E(X)表示局部增強后的圖像;G(X)表示全局調整后的圖像;Wcol表示顏色變換矩陣;γ表示伽馬校正的指數值;ε表示一個非負最小值,實驗中設為ε=e-8。

1.3 損失函數

低照度圖像增強模型的整體損失Ltotal由空間一致性損失Lspa、曝光控制損失Lexp、色彩不變性損失Lcol和特征相似性損失Lfs共4個損失函數聯合計算,具體可表示為

Ltotal=Lspa+Lexp+Lcol+Lfs

(10)

為引導模型學到適合的低光和正常光的映射關系,采用了Zero-DCE方法提出的3個非參考損失函數用于訓練低光增強模型?？臻g一致性損失[21]通過控制輸入圖像和增強圖像相鄰區域的梯度來保持圖像的空間一致性,可表示為

(11)

式中:m1表示為局部區域的數量;Ω(i)表示以區域i為中心的4個相鄰區域(上、下、左、右);Y和I分別為增強圖像和輸入圖像的局部區域平均強度值。

曝光控制損失通過測量局部區域的平均強度與正常曝光水平E[26]之間的距離控制曝光水平,避免曝光過度或曝光不足現象,可表示為

(12)

式中:m2表示不重疊的局部區域數量;Ym表示各個局部區域的平均強度;E表示正常曝光水平,根據文獻[21]和文獻[26],E設定為0.6。

色彩恒定損失通過建立三通道R、G、B之間的關系矯正潛在的色彩偏差,使得增強后的顏色盡可能保持一致,可表示為

(13)

式中:Jp和Jq表示增強圖像對應的p通道和q通道的平均強度值;(p,q)表示一對通道。

為提升目標檢測的精度,提出了基于KL散度的特征相似性損失。KL散度又叫相對熵或信息熵,用于衡量兩個變量之間的差異[27]。假設兩個特征序列為F1和F2,對應的概率分布函數為f1(x)和f2(x),KL散度可以表示為

(14)

模型訓練過程中,通過YOLOv7的主干網絡分別抽取原始圖像和增強后圖像的特征,對抽取的特征進行全局平均池化,得到兩個1×1×C大小的向量,逐點計算兩個向量的KL散度,衡量低照度圖像和增強圖像的特征差異。通過約束增強前后圖像的特征相似性,避免增強過程產生對后續檢測不利的影響?；贙L散度的特征相似性損失表示為

(15)

式中:GAP(Fori)為原始低照度圖像特征的全局池化操作;GAP(Fen)為增強后圖像特征的全局池化操作。

2 實驗與結果分析

實驗操作系統為64位Windows11,CPU為AMD Ryzen 7 5800H with Radeon Graphics,顯卡為NVIDIA RTX 3070 GPU。網絡模型基于Python3.9.0,Pytorch1.12.1和Cuda11.6框架搭建,開發環境為PyCharm 2022.3.2。模型訓練采用的SICE數據集[28],包含589個室內和室外場景的多重曝光圖像,每個場景包含3～18張不同曝光的低對比度圖像。模型訓練中,學習率為0.000 1,batch size為8,epoch為100,動量為0.9,為避免訓練過程中出現過擬合現象,采用余弦退火降低學習率,衰減系數為0.000 05。

2.1 數據集和評價指標

為驗證提出的低照度圖像增強方法的性能,從主觀視覺和客觀指標兩方面,將本文方法與最先進的方法:Retinex-Net[15](2018年)、MIRNetv2[29](2023年)、SCI[30](2022年)、Zero-DCE[21](2020年)、Zero-DCE++[22](2022年)和EnlightenGAN[19](2021年)在LOL數據集[15]和MIT-Adobe FiveK數據集[31]上進行對比。其中,Retinex-Net和MIRNetv2方法是監督學習方法,EnlightenGAN和SCI是無監督學習方法、Zero-DCE和Zero-DCE++是零次學習方法。LOL數據集是在真實場景下拍攝的配對數據集,通過改變曝光時間和感光度ISO收集了500對大小為400×600像素的低光/正常光圖像。MIT-Adobe FiveK數據集包含5 000張圖像,每張圖像由5位專業攝影師(A/B/C/D/E)修圖并保存為raw格式,本文選取了專家A的修圖結果作為對照,并將圖像轉換為JPG格式。

低照度圖像增強對比實驗采用了峰值信噪比(PSNR,用符號PSNR表示)和結構相似性(SSIM,用符號SSIM表示)作為客觀評價指標。其中,峰值信噪比對增強前后圖像像素點的灰度值進行對比計算,用于評估圖像的處理質量,單位為dB,數值越小表示失真程度越大,計算過程如下

(16)

式中:Imax表示輸入數據最大值;Mse表示增強前后圖像之間的均方誤差。

結構相似性從亮度、對比度和結構信息三方面對增強前后的圖像進行相似度對比,取值范圍為 [0, 1],數值越大表示相似度越大,具體計算過程如下

(17)

式中:μX、μY表示圖像均值;σX、σY表示標準差;σXY表示圖像X和Y的協方差。

2.2 客觀評價指標

選取峰值信噪比和結構相似性作為客觀評指標,將本文方法與其他6種低照度增強方法在LOL數據集和MIT-Adobe FiveK數據集上進行對比。選取參數量、計算量和單張圖像測試時間,在400×600像素的圖像上進行效率對比,結果如表1所示。

表1 不同方法客觀評價指標和模型效率對比結果Table 1 Comparative results of objective evaluation indicators and model efficiency between different methods

從表1可以看出,所提算法在LOL數據集上的PSNR達到了20.18 dB,SSIM達到了0.80,在MIT-Adobe FiveK數據集上的PSNR達到了23.31 dB,SSIM達到了0.87,僅次于MIRNetv2方法的增強效果。同時,相比與MIRNetv2方法140.38×109次的計算量,5.90×106個參數和39.27 ms的測試時間,本文提出的方法僅需要3.67×109次的計算量,0.09×106個參數和4.2 ms的測試時間,所提方法的綜合性能優于其他低照度增強方法。

2.3 主觀視覺效果

在LOL數據集上將本文方法與其他六種低照度圖像增強方法進行對比,選取其中7個場景的對比結果進行主觀性分析,對比結果如圖5所示。從圖中可以看出,Retinex-Net方法增強后,圖像亮度提升明顯,顏色飽和度高,但增強后的圖像模糊,出現了顏色和紋理失真,如場景2、4、6和7。MIRNetv2方法增強后,整體色彩恢復比較真實,亮區的增強效果較好,如場景1、2、3和5,暗區的增強效果較差,如場景4和7。EnlightenGAN方法增強后的圖像顏色偏黃如場景7,亮度提升有限如場景4和6。SCI方法增強后的圖像未出現顏色和紋理失真現象,但整體亮度和對比度較低,如場景4和7。Zero-DCE++方法的照度調整不足,增強后的圖像整體偏暗,出現嚴重偏色現象,視覺效果較差,如場景2、3和5的偏藍現象非常明顯。Zero-DCE方法增強后的圖像沒有出現嚴重的偏色現象,但整體亮度提升不足,如場景2、4和7。本文方法增強后的圖像未出現顏色偏差和紋理失真現象,顏色飽和度較好,亮度提升明顯,整體視覺效果較好。

圖5 LOL數據集上的低照度圖像增強結果Fig.5 Low-light image enhancement results on LOL dataset

在MIT-Adobe FiveK數據集上將本文方法與其他6種低照度圖像增強方法進行對比,選取其中6個場景的增強結果進行主觀性分析,對比結果如圖6所示。從圖中可以看出,Retinex-Net增強后的圖像顏色過度飽和,如場景1、場景6和場景7,紋理過于突出如場景2,該方法難以恢復較好的視覺效果。MIRNetv2方法對亮區的增強效果較好,如場景1、2和5,暗區增強后略有失真,如場景3中人臉面部模糊,細節丟失,且不同光源下的顏色失真程度不同,如場景3和4。EnlightenGAN增強后的圖像出現了明顯的色彩偏差,整體圖像偏黃嚴重,無法恢復圖像原本的色彩,如場景1的水面和波光、場景3的人臉和衣服條紋、場景4的墻面和場景5玻璃上的白色貼紙,并且出現了嚴重的光暈和細節丟失現象,如場景6右上角和場景3左上角。SCI增強后圖像的整體亮度提升明顯,但暗區域照度提升有限,如場景3的人物背景和場景6的地面,亮區域容易增強過度產生嚴重的曝光現象,如場景1的噴泉和場景5的右側部分。Zero-DCE++增強后圖像的偏色現象不明顯,但依舊存在,如場景4的白色墻壁和場景5的整體光線,且整體增強效果較暗。Zero-DCE的增強效果略有提升,但整體亮度依舊較暗,如場景4的墻壁。暗區增強后噪點明顯,如場景3左側陰影區域和場景7地面。增強后細節較為模糊,如場景6中墻上的字母。本文所提方法增強后的圖像未出現明顯的光暈、偏色和細節丟失現象,色彩恢復效果較好,照度提升明顯。在主觀視覺效果方面,本文提出的方法優于其他6種低照度圖像增強方法,兩個數據集上的增強結果表明所提方法的泛化性和魯棒性較好。

圖6 MIT-Adobe FiveK數據集上的低照度圖像增強結果Fig.6 Low-light image enhancement results on MIT-Adobe FiveK dataset

為驗證本文提出的方法在真實低照度條件下室內和室外實拍圖像上的增強效果,將本文方法與其他6種低照度圖像增強方法進行對比。在夜間,于中國礦業大學(北京)校園內8處景點拍攝真實低照度圖像,拍攝設備為iPhone13,圖像最大分辨率為4 032×2 024像素,這些圖像沒有參與模型的訓練,僅用以驗證提出方法的適應性,增強對比結果如圖7所示。從圖中可以看出,Retinex-Net增強后圖像的亮度和對比度明顯提升,但顏色飽和度過高如場景3和場景5,紋理過于突出導致圖像失真嚴重如場景1和場景4,場景3增強后黑暗處出現明顯光暈。MIRNetv2方法增強后的圖像整體泛白如場景4和場景6,部分細節紋理丟失如場景2中的桌面和場景5中的臺階,場景3增強后的天空產生了明顯光暈。EnlightenGAN增強后圖像的整體亮度和對比度提升明顯,但仍有不足如場景3和場景5,顏色偏黃如場景2和場景7,場景3和場景6增強后的天空以及場景8中的窗戶均產生了明顯的光暈現象。SCI方法增強后的圖像顏色保真度較好,但明亮區域過度增強產生了嚴重的曝光現象,導致部分特征丟,如場景3中的窗戶和場景4中水塔,圖像暗處增強不足如場景7和場景8的地面。Zero-DCE++增強后圖像的整體亮度不足,偏色(藍)現象明顯,如場景4中的白色石柱和場景7中的白色房子等。Zero-DCE增強后圖像的細節紋理保留較好,未出現紋理失真現象,偏色(藍)現象有所緩解,但依然存在,如場景2和場景7,圖像的整體亮度提升不足如場景1、場景5和場景7。本文所提方法增強后圖像的亮度和對比度提升明顯,顏色飽和度較好,未出現顏色失真和紋理失真現象,在室內和室外的真實低照度條件下有較好的增強效果。

2.4 目標檢測及特征可視化

為探究本文提出的增強方法對目標檢測性能的影響,基于YOLOv7在Exdark數據集上與其他6種方法增強后的檢測結果進行對比。低照度圖像增強模型聯合YOLOv7檢測模型的應用框架如圖8所示,表2中的“原始圖像+YOLOv7”表示使用圖8中的方式a,“增強方法+YOLOv7”表示使用圖8中的方式b,即原始圖像首先經過低照度圖像增強模型進行增強,增強后的結果作為YOLOv7檢測網的輸入。對比結果如表2所示,可以看出,Retinex-Net和EnlightenGAN增強后圖像的檢測精度分別降低了1.6%和0.7%,在人眼視覺上取得了一定的提升,但對于目標檢測損失了重要的特征信息。MIRNetv2、Zero-DCE++和Zero-DCE增強后的檢測精度分別提升了5.6%、4.2%和4.4%,本文方法增強后的目標檢測精度提升了7.6%,檢測時間僅需42.23 ms,因此本文所提方法更有助于低照度條件下的目標檢測任務。

a—低照度圖像直接進入檢測網絡;b—低照度圖像增強后進入檢測網絡。圖8 低照度圖像增強模型聯合檢測網絡的應用架構Fig.8 Application architecture diagram of joint detection network for low-light image enhancement networks

除此之外,為進一步探究提出的低照度增強方法對目標檢測的影響,在ExDark數據集上,基于YOLOv7對原始圖像和增強后圖像進行目標檢測,并對檢測目標進行特征可視化,直觀顯示出低照度圖像和增強圖像對特征提取和目標識別的影響,結果如圖9所示?？梢钥闯?正常亮度區域內的目標,圖像增強前后的檢測結果差距不大,如場景1中的第一個目標(增強前檢測精度為85%,增強后為86%)和場景2中的前3個目標(增強前檢測精度為89%、89%和83%,增強后為89%、86%和88%)。低照度區域內,增強前后的目標檢測結果差異很大,主要表現在3個方面:黑暗中的目標無法識別、相鄰目標無法區分以及目標特征邊界不明顯。例如,場景2中低照度圖像的目標7和8,場景3中低照度圖像的目標2和3無法識別,對應的增強后的圖像可以準確檢測出目標。場景4中,低照度圖像中的目標1與目標2的特征邊界無法區分、檢測框定位錯誤,對應的增強后的圖像中的目標特征定位準確。場景1和2中原始圖像的對比度低,目標特征無法區分,對應可以準確檢測出目標。場景4中,低照度圖像中的目標1與目標2的特征邊界無法區分、檢測框定位錯誤,對應的增強后的圖像中的目標特征定位準確。場景1和2中原始圖像的對比度低,目標特征無法區分,對應的增強后的圖像的特征位置集中且邊界明顯。

(a)場景1

2.5 消融實驗分析

為探究光照映射估計曲線和全局調整的必要性和有效性,進行了相關的消融實驗,測試圖像是在真實場景下拍攝的低照度圖像,拍攝設備為iPhone13,圖像最大分辨率為4 032×2 024像素。主觀視覺對比結果如圖10所示。其中:Global-false表示去掉全局圖像調整,僅保留局部增強;Curve-quadratic iterative表示局部增強采用二次迭代函數作為自適應光照映射估計函數。從圖中可以看出,去除全局圖像調整后,整體亮度提升依舊明顯,但部分區域過度增強,如場景2和3中的天空增強過度,噪點明顯,細節失真,場景4中白色框內的路燈被過度增強導致嚴重曝光。光照映射估計曲線采用二次迭代函數增強后,亮度增強依舊明顯,但邊緣紋理突出,細節信息丟失嚴重,亮度對比度不足,如場景2和3。

圖10 消融實驗對比結果Fig.10 Comparative results of ablation experiments

為驗證特征相似性損失函數對目標檢測性能的影響,在Exdark數據集上進行了消融實驗,結果如表3所示。Ldec為YOLOv7的檢測損失函數,Lspa、Lexp、Lcol分別為空間一致性損失、曝光控制損失和色彩不變性損失函數,Lfs為特征相似性損失函數。從結果可以看出,照度增強后目標檢測的性能提升明顯(5.3%),特征相似性損失通過約束目標特征,使得增強后圖像的目標特征更有利于目標檢測任務,目標檢測的精度提升了2.3%。

表3 損失函數對目標檢測性能的影響Table 3 Impact of loss function on object detection performance

3 結 論

針對低照度圖像存在的多種退化現象,現有的圖像增強方法存在顏色失真、亮度提升有限、細節損失嚴重和噪聲放大的問題,嚴重影響了圖像的可視化效果和目標檢測精度。為解決上述問題,提出了一種從局部到全局的零參考低照度圖像增強方法。

(1)提出的低照度圖像增強方法僅需要3.67×109次的計算量和0.09×106個參數,單張圖像測試時間僅4.2 ms,具有輕量化優勢,便于模型部署。

(2) LOL數據集、MIT-Adobe FiveK和真實低照度圖像上的實驗結果表明,所提方法有效提高了低照度圖像的客觀評價指標和主觀視覺效果,未出現偽影和噪聲放大問題,增強了圖像的整體亮度和對比度,避免了顏色失真和細節損失現象。

(3) ExDark數據集上的目標檢測和特征可視化結果表明,所提方法增強后圖像的目標輪廓更加清晰,定位更加準確,提高了低照度圖像的目標檢測的精度,證明了所提方法的有效性。