基于Transformer 和自適應特征融合的礦井低照度圖像亮度提升和細節增強方法

田子建 ，吳佳奇 ，張文琪 ，陳 偉,2 ，周 濤 ，楊 偉 ，王 帥,4

（1.中國礦業大學(北京) 機電與信息工程學院, 北京 100083；2.中國礦業大學 計算機科學與技術學院, 江蘇 徐州 221116；3.中國石油大學(華東)石油工程學院, 山東 青島 266580；4.國家礦山安全監察局內蒙古局, 內蒙古 呼和浩特 010010）

0 引 言

近年來，煤礦開采方法向智能、環保、安全方向發展[1]，礦井監視系統的重要性日益提高，不僅為礦井安全生產提供保障，也推動了礦山智能化發展。煤礦井下工作環境具有照明條件差、電磁噪聲密集、粉塵及霧氣密度大等不利因素，致使采集的畫面亮度低，光照不均，顏色飽和度低和細節特征模糊，嚴重干擾人工觀測，并且不清晰的監視圖像將影響目標追蹤[2]、目標識別[3]、圖像語義分割[4]、目標檢測[5-6]等圖像分析技術的性能。為了得到亮度高、光照均勻、顏色均衡且細節信息完整的礦井影像，需要對礦井低照度圖像進行有效增強處理[7]。

傳統低照度圖像增強方法主要包括直方圖均衡化、灰度變換法和Retinex 算法。直方圖均衡化通過擴大像素灰度級的動態范圍，使像素灰度值在灰度直方圖上均勻分布，從而提高圖像亮度，例如BBHE[8]、DSIHE[9]等?；叶茸儞Q法使用特定的灰度線性變換或非線性變換函數對像素點進行處理[10]，通過調節像素值的動態范圍來提高圖像的對比度。Retinex 算法假設圖像由光照分量和反射分量組成，通過對兩分量進行特定處理以提升圖像的視覺效果，包括單尺度Retinex 算法(SSR)[11]、多尺度Retinex 算法(MSR)[12]、顏色修復Retinex 算法(MSRCR)[13]等。近年來，深度學習技術發展迅速，大量基于深度學習的圖像增強算法被提出，2017 年Lore 基于卷積神經網絡率先提出低照度增強網絡模型LLNet[14]；2018年Wei C 將Retinex 理論模型與卷積神經網絡相融合設計出RetinexNet[15]。近年來以GAN[16](Generative Adversarial Networks)為基礎而設計的無監督模型大量涌現，如StarGAN[17]、InfoGAN[18]及CycleGAN[19]、EnlightenGAN[20]等，其在圖像風格轉換、圖像翻譯、低質量圖像增強等領域展現了出色的性能。

然而上述方法仍具有較多不足之處，傳統方法需基于專家經驗進行手動調參且針對不同場景需更改模型參數，模型設計過程低效；現有的傳統算法無法有效解決亮度不均現象?；贑NN 的深度學習算法也存在較多缺陷，首先，卷積核操作具有空間局限性，無法建立像素的遠距離依賴，導致其只能處理局部區域特征，無法充分考慮圖像的上下文信息，該缺陷使其難以解決各局部區域的光照不均問題；其次，在特征提取過程中，為獲取較大感受野，需堆疊大量卷積層，造成大量計算損耗，并導致細節、紋理等低級特征和結構、輪廓等中級特征在較深卷積層處大量丟失，圖像信息的損失將嚴重影響人眼視覺及各類圖像應用技術對圖像內容的正確感知；上述方法并未有效解決顏色失真問題，極低照度圖像需要大幅提升圖像亮度來改善圖像質量，由于圖像中亮度和顏色特征具有耦合關系，亮度的大幅變化會造成圖像顏色激變，從而引起顏色失真，使得圖像關鍵區域呈現錯誤的信息，影響后續的圖像分析工作。

針對上述問題，提出一種基于Transformer 和自適應特征融合的礦井低照度圖像亮度提升和細節增強方法?；谏蓪顾枷氪罱ㄉ蓪故街黧w網絡框架，使低照度圖像特征不趨向于參考圖像而是參考圖像的特征域，避免由于部分參考圖像質量較差而干擾模型增強性能，從而實現對低照度圖像的充分增強；受特征表示學習理論啟發，基于文獻[21]的特征提取網絡，搭建特征編碼器將圖像解耦為包含細節、結構、顏色的反射分量和包含亮度特征的亮度分量，從而解決顏色特征隨亮度改變而造成的顏色失真問題；針對反射分量，設計一種結合交叉注意力機制的跳躍連接，實現低級特征和高維特征的自適應融合來解決深層網絡處特征丟失問題；針對亮度分量，將原始Transformer[23]與深度可分離卷積[24](DS-Conv，Depthwise Separable Convolution Block)

相結合，設計了CEM-Transformer Encoder，通過自注意力機制建立像素間長期依賴關系，實現圖像中各局部區域的有效交互，并使用深度可分離卷積層充分提取局部特征，從而在實現全局亮度提升的同時，消除光照不均現象。試驗結果顯示文中算法在各類試驗中表現出色，證明文中算法能夠有效改善礦井低照度圖像質量，有利于提升礦井監視系統及下游圖像分析技術的性能。

1 基于Transformer 和多尺度特征融合的礦井低照度圖像亮度提升和細節增強方法

1.1 整體模型結構

受生成對抗網絡啟發，設計生成對抗主體網絡框架，使生成器各模塊與判別器進行對抗博弈不斷優化性能，最終學習到最優參數；基于特征表示學習搭建兩類編碼器(Reflection component Encoder，Illuminance component Encoder)，并將低照度圖像的fR與參考圖像的f'R進行對齊，從而將圖像解耦為反射分量(fR)和亮度分量(fI)，有利于避免顏色特征受亮度變化的影響而發生顏色失真；設計全局-局部增強網絡(GLENet，Golabel-Local enhancement Network)提升fI的全局亮度水平，并使局部區域亮度交互性地自適應增強，從而在FI中消除照度不均；設計多尺度特征融合網絡（MFNet，Multi-scale features fusion Network）提高對fR的低級特征提取效率，并將低級特征與高維特征進行自適應融合，從而實現FR中細節特征的有效增強，避免細節特征的大量丟失；最終由解碼器（Decoder）將FR和FI解碼為增強圖像，實現低照度圖像增強。如圖1 所示。

1.2 生成對抗模型

文中使用該GAN 思想搭建生成對抗主體網絡，特征編碼器、雙通道并行增強網絡及解碼器作為文中生成對抗模型的生成器，通過增強低照度圖像的亮度分量和反射分量來提升圖像質量；設計全局-局部判別器作為文中模型的判別器，通過對增強圖像及其局部區域的特征進行真實性鑒別，從而在訓練階段促進生成器各模塊優化。不同于RetinexNet[15]以單一參考圖像的光照分量和反射分量來監督原始圖像的增強，文中使用全體參考圖像組成的目標圖像域來監督圖像增強，能避免由于部分參考圖像本身質量低而影響模型的圖像增強能力。

相較于傳統判別器，文中使用全局-局部判別器鑒別增強圖像的真實性，其中，全局判別器用于鑒別整體圖像的整體風格特征，局部判別器能夠鑒別增強圖像的隨機圖像塊是否符合目標圖像域特征并鑒別局部區域細節恢復情況及亮度分布的合理性，從而促使生成器在改善整體圖像質量的同時，有效避免細節損失及光照不均現象。并且文中判別器在批歸一化(Batch Normalization)的基礎上，增添譜歸一化(Spectral Normalization)使局部判別器具有Lipschitz 連續性，能夠緩解判別器性能變化的劇烈程度，從而改善模型訓練過程中，由于判別器性能提升過快導致生成器發生梯度消失現象，有利于提升整體模型的魯棒性[25]。文中判別器的詳細網絡結構如圖2 所示。

圖2 全局-局部判別器網絡結構Fig.2 Structure of global-local discriminator

全局判別器的卷積核尺寸均為3*3，步長均為2，輸出特征圖通道數分別為{16，32，64，128，256，1}，局部判別器的卷積核同上，輸出特征圖通道數分別為{16，32，64，1}。

1.3 特征編碼器

特征表示學習[26-27]旨在根據圖像中各類物理特征的特性，使用潛在的特征分布表示各類物理特征，便于后續進行隱空間特征解耦。為實現亮度分量與反射分量的有效解耦，文中根據反射分量、亮度分量的特點搭建2 類編碼器，并受文獻[15]中Decom-Net 的啟發，將低照度圖像與目標圖像的反射分量進行對齊，從而將亮度分量從原圖中分離。解碼器將增強后的兩分量融合為最終增強圖像。詳細網絡結構如圖3 所示。

圖3 特征編碼器和解碼器網絡結構Fig.3 Structure of feature encoders and decoder

文中亮度分量包含圖像的亮度特征，文獻[21]使用全局池化層來提取整體風格特征，而亮度分量屬于低級圖像特征不適用全局池化層提取，所以文中使用淺層卷積層提取圖像的亮度特征，并且為了對各局部區域的亮度分量進行平滑度調節，文中加深網絡深度獲取抽象級更高的亮度分布，通過將二者進行信道級拼接，從而得到包含亮度分布的亮度分量。各特征圖通道數為{3，8，16，32，64，1}。

反射分量編碼器由細節、紋理、顏色等低級特征和結構、語義等高維特征組成，反射分量編碼器的結構受文獻[21]中內容編碼器的啟發，使用U-Net 提取多尺度特征；并且在網絡中加入跳躍連接，避免低級特征丟失；使用轉置卷積進行特征圖上采樣，相較于普通插值操作，轉置卷積產生的特征冗余小，特征映射誤差小[28]。相比于文獻[21]的編碼器，文中結構能夠保留更多細節信息和顏色特征，并且網絡層較深，特征提取充分。反射分量編碼器中卷積層的卷積核尺寸均為3*3，步長均為2，各特征圖通道數分別為{3，16，32，64，32，16，1}。

解碼器先使用Concat 層拼接兩分量，再使用3層Conv 對拼接特征進行自適應特征調節，使兩分量的融合效果更自然，各Conv 通道數為{16，32，1}。

1.4 雙通道并行增強模塊

傳統Retinex 方法將圖像分解為光照分量和反射分量后，通過去除光照分量并保留反映物體本質屬性的反射分量來增強圖像。該方法在處理常規低照度圖像時表現出色，但由于煤礦低照度圖像的亮度極低、照度不均，且反射分量中顏色特征暗淡，細節模糊，導致上述方法對其增強效果有限。文中根據兩分量的特點設計雙通道并行增強模塊，包含多尺度特征融合網絡（MFNet，Multiscale features Fusion Network）和全局-局部增強網絡（GLENet，Global and Local features Enhancement Network），在增強亮度分量的同時，對反射分量進行充分增強，從而有效提升圖像質量。

1.4.1 全局-局部增強網絡

照度不均是低照度圖像增強領域的重點問題，現有的圖像亮度提升方法解決該問題的效果不佳，表現在只使用一種標準提升全局圖像亮度，導致局部區域的陰影和過曝[29-30]，或者能夠對不同曝光度區域進行增強[31-32]，但亮度提升有限且無法實現各區域之間交互性地自適應增強，導致增強圖像的棋盤效應嚴重。

Transformer[23]最初在NLP 領域被提出，近年來，被引入計算機視覺領域來解決圖像任務，在圖像分類、目標檢測和圖像分割任務中均有較好的性能表現[33]。不同于卷積操作受限于局部運算只能依靠堆疊卷積層擴大感受野獲取全局上下文關系，Transformer 通過將二維特征圖轉化為一維序列，再計算序列間相關性，能夠快速捕獲像素間遠距離依賴關系，利用該特性實現圖像增強過程中各局部區域的有效交互，從而避免增強圖像的照度不均。但原始Transformer 仍存在缺陷：無法充分學習局部區域細節特征，該缺陷易影響圖像細微處亮度提升效果。因此在Transformer 的基礎上融合卷積層能夠高效提取局部區域特征的優點，設計了CEM-Transformer Encoder，CEM(CNN Extraction Module)能夠在transformer 模型獲取全局上下文信息的同時，提高模型對局部區域特征的捕獲能力，從而能夠充分提升圖像全局亮度并消除照度不均。并且為降低Transformer 的高計算復雜度，使用計算成本較小的深度可分離卷積層搭建CEM。

設計的全局-局部增強網絡由3 個CTE-Down sampling-Block 和3 個CTE-Up sampling-Block 組成，并使用跳躍連接進行低維特征復用，詳細網絡結構如圖4 所示。其中，CTE-Down sampling-Block 包含特 征 嵌 入 模 塊、CEM-Transformer Encoder、2*2 Stride 卷積下采樣層，CTE-Up sampling-Block 使用轉置卷積層進行上采樣。

圖4 全局-局部增強網絡結構Fig.4 Structure of GLENet

對二維圖像特征完成Patch Embedding 編碼后，將生成序列輸入CEM-Transformer Encoder，如圖5所示，首先使用Layer normalization 層對輸入序列進行歸一化處理，提高模型訓練的魯棒性，再輸入多頭自注意力模塊獲取各序列間的相關性，從而捕獲圖像中各局部區域之間的長期依賴。自注意力機制將輸入向量通過特征變換矩陣Wq、Wk、Wv分別投影為查詢向量Q、鍵向量K和值向量V，且Q、K、V向量的維度相同；再將三者輸入自注意力機制進行計算來捕獲像素間遠距離依賴關系：

圖5 CEM-Transformer Encoder 結構Fig.5 Structure of CEM-Transformer Encoder

多頭自注意力機制[34]通過設置多個自注意力頭，能夠充分考慮各序列之間相關程度，有利于建立魯棒性更強的依賴關系。多頭自注意力機制在得到查詢向量Q、鍵向量K和值向量V后，將Q、K、V根據注意力頭個數進行平均劃分，并各自完成Attention(Q,K,V)計算，最后將所有注意力頭結果融合：

式中，SA 為單一自注意力頭；m為注意力頭數量；MMSA為融合矩陣。

為加強Transformer 模型對局部區域特征的提取，設計了卷積提取模塊改進原始Transformer Encoder，CEM 網絡結構如圖5 所示，相比于原始網絡，DS-Conv 的卷積特性能夠使模型增強對局部區域特征的感知能力，有利于全局-局部增強網絡優化圖像局部范圍曝光度，并且DS-Conv 的低計算復雜度特性能夠降低整體模型的計算成本。CEM 中，首先使用全連接層對序列元素進行升維， 并將一維向量映射為二維空間特征，再使用DS-Conv 提取特征圖的局部區域信息，GeLU 及Leaky ReLU 均為特征變換后的激活函數，跳躍連接結構用于增加模型訓練的穩定性。

1.4.2 多尺度特征融合網絡

多尺度特征融合網絡使用U-net 網絡作為主體框架進行多尺度特征提取，如圖6 所示。相比于亮度分量，反射分量包含的特征較豐富，為加強解碼器對低級特征的提取效率，在解碼器的淺層網絡處添加高效通道注意力模塊ECA-Net，用于增強對細節、紋理特征的關注；并且為避免深層編碼解碼結構造成的大量低級特征丟失，在U-Net 網絡中添加跳躍連接，從而在解碼過程中補充丟失的低級特征，并且在跳躍連接中融合CEM-Cross-Transformer Encoder，能夠篩除不重要的特征，強調模型所需的特征，該設計能夠有效避免深度網絡層處低級特征丟失，從而在增強高級語義特征的同時，保留大量細節、顏色等低級特征。

圖6 多尺度特征融合網絡結構Fig.6 Structure of MFNet

CEM-Cross-Transformer Encoder 將CEM-Transformer Encoder 中Multi-Head Self-Attention 替 換 為Multi-Head Cross-Attention，如圖6 所示，通過交叉注意力機制能夠得出兩輸入之間各局部區域的相似性，見式（3）。多尺度特征融合網絡使用融合CEMCross-Transformer Encoder 的跳躍連接，將解碼器提取的高維特征與跳躍連接引入的低維特征，按照各尺度特征之間的特征相似度進行自適應融合，從而加強高維特征所關注的低維特征，過濾非關注特征，實現對低級特征的自適應復用，有利于進一步提升模型對細節特征的增強效果。

式中，Qx、Ky和Vy分別為輸入x、y通過特征變換矩陣映射得到的查詢向量、鍵向量和值向量。

ECA-Net[22]是一種針對深度卷積神經網絡的輕量級信道注意力模塊，網絡結構如圖6 所示。

首先對輸入特征圖進行信道級全局平均池化(GAP，Global Average Pooling)從而得到各通道特征圖的全局信息，見式（4）；再根據特征向量的通道維數確定K值，再使用一維卷積和激活函數進行特征權重計算，見式（5）；最后將各通道權重與原始特征圖的特征通道進行對應相乘，從而加強對重要特征的關注度，見式（6）。

式中，xInput為單通道輸入特征圖；H*W為特征圖尺寸；xGAP為全局池化結果。

式中，W為包含各通道特征權重的權重向量；Sigmoid 為激活函數；CNN1D-k為一維卷積；k為卷積核大小，XGAP為一維特征向量。

式中，XInput為輸入特征圖；Xout為經ECA-Net 進行信道級重要性劃分的特征圖。

1.5 損失函數

本文模型的損失函數包括生成對抗損失和圖像增強損失，生成對抗損失LGAN包括LGANl、LGANg，分別對應局部、全局判別器損失函數；圖像增強損失函數包含特征解耦損失（LFD，Feature Decoupling Loss）結構一致性損失（LSC，Structural Consistency Loss）、照度平滑性損失（LIS，Illuminance Smoothness Loss）：

本文判別器網絡使用全局-局部判別器結構，全局判別器通過鑒別圖像整體特征風格，能夠增強全局圖像的亮度、顏色特征，局部判別器作用于生成圖像的隨機圖像塊，能夠避免細節信息丟失和光照不均現象。兩個判別器均使用相對判別損失[35]，能夠使生成器快速收斂，避免由于生成器體積過大影響訓練效率，增強訓練穩定性：

其中，xr為真實圖像；x為輸入圖像；E為數據期望值；Pdata與Preal為輸入圖像與真實圖像的數據分布；G為生成器；D為判別器；σ為激活函數Sigmoid。

特征解耦損失LFD根據Retinex 理論通過在圖像解耦過程中，將低照度圖像與其參考圖像的反射分量保持一致，從而實現原始圖像中反射分量與亮度分量的分離：

式中，SL、IL、RL分別為低照度圖像及其亮度分量、反射分量；SN、IN、RN分別為正常照度圖像的參考圖像及其亮度分量、反射分量。

結構一致性損失LSC的設計受文獻[36]中Perceptual Losses 的啟發，使用特征提取網絡VGG-19 提取增強前后的反射分量的輪廓、結構特征和語義信息，再將兩者趨向一致，從而保持原始圖像在增強前后的空間結構一致性：

式中，R和R/分別為增強前后反射分量；Rk為局部區域反射分量；由于VGG-19 的第4 層conv3-256 輸出的特征圖兼顧結構輪廓特征及語義信息，因此LSC使用該卷積層輸出特征圖進行差異性比較，f( )表示輸出特征圖；N為滑動框平移次數，本文設置滑動框尺寸為2*2，則N=(width/2)*(hight/2)，width 與hight 表示特征圖的寬和高。

亮度平滑性損失LIS根據反射分量的圖像信息對邊緣輪廓、細節區域的亮度分量作自適應平滑度調節。在局部細節區域，增大對亮度分量的平滑強度，從而使原圖中對應區域的亮度值更均勻；在邊緣輪廓區域施加低強度亮度分量平滑處理，有利于保持原始圖像中物體的邊緣輪廓。

其中，N為滑動框平移次數，滑動框與式（9）相同；?R為該區域反射分量的梯度值；?Rx與?Ry分別為水平和垂直梯度；I為該區域的亮度分量。

2 試驗分析

2.1 試驗準備

2.1.1 試驗數據集

文中礦井低照度圖像數據集采集自鄂爾多斯馬泰壕礦井低光/正常光監視影像，該數據集共有1 495 組圖像對，其中1 095 組為原始圖像對，400 組圖像對是通過翻轉、隨機裁剪等數據增強方法生成。隨機選取1 300 組圖像對作為訓練集，195 組圖像對為測試集。此外，選取公共低照度圖像數據集LOL[15]、SCIE[14]、SID[37]對本文模型進行性能測試。其中，SCIE、SID 中配對圖像的目標圖像選取長曝光參考圖像；SID 圖像格式由RAW 格式轉換為JPG 格式的RGB 圖像。

為滿足無監督網絡模型的訓練要求，文章將礦井低照度圖像數據集的訓練集中低照度圖像和正常照度圖像平均分為兩組，再交叉組合，從而形成兩組非配對圖像子數據集，在訓練過程中將兩個子數據集順序輸入模型。公共低照度圖像數據集的非配對版本制作方法同上。

2.1.2 仿真試驗環境

試驗設備為Windows7+NVIDIA GTX 960 GPU的計算機。使用Adam 優化器，學習率為10-4，矩估計指數衰減率分別β1、β2為0.9、0.999。BatchSize 設置為8，訓練輪數為240 個epoch。

采用全參考圖像質量評估指標[38]：峰值信噪比(Peak-Signal to Noise Ratio，PSNR)、結 構 相 似 度(Structure Similaruty，SSIM)、視覺信息保真度(Visual Information Fidelity，VIF)對增強圖像進行評估。三類指標均能感知對比圖像之間的照度、顏色、細節、結構特征的變化，但PSNR 主要反映顏色特征的增強效果，顏色失真程度；SSIM 能夠評估增強圖像的亮度特征，評估整體圖像亮度提升水平，亮度分布合理性及局部區域是否存在陰影和過曝；VIF 評估增強圖像中細節、紋理信息保留度。三類指標通過均值±方差的數據形式顯示評估結果，數值越高，表示增強圖像質量越好。

2.2 消融試驗

2.2.1 網絡結構消融試驗

為驗證本文模型中特征編碼器結構、生成對抗網 絡 框 架、CEM-Transformer Encoder 和ECA-Net、CEM-Cross-Transformer Encoder 的有效性，本文通過設計特征編碼器、CEM-Transformer Encoder 的對比網絡結構，刪減判別器和ECA-Net、CEM-Cross-Transformer Encoder，對各模塊進行有效性評估，其中，特征編碼器的對比網絡結構使用RetinexNet[15]的DecomNet，或者去除特征編碼器直接使用MFNet 和GLENet 依次增強原始圖像；CEM-Transformer Encoder 的對比網絡結構分別為深度可分離卷積塊(DS-Conv+Batch Normalization+Leaky ReLU)，或ViT 的Transformer Encoder。試驗中，除待評估模塊外，其他模塊的損失函數及參數設置不變，測試結果見表1、表2，最優結果被標記為粗體，A w B 表示A 模型使用B 結構，A w/o B 表示A 模型去除B 結構，消融試驗展示如圖7、圖8 所示。

表1 基于礦井低照度圖像數據集的網絡結構消融試驗結果Table 1 Ablation experimental results of network structures on coal mine low-light image dataset

表2 基于LOL 的網絡結構消融試驗結果Table 2 Ablation experimental results of network structures on LOL

圖7 多尺度特征融合網絡結構消融試驗結果Fig.7 Ablation experiment results of MFNet structure

圖8 全局-局部增強網絡結構消融試驗結果Fig.8 Ablation experiment results of GLENet structure

由表1、表2 可知，對原始模型進行改動均會造成全部圖像質量指標的下降。當去除判別器時，增強圖像的所有質量指標均大幅下降，說明判別器對生成器具有顯著的監督作用，生成對抗網絡結構能實現模型的無監督訓練。當使用對比網絡結構替換CEM-Transformer Encoder 時，SSIM 下降幅度較大，證明CEM-Transformer Encoder 通過在亮度分量中捕獲全局性依賴關系，并提取局部區域低級特征，能夠有效提升整體圖像亮度，避免局部區域的光照不均現象。當去除ECA-Net 時，VIF 及PSNR 下降明顯，證明ECA-Net 能夠加強淺層網絡對低級特征的提取效率。當去除CEM-Cross-Transformer Encoder時，VIF 及PSNR 大幅下降，證明ECA-Net 通過抑制非重要特征，強調重要特征，能夠在較深網絡層處，實現低級特征的合理復用，有利于增強圖像的細節、顏色特征。當去除特征編碼器時，3 類評價指標均顯著下降，且PSNR 下降幅度較大，證明特征解耦能有效解決顏色失真，并且多通道增強模式通過針對特定分量進行增強能提升圖像增強效果；當使用DecomNet 進行特征解耦時，全體評價指標均下降，證明根據亮度分量和反射分量特性搭建的特征編碼器的解耦效果更好。

相比于圖7b—7e 中語義特征更顯著，并且圖7e包含更多的低維特征，細節特征明顯，證明CEMCross-Transformer Encoder 能夠有效實現多尺度特征的自適應融合。圖8b 的亮度提升明顯，但全局亮度提升的同時，局部光暈同樣得到增強，圖8c 的亮度較低且光暈未消除，相比之下，圖8d 的亮度提升明顯，局部光暈縮小的同時，相鄰區域的亮度得到自適應增強，證明全局—局部增強網絡結構能夠提升全局圖像亮度，且對各局部區域的亮度實現自適應增強，有效避免棋盤效應。

2.2.2 損失函數消融試驗

設計消融試驗評估各類損失函數的有效性，試驗結果見表3、表4，最優值標記為粗體形式。

表3 基于礦井低照度圖像數據集的損失函數消融試驗結果Table 3 Ablation experimental results of loss functions on the coal mine low-light image dataset

表4 基于LOL 的損失函數消融試驗結果Table 4 Ablation Experimental results of loss functions on LOL

由表3、表4 可知，當去除LSC時，增強圖像的VIF 大幅下降，證明LSC能有效保留大量圖像細節信息。當去除LIS時，增強結果SSIM 有顯著下降，VIF數值輕微下降，說明LIS能合理增強圖像的亮度分布，使結構輪廓特征更明顯，局部細節區域亮度表現得更自然。當去除LFD時，增強圖像的VIF、PSNR、SSIM 均下降，證明LFD能實現亮度分量和反射分量的有效分解，有利于后續對兩分量進行特定增強。模型訓練過程中不使用LGANl、LGANg，將導致判別器失效，此時所有圖像質量評估指標均大幅下降，說明若不使用生成對抗主體框架，模型將無法實現無監督訓練。

2.3 對比試驗

使用 5 種先進低照度圖像增強算法RetinexNet[15]、MSRCR[13]、ExCNet[39]、MBLLEN[40]、EnlightenGAN[20]作為對比算法與文中算法進行圖像增強對比試驗。再對試驗結果進行主觀評價和基于全參考圖像質量指標的客觀評估，以測試本文算法的低照度圖像增強性能。

2.3.1 對比試驗的主觀評價

使用礦井低照度圖像數據集及公共低照度圖像數據集LOL[15]、SCIE[14]、SID[37]對本文模型性能進行主觀評價。試驗結果如圖9 所示，其中第1 行為低照度圖像，前3 個場景從礦井低照度圖像數據集中選取，其余3 個場景分別從3 種公共數據集中隨機選取，第2 行是經RetinexNet 增強后的結果，第3行到第7 行依次分別是經MSRCR、 ExCNet、MBLLEN、EnlightenGAN 和本文算法增強的結果。使用HSV-3D 直方圖來直觀展示某場景的增強結果，如圖10 所示，其中，Hue 表示色調，Saturation 表示顏色飽和度，Value 表示明度。

圖9 不同算法在各類數據集上增強結果Fig.9 Experiment results of different algorithms on all datasets

圖10 典型增強圖像的HSV 直方圖結果Fig.10 HSV histogram results of typical enhanced images

由圖9 可知，RetinexNet 能夠大幅提升圖像亮度，顯著提高對比度，但在改善亮度的同時，易造成不同程度的顏色失真，例如，場景1 中紅色電子指示燈顏色失真，易導致誤判；場景2 中，局部區域照度不均，光源周圍區域偏黃色；場景3 中輸送帶滾筒區域顏色失真，易造成對運載物體的誤判；場景4、5、6 中包含大量顏色鮮艷的物體，當發生顏色失真時，圖像的顏色飽和度過高，致使整體偏紅色，影響圖像的視覺效果。MSRCR 能夠提升圖像的全局對比度，但是亮度提升能力有限，導致圖像信息大量丟失，并且由于場景1、2、3 環境較暗，使細節損失尤為嚴重，例如場景1 中墻壁區域不清晰，場景3 中輸送帶左側區域部分細節不可見，且輸送帶滾筒區域細節丟失嚴重。經ExCNet 增強的圖像，亮度、對比度提升有限，圖像整體偏灰，見場景1、2、3，且場景2 中光源區域有過曝現象；并且對于包含鮮艷顏色物體的圖像，如場景4、5、6，亮度過低導致物體顏色暗淡，視覺效果較差。經MBLLEN 增強的圖像，亮度提高不明顯，對于從礦井環境中采集的極低照度圖像，MBLLEN 無法有效提升其對比度，導致陰影、光暈現象嚴重，各類目標顏色偏黑色，影響后續對物體狀態的判斷。EnlightenGAN 能有效提升圖像的亮度和對比度，但會導致顏色不均衡，并且對于極低照度圖像，增強后顏色失真更嚴重，如場景3，增強結果整體呈藍色，且場景2 中光源區域光暈較大。相比之下，本文算法增強后的圖像，亮度提升明顯，無光照不均，例如場景2 的強光源區域光暈顯著縮小、細節特征明顯；且原始極低照度圖像在增強后無顏色失真現象，圖像信息保留度高，視覺效果較好，例如，場景6 中綠植在亮度提升后仍保持色彩均衡，場景3 中輸送帶滾筒區域色彩均衡，細節清晰可見，圖像信息無明顯丟失。在圖10 中，圖像依次為RetinexNet[15]、MSRCR[13]、ExCNet[39]、MBLLEN[40]、EnlightenGAN[20]的增強圖像，及增強圖像對應的HSV-3D 直方圖，由圖10 可見，相比于其它算法，本文算法增強圖像在H、S、V三通道中分布于更高灰度級，且各通道的動態范圍更大，進一步直觀地展現了本文算法的出色性能。

2.3.2 對比試驗的客觀評價

在礦井低照度圖像數據集及LOL 數據集中分別進行對比試驗，使用PSNR、SSIM 和VIF 對增強圖像進行質量評估，并測試各模型的推理耗時，以均值±方差的形式展示評估結果，見表5、表6，最優結果被標記為粗體。

表5 不同算法在礦井低照度圖像數據集上客觀評估Table 5 Objective evaluation of different algorithms on the coal mine low-light image dataset

表6 不同算法在LOL 上客觀評估Table 6 Objective evaluation of different algorithms on LOL

表5、表6 分別為各類算法在礦井低照度圖像數據集、公共數據集中對比試驗結果。算法推理速度方面，EnlightenGAN 的推理耗時最少，ExCNet 由于圖像迭代優化過程較復雜所以耗時較長，本文方法相較于多數對比算法具有較好的推理速度，后續將進一步提升算法的推理效率，以更好地實現實時圖像增強。圖像質量指標方面，RetinexNet 的PSNR和VIF 值較低，說明其增強圖像顏色失真嚴重；MBLLEN 的SSIM 和VIF 值過低，證明其亮度增強能力較差，無法有效恢復陰影中的圖像內容，易造成增強圖像的結構特征與圖像細節嚴重損失；本文算法在全體評價指標中表現較好，在礦井低照度圖像數據集中相較于對比算法，本文算法增強圖像的PSNR 值、SSIM 值和VIF 值平均提高了16.564%，10.998%，16.226%，在 公 共 數 據 集 中，PSNR 值、SSIM 值和VIF 值平均提高了14.438%，10.888%，14.948%，證明本文算法能有效提升低照度圖像的亮度，消除照度不均，增強顏色特征，避免顏色失真，保留大量細節信息，實現礦井低照度圖像增強。

3 結 論

1）基于生成對抗思想設計的生成對抗式主體網絡架構使用目標圖像域而非單一參考圖像監督模型訓練，有利于低照度圖像的充分增強，避免了由于少數參考圖像質量較低而影響模型的圖像增強性能。

2）基于特征表示學習理論搭建特征編碼器將圖像解耦為反射分量和亮度分量，有效解決了圖像增強過程中亮度與顏色特征相互影響導致的顏色失真問題。

3）雙通道并行增強網絡根據亮度分量和反射分量的特點采用特定方法對二者進行有效增強。設計CEM-Transformer Encoder 通過在亮度分量中捕獲長程依賴和局部上下文關系，能夠在充分提升整體圖像亮度的同時，解決照度不均問題，消除局部區域的陰影和過曝；在多尺度特征融合網絡中使用ECANet 能夠提升淺層網絡的特征提取效率，使用融合CEM-Cross-Transformer Encoder 的跳躍連接能夠實現多尺度特征的自適應融合，有效避免細節特征丟失。

4）文中算法在自制的礦井低照度圖像數據集和公共低照度圖像數據集中均有出色表現，在兩類數據集中，相比于5 種先進的低照度圖像增強算法，文中算法增強圖像的質量指標PSNR、SSIM、VIF 平均提 高 了 16.564%， 10.998%， 16.226%和 14.438%，10.888%，14.948%，證明文中算法能夠有效提升礦井低照度圖像的亮度，消除照度不均，增強顏色特征，避免細節信息丟失，實現低照度圖像質量增強。后續將著重進行輕量化模型的研究，嘗試將算法部署到硬件設備進行實時圖像增強，并且思考如何將圖像增強與目標檢測、圖像分割等任務相結合，從而使圖像增強模塊在提升圖像質量的同時，能夠有效輔助高級視覺任務。