基于灰度補償和特征融合的沙塵圖像修復方法

丁伯圣, 張睿恒, 徐立新, 陳慧敏

(北京理工大學 機電動態控制重點實驗室, 北京 100081)

0 引言

沙塵天氣下,空氣中被卷入了大量的半徑較大的沙塵顆粒,導致物體反射的光在傳播到成像設備之前與沙塵介質發生了吸收、散射等相互作用。如圖1所示,與紅光相比,藍光和綠光被沙塵顆粒吸收的速度要快得多,嚴重衰減了RGB圖像中藍(B)、綠(G)通道灰度分布(見圖1(a)),導致圖像整體顏色偏移、失真;另一方面陽光在懸浮顆粒表面形成散射被成像設備接收,散射的光線給圖像添加了噪聲,造成圖像對比度下降、輪廓模糊。上述因素都嚴重影響了戶外視覺應用的可靠性[1-2],因此,研究沙塵退化圖像的修復方法顯得至關重要。

圖1 沙塵圖像和對應清晰圖像的灰度直方圖統計Fig.1 Gray histogram statistics of sand-dust image and clear image

現有的圖像修復方法可以分為兩類:像素級圖像增強和基于物理模型的圖像修復。像素級圖像增強方法通過在空間域內的逐像素灰度值調整或者頻率域內的濾波器設計來消除顏色偏移和提高對比度。Xu等[3]提出一種張量最小二乘優化模型,用于增強沙塵修復圖像的邊緣和細節。Cheng等[4]提出藍色通道光學補償法對沙塵退化圖像的顏色進行校正。Park等[5]提出一種利用顏色直方圖的均值和標準差的像素自適應顏色校正方法,實現沙塵圖像顏色校正和清晰化。Al-Ameen等[6]提出一種優化的模糊增強算子快速處理沙塵退化圖像的方法。Yang等[7]提出一種利用直方圖匹配將沙塵圖像轉化為霧霾圖像,通過圖像去霧方法來實現圖像去沙塵。這類方法只對圖像中特定特征進行處理且只考慮鄰接像素間的空間相關性,無法兼顧圖像特征的多樣性和全局性。因此,像素級圖像增強方法容易導致細節信息丟失,增強效果不明顯。

基于物理模型的修復方法主要通過對沙塵圖像退化模型的參數估計來還原出清晰圖像。He等[8]提出暗通道先驗去霧,通過估計大氣光和透射率來進行圖像修復。Shi等[9]提出了一種在LAB空間將沙塵圖像轉換為霧霾圖像,經DCP去霧和增強對比度來實現沙塵圖像增強。Kim等[10]基于圖像飽和度計算透射率和大氣光來實現沙塵圖像修復。對于特征維數復雜的沙塵圖像,基于物理模型的方法容易因參數估計不準確,導致修復圖像中出現光暈、色塊畸變、圖像扭曲。

卷積神經網絡通過不同的卷積核可以自動提取出圖像的高維特征[11-13],在霧霾圖像、雨天圖像、水下圖像修復等領域,這類方法在改善紋理細節信息、提高圖像顏色真實度等方面取得了顯著成果。相比于霧霾顆粒和水分子,沙塵顆粒半徑大、分布不均勻,對光的吸收和散射更強,沙塵圖像偏色不同且更嚴重、對比度更差。受圖像特征的差異性和領域知識的限制,現有的模型不能有效地提取圖像中語義分量,對沙塵特征提取效率低、模型泛化能力差,圖像修復效果不明顯。

針對以上問題,本文提出了基于圖像預處理和特征融合的沙塵圖像修復框架,該框架不需要設計數字濾波器和估計物理模型參數。本文方法不直接對沙塵圖像處理,而是預先對沙塵圖像進行特征補償和特征轉換,以恢復圖像中的潛在信息、消除顏色偏移和提高對比度。在此基礎上利用卷積神經網絡來提取出圖像的高維特征,經特征融合和圖像重建后恢復出清晰的圖像。大量實驗表明,該方法有效地提高了沙塵圖像的質量并取得了滿意的視覺效果,圖2展示了本文方法對沙塵圖像恢復后的效果。

1 沙塵圖像修復模型

1.1 框架概述

沙塵圖像修復的目的是從輸入的退化圖像中準確地預測出清晰的圖像。如圖3所示,本文提出了一個由特征轉換預處理和特征融合網絡組成的兩階段沙塵圖像修復框架。第1階段:特征轉換預處理模塊對輸入的沙塵圖像進行灰度分布補償處理,然后分別用顏色均衡和對比度增強方法進行特征預處理,生成兩個類型不同的派生圖像(ICE、ICB)。第2階段:采用基于特征融合的卷積神經網絡對兩個派生圖像分別進行特征提取、融合和圖像重建,生成最終清晰圖像。

圖2 沙塵圖像修復效果圖Fig.2 Restored sand-dust image

圖3 沙塵圖像修復框圖Fig.3 Sand-dust image restoration frameworks

1.2 特征轉換預處理模塊

沙塵圖像中有兩個主要因素需要處理:1)由于大量藍光和綠光被吸收而導致的圖像偏黃、場景顏色特征丟失嚴重;2)沙塵顆粒對大氣光散射而導致的能見度低、圖像模糊。因此,需要對沙塵圖像進行特征預處理來恢復圖像中潛在特征、消除顏色偏移和提高能見度。

1.2.1 沙塵圖像灰度分布補償

與紅光和橙光相比,藍光和綠光被沙塵顆粒吸收的速度要快得多,吸收造成了沙塵RGB圖像中藍、綠通道灰度嚴重衰減。直接采用傳統白平衡方法進行沙塵圖像特征轉換,會造成嚴重的藍色偽影和信息丟失。因此,本文提出了一種基于信息損失的灰度分布補償方法來減少衰減通道的損失,以恢復沙塵圖像里潛在的特征信息。以未衰減的紅色通道灰度分布作為目標參考,在[0,255]范圍內通過迭代方法來補償和調整衰減通道灰度分布,增強圖像中的藍、綠顏色分量,以獲得分布一致的灰度直方圖。算法過程如下:

步驟1分別對沙塵圖像的{R,G,B}通道進行灰度分布直方圖統計。

步驟2在紅色通道灰度直方圖中均勻采樣,生成目標二維(灰度值及相同灰度的像素數量)點云P,取點集Pi∈P。

步驟3在衰減通道灰度直方圖中均勻采樣,生成源二維(灰度值及相同灰度的像素數量)點云Q,取點集Qi∈Q。

步驟4計算源點云與目標點云間平均距離;

(1)

式中:n為在[0,255]灰度區間內采樣點數量;Tj表示第j次補償量,初始值T0=0。

步驟5將衰減通道灰度分布函數f(x)沿紅色通道灰度方向迭代補償Tj個單位,補償后的灰度分布為

Fj(x)=f(x-Tj)

(2)

步驟6補償后的灰度像素值可能會有部分超出[0,255]的有效動態范圍,超過255的溢出部分被截斷為255,低于0的部分被截斷為0,截斷造成了相應場景像素丟失,計算信息損失:

(3)

步驟7更新灰度值補償量,

(4)

步驟8轉步驟4,遍歷整個灰度采樣空間,計算n次源點云與目標點云間平均距離{d(T0),d(T1),…,d(Tn-1)}和信息損失。衰減通道補償量T由平均最小距離和信息損失約束共同決定,當信息損失小于設定閾值時,T選取目標點云與源點云間最小距離時刻的補償量;反之,不再對其進行迭代更新,T選取信息損失在閾值時刻的補償量。

(5)

式中:Eth為像素損失閾值。若Eloss大于閾值,則表明像素溢出較多、信息損失過大,本文選取

(6)

步驟9補償后的最終灰度分布Ffinal(x):

Ffinal(x)=f(x-T)

(7)

如圖4所示,以紅色通道灰度分布作為基準,通過對藍色和綠色通道采用灰度補償方法來實現沙塵圖像特的征轉換,沙塵圖像的整體顏色有顯著改善。圖4(b)中的坦克和周邊地面輪廓細節和顏色等潛在信息得到了恢復,為后續的圖像修復提供了更多特征信息。

圖4 灰度補償前后的圖像示例Fig.4 Images before and after gray compensation

1.2.2 派生輸入

灰度分布補償后的圖像IGDC減小了沙塵圖像中藍色和綠色通道的灰度損失,恢復了圖像中潛在顏色特征,但圖像整體仍存在顏色偏移、對比度低。因此,如圖5所示,在IGDC的基礎上特征轉換出兩個類型不同的派生圖像,以消除顏色偏移和提高對比度:

圖5 特征轉換后的派生圖像Fig.5 Derived images after feature transformation

圖6 特征融合網絡框架Fig.6 Feature fusion network frameworks

1)顏色均衡派生圖像ICB:顏色是描述圖像特征的重要參數,沙塵圖像的偏色掩蓋了圖像中潛在的顏色、紋理等特征信息,不利于修復網絡的特征提取和分類。因此,獲取顏色均衡的輸入圖像對于提升沙塵圖像修復質量至關重要。第1個派生圖像采用白平衡技術來消除大氣光和環境引起的顏色偏移,準確還原圖像色彩特征。本文利用經典的灰度世界理論,通過調整圖像IGDC在R、G和B通道色彩分量的平均值趨于同一灰度值,來生成顏色均衡的派生圖像。

2)對比度增強派生圖像ICE:雖然白衡處理可以去除大氣光引起的顏色偏移,但圖像仍呈現低對比度、輪廓模糊,尤其較遠處的區域細節丟失嚴重。受文獻[14-15]的啟發,第2個派生圖像通過采用對比度增強方法來提高沙塵圖像中較遠處場景的能見度,以提高圖像的全局可見性。對比度增強方法通過從輸入的模糊圖像中減去整個圖像的平均亮度值,再使用一個調節因子線性增加模糊區域的亮度來獲得對比度增強圖像,定義如下:

ICE=μ(IGDC-GDC)

(8)

式中:μ為調節因子,μ=2(0.5+GDC),GDC為圖像IGDC的平均亮度值。利用整個圖像的平均亮度來動態調整放大系數,使對比度小的區域得到較大增強,而對比度大的區域增強較小。

1.3 基于特征融合的沙塵圖像修復網絡

沙塵圖像特征復雜且退化嚴重,采用傳統的人工設計數字濾波器或者估計物理模型參數,容易導致沙塵特征提取不準確、不全面,造成修復效果不明顯。受卷積神經網絡能全面提取圖像高維特征的啟發,本文采用對抗生成網絡的方式提取沙塵圖像特征。如圖6所示,沙塵圖像修復網絡由基于特征融合的生成器和鑒別器組成。網絡分別對兩路派生輸入進行特征提取和融合,并通過對抗的方式端到端地輸出清晰的修復圖像。

1.3.1 基于特征融合的生成器

生成器包含編碼-解碼模塊、特征融合和圖像重建網絡組成。編碼-解碼模塊用于對派生輸入圖像(ICE、ICB)的特征提取。網絡結構借鑒Johnson等[16]的配置,該結構包括下采樣特征提取模塊、特征分類模塊和上采樣特征重構模塊3部分。編碼器使用兩個滑動步長為2的卷積對派生輸入進行下采樣特征提取和數據篩。解碼器使用兩個滑動步長為1/2的卷積層進行上采樣和非線性空間轉換來輸出多維高級特征。派生圖像ICB包含了圖像和圖像區域內所對應景物的顏色、形狀及不同場景內容在圖像中的空間關系(連接/鄰接、交疊/重疊和包含/包容)等全局信息,編碼-解碼網絡提取圖像ICB的特征FCB偏向于體現圖像顏色、區域和空間關系等全局特征信息。派生圖像ICE增強了圖像的對比度,突出了圖像中景物的紋理細節和表面組織結構等信息,編碼-解碼網絡提取圖像ICE的特征FCE偏向于包含邊緣、輪廓和形狀等局部特征信息。為保留更多的維度和不同尺度特征圖的語義信息,對兩路分支特征采用特征拼接的融合方式,以形成更厚的特征Fm。編碼-解碼網絡具體參數如表1所示。

表1 編碼-解碼網絡參數設置Table 1 Encoding-decoding network parameter settings

1.3.2 鑒別器網絡

鑒別器用來區分網絡生成的修復圖像與清晰圖像的真假,鑒別器是一個由5個卷積層組成的網絡,其基本操作是卷積、批處理歸一化和LeakyReLU激活,鑒別器最后一層用一個符號函數將統計概率值歸一化為[0,1],鑒別器器網絡具體參數如表2所示。

表2 鑒別器網絡參數設置Table 2 Discriminator network parameter settings

1.4 損失函數

修復網絡損失函數由對抗損失、感知損失、內容損失3項組成:

1)對抗損失用來更新生成器和鑒別器,通過生成對抗的方式指導網絡來縮小修復圖像與清晰圖像間數據分布差異,對抗損失函數為

LA=L(G,D)=EJGT～p(JGT)[lnD(JGT)]+EI～p(Iderived)[ln(1-D(G(Iderived))]

(9)

式中:L(G,D)表示對抗網絡損失,G(·)為生成器網絡,D(·)為鑒別器網絡;EJGT～p(JGT)(·)為清晰圖像的數據分布期望值,JGT為清晰圖像,p(JGT)為清晰圖像的數據分布;EI～p(Iderived)(·)為派生圖像數據分布期望值,I∈Iderived為派生輸入圖像,p(Iderived)為派生圖像的數據分布。

2)感知損失計算修復圖像JRestored(x)與清晰圖像之間的特征差異,通過梯度下降和反向傳播來更新參數,生成更逼真的圖像,感知損失定義:

(10)

式中:N為特征圖數量;j表示卷積層序號;Fj為第j個卷積層的特征映射,使用預訓練的VGG19作為特征圖提取網絡。

3)內容損失計算融合網絡生成的修復圖像與清晰圖像之間的像素級差異,確保修復圖像接近于對應的清晰圖像。

LC=‖JGT-JRstored(x)‖

(11)

式中:‖·‖表示融合前和融合后的圖像與清晰圖像間逐像素間歐式距離計算。

4)總體損失。綜合對抗損失、感知損失和內容損失來訓練沙塵圖像修復網絡:

(12)

式中:α、λ、β分別為對抗損失、感知損失和內容損失函數權重,控制著3個損失的重要程度。

2 實驗結果與分析

為了顯示本文的方法在沙塵圖像修復的效果,選取一些先進的沙塵天氣下圖像恢復方法進行比較,并給出定量和定性評估。

2.1 SOTS-Sand數據集

網絡訓練需要大量成對的標記數據。然而,受場景深度、大氣光條件、相機模型和沙塵環境等影響因素,成對的沙塵圖像數據集采集成本高、難度大。受Fabbri等[17]的啟發,使用CycleGAN方法,在沒有成對圖像的情況下,網絡學習一個映射,將圖像從任意域X轉換到另一個任意域Y,來作為一種生成成對數據集的方法。在RESIDE標準數據中任意選取2 500張清晰圖像作為X域圖像集合。通過在沙塵天氣下的圖像拍攝和網絡下載,共收集1 340張沙塵圖像作為Y域圖像集合。通過CycleGAN訓練一個生成器G來學習映射關系F∶X→Y,將來自清晰域X的圖像風格轉換為沙塵域Y的圖像。最后,通過對X中的所有圖像進行F映射,得到成對沙塵圖像訓練數據集。

本文從CycleGAN生成的數據集中選取53對沙塵天氣下圖像和對應的清晰圖像,作為合成測試數據集TESTA,并確保所有的測試圖像都不在訓練集中。采用經典的峰值信噪比(PSNR)和結構相似性指數(SSIM)兩項指標對沙塵圖像修復效果進行有參考圖像質量評價,指標數值越大、圖像質量越好。

2.2 訓練細節

算法運行平臺為Nvidia GTX 1080 GPU的臺式計算機,運行環境為Ubuntu18上的 PyTorch。所有的訓練樣本都被調整為256×256,在訓練過程中,使用ADAM作為優化算法并設置擇式(12)中損失函數權重α=0.02、β=1、λ=10-1。在訓練過程中,生成器和鑒別器的學習率均為0.000 3,訓練50個周期后在測試數據集上對模型進行評估。

2.3 與先進算法的比較

為驗證本文方法的先進性,選取了像素級增強、基于物理模型方法以及深度學習方法進行了比較。像素級增強方法包括基于顏色均衡(CCH)[5]、基于能見度修復(VRB)[7]和基于對比度自適應約束(CAL)[20];物理模型方法包括基于飽和度的傳輸圖估計(STME)[10]、暗通道先驗(DCP)[8]和YUV空間的沙塵圖像增強 (YUV)[21],基于深度學習的Refine-Net[22]和Cycle-GAN[13]。

2.3.1 定量評估

(13)

式中:v1、v2、Σ1、Σ2分別表示自然圖像模型與失真圖像的均值向量和協方差矩陣。

(14)

(15)

式中:nr為增強圖像可見邊緣數量;no為原始圖像可見邊緣數量;ri為可見邊緣所在像素的梯度。

表3 不同方法在TestA測試集上的定量評估Table 3 Quantitative evaluation of different methods on TestA dataset

表4 不同方法在TestB測試集上的定量評估Table 4 Quantitative evaluation of different methods on TestB dataset

2.3.2 主觀視覺評估

2.3.2.1 合成沙塵圖像評估

為驗證本文方法在合成圖像上有效性和先進性,選用8種不同的典型算法在TESA測試上進行合成沙塵圖像視覺效果評估。從表5的主觀視覺中可以發現:由于沙塵天氣下大多數藍光被散射和吸收,CCH[5]、VRB[7]和CAL[20]方法通過像素級增強通過衰減顏色通道補償和直方圖匹配,能夠消除沙塵圖像的顏色偏移,但去沙塵能力有限,圖像模糊、對比度低;由于沙塵圖像特征參數復雜,DCP[8]、STME[10]和YUV[21]方法不能準確估計物理模型中的中間參數,導致此類方法容易產生嚴重的偽影和沙塵殘留。STME[10]方法修復圖像中局部區域存在明顯的藍色偽影。DCP[8]方法生成的圖像在遠處天空區域修復效果較好,但大量的沙塵殘留導致圖像質量較低;Cycle-GAN[13]和Refine-Net[22]對沙塵圖像特征提取效率低,導致圖像增強圖像內容和結構略有失真、圖像偏暗;相比之下,本文方法通過對沙塵圖像特征預處理和采用特征融合等方式,端到端的生成高質量的修復圖像。本文方法修復后的圖像中天空顏色更真實,建筑物和樹木的顏色和紋理等更接近清晰圖像,具有良好的視覺效果。

表5 不同方法在TESTA上的修復視覺效果

2.3.2.2 真實沙塵圖像評估

為驗證本文方法的泛化能力,選取不同場景、不同顏色特征的真實沙塵圖像,并用先前的方法進行修復效果評估。如表6所示:CCH[5]和CAL[20]方法能有效消除顏色偏移,但處理顏色較深的沙塵圖像后的效果不明顯、圖像整體模糊;YUV[21]方法修復效果相對較好,但圖像局部區域存在顏色失真;DCP[8]、STME[10]方法圖像偏黑,對顏色較深的沙塵圖像的修復效果更差;由于缺少特征預處理階段,基于數據驅動的Cycle-GAN[13]和Refine-Net[22]方法無法有效和準確地提取沙塵圖像特征,造成生成的圖像偏黑、輪廓不清晰;相比之下,對于不同顏色的真實沙塵圖像,本文方法修復后的圖像顏色更真實,目標輪廓和紋理更清晰,具有良好的視覺效果。

2.4 消融實驗

2.4.1 特征轉換預處理影響分析

在圖像預處理階段,首先采用灰度分布補償方法減少衰減通道的灰度損失、恢復圖像中潛在的顏色特征。然后使用白平衡和對比度增強方法生成兩個派生圖像,以消除顏色偏移、提高場景的能見度。為驗證灰度分布補償模塊和派生輸入模塊對沙塵圖像修復框架的有效性,進行3項消融實驗:1)去除灰度分布補償模塊后的性能測試;2)去除派生輸入后的性能測試;3)本文方法的性能測試。

表6 不同方法在TESTB上的修復視覺效果

如表7所示:由于沙塵圖像偏色嚴重,圖像中的黃色掩蓋了其他特征信息。去除灰度補償模塊導致沙塵圖像中潛在的顏色特征沒有得到恢復,圖像中在地面和天空中均勻有部分沙塵殘留存,仍然存在明顯的沙塵顏色風格;去除派生輸入模塊后的修復圖像圖像模糊、輪廓不清晰,主要是由于網絡不能準確、有效地提取顏色偏移、對比度低的沙塵圖像特征。相比之下,本文方法采用特征預處理后的修復圖像無沙塵殘留,顏色更真實、對比度高。同時,從質量評估指標計算結果可以看出,經特征預處理后修復圖像NIQE值(4.018 7)最小,修復后的圖像更接近真實的清晰圖像。

表7 預處理消融實驗結果

2.4.2 派生圖像影響分析

本文在原始沙塵圖像上派生出顏色均衡圖像ICB、對比度增強圖像ICE,通過對兩個派生圖像的特征提取和融合來生成清晰的修復圖像。為了驗證派生輸入對沙塵圖像修復效果的影響,在TESTA測試集上開展單個輸入和多個輸入的性能測試。表8中的結果表明:將ICB和ICE兩項輸入結合起來一起送進網絡,相比用單個輸入測試結果,PSNR值提高1.738 dB,SSIM值提高0.118,從而驗證了多個派生輸入特征融合策略的有效性。

表8 派生輸入的影響分析Table 8 Impact analysis of derived inputs

2.4.3 損失函數影響分析

網絡損失函數在LA基礎上增加了LC和Lp兩項損失函數,為了驗證新增加的損失函數的有效性,進行4項損失函數的消融實驗,并采用PSNR和SSIM兩個指標在TESTA數據集上開展了定量評估(見圖9)。表9中的結果表明:單獨使用LA損失函數生成的圖像PSNR和SSIM指標均很低;聯合LA和LC損失函數生成的圖像PSNR值明顯提高,表明增加的LC損失函數有助于提高圖像信噪比;聯合LA和LP損失函數生成的圖像的SSIM值明顯提高,表明增加的LP損失函數有助于改善圖像的結構信息;將LA、LP、LC三者結合起來(LA+LP+LC)一起訓練網絡,相比LA+LC測試結果,PSNR值提高0.971 dB,SSIM值提高0.027。

表9 不同損失函數的定量分析Table 9 Quantitative analysis of different loss functions

可視化結果如表10所示:聯合對抗損失、感知損失和內容損失共同優化后的網絡,修復后的圖像在輪廓細節、對比度、色彩真實度等方面取得了顯著提升,更接近真實的清晰圖像。

表10 不同損失函數訓練的可視覺效果比較

2.5 修復沙塵圖像對高級視覺任務的改善

2.5.1 提升目標檢測精度

模糊的圖像會影響后續高級計算機視覺任務(目標識別、跟蹤、定位)的有效性,為驗證沙塵圖像修復對提升目標識別、跟蹤精度的效果,本文利用COCO數據集上預訓練的Faster R-CNN識別模型[23],分別對沙塵圖像和修復圖像開展了目標檢測和識別對比測試。

可視化效果如表11所示,沙塵天氣下圖像模糊,對目標檢測和識別存在大量漏檢、定位不準確和置信度低現象。經過算法修復后的圖像清晰,對轎車、行人、公交車等目標識別的數量明顯增多、準確率更高,從而驗證了沙塵圖像修復方法在目標檢測中的有效性。

表11 沙塵圖像及修復圖像的目標檢測結果比較

2.5.2 圖像分割

利用COCO數據集上預訓練的Mask_RCNN分割模型[24]分別開展沙塵圖像(上層)和修復后圖像(下層)的目標分割。如表12中上層圖像所示,沙塵圖像對比度低、目標和背景差異小,導致圖像中的人和車輛分割不準確,分割后區域內部的特征不完整。修復后的圖像(下層圖像)輪廓清晰、對比度高,目標和背景差異明顯,圖像中重疊的人物和車輛均完整且準確地分割出來,分割后的區域輪廓均勻、互不交疊。

表12 沙塵圖像及修復圖像的目標分割效果比較

2.6 運行時間

為驗證本文算法的實時性,統計該算法的運行時間,并與其他方法進行比較。隨機抽取100幅256像素×256像素的沙塵圖像,并計算每種方法的平均處理時間。DCP和CCH是基于傳統的優化方法,在沒有任何GPU加速的情況下在CPU上的運行。其他方法運行平臺為Nvidia GTX 1080 GPU的臺式計算機,運行環境為Ubuntu18上的 PyTorch軟件平臺。100幅圖像修復的平均運行時間統計如表13所示。

表13 圖像修復平均運行時間Table 13 Average running time of image restoration methods

本文算法建立在機器學習的基礎上,網絡訓練和測試只需只需前向運行,不需要進行二次優化。由表13可以看出,本文方法具有較高的運算效率,所需時間較短、算法實時性較好。

3 結論

本文針對沙塵圖像顏色偏移和對比度低的特點,提出一種基于灰度分布補償和特征融合的沙塵圖像修復方法。該方法預先對沙塵圖像進行灰度補償和特征預處理,以恢復沙塵圖像中的潛在信息、消除顏色偏移和提高對比度。在此基礎上再利用卷積神經網絡來提取圖像的高維特征,經融合、重建出清晰的修復圖像。得出主要結論如下:

1)本文通過對沙塵圖像衰減通道灰度補償和圖像高維特征的提取,修復出了更多被沙塵掩蓋的細節信息。

2相比于傳統方法,本文方法獲得的圖像更清晰、色彩更真實;在TESTA測試集上的PSNR值提高了3.34 dB,SSIM值提高了0.12;在TESTB測試集上的可見邊緣數量比、邊緣梯度比分別提高了0.288和0.573。

3)在高級視覺任務中,本文方法能有效提高沙塵圖像目標檢測精度和圖像分割準確率。