基于SLIC和SVR的單幅圖像去霧算法

欒 中 尚媛園 舒華忠 周修莊 丁 輝

(1首都師范大學信息工程學院, 北京 100048)(2首都師范大學成像技術北京市高精尖創新中心, 北京 100048)(3東南大學影像科學與技術實驗室, 南京210096)

霧霾天氣下采集的戶外圖像質量會有嚴重的下降．圖像去霧算法依靠數字圖像處理和圖像復原等技術來增強霧霾圖像的視覺效果．在近期的去霧算法中,單幅圖像去霧因實現方便、成本低而備受青睞．單幅圖像去霧算法通常采用大氣物理模型[1]來描述霧霾天氣下的成像過程,該模型主要包含傳輸效率參數和天空亮度參數．不同的算法采用不同的方式來估算模型中的這2類參數,在早期的算法中,研究者們依據無霧自然場景圖像的先驗規律[2-7]提出了多種估計方案,但這類算法的圖像去霧結果大多存在圖像過度增強的問題,包括色彩失真、噪聲放大、暈輪效應等．

隨著近年來機器學習技術的發展,研究者們提出了多種基于統計學習和深度學習的圖像去霧算法,例如,訓練一個隨機森林[8]或卷積神經網絡[9-10]來估算傳輸效率參數．相對于基于先驗的算法,該類算法的去霧結果更精確,出現過度增強現象的概率較低．但是對于圖像中霧霾較重的部分,去霧效果通常不理想,并且該類算法仍然采用傳統方法估算天空亮度參數,在處理明暗變化強烈的圖像時會導致圖像暗部細節丟失．

為了進一步提升圖像去霧算法的效果,本文結合多種圖像特征來提升傳輸效率參數的估算精度,并提出了更有效的計算天空亮度參數的算法．

1 大氣物理模型

去霧是圖像復原范疇內的問題,霧霾圖像的降質有其特有的物理原因．本文采用大氣散射模型[1]來描述霧霾圖像的形成過程．在該模型中,由于大氣對光線的散射效應,進入成像設備的光由衰減后的原始場景反照率和環境光亮度2個部分構成,即

I(p)=J(p)t(p)+A(p)(1-t(p))

(1)

式中,I(p)為成像設備觀察到的霧霾圖像I在位置p處的像素矩陣;J為原始場景反照率矩陣,表示無霧天氣下應該得到的清晰圖像,是去霧算法的求解目標;A為天空亮度參數矩陣,用來表示成像場景的光照強度;t為傳輸效率參數矩陣,由被拍攝物體到成像設備的距離和大氣渾濁程度決定．去霧算法的任務是根據輸入圖像I來估算t和A,然后代入式(1)計算出清晰圖像J．

2 天空亮度參數的估算

在大氣散射模型中,天空亮度參數矩陣A表示場景中的光照強度．傳統方法(如四叉樹分割法[2]和暗通道搜索法[3])需要搜索出圖像中無窮遠點的位置,并用該位置的像素值來估計A．這類方法存在2個方面問題:① 無窮遠點應該被定位在天空區域或霧霾最厚的區域,但是在實際圖像中經常出現大面積的白色物體或高反光率區域,嚴重影響天空區域的判定精度,進而影響最終的去霧效果．② 在傳統方法中,該參數在圖像中的所有位置都取一個固定值,當圖像中大氣光分布不均勻或圖像本身的動態范圍較大時,去霧結果中較暗部分的細節會大量丟失．

針對大量自然場景圖片的觀測表明,在白天室外場景中,大部分物體通過反射和吸收不同波長的光線而呈現出不同的顏色和亮度,而圖像的局部區域內通常會聚集同質物體,因此在最大通道圖像中,局部區域內像素的最大值可以近似反映該區域的光照強度．以輸入圖像圖1(a)為例,首先對輸入圖像每個像素位置取RGB三通道的最大值,得到最大通道圖像,結果見圖2(a)．接下來,需要對最大通道圖像做最大值濾波操作,以估算天空亮度參數．傳統的濾波操作均采用方形窗口,但由于圖像內容的復雜性,方形窗口內可能包含大量非同質像素,導致恢復后圖像存在局部殘霧且傳輸圖估算精度下降．因此,本文利用SLIC算法[11]將最大通道圖分割成形狀自適應的超像素塊,在濾波過程中采用超像素塊作為濾波窗口,最大程度地利用了同質像素的信息．圖2(b)給出了最大通道圖像經過超像素分割后的結果．利用這種基于超像素的最大值濾波來處理最大通道圖,得到天空亮度參數矩陣A．通過輸入圖像I計算天空亮度參數矩陣A的公式為

(2)

式中,Ic(p)為圖像在通道c下位置p處的像素矩陣;Ω為位置p處的像素所屬的超像素塊;c∈{r, g, b}為RGB圖像的色彩通道．

(a) 輸入圖像

(b) 傳統算法結果

(c) 本文算法結果

由于各超像素塊取最大值的操作,天空亮度參數矩陣A的邊緣信息與原圖之間存在一定誤差,直接用來恢復圖像會產生塊效應．本文利用簡單的邊緣保留濾波算法[12]對A做平滑處理可以有效地改善這一現象．

(a) 最大通道圖

(b) SLIC分塊結果

(c) 天空亮度參數圖

不同天空亮度估計算法對去霧效果的影響見圖1．其中,圖1(b)為傳統方法的去霧結果,圖1(c)為本文算法的去霧結果．由圖可知,采用傳統算法,所得圖像中間山谷的陰影部分亮度嚴重下降,遠景部分也存在變暗的情況．采用本文算法,在恢復對比度和飽和度的前提下,圖像整體亮度更加均勻,視覺效果得到了較大的提升．

3 傳輸效率參數估計

3.1 訓練樣本

在圖像去霧問題中,由于成像設備在大多數情況下無法獲得同一場景下有霧和無霧的一對圖像,訓練數據的采集是一個困難問題．鑒于此,本文采用人工合成訓練集的方案．首先,采集戶外高質量無霧圖像J,將其切割成圖像塊Jb,并隨機為圖像塊指定一個傳輸效率參數tb∈[0.1, 1]和一個天空亮度參數Ab．由于圖像J是在無霧天氣時采集,光源不經衰減直接照射到場景,因此將圖像塊的局部大氣光Ab固定為1.然后,根據式(1),將Jb,tb和Ab作為輸入,合成后的霧霾圖像塊Ib作為輸出,得到一組訓練樣本,其中Ib作為訓練數據,tb為其對應的樣本標簽．本文總共合成了約1.6×105個圖像塊作為訓練集．

3.2 特征提取

本文對3.1節得到的訓練集中每個樣本提取了4種特征,這些特征除了與霧霾濃度相關以外,還可以在一定程度上反應圖像質量．

麥克森對比度Fmic是一個可以衡量圖像能見度的特征[2],計算公式為

(3)

直方圖均衡度Fhis是一個反應圖像中像素值分布集中程度的特征[2],計算公式為

(4)

最小通道均值Fmin為圖像塊最小通道下所有像素的均值,計算公式為

(5)

式中,B為位置p處像素所屬的矩形圖像塊．

飽和度特征Fsat[7]為圖像塊內每個像素最小通道值與最大通道值之比的總和,計算公式為

(6)

3.3 回歸模型訓練與圖像恢復

通過3.2節的特征提取操作,每個訓練樣本被表示為一個4維特征向量．將這些特征向量和對應的樣本標簽輸入到SVR訓練工具中,得到傳輸參數估算模型．在圖像恢復過程中,利用該模型估算出霧霾圖像的傳輸效率參數矩陣t,結合在第2節中得到的天空亮度參數矩陣A,利用式(1)便可恢復出無霧圖像J．

4 實驗結果與分析

4.1 實驗設置

為了更好地評估本文所提算法的性能,將本文算法與其他6種主流圖像去霧算法結果進行了對比實驗,包括4種基于自然圖像先驗的去霧算法[2-5]和2種基于深度神經網絡的去霧算法[9-10]．所提算法與所有對比算法所依賴實驗平臺均為Matlab R2015b,Intel Core i7-6800k 3.4 GHz,32 GB RAM．

實驗使用如下2個測試集來評價不同算法的性能表現:① 327張帶有真實景深數據的清晰無霧圖像,稱為有監督測試集．其中,景深數據由激光測距裝置獲?。?149張包含多種戶外場景的霧霾圖像,稱為無監督測試集．有監督測試集用來測試算法的客觀評價指標,無監督測試集用來測試算法的主觀視覺效果．所有算法在運行時沒有加入任何預處理以及額外的參數調整操作．

4.2 客觀評價指標分析

由于有監督測試集帶有真實景深數據,該部分實驗的操作為:利用真實景深數據為無霧圖像加入一定程度的霧霾,得到合成霧霾圖像．用不同的去霧算法為合成霧霾圖像去霧,并將去霧結果與原有的無霧圖像做對比,計算SSIM和PSNR兩個客觀評價指標,結果見表1．由表可知,本文算法的去霧結果與原始無霧圖像最接近．

表1 不同算法的SSIM和PSNR值

4.3 視覺效果分析

圖3和圖4為圖像測試集中選取的具有代表性的2組去霧結果．由圖3可知,利用文獻[3]算法、文獻[2]算法和文獻[9]算法得到的結果中遠處森林部分均偏暗,文獻[10]算法去霧程度不足,文獻[5]算法整體對比度偏低,圖像中右側金屬柜的表面色彩偏移嚴重．文獻[4]算法和本文算法相對具有更好的可視性效果,但與文獻[4]算法相比較,利用本文算法得到的結果中圖像左側火車部分對比度更高,且畫面整體更明亮．

由圖4可知,文獻[5]算法去霧不足且存在明顯暈輪效應,文獻[3]算法和文獻[2]算法去霧程度偏重,天空部分噪聲被放大,路面色彩過飽和,文獻[4]算法和文獻[10]算法近景區域表現較好,但遠景部分去霧不足．相對來說,文獻[9]算法和本文算法的可視性效果更好,但相對于文獻[9]算法,本文算法結果中天空區域色彩更自然,近景的路面區域色彩也更接近真實情況．

(a) 原圖

(b) 文獻[5]算法

(c) 文獻[3]算法

(d) 文獻[2]算法

(e) 文獻[4]算法

(f) 文獻[9]算法

(g) 文獻[10]算法

(h) 本文算法

(a) 原圖

(b) 文獻[5]算法

(c) 文獻[3]算法

(d) 文獻[2]算法

(e) 文獻[4]算法

(f) 文獻[9]算法

(g) 文獻[10]算法

(h) 本文算法

由此可知,所提算法有效地恢復了圖像的對比度和顏色飽和度,同時無論是在主觀視覺效果方面,還是在結構相似度和峰值信噪比等客觀評價指標方面,所提算法均優于現有傳統算法．

5 結論

1) 針對傳統去霧算法中天空亮度參數估算部分存在的問題,本文提出了基于超像素分割的估算方法,能夠更好地適應有強烈光照變化的場景．

2) 在傳輸效率參數估算部分,本文提取了圖像塊的多種特征,并利用支持向量機訓練了高精度去霧模型,取得了比傳統算法更精確的結果．

3) 實驗結果表明,所提算法在各種復雜場景下,均能在主觀視覺感受和客觀評價指標上取得比現有去霧算法更好的結果．下一步研究工作為充分利用上下文語義信息,在圖像去霧的過程中加入場景理解．

)

[1] Narasimhan S G, Nayar S K. Vision and the atmosphere[J].InternationalJournalofComputerVision, 2002(3): 233-254. DOI: 10.1023/A:1016328200723.

[2] Kim J H, Jang W D, Sim J Y, et al. Optimized contrast enhancement for real-time image and video dehazing[J].JournalofVisualCommunicationandImageRepresentation, 2013,24(3): 410-425. DOI:10.1016/j.jvcir.2013.02.004.

[3] He K, Sun J, Tang X. Single image haze removal using dark channel prior[J].IEEETransPatternAnalMachIntell, 2011,33(12): 2341-2353. DOI:10.1109/TPAMI.2010.168.

[4] Zhu Q, Mai J, Shao L. A fast single image haze removal algorithm using color attenuation prior[J].IEEETransImageProcess, 2015,24(11): 3522-3533. DOI:10.1109/TIP.2015.2446191.

[5] Tarel J P, Hautiere N. Fast visibility restoration from a single color or gray level image [C]//IEEEInternationalConferenceonComputerVision. Kyoto, Japan, 2009: 2201-2208.DOI: 10.1109/ICCV.2009.5459251.

[6] Gao Y, Hu H M, Wang S, et al. A fast image dehazing algorithm based on negative correction[J].SignalProcessing, 2014,103: 380-398. DOI:10.1016/j.sigpro.2014.02.016.

[7] Li Z, Zheng J. Edge-preserving decomposition-based single image haze removal[J].IEEETransImageProcess, 2015,24(12): 5432-5441. DOI:10.1109/TIP.2015.2482903.

[8] Tang K, Yang J, Wang J. Investigating haze-relevant features in a learning framework for image dehazing[C]//IEEEInternationalConferenceonComputerVisionandPatternRecognition. Columbus, OH, USA,2014: 2995-3012.DOI: 10.1109/CVPR.2014.383.

[9] Cai Bolun,Xu Xiangmin, Jia Kui, et al. DehazeNet: An end-to-end system for single image haze removal[J].IEEETransImageProcess, 2016,25(11): 5187-5198. DOI:10.1109/TIP.2016.2598681.

[10] Ren W, Liu S, Zhang H, et al. Single image dehazing via multi-scale convolutional neural networks [C]//EuropeanConferenceonComputerVision. Amsterdam, the Netherlands, 2016:154-169. DOI:10.1007/978-3-319-46475-6_10.

[11] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEETransPatternAnalMachIntell, 2012,34(11): 2274-2282. DOI:10.1109/TPAMI.2012.120.

[12] He K, Sun J, Tang X. Guided image filtering[J].IEEETransPatternAnalMachIntell, 2013,35(6): 1397-1409. DOI:10.1109/TPAMI.2012.213.