曹 立,李良榮,顧 平,李 震,龔 靜,亓 琳
(貴州大學 大數據與信息工程學院,貴州 貴陽 550025)
霧霾天氣是一種大氣污染狀態,由于大氣中懸浮的顆粒物以及小水滴對光線的吸收、散射和折射等作用,導致大氣渾濁、能見度降低、設備捕獲到的圖像色調偏移、分辨率下降,給交通監控帶來極大的影響,為了能夠準確地獲得圖像的特征信息,于是針對霧霾天氣降質圖像清晰化處理技術展開研究。
目前國內外主要的去霧算法包括兩個方面,基于物理模型的圖像復原算法,以及基于非物理模型的圖像增強算法[1-4]。其中基于物理模型的暗原色先驗理論最早由何愷明提出[5-7],經過該算法處理后的霧霾圖像更自然,但圖像亮度偏暗,從而導致圖像失真。非物理模型的圖像增強算法能提高圖像的對比度,增強視覺效果,常用的算法包括直方圖均衡算法、自動顏色均衡算法、Retinex算法[8-10]、線性對比度拉伸[11]等,其中單尺度Retinex(Single Scale Retinex,SSR)和多尺度Retinex(Multi-Scale Retinex,MSR)算法中核心函數采用高斯濾波來對圖像進行處理,然而高斯濾波在處理圖像過程中只針對圖像像素間的位置關系進行處理,在圖像中心區域處理結果較好,但在圖像邊緣處的處理效果不甚理想。
本課題組研究,首先對交通監控捕獲到的霧霾圖像采用暗原色先驗進行圖像復原,然后用雙邊濾波算法替換MSR中的高斯濾波。用改進的MSR算法進行圖像增強,經過處理后的圖像對比度得到改善,信息熵得到提高,邊緣處理效果得到增強,使霧霾圖像更加清晰。
在計算機視覺和計算機圖形學中,對霧霾圖像一般用大氣散射模型[12,13]來描述,具體模型為:
S(x,y)=D(x,y)λ(x,y)+T(1-λ(x,y))。
(1)
其中(x,y) 表示坐標空間,S(x,y) 為捕獲到的有霧圖像的強度,D(x,y) 為場景輻射率,即無霧圖像的強度,T為大氣光值,λ(x,y) 為介質透射率。D(x,y)λ(x,y)為直接衰減項,用來描述場景光線在介質傳輸中受到大氣顆粒物散射而引起的衰減,T(1-λ(x,y))是對環境光的表述,其數值的改變會對景物的顏色和亮度造成偏移。霧霾圖像的復原過程就是對D(x,y)的求取過程,理論假設大氣光是同質均勻的,那么介質透射率可表示為:
λ(x,y)=e-βd(x,y),0≤λ(x,y)≤1。
(2)
該式表明介質透射率隨距離成指數衰減,式中β為大氣散射系數;d(x,y)為場景深度。
暗通道先驗理論(dark channel pior),該理論認為對于無霧的清晰圖像,任意取圖像內一個像素區域,總存在并至少存在一個顏色通道的數值區域0,用公式描述一幅圖像D(x,y)的暗通道:
(3)
式中,上標c代表R、G、B三個通道,Dc為通道對應的彩色圖像,Ω(x)是以x為中心的局部塊狀區域,若Ω(x)為無霧自然圖像的子集,于是根據暗通道先驗的理論對大量室外無霧圖像進行統計,得出戶外無霧圖像的暗通道具有性質Ddark(x,y)→0,即Ddark(x,y)為無霧圖像D(x,y)的暗原色,這種規律稱為暗原色先驗。利用暗原色先驗理論求得透射率,進而得到清晰圖像,該方法的實現過程:
對于霧霾圖像方程(1),假定透射率的值在局部區域內不變,那么:
(4)
式中Tc為R、G、B三通道對應的大氣光值、Sc為各個通道對應的有霧圖像,Dc為各個通道對應的去霧圖像。假設Tc的值為正,對(4)式兩邊求最小值:
(5)
(6)
再將(6)式代入(1)式得到:
(7)
Retinex理論是由Edwin Land提出的基于色彩恒常的計算理論,Retinex理論包含兩方面內容:第一,物體的顏色跟光照的非均勻性無關,顏色具有一致不變性,因此可以通過改變圖像的對比度,在一定程度上還原圖像本來的顏色[14];其次,物體顯示出來的顏色取決于物體對光波吸收和反射的能力,物體顯示出某種顏色是由于物體不吸收這種顏色的光波,因此該理論認為人眼觀察到的物體顏色跟入射到人眼的光譜特性關系不大。除此之外,物體顏色的變化跟光線的照度也有關系,顏色隨著光照強度的變化而均勻地變化。
根據Retinex理論,人眼看到或設備捕獲到的圖像:
I(x,y)=R(x,y)×L(x,y)。
(8)
式中R(x,y)為物體表面對照射光的反射,L(x,y)為環境光的照射量。Retinex理論的實質就是從圖像I(x,y)中估計環境光的分量L(x,y),進一步去除L(x,y)得到物體的反射光分量R(x,y),這也是增強后的圖像。對(8)式兩邊取對數,就能夠去除入射光的性質,得到物體原本的面貌,即:
logR(x,y)=logI(x,y)-logL(x,y)。
(9)
1)SSR算法的模型
基于Retinex理論,SSR算法的模型:
Ri(x,y)=logIi(x,y)-log[F(x,y)*Ii(x,y)]。
(10)
式中Ii(x,y)表示輸入圖像中第i個顏色通道,Ri(x,y)表示SSR算法輸出圖像,*表示卷積算子,F(x,y)為高斯歸一化中心環繞函數:
(11)
式中c為環繞尺度,K為歸一化常數。同時,式中F(x,y) 必須滿足歸一化條件:
(12)
2)MSR算法的核心思想
MSR算法是基于SSR算法理論選取不同的高斯環繞尺度進行計算,并對輸出的結果進行加權求和,即:
(13)
基于暗原色先驗理論,假設透射率λ(x,y)在局部區域內是不變的,然而在實際中,對于遠景和近景交界邊緣區域內的透射率λ(x,y)卻是變化的,尤其是在交匯點的透射率數值上會產生突變,因此經過算法處理后在這些區域內會出現光暈現象,而且圖像在整體上的亮度偏暗?;诜俏锢砟P偷膱D像增強算法,主要目的是為了突顯圖像的局部特征,提高圖像的局部對比度和細節可見度,恢復圖像色彩,提高視覺效果。
MSR算法在圖像細節提取和色彩保真這兩方面優勢較為明顯,但由于算法中采用了高斯濾波來去噪,對圖像邊緣的處理不是很理想,會丟失一些信息,因此,本文采用雙邊濾波來代替高斯濾波函數,使得濾波的權重和像素強度值跟各個像素之間的空間距離有關,這樣計算出的權重值的大小可以按照邊緣梯度的變化自適應改變,從而使圖像邊緣更平滑,并能在一定程度上還原圖像原有的邊緣信息。
用雙邊濾波算法取代MSR中的高斯濾波,即:
(14)
f(x,y)代表經過雙邊濾波變換后的像素值,式中(x,y)代表像素點的空間位置,g(i,j)表示點(i,j)的像素值,Sx,y是以(x,y)為中心的(2N+1)×(2N+1)的鄰域,w(i,j)代表權重,其計算公式:
w(i,j)=ws(i,j)×wr(i,j)。
(15)
其中ws(i,j)代表空間鄰近度因子,其計算公式:
(16)
wr(i,j)代表亮度相似度因子,其計算公式:
(17)
改進算法的目的,是在去噪的同時保留圖像邊緣信息。
實驗過程是在Windows7操作系統下,使用VS2010+opencv2.2作為開發環境,分別采用常用的直方圖均衡去霧算法、MSR算法和本文所述MSR改進算法分別對霧霾天退化圖像進行處理。實驗樣本如圖1、圖2所示,樣本經處理后的圖片如圖3、圖4所示。
圖1 樣本一 圖2 樣本二Fig.1 Sample one Fig.2 Sample two
圖3 樣本一經算法處理后的圖像Fig.3 Sample one processed by the algorithm
圖4 樣本二經算法處理后的圖像Fig.4 Sample two processed by the algorithm
通過圖3、圖4中(a)、(b)、(c)圖片效果的比較,經過直方圖均衡算法處理后的圖像相比原圖像有增強效果,但圖像對比度偏暗,經過常規MSR算法處理后的圖像對比度有所提高,但邊緣處的圖像信息熵并沒有提高,而用MSR改進算法獲取的圖像要清晰得多,尤其是在圖像邊緣處的信息量有所提高。
圖像質量評價一般采用亮度均值、標準差、信息熵來作為評價依據[15]。
1)亮度均值,反應圖像整體明暗效果,圖像的亮度代表圖像所有像素的平均值,平均值越大,圖像就越亮,計算公式:
(18)
其中M、N為圖像寬度和高度,I(x,y)為指定圖像某一點的像素值。
2)標準差,也成稱為均方根對比度,數值越大表示對比度越高,計算公式:
(19)
3)信息熵,指的是圖像所包含信息量的多少,是信息量的度量單位,信息熵的值越大,圖像所包含的信息也就越多,計算公式:
(20)
式中P(τi)代表第i個像素值的概率。
針對圖1、圖2所示的交通監控霧霾圖像場景,用不同算法進行處理后,對輸出圖像分別進行亮度、標準差、信息熵這三個評價指標進行計算,計算結果如表1、表2所示。
表1 樣本一的亮度均值/標準差/信息熵
表2 樣本二的亮度均值/標準差/信息熵
實驗結果表明,在視覺方面,常用的直方圖均衡算法處理后的圖像偏暗,圖像亮度和對比度數值在直觀上較低,采用MSR算法處理的圖像亮度和對比度有所增大,但在一些邊緣處會丟失一些圖像原有的信息,而采用MSR改進算法處理的霧霾圖像清晰度較高,圖像整體層次明顯,亮度動態范圍得到一定的提升。在信息熵方面,MSR算法與MSR改進算法處理的圖像的信息熵數值均得到了提高。通過數據及圖像效果對比可以看出,采用MSR改進算法獲取的圖片清晰度較高,較好地復原了圖像真實場景的顏色,視覺效果最好。
本文針對霧霾圖像提出了一種圖像去霧算法,該算法基于暗通道先驗和MSR算法,并進一步對MSR算法進行改進,消除了常規去霧算法中Halo效應,結合雙邊濾波對圖像的邊緣信息進行了平滑處理和保持。從主觀上評價,MSR改進算法獲取的圖片,在視覺主觀感觸上更接近原始圖像;從客觀方面評價,實驗數據表明,MSR改進算法獲取的圖片的圖像亮度均值、對比度、信息熵均得到了提高。
霧霾圖像的清晰化還原,在交通監控中有著比較重要的意義,MSR改進算法獲取的圖片,在還原圖像真實場景、保持圖像色彩方面有所增強,更符合人的視覺感觸。經MSR改進算法處理過的霧霾圖像能夠更好地分辨出車輛的車型、車牌等信息,提高了交通監控的識別率。
本文所述MSR改進算法,在算法處理的效率上還有待提高,算法處理的實時性將是本團隊下一步研究的重點。