一種紅通道反轉的水下圖像復原算法

馮 雨,易本順,吳晨玥,章云港

(武漢大學 電子信息學院,武漢 430072)

1 引 言

水下圖像作為研究水下世界的信息載體對于海洋工程以及科學研究都有著重要的作用,如資源勘探、海洋救援、海洋生物研究等[1].然而,水下圖像往往存在嚴重的退質現象:一方面,水對光的選擇性吸收導致光的能量衰減,其中紅光吸收最為嚴重導致圖像呈現出藍綠色基調;另一方面,微粒雜質的散射導致圖像清晰度下降,呈現出霧狀模糊[2];另外,人工光源的使用也會導致圖像存在局部亮斑等問題.因此,水下圖像的清晰化具有重要的研究意義.

水下圖像清晰化分為增強和復原兩種方法[3].在增強方面,應用較多的有基于顏色恒常性理論的Retinex算法,該方法從人類視覺感受出發,直接增強圖像對比度、顏色等主觀效果[4].在復原方面,水下圖像成像模型與霧天成像模型類似,所以很多學者提出將暗通道先驗用于復原水下圖像[5],但由于紅通道的快速衰減導致求得透射率偏大,復原圖像偏暗;Chiang[6]提出了一種基于波長補償的水下圖像清晰化算法,該算法需已知三個通道的衰減率,從而對圖像的各通道進行顏色衰減補償;Galdran[7]提出了一種基于自動紅通道的水下圖像復原算法,該算法在成像模型公式上對紅通道進行反轉來進行透射率的求解,但其證明復雜,且三通道衰減率的比例在不同水質下也會不同,因此適用性存在一定限制;Li[8]提出了一種基于最小信息損失和直方圖先驗的水下圖像增強算法,該算法建立了透射率與圖像信息損失的關聯函數,通過最小化信息損失求得最優透射率,但該方法對紅通道效果欠佳;S.B.Borkar[9]提出用k-means聚類分離前景背景,對兩者進行單獨復原,但該算法只用于前景背景明顯分離的圖像,適用性不強.

本文通過對水下圖像成像特點的分析以及Galdran[7]提出的自動紅通道基礎上,提出了以下改進:首先針對水下圖像顏色失真給出了一種簡單的自動白平衡算法;對于紅通道反轉,本文并未在原圖的基礎上進行進一步的透射率求解和復原,而是將原圖的復原直接轉化為紅通道反轉后圖像的復原,對復原結果圖像將其紅通道再次反轉即可;另外對背景光計算提出了更為有效的方法,并將其用于修正三通道透射率.實驗結果顯示,本文算法復原圖像更加清晰,視覺效果更加自然,且對于存在人工光源的圖像,無需額外計算亦可恢復出清晰圖像.

2 水下圖像成像模型

由Jaffe-McGlamery成像模型[10]可知,相機接收的光可表示為三個分量之和:直接分量為物體反射光未被散射進入相機的光,前向散射為物體反射光的散射部分,后向散射來源于環境光經過微粒等雜質散射后進入相機的光.一般前向散射可忽略不計,因此水下圖像的簡化成像模型[11]可以表示為:

Iλ(x)=Jλ(x)tλ(x)+Aλ(1-tλ(x))

(1)

式中,Iλ(x)為圖像中位于x處且波長為λ的光強度,Jλ(x)tλ(x)為直射分量,Aλ(1-tλ(x))為背景光散射分量,其中,Jλ(x)為復原圖像,Aλ為背景光強度,tλ(x)為透射率,λ∈{R,G,B},由 Lambert-Beer 定律[12]可知,光在介質中傳播是呈指數衰減的,透射率數學表示為:

tλ(x)=exp(-cλd(x))

(2)

因此,求出三個通道的透射率與背景光強度即可恢復出清晰圖像.

3 本文算法

由水下圖像成像模型可知,圖像復原的關鍵在于得到正確的背景光強度和透射率.He[13]提出的暗通道先驗有效地解決了戶外有霧圖像的背景光和透射率的估計問題,所以不少學者將其用于水下圖像復原.其定義如下:

(3)

其中,Jλ表示無霧圖像的每個通道,Ω(x)為一定的鄰域范圍,Jdark為其暗通道,暗通道先驗理論指出,對于室外的無霧圖像,其非天空區域的暗通道值趨于0.圖像去霧即是在暗通道先驗基礎上求出其模型參數,恢復出無霧圖像.

水下圖像雖與霧天圖像成像模型相似,但由于不同波長光的衰減程度不一樣,導致水下圖像的紅色通道像素值很低,直接采用暗通道先驗會導致透射率估計過大,影響復原結果,而只通過藍綠通道進行暗通道計算又會導致透射率過小.另外不同顏色衰減不一,其透射率也應不同,采用統一的透射率會導致散射去除不完全,復原圖像顏色失真.因此,本文結合Galdran[7]提出的反轉紅通道基礎提出了了改進的水下圖像復原算法,如圖1所示,主要包括:(1)顏色校正;(2)紅通道反轉;(3)背景光估計;(4)透射率修正.

3.1 顏色校正

光在水下傳播時,紅光衰減大,藍綠光衰減小,導致圖像存在色偏,若直接對色偏圖像進行處理,得到的結果可能仍存在色偏,所以有必要對色彩進行校正.本文將自動閾值白平衡算法[14]用于水下圖像的顏色校正,考慮到水下圖像的特殊性,若直接應用往往導致恢復結果存在嚴重的偏紅現象,因此將紅通道保持不變,具體步驟如下:

1)白點檢測:將圖像變換到YCbCr顏色空間,計算Cb、Cr的均值Mb、Mr,以及其對應的絕對均方差Db、Dr,由公式(4)得到滿足條件的白色參考點;

|Cb(i,j)-(Mb+Db×sign(Mb))|<1.5×Db|Cr(i,j)-(1.5×Mr+Dr×sign(Mr))|<1.5×Dr

(4)

2)白點調整:計算白色參考點各通道平均值Raver、Baver、Gaver,由公式(5)計算各通道增益,其中Ymax為整副圖像亮度的最大值;

(5)

3)顏色恢復:

Bnew=B*kB,Gnew=G*kG,Rnew=R*kR

(6)

圖1 算法流程圖Fig.1 Flow diagram of our algorithm

3.2 紅通道反轉

暗通道先驗對水下圖像失效的原因在于紅通道的衰減很大,且傳播距離越大,衰減越大.對于水下圖像,如圖2所示,其中(a)、(e)為原圖,(b)、(f)為其對應紅通道,(c)、(g)為原圖的暗通道,可以發現,原圖對應的暗通道與紅通道相似,背景亮度低于前景亮度,且對于存在人工光源時該現象更為明顯,而在暗通道先驗中,霧天圖像的暗通道由于背景光的影響霧濃處其強度也會更大[13],也正是基于此特性,才能正確求出其背景光強度和透射率,很明顯由于紅通道的影響,水下圖像的暗通道并不滿足此特性.本文對成像公式進行拆分:

1-IR(x)=(1-JR(x))tR(x)+(1-AR)(1-tR(x))IG(x)=JG(x)tG(x)+AG(1-tG(x))IB(x)=JB(x)tB(x)+AB(1-tB(x))

(7)

(8)

再對公式(7)進行修正可得:

(9)

3.3 背景光估計

在Galdran[7]的算法里,其背景光計算方法是:對反轉后的紅通道找出其最亮的點作為背景點,顯然,當前景點存在某些紅通道本身就很低的點時,容易造成誤判,且只用一個最亮的點作為背景點容易受到噪聲的影響.本文采用四叉樹分層搜索來提高估計的全局背景光強的準確性,算法的具體過程如下所述:首先,將紅通道反轉后的圖像分為4個矩形區域,并將每一個矩形區域的得分定義為相應矩形區域內像素值的均值減去像素值的標準差;接著,選擇得分最高的矩形區域作為候選塊繼續進行四叉樹分解,直到矩形區域的大小小于預先定義的一個閾值停止分解,將最后得到的區域內的像素值求平均得到三個通道的背景光強度.顯然,由于反轉后的紅通道其背景像素值更大,所以整體上圖像背景區域均值大,而背景一般為水體,比較平坦,即標準差很小,所以背景區域的得分是最高的.對得到的背景區域取平均即得到各通道背景光強度.

圖2 紅通道反轉效果圖Fig.2 Effect of reversed red-channel

3.4 透射率修正

對暗通道先驗進行變換可得:

→0

(10)

(11)

(12)

假設式(11)求得的某點是綠色通道的透射率,則與式(12)中所求相同,且B、G兩通道求得的透射率滿足tR>tB>tG,這種通過背景光強度調整的透射率如圖3所示,其中(a)、(e)為原圖,(b-d)、(f-h)為紅通道反轉后的藍綠紅三個通道透射率,可以看到,三個通道透射率滿足相同的分布規律,景深越小,透射率越大,且不同通道透射率大小不同.由于透射率的計算使用了塊操作,所以在視覺上會有很多小塊,比較粗糙,所以本文使用了引導濾波[13]對粗透射率圖進行細化.

圖3 三通道透射率圖Fig.3 Transmission map of three-channel

3.5 水下圖像復原

計算出透射率和背景光強度后,便可由式(9)復原出反轉后的清晰圖像,但是為了避免因透射率t過低導致的計算溢出,一般給t設置一個下界t0,實驗中t0取0.2-0.3,于是可以得到圖像的復原公式:

(13)

對得到的圖像紅通道再次進行反轉操作即可得到原始圖像的復原圖像,圖4給出了部分實驗結果.可以看出,本文算法可以有效去除顏色失真及提高清晰度,并能有效用于存在人工光源的場景.

4 實驗對比與分析

為了驗證算法的有效性,本文與其他幾種主流算法進行了對比,并利用Hautiere評價指標來定量評價各算法效果.其中,e表示增加的視覺邊緣與原圖的邊緣數目之比,r表示平均視覺增強,σ表示復原圖像中像素變黑或者變白的百分比.e和r的值越大,σ的值越小,表示算法復原效果越好.實驗結果對比圖如圖5所示,可以看出本文算法在清晰度提升和色彩恢復方面都有不錯的表現.客觀評價指標對比如表1所示,本文算法的e的值均高于其他算法,且r的值排在前列,證明了算法的有效性.

圖4 水下圖像復原結果圖Fig.4 Our results

圖5 本文算法與其他算法效果對比Fig.5 Comparative results with other algorithm表1 客觀評價指標對比Table 1 Comparison of criteria among algorithms

AlgorithmImage1Image2Image3Image4erσerσerσerσAncuti[15]6.243.720%1.724.620.1%0.111.820%1.002.210.1%Chiang[6]0.081.300%0.131.320%0.231.810%0.081.790%Galdran[7]5.032.000.32%1.282.200.08%0.481.430%0.931.900.03%本文算法6.252.270%6.303.900%0.732.410%3.391.950%

5 結束語

水下環境的特殊性導致傳統暗通道先驗方法無法直接應用于水下圖像.筆者在Galdran[7]提出的反轉紅通道的基礎上提出了改進算法.首先用改進的白平衡去除嚴重的色彩失真,將紅通道反轉來消除紅通道對透射率計算的影響,針對反轉后的圖像特點,提出用四叉樹分層搜索得到各通道背景光強,并由得到的背景光強度對透射率公式進行優化,得到三通道透射率,最后復原出清晰圖像.實驗結果表明,算法可有效復原出水下清晰圖像,且對存在人工光源的場景也有很好的效果.