基于多尺度殘差的數字圖像超分辨率重建算法

于 玉,趙 月

(西北大學 現代學院,西安 710000)

0 引 言

在信息傳遞過程中,圖像屬于一種重要的信息載體,由于設備硬件條件、傳輸環境等因素影響,在數字化圖像采集過程中會出現低像素的圖像[1]。由于低分辨率圖像的像素密度一般很低,而且圖像中的細節信息和結構信息很少,因此可以用圖像超分辨重建技術將低清晰度圖像轉化成高清晰度圖像[2]。目前圖像的超分辨重建技術在視頻監控、高清晰數字電視和圖像壓縮等領域中已取得了一些研究成果,并且相關領域的研究學者也對數字圖像超分辨率重建算法進行了研究。

張帥勇等[3]將圖像輸入深層網絡中,獲取圖像特征,在金字塔結構的基礎上分層處理結構特征,獲取圖像邊緣信息,通過殘差學習實現圖像重構,但該算法重建后的圖像相似度較低。李靜等[4]在Boxfilter濾波器中引入非局部均值算法,對圖像進行去噪處理,將去噪后的圖像輸入深度殘差卷積網絡中,實現圖像重建,但這種方法重構后的圖像峰值信噪比(PSNR:Peak Signal-to-Noise Ratio)值較低,重構效果較差。

針對以上問題,筆者引入一種多尺度殘差方法,實現數字圖像超分辨重建。

1 數字圖像預處理

1.1 數字圖像去霧處理

氣溶膠散射作用[5-6]以及大氣中存在的微小水滴會對圖像采集產生影響,降低圖像質量,為提高圖像重建質量,需要對圖像進行去霧處理。

通過

(1)

對灰度腐蝕操作處理數字圖像中存在最小顏色分量。其中y表示像素鄰域; Ξ(x)表示圖像中中心為像素x的鄰域;c∈{R,G,B}表示數字圖像R、G、B顏色通道。

基于多尺度殘差的數字圖像超分辨率重建算法針對數字圖像中存在的灰度分量,通過Canny算子對其進行邊緣檢測[7-8],分割數字圖像,并統計邊緣像素在數字圖像塊中所占的比例Me(x),設置亮度閾值Tv和平坦閾值Tp,當像素符合Imin(x)>Tv、Me(x)

標記候選區域的聯通分量,獲取其先驗信息,在數字圖像中,天空亮度S可通過最大像素值估算得到。設置e-βd(x)=t(x)表示指數衰減項,e-βd(x)和介質傳播函數t(x)之間的關系滿足e-βd(x)=t(x),此時大氣耗散函數B(x)如下:

B(x)=1-t(x)。

(2)

根據天空亮度S,建立大氣散射模型:

I(x)/S=σ(x)t(x)+B(x),

(3)

其中σ(x)表示場景反照率?？蓪⒋髿馍⑸淠Ｐ娃D化為

I′(x)=σ(x)t(x)+B(x)。

(4)

最小顏色分量函數:

(5)

(6)

其中Hζs、Hζr表示濾波高斯函數,ζs、ζr分別表示空域S、值域R中高斯模板的尺寸;Eb表示歸一化系數,且有

(7)

根據式(6)估計結果獲得介質傳播函數:

t(x)=1-B(x)。

(8)

基于多尺度殘差的數字圖像超分辨率重建算法計算場景反照率σ(x)時引入因子λ:

(9)

數字圖像在成像過程中會產生偽輪廓,為提高圖像去霧效果,基于多尺度殘差的數字圖像超分辨率重建算法將因子λ的值設置為0.95。

1.2 數字圖像去噪處理

數字圖像在去霧處理過程中極易引入噪聲,通過下述過程對去霧后的數字圖像進行去噪處理:

1) 色度飽和度亮度(HSI:Hue,Saturation,and Intensity)變換處理數字圖像[9-10],獲得分量矩陣H、S、I。

2) 分塊處理數字圖像的分量矩陣H、S,在極坐標系中重新定義圖像塊中的原色量,并利用

(10)

設置閾值d如下:

(11)

3) 采用非平穩信號時頻分析(NSST:Nonstationary S-Transform)方法[11-12]處理數字圖像的分量矩陣I,針對分解獲得的高頻分量Ik,s,用gIk,s表示其梯度系數矩陣如下:

(12)

設置去噪規則

(13)

消除圖像分量矩陣I中存在的噪聲。

2 數字圖像超分辨率重建

基于多尺度殘差的數字圖像超分辨率重建算法在超分辨率卷積神經網絡(SRCNN:Super-Resolution Convolutional Neural Network)的基礎上,通過圖像重建模塊、反向投影模塊和特征提取模型,實現數字圖像超分辨率重建。

2.1 特征提取

筆者算法使用卷積核尺寸不同的兩個卷積層提取圖像的特征[13-14],獲得特征圖G1、G2如下:

(14)

其中JSFE,3×3、JSFE,1×1分別表示在圖像卷積處理過程中使用3×3、1×1像素的卷積核;I表示預處理后的數字圖像。

2.2 反向投影

結合無限貝葉斯聚類(IBP:Infinite Bayesian Partitioning)算法思想,筆者算法在下述升采樣和降采樣過程的基礎上完成反向投影。

1) 升采樣。

降采樣層數與升采樣層數在反向投影層中的比為(T-1)∶T,級聯處理反向投影獲得的特征圖,獲得卷積層融合的特征G=J([G1,G2,…,Gn])。

2.3 圖像重建

通過多尺度的方式提取數字圖像特征,獲得尺度不同的3個特征圖,融合特征圖Rr,引入1×1卷積核,通過卷積操作改變數字圖像特征圖的特征維度,設置3×3的卷積核,對上述特征圖進行卷積處理[15],實現數字圖像超分辨率重建:

(15)

其中Gn-2、Gn-1、Gn表示網絡中存在的后3層; ∑JUD,3×3、∑JUD,5×5、∑JUD,7×7表示不同尺度卷積核提取的特征圖總和;JRe,1×1、JRe,3×3表示采用1×1卷積核、3×3卷積核對圖像進行卷積操作。

3 實驗與分析

為驗證基于多尺度殘差的數字圖像超分辨率重建算法的整體有效性,筆者對其進行了相關測試。

將結構相似度(SSIM:Structural Similarity Index)和峰值信噪比PSNR作為指標,以文獻[3-4]算法為對比方法,對比分析不同方法的圖像重建效果。

結構相似度SSIM通常在區間[0,1]內取值,設y表示算法重建后獲得的圖像;ζxy表示理想圖像和重建圖像的協方差,結構相似度SSIM可通過

(16)

計算得到。其中x表示理想圖像;νx、νy表示理想圖像和重建圖像的平均灰度值;c1、c2表示常數;ζx、ζy表示理想圖像和重建圖像的標準差。

結構相似度SSIM測試結果如圖1所示。

圖1 SSIM測試結果

由圖1可知,筆者算法重建后的圖像相似度均保持在0.9以上,表明筆者算法重建后圖像中存在的細節信息基本與原始圖像相符,文獻[3-4]算法重建后的結構相似度較低,表明重建后的圖像中丟失了一部分結構信息。

利用PSNR評價圖像重建誤差:

(17)

表1 不同方法的PSNR測試結果

由表1可知,筆者方法對圖像重建后的PSNR均高于其他兩種算法,表明筆者算法的重建誤差小。采用筆者算法、文獻[3-4]算法重建一幅模糊數字圖像,重建結果如圖2所示。

圖2 不同算法的圖像重建效果

從圖2可知,筆者算法效果最佳,其他兩種算法的重建圖像分別存在噪聲和模糊現象,筆者算法的重建效果不存在上述問題,因為筆者算法在圖像超分辨率重建前對數字圖像進行了去霧和去噪處理,可以獲得良好的圖像重建效果。

4 結 語

針對目前圖像超分辨率重建算法存在結構相似度低、重建效果差的問題,筆者利用多尺度殘差方法實現數字圖像超分辨率重建。該算法首先對數字圖像展開了相關預處理,在此基礎上基于多尺度殘差方法對圖像展開超分辨率重建。實驗結果表明該方法得到的重建圖像清晰度較好,圖像重建的結構相似度和精度較高。