基于圖像塊分類處理的快速單圖超分辨率重建*

倪　浩，阮若林，劉芳華，王建峰

（1.湖北科技學院 電子與信息工程學院，湖北 咸寧 437100；2.湖北科技學院 生物醫學工程學院，湖北 咸寧 437100；3.湖北科技學院 網絡管理中心，湖北 咸寧 437100）

基于圖像塊分類處理的快速單圖超分辨率重建*

倪浩1，阮若林2，劉芳華1，王建峰3

（1.湖北科技學院 電子與信息工程學院，湖北 咸寧 437100；2.湖北科技學院 生物醫學工程學院，湖北 咸寧 437100；3.湖北科技學院 網絡管理中心，湖北 咸寧 437100）

基于稀疏編碼的單幅圖像超分辨率重建效果較好，但其計算量大、計算復雜，較低的超分速度阻礙了實時應用。為提高超分速度，提出一種基于圖像塊處理的快速超分辨率重建算法。先將特征提取后的圖像塊用均值和方差對分成 3類，再分別運用不同的方法對圖像塊進行超分處理，如雙三次插值（Bicubic）、鄰域嵌入（NE）和稀疏編碼超分法（SCSR）等。另外還運用主成分分析法（PCA）對圖像塊進行降維。實驗中與經典的SCSR方法相比較，在獲得幾乎相同的PSNR值時，超分耗時減少了17.2 s。新方法的超分效果與經典的NE和SCSR方法處于同一水平，超分速度得到了較顯著的提高。

超分辨率；圖像塊；稀疏編碼；PCA

0　引言

超分辨率重建（Super-Resolution，SR）技術是利用一幅或多幅低分辨率圖像生成一幅高分辨率圖像。實際應用中需要用到這種分辨率增強技術，如在高分辨率顯示設備上顯示由低分辨率傳感器捕獲的圖像時，可減少視覺上的偽影。文中主要研究單幅圖像的超分算法，輸入的低分圖像只有一幅，另外還有多幅各類圖像組成的訓練集，通過字典訓練和圖像重建后形成預測的高分圖像，是一種基于學習的方法。

FREEMAN W T[1]利用馬爾科夫隨機場（MRF）建立高分圖像和低分圖像間的聯系用于超分重建。CHANG H[2]等應用“流形學習”的理論將局部線性嵌入（Local Linear Embedding，LLE）用于超分重建，提出鄰域嵌入（Neighbor Embedding，NE）法，所需訓練樣本較少，但會導致過擬合和欠擬合現象。以此為基礎，GAO X[3]等提出將稀疏編碼鄰域選擇算法應用于圖像重建，雖然解決了NE法的問題，但重建復雜結構圖像時效果不佳。YANG J C[4-5]等將機器學習引入到超分重建中，提出利用字典學習的稀疏編碼超分算法(Sparse Coding Super Resolution，SCSR)。ZEYDE R[6]和 YANG J[7]等在不同程度上提升了超分速度或效果。在眾多的超分辨率重建研究中，學者們都用訓練樣本來重建高分圖像，但大多數學者并不太關注圖像各區域的區別和訓練樣本的組織問題，而這些方面可以為減少超分過程中的計算量，提高超分速度，打開新的思路。

1　基于稀疏編碼的超分辨率重建

稀疏編碼的目的是用一組基元的線性加權組合來近似表示輸入信號x∈Rn。這些基元是一些基礎信號，往往是從一個超完備字典 D∈Rn×K(n＜K)中選出的。稀疏編碼就是自動找出較好的基元組合的方法，因此單幅圖像的超分辨率重建問題可以表示為：

其中，pk為第k個圖像塊，D為超完備字典，qk為稀疏系數。H和S分別為模糊和下采樣操作數。從超分重建的角度看，S可理解為將輸入低分圖像Y放大s倍后得到與高分圖像相同尺寸的超分圖像X*，并使其與原始高分圖像X的誤差最小。

1.1稀疏編碼解決方案

一些典型的超分重建問題解法中，常將式(1)稀疏先驗中無確定解析式的 l0－范數近似放松至 l1－范數，再引入拉格朗日乘子式來形成最小化表達式[8]：

其中F為特征提取操作數，用來提取低分輸入圖像塊的邊角信息，正則化參數λ為平衡式中兩項的常數。以稀疏表示理論為基礎，YANG J C[4]和 He等人提出聯合字典學習方法訓練生成超完備字典，其中字典訓練和圖像重建階段分別使用K－SVD和OMP算法。雖然這些基于稀疏編碼的超分算法能得到比較好的高分圖像，但是耗時較長，制約了其實時應用。

1.2加速超分辨率重建的思路

自然圖像中包含高頻和低頻部分。前者為邊緣和角等跳變幅度較大區域，后者為相對平滑區域。圖像放大時，插值法比應用稀疏編碼的方法速度快得多，但沿圖像邊角會產生較明顯的偽影，如振鈴、鋸齒和模糊等。盡管整體超分效果不如稀疏編碼法，但它在平滑區域的超分效果也非常好。YANG J C[4]分別用Bicubic和SCSR放大圖像“Lena”中的近 2500個圖像塊，并對放大圖像塊的RMSE值進行對比。結果表明，10%的圖像塊 Bicubic方法比SCSR效果更好，28%的圖像塊SCSR方法更好，分布在圖像的邊角、輪廓部分，如Lena的帽檐和臉頰邊緣。而其他的62%圖像塊用兩種方法的效果基本相同。因此，可將特征提取后的高頻圖像塊按照一定的標準分成幾類，再以平衡超分效果和速度為依據，用不同的方法處理相應類別的圖像塊，提高圖像整體的超分速度。

此外，一幅圖像是由成千上萬的圖像塊組成的，對于每個圖像塊，可以通過減少它的維度來減少圖像塊處理中的運算量。大量圖像塊處理時，維度較少的圖像塊累積節約下來的運算時間能為提高超分重建的速度作出較大的貢獻[6]。

2　圖像塊分類處理超分算法

文中提出的基于圖像塊分類處理的超分辨率重建算法是一種改進的稀疏編碼超分算法（Proposed Sparse Coding Super－Resolution，PSCSR），包括圖像訓練和圖像重建兩部分，具體算法如下：

(1)超分訓練階段：

④聯合字典訓練得到高分字典Dh和低分字典Dl。

(2)超分重建階段：

①根據所選閾值對將圖像塊利用均值和方差進行分類，并予以標記；

②Bicubic插值處理第一類圖像塊；

③用NE超分放大第二類圖像塊；

④利用Dl在第三類圖像塊上計算其稀疏表示；

⑤將求得的稀疏系數和Dh相乘來恢復第三類圖像的目標高分圖像塊；

⑦結合以上3種圖像塊處理方法，形成目標高分圖像。

2.1圖像塊降維

圖像塊分類處理超分算法利用主成分分析（Principal Component Analysis，PCA）來對每個圖像塊進行降維處理。PCA是統計模式識別中一種典型的特征提取方法，提取的新特征是原始信號特征的線性函數，建立的低維子空間能最好地反應數據點集和平均值之間的區別?？臻g中的維度越少，圖像模式間的距離越小，可避免高維空間中分類的復雜度。

圖像超分時，從劃分好的低分圖像塊開始，所有圖像塊的總像素均為，經過插值操作數Q和R 線性濾波器集后，可以表示為nR維的。結果圖像塊的實際維度（n/s2）不會增加，而且它比nR要小得多，使計算量過大。降維的主要作用在于節省訓練和超分時的計算量。因此，在轉到字典學習階段之前的最后一步就是減少輸入低分圖像塊{}k的維度。PCA算法應用到這些圖像塊向量，尋找一個能夠投影圖像塊的子空間，并保留99.9%的平均能量。這種投影操作將圖像塊轉換為降維后的特征向量，定義 B∈ Rnl×nR，則可表示為。

2.2圖像塊分類

將低分圖像劃分成有一定重疊區域的p×p圖像塊集，則每個高頻圖像塊絕對像素值均值為：

其中，fk(i，j)是低分圖像的高頻部分第k個圖像塊的絕對像素值。而低分圖像的高頻圖像塊的均方差可表示為：

低分圖像的每個高頻圖像塊為pk，均值和方差對記為(Mk，MNk)，其中k＝1，…，mn，每個圖像塊的均值和方差均用式(3)和(4)計算。根據圖像特點，選取一個均值、方差閾值對(Mky，MNky)，與每個圖像塊的均值和方差對比較，并用MSk標記如下：

這樣，所有高頻圖像塊均按均值和方差閾值劃分為3類。為驗證此分類法，實驗將“Lena”劃分為若干個相同大小的圖像塊，設置均值和方差閾值對為（40，400），則圖像塊被分為3類。為便于標注，第1類圖像塊的亮度值不變，第2類和第3類的亮度分別減少和增加50。圖1中可看出，亮部（第3類）集中在邊角區域，暗部集中在連續變化區域（第2類）。

圖1　設定{Mk，MNk}對圖像塊分類結果

2.3圖像塊處理

按照MSk標記的圖像塊，根據算法2按圖像塊類型將不同區域的圖像塊用不同的方法進行處理[9]。

（1）第1類：表示圖像特征的相對平坦區域，其高頻部分可看作是高頻噪聲，只需用最快的 Bicubic算法將這類圖像塊插值形成相應的高分圖像塊。

（2）第2類：表示圖像的連續變化區域，為平衡超分速度和超分效果，選用NE法重建高分圖像塊。

（3）第3類：表示圖像邊角和紋理。為提升圖像邊緣的銳度和整體的清晰度，使用相對精確的SCSR算法來生成高分圖像塊。

在圖像重建階段，所預測的高分圖像塊拼接起來重建預測的高分圖像X*，在重疊區域將每個像素多個預測值的平均值作為最終的復原值[10]。

3　實驗結果

實驗在一臺英特爾 Core i5、1.6 GHz的筆記本電腦上用 MATLAB完成。除明確指出外，所設置的基本參數都相同。圖像訓練中總共采樣10 000個低分圖像塊，大小為5×5，放大倍數s＝3。利用隨機梯度遞減在字典學習階段所得字典對尺寸為 k＝1 024，正則化參數取 λ＝0.1。運用文獻[4]中的方法提取低分圖像的特征，F使用f1＝[－1，0，1]，f2＝，f3＝[1，0，－2，0，1]，f4＝4個濾波器進行求導。

3.1超分圖像效果對比

比較結果圖像和原始高分圖像的相關性時，利用通用的PSNR計算方法來量化不同超分算法的效果。圖2中大多數實驗圖像使用 PSCSR方法比 SCSR的效果稍有下降。因為它在簡化運算和降維的處理過程中會丟失一些圖像信息。但從整體上看，PSCSR的方法的效果幾乎和SCSR方法相同。所有實驗圖像的PSCSR效果均優于NE。而在第2幅圖像“Zebra”中，由于存在大量的紋理細節，用SCSR進行圖像放大時產生了較嚴重的偽影，其PSNR值比PSCSR還要低。

圖2　實驗圖像及其PSNR值對比

圖3　超分結果對比，上圖為 Zebra，下圖為 Girl，s＝3

圖3中為局部放大的超分目標圖像，除了Bicubic法外，其余3種方法的超分效果在視覺上處于同一水平。在“Zebra”圖像中，SCSR算法在恢復圖像邊角的銳度方面表現最好，但同時伴隨了較為嚴重的鋸齒和偽影，導致圖像紋理發生了扭曲和形變。PSCSR方法結果看起來較為模糊，但是相對于其他方法，圖中斑馬脖子上的紋理細節恢復得更好。在另一幅圖像“Girl”中，后 3種算法的超分效果非常接近。圖中女孩的眼睛和眼珠的輪廓部分都能夠清晰地還原出來。這些與圖3中的PSNR值表現是一致的。

3.2超分速度對比

從表1中可以看出，超分耗時與圖像尺寸密切相關，圖像越大，耗時越長，反之亦然。3種超分方法的超分耗時的關系可以描述為：tPSCSR＜tNE＜tSCSR。文中提出的PSCSR方法通過圖像分類處理和圖像降維來減少圖像超分過程中的計算量，理論上可以以此來提高超分速度。表1的數據很好地證明了這一點。PSCSR方法所消耗的時間比文中提到的SCSR、NE等典型算法都要少。5幅測試圖像的超分速度平均下來，PSCSR能夠比 SCSR快17.2 s，比NE快12.1 s。

表1　超分耗時對比

4　結論

為提高基于實例學習的單圖超分辨率重建算法的速度，文中提出了一種基于圖像塊分類處理的快速超分重建算法。一方面，根據各種典型算法的超分速度和它們對圖像中各區域的超分效果分析，選取圖像塊的均值和方差閾值，將圖像塊按不同的均值和方差范圍分成3類，分別采用Bicubic、NE和SCSR 3種方法進行圖像塊重建，相對于完全采用稀疏編碼的方法，減少了部分計算量。另一方面，引入PCA對每個圖像塊進行降維處理，維度較少的圖像塊處理過程中計算量也相對較少。實驗表明，文中算法的超分效果與經典的SCSR和NE保持在同一水平的同時，超分速度有較大幅度的提升。在后續研究中，可以從優化稀疏編碼的復雜度入手，提高計算效率，從而進一步提高超分重建的速度。

[1]FREEMAN W T，PASZTOR E C，JONES T R，et al. Example－based super－resolution[J]．IEEE Computer Graphics and Applications，2002，22(2)：56－65.

[2]CHANG H，YEUNG D，XIONG Y M.Super－resolution through neighbor embedding[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Washington.D.C，USA：IEEE，2004：275－282.

[3]GAO X，ZHANG K，TAO D，et al.Joint learning for singleimage super－resolution via a coupled constraint[J].IEEE Transactions on Image Processing，2012，21(2)：469－480.

[4]YANG J C，WRIGHT J，MA Y.Image super－resolution via sparse representation[J]．IEEE Transactions on Image Procesing，2010，19(11)：2861－2873.

[5]YANG J C，WRIGHT J，HUANG T，et al.Coupled dictionary training for image super－resolution[J].IEEE Transactions on Image Processing，2012，21(8)：3467－3478.

[6]ZEYDE R，ELAD M，PROTTER M.On single image scaleup using sparse－representations[C].Proceedings of the 7th International Conference on Curves and Surfaces Avignon，France：Springer，2010：1－20.

[7]YANG J，LIN Z，COHEN S.Fast image super－resolution based on in－place example regression[C].Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2013，Portland，2013：1059－1066.

[8]練秋生，張偉.基于圖像塊分類稀疏表示的超分辨率重構算法[J].電子學報，2012，40(5)：920－925.

[9]Xie Qinlan，Chen Hong，Cao Huimin.Improved examplebased single－image super－resolution[C].Image and Signal Processing(CISP)，2010，3：1204－1207.

[10]潘宗序，禹晶，肖創柏，等.基于自適應多字典學習的單幅圖像超分辨率算法[J].電子學報，2015，43(2)：209－216.

阮若林（1974－），通信作者，男，博士，副教授，主要研究方向：視音頻編碼，E－mail：rlruan@qq.com。

劉芳華（1982－），女，碩士，講師，主要研究方向：計算機仿真，圖像處理。

Fast super-resolution for single image based on patch classification and processing

Ni Hao1，Ruan Ruolin2，Liu Fanghua1，Wang Jianfeng3
(1.School of Electronic and Information Engineering,Hubei University of Science and Technology，Xianning 437100，China；2.School of Biomedical Engineering，Hubei University of Science and Technology，Xianning 437100，China；3.Center of Network Management，Hubei University of Science and Technology，Xianning 437100，China)

The performance of single image super-resolution via sparse coding is promising.But the relatively low speed hinders its real-time application because of the large and complex computation.This paper presents a Proposed Sparse Coding Super-Resolution(PSCSR)algorithm to promote the super-resolution speed.The new method classifies the feature extracted image patches into three classifications with the finite pair of mean and variance.After that,it employs different methods to recover different classified patches,such as Bicubic,NE and SCSR.Additionally,it uses PCA to reduce the patch dimensionalities.In the experiments,the new method is 17.2 s faster than the classic SCSR while the PSNRs are nearly the same.The new method is faster than NE and SCSR with almost the same super-resolution performance.

super-resolution；image patch；sparse coding；PCA

TP391

A

10.16157/j.issn.0258-7998.2015.10.039

國家自然科學基金（61271256）；湖北省高等學校優秀中青年科技創新團隊計劃項目（T201513）；湖北省自然科學基金項目（2015CFB452）；湖北省教育廳科研計劃指導性項目（B2015080）

（2015－06－11）

倪浩（1981－），男，碩士，講師，主要研究方向：機器學習和計算機視覺。

中文引用格式：倪浩，阮若林，劉芳華，等.基于圖像塊分類處理的快速單圖超分辨率重建[J].電子技術應用，2015，41 (10)：143-146.

英文引用格式：Ni Hao，Ruan Ruolin，Liu Fanghua，et al.Fast super-resolution for single image based on patch classification and processing[J].Application of Electronic Technique，2015，41(10)：143-146.