壓縮感知在感興趣區域編碼中的應用

杜 梅, 趙懷慈, 周 浩

(1. 沈陽師范大學 科信軟件學院, 沈陽 110034; 2. 中國科學院 沈陽自動化研究所, 沈陽 110016)

?

壓縮感知在感興趣區域編碼中的應用

杜 梅1, 趙懷慈2, 周 浩1

(1. 沈陽師范大學 科信軟件學院, 沈陽 110034; 2. 中國科學院 沈陽自動化研究所, 沈陽 110016)

針對面向目標探測識別的無線圖像傳輸應用,為了解決探測識別任務對圖像質量的高要求與無線信道帶寬約束之間的沖突,提出一種基于壓縮感知的編碼方法。鑒于壓縮感知優秀的抗干擾特性,利用其進行圖像壓縮,并將位平面提升技術引入壓縮感知。首先,對圖像進行分塊壓縮感知,然后,對獲得的信號進行量化、位平面分解;然后提升感興趣區域位平面,并分別給出3種不同的感興趣區域位平面編碼方案;最后,在解碼端通過解碼、閾值迭代法重構,得到感興趣區域質量優于背景的重構圖像。實驗結果表明,在相同碼率下,重構圖像的感興趣區域PSNR(Peak Signal to Noise Ratio)高于通常的壓縮感知編碼方法,驗證了方法的可行性和有效性。因此,基于壓縮感知的感興趣區域編碼方法能夠提高無線圖像傳輸效率,從而更好地滿足目標探測識別的需求。

感興趣區域; 壓縮感知; 位平面提升; 面向探測識別

0 引 言

面向目標探測識別的圖像壓縮編碼,通常都應用于無線信道環境中,而無線信道干擾嚴重,且帶寬有限,因此研究如何通過不穩定并且帶寬受限的無線環境優先傳輸重要信息,如目標區域信息,再傳輸次重要信息,如背景信息,即研究感興趣區域(Region of Interest,ROI)優先的圖像漸進編碼方法,對無線圖像傳輸具有重要的實際應用價值[1-2]。

目前ROI優先的漸進圖像編碼技術,都是以變換壓縮編碼為基礎。感興趣區域優先的圖像編碼算法中,應用較為廣泛的是JPEG2000中的2種編碼算法[3]:比例提升法(General Scaling Based Method)和最大提升法(Maxshift Method)。JPEG2000雖然具有優秀的壓縮性能,但抗干擾性能還不夠強大,需要和信道編碼共同抵御無線噪聲和干擾[4]。

壓縮感知(Compressed Sensing,CS)是一種新的信號采樣理論,是一種尋找欠定線性系統稀疏解的技術[5-6]。壓縮感知理論指出,利用信號的稀疏特性,通過遠小于Nyquist 采樣率的隨機采樣方式獲取信號的采樣數據后,仍然能夠通過非線性重建算法完美地重建信號,而且CS信號具有優秀的抗干擾特性[6-7]。鑒于CS的優秀特性,本文將基于位平面提升的ROI編碼技術引入CS,給出了ROI優先的漸進圖像編碼方案。仿真實驗驗證了本文方法的可行性和有效性。

1 感興趣區域編碼技術

在圖像壓縮編碼過程中,為了使ROI區域質量優于背景并且被優先傳輸,JPEG2000以位平面縮放思想為指導,對系數位平面進行不同方式的提升,分別實現了比例提升法和最大提升法。除此以外,學者們又提出綜合二者優點的改進位平面提升方法[8-9]。

比例提升法的基本思想是:對圖像進行小波變換、量化完成后,對量化系數進行位平面分解,然后設定比例因子S,將所有屬于 ROI 區域的系數上移S層,使其位于較高的位平面上,如圖1b所示。在嵌入式編碼過程中,被上移的平面首先被編碼,生成的比特流在整個數據比特流的最前面。這樣,ROI 就會先于背景被編碼。這S個ROI位平面編碼完成后,才繼續對剩余位平面系數進行編碼。即使傳輸過程中編碼比特流被截斷,感興趣區域也會有比背景區域更高的逼真度。解碼時為了區分位于同一位平面中的ROI系數和背景系數,需要提供ROI形狀和位置信息,即掩模。

(a)—無提升; (b)—比例提升法; (c)—最大提升法; (d)—交錯提升法。圖1 位平面提升示意圖

最大提升法是比例提升法的特例,其提升后的 ROI系數最低位平面必須高于背景系數的最高位平面,如圖1(c)所示,即它的比例因子 S 必須滿足條件:

(1)

其中Cmax是背景系數量化后的最大值。

提升之后,ROI所有系數都大于背景系數。這樣在編碼過程中只有當所有的ROI信息都編碼結束,才開始編碼背景系數。由于在ROI完全恢復前,無法得到背景信息,因此也不能靈活調節ROI和背景重構圖像質量的對比度,而往往ROI內容的判別需要依賴背景,這是最大提升法的不足。

為既能夠比較靈活地控制ROI與背景的質量對比度,又不必傳輸ROI掩模,位平面交錯提升法被提出,其基本思想是:將ROI區域與背景位平面分別按重要性程度分為高位與低位2部分,ROI高位比例因子設置為S1,背景高位比例因子設置為S2,背景提升因子設置為S3,然后按S1和S3分別對ROI和背景位平面進行提升,提升后效果見圖1d。與前2種方法相比,交錯提升法編碼不需要傳輸掩模,從而降低了編碼和傳輸數據量,同時又兼顧了背景傳輸,但是也增加了算法復雜度,因此應根據實際需求選取適當ROI編碼方法。

2 基于壓縮感知的感興趣區域編碼與漸進傳輸方案

壓縮感知理論本身具備優秀的抗干擾特性,適合于圖像壓縮無線傳輸。普通的壓縮感知編碼方法是[10-11]:獲取壓縮感知信號后,量化,編碼,然后傳輸。為了使壓縮感知編碼技術適合于面向目標探測識別的圖像壓縮應用,適用于感興趣區域編碼,引入位平面編碼和位平面提升技術。在對圖像進行壓縮感知測量時,由于圖像屬于高維數據,為降低計算和存儲代價,采取分塊測量方法[12-13]。分塊測量首先需要根據圖像尺寸確定合適的分塊,再根據分塊尺寸和壓縮比要求確定測量矩陣,接下來對每個圖像分塊利用測量矩陣逐一進行壓縮感知測量,獲得壓縮感知信號;然后,對壓縮感知信號進行基于位平面提升的感興趣區域編碼、傳輸;在解碼端,對解碼后的壓縮感知信號,選取閾值迭代法(Iterative Shrinkage/Threshold,IST)[14-15]進行重構。

在了解分塊壓縮感知和分塊重構過程的基礎上,重點解決感興趣區域優先的壓縮感知信號編碼問題。首先采用位平面編碼代替通常的壓縮感知信號編碼,再對ROI位平面進行縮放處理。編碼過程為:

1) 將ROI區域對應到一系列圖像分塊上,圖像分塊如圖2所示,其中白色邊框內為ROI區域,然后采用分塊壓縮感知壓縮圖像,并產生壓縮感知信號的ROI掩模;

2) 對壓縮感知信號進行量化、位平面分解,分解示意圖見圖3;

圖2 圖像分塊

3) 對分解后的位平面按照ROI與背景視覺質量需求,確定比例因子S,將ROI掩模內的位平面按比例S提升;

4) 位平面編碼、ROI掩模編碼。

編碼完成后傳輸編碼流,傳輸順序遵循編碼順序。

解碼端解碼過程為:

1) 獲得S值,ROI掩模解碼、位平面解碼;

2) 將ROI掩模內的位平面按比例S下降;

3) 位平面合成,反量化,得到分塊壓縮感知信號;

4) 采用閾值迭代法重構,得到重構圖像。

隨著解碼端接收碼流的增多,解碼位平面也逐漸增多,重構圖像的分辨率逐漸提高,直到ROI位平面全部接收完畢,ROI質量不再變化;繼續接收背景碼流,直到背景全部傳輸完畢,得到質量最優的重構圖像。以上為基于壓縮感知的比例提升法(general shift)編解碼過程,具體流程如圖4。

基于壓縮感知的ROI編碼在傳輸過程中,由于意外等原因隨時中斷傳輸,都可以通過已接收的部分位平面,優先重構ROI區域,隨著接收位平面的增多,得到分辨率逐漸提高的圖像,直至全部位平面接收完畢,得到質量最優的圖像。

圖4 基于壓縮感知的比例提升編碼流程圖

3 實驗結果與分析

實驗所用圖像分別來自自選圖像和圖像數據庫USC-SIPI Image Database,圖像尺寸256×256。采用分塊壓縮感知方案,壓縮采樣率為0.3,圖像分塊16×16,重構算法采用閾值迭代法。量化級別Q=7,則位平面分解為7層。將本文ROI編碼方法與普通壓縮感知編碼方法重構圖像的ROI區域峰值信噪比(PSNR)做比較。原圖如圖5所示,圖5a為自選圖像,圖5b、圖5c來自USC-SIPI Image Database,圖中方框部分為ROI區域。下面3組實驗分別驗證了比例提升、最大提升以及交錯提升ROI位平面編碼方法的有效性。

圖5 原圖

3.1 比例提升法

設定比例因子S=3,首先接收ROI位平面,接收順序遵照編碼傳輸順序,即位平面從高到低的順序,接收完ROI高位平面后,接收ROI和背景位平面,最后接收背景低位平面,實驗結果見圖6a～圖6d與圖8。圖6a為從高到低接收4層ROI位平面、1層背景高位平面后的重構圖像,表示為lroi=4,lbg=1,其他同理。從圖中看出,最初重構圖像的ROI與背景質量對比顯著,隨著接收位平面的增多,ROI與背景質量差距逐漸縮小,直至質量差距完全消除。相同碼率下普通CS編碼方法重構的圖像見圖6e～圖6h,碼率0.34 bpp下二者重構圖像見圖6a和圖6e。當所有位平面接收完畢,比例提升法與普通壓縮感知重構圖像沒有區別,PSNR也完全相同,均為20.41 dB,見圖6d和圖6h。將圖6中(a)、(b)、(e)、(f)對應ROI部分放大,見圖7,可見相同碼率下比例提升法重構的ROI區域質量好于普通壓縮感知編碼方法。

對圖5a設定比例因子S=4,得到的實驗結果與S=3及普通CS編碼的實驗結果相比較,結果見圖9。從圖9中看出,在比特流全部傳輸結束之前,S=3與S=4情況下ROI位平面提升編碼方法對應的PSNR一直高于普通CS編碼方法。從圖9可以看出,在S=4情況下,重構ROI質量更高。圖中紅線與藍線重合部分表示,當ROI位平面全部解碼完畢,ROI達到最好質量并不再變化,背景質量繼續提高,直至背景位平面解碼完畢;當所有位平面解碼完畢,重構過程相當于普通壓縮感知重構,因此最終3條曲線重合于同一節點。

(a)—0.34 bpp(lroi=4,lbg=1);(b)—0.86 bpp(lroi=6,lbg=3);(c)—1.35 bpp(lroi=7,lbg=5);(d)—1.81 bpp(lroi=7,lbg=7);(e)—0.34 bpp;(f)—0.86 bpp;(g)—1.35 bpp;(h)—1.81 bpp。圖6 比例提升法與普通CS編碼重構圖像比較

(a)—0.34 bpp,普通CS; (b)—0.34 bpp,比例提升; (c)—0.86 bpp,普通CS; (d)—0.86 bpp,比例提升。圖7 重構ROI區域放大效果

從實驗1可以看出,相同碼率下,比例提升法與普通CS編碼方法相比,重構圖像的ROI 區域PSNR更高,即能夠更好地保護ROI區域質量,從而更能滿足探測識別需求。

(a)—0.37 bpp(lroi=4,lbg=1);(b)—0.97 bpp(lroi=6,lbg=3);(c)—1.55 bpp(lroi=7,lbg=5);(d)—2.11 bpp(lroi=7,lbg=7);(e)—0.43 bpp(lroi=4,lbg=1);(f)—1.03 bpp(lroi=6,lbg=3);(g)—1.59 bpp(lroi=7,lbg=5);(h)—2.11 bpp(lroi=7,lbg=7)。圖8 比例提升法重構圖像Fig.8 Reconstructed images by general shift coding method

圖9 比例提升法與普通CS編碼方法重構PSNR比較Fig.9 Comparison of PSNR between general shift and general CS coding method

3.2 最大提升法

將實驗1中的比例因子設置為位平面層數,即S=7,得到maxshift_cs方法的實驗結果,如圖10a～圖10e所示,可見ROI區域的PSNR逐漸提高。圖10b與圖10a相比只是已接收ROI位平面層數增多,還未開始接收背景,因此ROI逐漸清晰,背景無變化;圖10c、圖10d、圖10e中,ROI已經全部接收完畢,接收背景位平面逐漸增多,因此ROI圖像質量無過多變化,而背景逐漸清晰。圖10c、圖10d、圖10e中ROI的PSNR值逐漸提高,是因為在采用閾值迭代法重構圖像過程當中,通過維納濾波對全局圖像消除塊效應,使得ROI區域質量得到了提高。

從實驗2看出,最大提升法只有當ROI位平面全部接收完畢(見圖10a、圖10b),才開始接收背景信息(見圖10c、圖10d和圖10e),不能夠提前獲得背景信息,不如比例提升法靈活。

3.3 交錯提升法

本節實驗驗證位平面交錯提升的ROI優先編碼方法。設定壓縮感知采樣率為0.4,ROI位平面比例因子S1=4,背景高位比例因子S2=3,背景位平面提升因子S3=4。圖11展示了不同解碼率下的重構結果,圖11a為接收4層ROI高位平面后重構結果,無背景信息,圖11b～圖11d為繼續接收3層背景高位平面后的重構結果,圖11e～圖11g為繼續接收3層ROI低位平面后的重構結果,圖11h～圖11k為繼續接收余下的4層背景低位平面后的重構結果。從圖11看出,交錯提升ROI位平面編碼方法在優先編碼傳輸ROI信息同時,有效兼顧了背景信息的傳輸,從這點來說優于最大提升法。

(a)—0.61 bpp(lroi=2,lbg=0);(b)—1.51 bpp(lroi=5,lbg=0);(c)—2.37 bpp(lroi=7,lbg=1);(d)—3.14 bpp (lroi=7,lbg=4);(e)—3.91 bpp(lroi=7,lbg=7)。圖10 最大提升法重構圖像Fig.10 Reconstructed images by max shift coding method

(a)—0.21 bpp(lroi=4,lbg=0);(b)—0.55 bpp(lroi=4,lbg=1);(c)—0.90 bpp(lroi=4,lbg=2);(d)—1.25 bpp (lroi=4,lbg=3);(e)—1.30 bpp(lroi=5,lbg=3);(f)—1.35 bpp(lroi=6,lbg=3);(g)—1.40 bpp(lroi=7,lbg=3);(h)—1.75 bpp (lroi=7,lbg=4);(i)—2.10 bpp(lroi=7,lbg=5);(j)—2.44 bpp(lroi=7,lbg=6);(k)—2.79 bpp(lroi=7,lbg=7)。圖11 交錯提升法重構圖像Fig.11 Reconstructed images by cross shift coding method

圖12 3種位平面提升方法PSNR比較Fig.12 Comparison of PSNR among three bit plane shifting schemes

從圖12可以看出,在碼率小于0.36 bpp時,最大提升法只傳輸了ROI信息,而交錯提升法在碼率大于0.21 bpp時就已經開始傳輸背景信息了;最大提升法在0.36 bpp時ROI的PSNR已經達到21.32 dB,然后開始傳輸背景信息,而交錯提升法在ROI的PSNR為17.39時開始傳輸背景信息,直到1.25 bpp又開始傳輸ROI信息,直到全部ROI傳輸完畢后,接著傳輸剩余背景信息?？梢娫?.36 bpp的碼率下,交錯提升法整幅圖像的重構效果好于最大提升法。隨著碼率的增加,最終2種方法重構圖像的PSNR達到相等。圖12中3種提升方法所對應的3條曲線,在碼率大于0.36 bpp至小于1.40 bpp這個區間內各自不同的上升趨勢,顯示了3種方法在ROI與背景位平面編碼順序安排上各自的特點。

從結果可以看出,交錯提升法折中解決了比例提升法和最大提升法各自存在的問題:比例提升法需要傳輸ROI掩模,最大提升法雖無需ROI掩模卻又不能兼顧背景圖像質量。交錯提升法在損失一定的ROI重構速度的前提下換取了對背景的兼顧并省卻了傳輸ROI掩模的步驟。但由于交錯提升法多次提升位平面系數,因此提高了算法復雜度,故而在實際應用中應根據需要選擇適當的位平面提升方法進行ROI編碼。

從上述實驗看出,與普通壓縮感知編碼方法相比,基于壓縮感知的ROI編碼方法優先編碼與傳輸ROI區域,滿足對解壓縮圖像的目標探測識別需求。

4 結 語

通過將感興趣區域位平面提升技術引入壓縮感知編碼過程,實現了壓縮感知基礎上的感興趣區域優先編碼方法。位平面提升的編碼方法為提高基于壓縮感知的有損壓縮編碼綜合效率提供了條件。通過基于壓縮感知的感興趣區域編碼,感興趣區域能夠先于背景被編碼、傳輸和解碼重構,以供后續環節進行目標探測識別;在傳輸帶寬受限或傳輸意外中斷的情況下,也能夠有效保證感興趣區域的圖像質量不受或少受干擾,盡可能滿足面向目標探測識別的圖像壓縮的需求。

[1]張河. 探測與識別技術[M]. 北京:北京理工大學出版社, 2005.

[2]JOAN B R, JOAN S S, FRANCESC A L. JPEG2000 ROI coding with fine-grain accuracy through rate-distortion optimization techniques[J]. IEEE Signal Process Lett, 2009,16(1):45-48.

[3]JPEG2000 Image Compression Standard[EB/OL]. [2013-12-04]. http:∥www.jpeg.org/jpeg2000/index.html.

[4]BAHMANI S, BAJIC I V, HAJSHIRMOHAMMADI A. Improved Joint Source-Channel Decoding of JPEG2000 Images and Reed-Solomon Codes[C]∥ICC, 2009:1-5.

[5]DONOHO D L. Compressed Sensing[J]. IEEE Trans Inf Theory, 2006,52(4):1289-1306.

[6]CANDES E J, ROMBERG J. Sparsity and incoherence in compressive sampling[J]. Inverse Probl, 2007,23(3):969-985.

[7]杜梅,趙懷慈,趙春陽. 基于壓縮感知的圖像壓縮抗干擾重構算法[J]. 光電子·激光, 2014,25(5):1009-1015.

[8]WANG Z, BANERJEE S, EVANS B L, et al. Generalized Bitplane-By-Bitplane Shift Method For JPEG2000 ROI Coding[C]∥ICIP, 2002:81-84.

[9]MORENO J, JAIME B, FERNANDEZ C. pGBbBShift: Method for Introducing Perceptual Criteria to Region of Interest Coding[C]∥DCC , 2013:512.

[10]WANGH T, GHOSH S, LEON-SALAS W D. Compressive sensing recovery from non-ideally quantized measurements[C]∥ISCAS, 2013:1368-1371.

[11]WAHIDAH I, SUKSMONO A B, MENGKO T L R. A comparative study on video coding techniques with compressive sensing[C]∥ICEEI,2011:1-5.

[12]MUN S, FOWLER J E. Block Compressed Sensing of Images Using Directional Transforms[C]∥ICIP, 2009:3021-3024.

[13]FOWLER J E, MUN S, TRAMEL E W. Multiscale block compressed sensing with smoothed projected landweber reconstruction[C]∥EUSIPCO, 2011:564-568.

[14]BLUMENSATH T, DAVIES M E. Iterative hard thresholding for compressed sensing[J]. ACHA, 2009,27(3):265-274.

[15]BECK A, TEBOULLE M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J]. SIIMS, 2009,2(1):183-202.

Application of compressed sensing on region of interest coding

DUMei1,ZHAOHuaici2,ZHOUHao1

(1. Software College, Shenyang Normal University, Shenyang 110034, China; 2. Shenyang Institute of Automation, Chinese Academy of Science, Shenyang 110016, China)

For the applications of target detection and identification in the wireless image transmission, in order to solve the conflict between the requirement for high image quality for detection and recognition task and the constraint of wireless channel bandwidth, a coding algorithm based on compressed sensing is proposed. Compressed sensing is employed to compress images due to its excellent anti-interference capability, and the bit plane scaling technology is introduced into it, too. First, the blocked compressed sensing signals are quantified and decomposed to bit planes. Then, the bit planes of the region of interest are shifted, and three different coding schemes of the region of interest are put forward, respectively. Finally, after decoding, the thresholding iterative algorithm is used to reconstruct the image whose region of interest is much clearer than the background. The experimental result indicate that under the same bit rate, the peak signal to noise ratio (PSNR) of the reconstructed region of interest encoded by bit plane shifting algorithm is higher than that by the usual compressed sensing coding technology, through which the feasibility and effectiveness of our method is verified. The result is indicated that the region of interest coding algorithm based on compressed sensing can improve the efficiency of wireless image transmission system, and can meet the requirement of target detection and identification better.

region of interest; compressed sensing; bit plane shifting; detection and identification oriented

2016-07-06。

遼寧省科技廳自然科學基金資助項目(2013010420-401)。

杜 梅(1977-),女,黑龍江佳木斯人,沈陽師范大學講師,博士。

1673-5862(2016)04-0479-08

TN919.81

A

10.3969/ j.issn.1673-5862.2016.04.021