基于變采樣率壓縮感知的視頻壓縮研究*

李如春，李　林，常麗萍

（浙江工業大學 信息工程學院，浙江 杭州 310023）

基于變采樣率壓縮感知的視頻壓縮研究*

李如春，李林，常麗萍

（浙江工業大學 信息工程學院，浙江 杭州 310023）

業界分塊視頻壓縮感知通常對所有圖像塊均采用相同的測量矩陣進行測量，這種方式未考慮到視頻中不同區域的變化程度不同的事實。在視頻幀間相關性的基礎上提出一種自適應分配采樣率的方法，即在編碼端根據圖像塊的幀間相關性大小分類并分配不同的采樣率；在解碼端使用全變差算法以充分利用幀間相關性。為減小網絡環境影響，此算法不區分參考幀與非參考幀，并對每一幀作相同處理。實驗結果表明，該方法能夠在較低采樣率下重構出較高質量的視頻圖像，并且縮短計算時間。

壓縮感知；視頻編碼；全變差算法；變采樣率；分塊

0　引言

壓縮感知理論（Compressed Sensing，CS）于2004年由Candès，Donoho和 Tao等人提出，2006年 Candès等人從數學上證明壓縮傳感可以從部分傅里葉變換系數中精確重構出原始信號,奠定了壓縮感知的理論基礎[1-2]。壓縮感知理論的基本思想為，如果某個變換域下信號是稀疏的,那么使用與該變換算子不相關的測量矩陣對原始信號投影,就可以通過稀疏優化算法從少量測量值中高概率地重構出原始信號。

基于壓縮感知的視頻壓縮，通常把整幀圖像作為一個整體進行處理，由此使得測量矩陣需要非常大的存儲空間，并且增加了重構過程的復雜度。為此，Gan于2007年提出一種分塊采樣模式，將單幀圖像分塊并對每一塊采用相同的測量矩陣采樣[3]，但這種采用相同采樣率的分塊模式忽略了每個塊具有不同復雜度的事實，為了克服這一缺陷，文獻[4-5]提出了率失真優化法、像素熵方法對塊進行分類并分配不同的采樣率的方法，文獻[6]又提出一種易于用硬件實現的自適應測量率方法。但這些方法在處理過程中需要獲取圖像原始數據，違背了壓縮感知中采樣與壓縮同步進行的基本精神。

綜上，本文提出一種簡便且有效的基于變采樣率的分塊視頻壓縮感知方法，使用全變差(Total Variation，TV)算法重構壓縮視頻，并且不區分關鍵幀與非關鍵幀，避免因網絡環境不穩定造成參考幀的丟失，造成無法重構視頻的后果。

1　分塊自適應測量率壓縮感知算法

由于視頻的不同區域具有不同場景復雜度和變化強度，據此，本文根據分塊視頻幀間的變化程度合理分配采樣率，即變化程度較小的塊分配較低的采樣率，變化程度較大的塊分配較高的采樣率，并將視頻塊分成近似靜止塊、緩慢變化塊和快速變化塊3類，這樣保證了在較低的總采樣率下仍能較高質量地重構視頻圖像[7]。具體處理流程如圖1所示。

圖1　基于變采樣率壓縮感知的視頻處理流程

進行自適應測量率設定時，首先選取合適的塊大小B，將視頻幀不重疊分塊得到K個B×B大小的塊，然后利用相同的測量矩陣進行預采樣，得到每個圖像塊的測量向量。由于視頻場景復雜度和變化強度與幀間像素的差值直接相關，因此，可以根據殘差能量進行視頻塊的分類，即分類判別標準設定為：

上述方法需要在采集端獲得原始數字圖像，這在實際的壓縮成像設備中無法實現。為了克服這一缺陷，采用測量域的殘差能量密度作為判別標準，具體如式(3)所示。

為確保式(3)能夠準確分類，需要對塊進行預采樣得到測量向量，保證測量向量能夠提供足夠的信息量，使得其能夠正確反映當前塊的變化程度，但預采樣率太高會影響采樣速度，加大存儲硬件的實現難度[9]以及采樣時間。因此，要選擇合適的預采樣率，保證能夠實現準確分類，并且避免影響采樣速度。

2　重構算法

壓縮感知的重構算法很多，主要有貪婪迭代算法和凸優化算法兩大類，其中全變差(TV)算法[10]是凸優化算法中較為典型的一種，雖然重構速度較慢，但重構效果好，其基本思想是基于梯度的二維信號重構。TV算法以信號的稀疏性為基礎，對粗糙的初值圖像進行連續迭代，逐步減小誤差直至恢復出最小誤差信號。定義大小為n×n的圖像數據用U表示，i和j分別表示圖像的行坐標與列坐標，則可以用 Ui，j表示坐標點的像素值，圖像的水平與垂直一階微分算子表示如下：

由于TV算法是以梯度算法為基礎，圖像中的導數可以用相鄰像素間的差值表示，因此要求出圖像在水平與豎直方向的導數，并以這兩個方向的導數判斷圖像的最快變化方向，并以最快變化的反方向作為梯度的搜索方向，從而最快逼近原始圖像，結束迭代過程。

由式(4)、(5)得出離散梯度向量，可表示如下：

由全變差的定義以及以上3個公式，可得知全變差值為所有像素離散梯度向量模的總和，如下式：

二維圖像信號每個像素的總變差梯度為：

迭代過程中，迭代閾值可以設為全變差的值，當迭代值低于閾值時可認為重構出原始圖像[11－12]。

基于上述TV重構算法的思想，利用其進行圖像重構時，像素梯度即為幀間殘差，可以無需選取關鍵幀，對每一幀做相同的處理，更適合無線視頻的壓縮處理。

3　實驗結果

本文基于MATLAB軟件平臺，在傅里葉域下測試提出基于自適應采樣率的壓縮感知方法，采用TV重構算法，對視頻序列進行壓縮。使用4組標準視頻序列測試文中提出的方法性能：Football、Foreman、News、Suzie。Foreman的分辨率為176×144，其余3個序列的分辨率都為352×288。其中Football序列的場景變化較劇烈，其余3個序列變化較緩慢，并且選取每個序列的前50幀圖像作為測試對象。

（1）預采樣率設定

采用32×32大小的塊，由于變采樣率方法中需要進行預采樣，下面對預采樣率的選取進行試驗。選用上述4種視頻序列作為測試對象，分別設置預采樣率從10%～30%，計算視頻幀的峰值信噪比PSNR和重構得平均時間，測試結果如表1～表4所示。

從表1中可以看出，采用的預采樣率越高，重建效果越好，但是重建所用時間也越多，綜合圖像 PSNR以及編碼時間，本文選取預采樣率25%。

（2）變采樣率視頻壓縮

表1　預采樣率大小對重建效果與平均時間對比(Football)

表2　預采樣率大小對重建效果與平均時間對比(Foreman)

表3　預采樣率大小對重建效果與平均時間對比(News)

表4　預采樣率大小對重建效果與平均時間對比(Suzie)

視頻幀的塊大小設置為32×32，固定采樣率取45%；關于自適應采樣率大小，通過對視頻序列進行多次試驗選擇了一組通用性較強的參數，既可以保證采樣率較低，又可以保證重構質量較好，3種類別的塊采樣率分別設為S1＝10%，S2＝20%，S3＝45%。針對表1～表4所列的測試序列，對固定采樣率和變采樣率分別基于壓縮感知進行視頻壓縮測試，其迭代次數及PSNR變化結果如圖2所示。

觀察圖2可知，本文提出的自適應采樣率方法比固定采樣率處理的圖像PSNR值提高約3～4 dB，而趨于收斂的重構迭代次數并沒有增加。

關于兩種方法處理視頻圖像所消耗的時間，以Foreman前 50幀圖像為例，使用固定采樣率方法處理所用的平均時間為 264.2 s，自適應采樣率方法所需時間略低，約為253.4 s。這是由于自適應變采樣率雖然增加了計算能量殘差的步驟，但是可以根據不同場景的變化程度和結構復雜度，自適應分配采樣率，減少了運算時間。由此可見，在重構質量和時間上，自適應采樣率方法性能均較優。

對于內容變化較簡單的測試序列，如Foreman序列，自適應采樣率方法可以降低采樣率，獲得較好的重構效果。而對于內容變化較復雜的測試序列，如 Football序列，自適應采樣率方法可以提高采樣率，在所用時間不會大幅增加的前提下，使得重構效果可以接受?？傊?，本文提出的自適應采樣率方法可以根據視頻內容與變化程度自適應地調整采樣率，使本文方法應用于不同視頻時可以獲得較好的重構質量。

圖2　固定采樣率與自適應采樣率壓縮效果對比圖

4　結論

本文基于壓縮感知思想提出一種自適應分配測量采樣率的視頻壓縮方法。在編碼端，選取合適的塊大小，將圖像分成不重疊的相同大小塊，按照幀間相關性對圖像塊進行分類并分配不同的采樣率。在解碼端采用全變差算法以充分利用幀間相關性，使得視頻壓縮時不需要參考幀與非參考幀，更適合于無線網絡的傳輸。實驗結果表明，本文提出的方法能夠在總采樣率較低的情況下，重構出較高質量的視頻圖像，而且重構時間縮短。

[1]CANDES E J，ROMBERG J，TAO T.Robust uncertainty principles：exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory，2006，52(2)：489－509.

[2]DONOHO D L.Compressed sensing[J].IEEE Transaction on Information Theory，2006，52(4)：1289－1306.

[3]GAN L.Block compressed sensing of natural images[C]. Proceedings of the 15th International Conference on DigitalSignal Processing，Cardiff，UK，2007：403-406.

[4]VIJAYANAGAR K R，LIU Y，KIM J.Adaptive measurement rate allocation for block-based compressed sensing of depth maps[C].Image Processing(ICIP)，2014 IEEE International Conference on.IEEE，2014：1307-1311.

[5]BAI H，ZHANG M，LIU M，et al.Depth image coding using entropy-based adaptive measurement allocation[J]. Entropy，2014，16(12)：6590-6601.

[6]李然，干宗良，崔子冠，等.圖像分塊壓縮感知中的自適應測量率設定方法[J].通信學報，2014，35(7)：77-85.

[7]張秋余，孫媛，晏燕.基于分塊自適應壓縮感知的可逆水印算法[J].電子與信息學報，2013，35(4)：797-804.

[8]田天.基于幀間相關性的視頻壓縮感知算法[D].秦皇島：燕山大學，2013.

[9]練秋生，田天，陳書貞，等.基于變采樣率的多假設預測分塊視頻壓縮感知[J].電子與信息學報，2013，35(1)：203-208.

[10]LI C，JIANG H，ZHANG Y.Video coding using compressive sensing for wireless communications[C].IEEE Wireless Communications and Networking Conference.2011：2077-2082.

[11]王田川.壓縮感知算法改進及其在圖像和視頻編碼中的應用[D].南京：南京郵電大學，2013.

[12]趙彥孟，宋建新.一種基于壓縮感知全變差算法的圖像去噪方法[J].電視技術，2014，38(5)：5-8.

Block compressed sensing of video based on variable sampling rates

Li Ruchun，Li Lin，Chang Liping
(School of Information and Engineering，Zhejiang University of Technology，Hangzhou 310023，China)

The current block compressed sensing of video usually uses the same measurement matrix to all image block,this method ignores the fact that the structural complexity and the movement varies from different regions in video.Therefore,an adaptive allocation of sampling rate compressed sensing method is proposed according to the distribution feature of the correlations between neighboring frames.It classified blocks into different types depending on the inter-frame correlation,and adjusted different sampling rate to different blocks,total variation algorithm was used to reconstruct the videos to make fully use of the inter-frame correlation.In order to overcome the network environment,this algorithm didn′t distinguish the reference frame and the non-reference frame,each frame was treated equally.The experimental results show that the method can reconstruct high quality video image under low sampling rate,and with the variable sampling rate measurement method,a higher reconstruction quality can be achieved for the regions containing relatively fast movement.

compressed sensing；video coding；total variation algorithm；variable sampling rates；block

TN911.73

A

10.16157/j.issn.0258-7998.2015.10.040

2013年青年科學基金項目（61304124）

2015-05-10)

李如春（1968-），女，博士，副教授，主要研究方向：微型傳感器設計、視頻信號處理等。

李林（1990-），通信作者，女，碩士研究生，主要研究方向：基于壓縮感知的視頻信號處理等，E-mail：270299417@qq.com。

常麗萍（1980-），女，博士，副教授，主要研究方向：通信與信號處理、光纖傳感技術等。

中文引用格式：李如春，李林，常麗萍.基于變采樣率壓縮感知的視頻壓縮研究[J].電子技術應用，2015，41(10)：147-149，153.

英文引用格式：Li Ruchun，Li Lin，Chang Liping.Block compressed sensing of video based on variable sampling rates[J].Application of Electronic Technique，2015，41(10)：147-149，153.