基于預測式錯誤恢復機制的多描述視頻編碼研究

周文帥 白慧慧趙 耀

(北京交通大學信息所 北京 100044)

1 引言

隨著因特網的爆炸式發展，視頻傳輸應用越來越廣泛。然而，網絡擁塞，隨機比特錯誤和數據包丟失會導致視頻壓縮數據的質量嚴重下降，這就給視頻傳輸帶來了極大挑戰。因此，需要開發一種視頻編解碼方案，該方案需要有高的壓縮效率，還要保證視頻傳輸的魯棒性。

多描述編碼作為一種能在易錯信道上提高傳輸魯棒性的技術，吸引了越來越多的學者研究[1,2]。當信源和信宿之間存在著很多信道時，一般情況下不會所有信道同時在一個視頻幀出錯，多描述編碼就是基于這個思想提出來的。多描述編碼在編碼端信源產生多個比特流(稱之為描述)，每個比特流具有同樣的優先級，在多個相互獨立的信道上進行傳輸；在解碼端，每一個描述都能被獨立解碼，重建用戶可接受質量的視頻序列，隨著接收到的描述數量的增加，重建視頻序列的質量也隨之提高。

多描述視頻編碼的基本思想是利用描述的冗余信息來提高傳輸的魯棒性，因而，在多描述視頻編碼中需要一些必要的冗余，但這樣會降低壓縮效率，因此，多描述編解碼方法的主要目標是在傳輸比特率和重建質量之間找到最佳折中。經典的多描述編碼方法利用了變換和量化。根據多描述標量量化原則[3]，文獻[4-6]中設計了多描述視頻編碼方法。多描述相關性變換在文獻[7]中被用來設計運動補償多描述視頻編碼。文獻[8]提出了X樹非平衡保護多描述編碼方法。盡管上述方法得到了較好的實驗結果，但這些方法不能兼容廣泛應用的標準編解碼器，如H.26x和MPEG系列；為了解決這個問題，文獻[9]中多描述視頻編碼通過采用 H.264/AVC標準中先進的視頻編碼工具來引入描述間的冗余信息。此外，很多多描述視頻編碼方法[10,11]都針對某一種確定的標準編解碼器，文獻[11]針對H.264/AVC采用了片級和宏塊級的多描述視頻編碼方法。另外，文獻[12]提出的基于交織抽取與分塊壓縮感知策略的圖像多描述編碼方法壓縮效率不高。文獻[13]提出的適用于丟包信道的小波編碼圖像傳輸方法，利用了分層多描述編碼來提高信源編碼的容錯性能，但該方法依賴于信源編碼的結構。文獻[14,15]提出的方法只針對特定圖像。

為了解決已有的多描述視頻編碼方法只兼容特定標準編解碼器的問題，以及進一步提高壓縮效率和視頻傳輸的魯棒性，本文嘗試提出一種更具廣泛兼容性，壓縮效率更高，視頻傳輸更魯棒的基于預測式錯誤恢復機制的多描述視頻編碼方法。該方法在編碼端對原始視頻序列進行時域抽樣來產生初始視頻子序列，以保證和當前標準編解碼器的兼容性，然后在編碼端預測解碼重建可能出現的錯誤影響，為每個視頻子序列分配必要的冗余信息。在解碼端，這些冗余信息有助于更好地估計丟失信息從而獲得較好的解碼重建質量。

2 基于時域采樣的多描述視頻編碼

圖1是文獻[2]提出的基于時域采樣的多描述視頻編碼框圖。首先，在編碼端讀入一組視頻序列的前N幀，對其進行奇偶幀分離，得到一段奇數幀視頻子序列和一段偶數幀視頻子序列；然后，分別用標準視頻編碼器對兩個子序列進行編碼，再通過兩個相互獨立的信道傳送到解碼端。在解碼端，如果兩個描述均被收到，則進行中心路解碼。由于收到了兩路描述信息，可以用得到的兩路信息進行奇偶幀排序得到中心路解碼視頻序列。單路解碼時，單路描述根據對應解碼器采用幀內插方式恢復出單路解碼視頻序列。本文采用的幀內插方式基于分段勻速運動假設，在重建中間幀的時候采用雙向運動估計以提高預測性能，然而雙向運動估計容易在所生成的中間幀中產生重疊和孔洞。以下介紹幀內插方式具體過程。

3 基于預測式錯誤恢復機制的多描述視頻編碼方法

3.1 總體框圖

圖2是本文提出的基于預測式錯誤恢復機制的多描述視頻編碼方法的框圖。首先讀入一組視頻序列，對其進行奇偶幀分離得到主信息奇數幀子序列和偶數幀子序列，根據預測式錯誤恢復機制分別得到重建后的偶數幀序列和重建后的奇數幀序列，經編碼模式選擇模塊處理后得到奇數幀對應的冗余信息2Y和偶數幀對應的冗余信息1Y。然后對主信息1X,2X和冗余信息1Y,2Y分別采用標準編碼器和冗余信息編碼器進行編碼。編碼后，1X和得到描述1,2X 和1Y得到描述2，經不同信道傳輸到解碼端進行解碼。

圖1 基于時域采樣的多描述視頻編碼框圖

圖2 基于預測式錯誤恢復機制的多描述視頻編碼框圖

3.2 預測式錯誤恢復機制

在編碼端，對于奇數幀構成的視頻子序列，首先用奇數幀視頻序列通過幀內插方式重建出偶數幀視頻序列，重建過程如圖3所示。然后對重建得到的偶數幀進行分塊，塊大小取ab×，結合真實的偶數幀計算每一塊的重建質量，即PSNR值。

圖3 重建具體過程

同樣地，對于偶數幀視頻子序列，用偶數幀序列通過幀內插方式重建出奇數幀序列，然后對重建出的奇數幀進行ab×大小的分塊，并結合真實的奇數幀求得每一塊的PSNR值。

3.3 編碼模式選擇

本節以奇數幀一路為例闡述編碼模式的選擇。根據上一模塊計算得到的PSNR值設置兩個閾值1T和，如果塊的重建質量，則該模式定義為模式 1；如果塊的重建質量為，則該模式定義為模式2；如果塊的重建質量，則該模式定義為模式3。選擇過程如圖4所示，模式定義如下：

圖4 編碼模式的選擇過程

圖5 運動矢量和殘差的獲取

由于運動矢量要無失真地傳輸到解碼端，因而直接對運動矢量信息進行算術編碼。而對殘差數據，需要進行 DCT變換并且量化取整，而后進行算術編碼。然后傳送到解碼端進行解碼。

3.4 參數選擇

由于閾值1T和大致和冗余信息量呈正比關系，當1T和2T取值太大時，冗余信息就會很多；而當1T和2T取值太小時，冗余信息就會很少，此時對視頻序列的重建質量提高也不明顯。因此，可以根據信道帶寬的大小或者用戶要求的重建質量(PSNR)確定冗余量，進而確定閾值1T和2T。

4 實驗結果和分析

為了驗證本文方法的有效性，采用如表1所示的4個具有不同格式空間分辨率的標準視頻序列來測試本系統的性能。將本文方法和文獻[2]的方法在不同條件下的重建視頻質量(Y分量的PSNR平均值)進行了比較。公平起見，在處理過程中，兩種方法均選取各視頻序列的前 100幀，塊大小都取1616×。參數1T和2T的選取都是在仿真結果取得最好的性能下手動選取的，冗余信息量也由此確定。表2以奇數幀一路為例說明本文方法較文獻[2]的方法在QP=25時復雜度和PSNR的提高情況(i5-3230 4 G 2.6 GHz PC)。為了保證取值的準確性，每個數據均測試10次，然后求其平均值。其中，主信息均通過 HEVC(HM-8.2, GOPsize設置為 4, Max CUWidth和MaxCUHeight設置為64, IntraPeriod設置為-1, TransformSkip和TransformSkipFast設置為0)進行編碼，冗余信息采用算術編碼(Arith06)方法進行編碼。表3以接收到兩個描述為例給出了本文方法和文獻[2]的方法在不同丟包率下的重建視頻質量比較。圖6為各視頻序列在收到一個描述和兩個描述且丟包率為 0時兩種方法重建質量的比較。圖7為soccer序列在不同丟包率的情況下本文方法和文獻[2]的方法的比較。

表1 輸入的視頻序列

表2 本文方法較文獻[2]方法在復雜度和PSNR上的提高情況

由表2可以看出，本文方法相比于文獻[2]的方法在復雜度提高很少的情況下，PSNR值有了明顯的提高。尤其在 720P格式下，復雜度僅提高了4.37%，但PSNR卻有2 dB以上的提高。表3列出了兩種方法在相同碼率不同丟包率下視頻序列的重建情況，從中可以看出隨著丟包率的增加本文方法相比于文獻[2]的方法的增益逐漸減小，這是因為隨著丟包率的增加主要信息和冗余信息都丟失嚴重，因此重建視頻質量將會隨之下降。

如圖6(a)和圖6(b)所示，在丟包率為0的情況下，對于如QCIF和CIF格式的小分辨率視頻序列，在低碼率情況下，文獻[2]的方法比本文方法有 0.5 dB的增益。但在高碼率情況下，本文方法比文獻[2]的方法有 1 dB以上的提高。另外，如圖 6(c)和圖6(d)所示，對于大分辨率視頻序列，在4CIF格式下平均可以提高1~1.3 dB，在720P格式下可以提高1~2 dB，其原因主要是由于高碼率情況下本文方法的冗余分配能夠起到更好的作用。由圖7可以看出，即使存在丟包的情況下本文方法依然優于文獻[2]的方法。上述結果驗證了本文方法的有效性。

圖6 本文方法和文獻[2]方法在0丟包率下的PSNR

圖7 soccer序列在不同丟包率下本文方法和文獻[2]的方法的PSNR

表3 不同丟包率下兩種方法的 Δ P SNR 比較

5 結束語

本文提出了一種基于預測式錯誤恢復機制的多描述視頻編碼方法。該方法首先對原始視頻序列進行奇偶幀分離得到主信息，并根據預測式錯誤恢復機制得到重建的奇偶數幀，而后結合真實的奇偶數幀在編碼模式選擇模塊生成冗余信息?？紤]到編碼效率問題，本文設計了3種冗余信息產生模式，模式1情況下，塊的重建質量很高，因而不需要傳送任何冗余信息；模式2情況下，塊的重建質量差強人意，因而需要傳送當前塊的運動矢量；模式3情況下，塊的重建質量很差，因而需要傳送對應塊的運動矢量和殘差到解碼端。由于采用了分類思想，本文方法能在保證恢復質量的前提下提高壓縮效率。實驗結果表明，本文方法在丟包率較低，大分辨率和運動相對平滑的情況下魯棒性更好。實驗結果也驗證了本文算法的有效性。

[1] Wang Y, Reibman A R, and Lin S. Multiple description coding for video delivery[J]. Proceedings of the IEEE, 2005,93(1): 57-69.

[2] Goyal V K. Multiple description coding : compression meets the network[J]. IEEE Signal Processing Magazine, 2001,18(5): 74-93.

[3] Vaishampayan V A. Design of multiple description scalar quantizers[J]. IEEE Transactions on Information Theory,1993, 39(3): 821-834.

[4] Vaishampayan V A and John S. Balanced interframe multiple description video compression[C]. Proceedings of the IEEE International Conference on Image Processing (ICIP’99),Kobe, Japan, 1999, 3: 812-816.

[5] 鄭義, 史萍. 一種基于小波變換的多描述視頻編碼方法[J]. 電視技術, 2012, 36(23): 43-46.Zheng Yi and Shi Ping. Wavelet-based multiple description video coding[J]. Video Engineering, 2012, 36(23): 43-46.

[6] 鉉欣. 基于多描述標量量化的分布式視頻編碼[D]. [碩士論文],西安電子科技大學, 2012.Xuan Xin. Distributed video coding based on multiple description scalar quantization[D]. [Master dissertation],Xidian University, 2012.

[7] Reibman A R, Jafarkhani H, and Wang Y. Multiple description coding for video using motion compensated prediction[C]. Proceedings of the IEEE International Conference on Image Processing (ICIP’99), Kobe, Japan,1999, 3: 837-841.

[8] 陳婧, 蔡燦輝, 丁潤濤. X樹非平衡保護多描述編碼[J]. 電子與信息學報, 2005, 27(12): 1973-1977.Chen Jing, Cai Can-hui, and Ding Run-tao. X-tree unequal protected multiple description coding[J]. Journal of Electronics ＆amp; Information Technology, 2005, 27(12):1973-1977.

[9] Conci N and De Natale F G B. Multiple description video coding using coefficients ordering and interpolation[J]. Signal Processing: Image Communication, 2007, 22(3): 252-265.

[10] Wen X, Au O C, and Xu J. A novel multiple description video coding based on H.264/AVC video coding standard[C]. IEEE International Symposium on Circuits and Systems, (ISCAS’09), Taipei, 2009: 1237-1240.

[11] Peraldo L, Baccaglini E, and Magli E. Slice-level ratedistortion optimized multiple description coding for H.264/AVC[C]. IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP’10), Dallas, USA, 2010:2330-2333.

[12] 趙春暉, 劉巍. 基于交織抽取與分塊壓縮感知策略的圖像多描述編碼方法[J]. 電子與信息學報, 2011, 33(2): 461-465.Zhao Chun-hui and Liu Wei. Image multiple description coding method based on interleaving extraction and block compressive sensing strategy[J]. Journal of Electronics ＆amp;Information Technology, 2011, 33(2): 461-465.

[13] 孫文珠, 王洪玉, 錢大興, 等. 一種適用于丟包信道的小波編碼圖像傳輸方案[J]. 電子與信息學報, 2012, 34(10): 2342-2347.Sun Wen-zhu, Wang Hong-yu, Qian Da-xing, et al.. A transmission scheme for wavelet coding images over packet erasure channels[J]. Journal of Electronics ＆amp; Information Technology, 2012, 34(10): 2342-2347.

[14] 張培君, 王淑慧, 周開倫, 等. 融合全色度 LZMA 與色度子采樣 HEVC 的屏幕圖像編碼[J]. 電子與信息學報, 2013,35(1): 196-202.Zhang Pei-jun, Wang Shu-hui, Zhou Kai-lun, et al.. Screen content coding by combined full-chroma LZMA and subsampled-chroma HEVC[J]. Jounal of Electronics ＆amp;Information Technology, 2013, 35(1): 196-202.

[15] Lin Tao, Zhang Pei-jun, Wang Shu-hui, et al.. 4:4:4 screen content coding using dual-coder mixed chroma-sampling-rate(DMC) techniques[C]. JCT-VC-Meeting, JCTVC-I0272,Geneva, 2012, 4: 1-11.