非平衡多描述視頻編碼方法的研究

肖小月，宋建新

（南京郵電大學 通信與信息工程學院，江蘇 南京 210003）

1 引言

多描述視頻編碼（MDVC）是一種面向不可靠信道傳輸的編碼方法，它主要解決網絡傳輸可靠性問題，具有無須重傳、延時小等特性。多數的MDVC采用多個獨立的視頻描述進行傳輸，只要接收到一個或多個描述，解碼器就可以恢復出相應質量的視頻流。

現有的MDVC大多產生具有大致相同重要性和質量的描述，稱為平衡多描述視頻編碼（Balanced Description Video Coding，BMDVC），例如基于量化的多描述編碼、基于變換的多描述編碼、基于空域或變換域的多描述編碼以及基于時域采樣的多描述編碼等[1-2]。與其對應的非平衡多描述視頻編碼（Unbalanced Multiple Description Video Coding，UMDVC）的研究還未完全展開，UMDVC產生多個不同重要性和質量的視頻描述，以兩個描述為例，一個具有較高的重要性和質量，稱為高分辨力（High Resolution，HR）描述，另一個重要性和質量相對較低的描述稱為低分辨力（Low Resolution，LR）描述。與BMDVC相比，UMDVC能夠靈活控制引入的冗余量，同時充分利用不同路徑中端到端的可用帶寬，更適合現有無線網絡。

2 現有的UMDVC方法

國內外關于非平衡多描述視頻編碼的方法，根據LR描述產生的不同，可以分為兩種：一種是LR描述和HR描述包含同一個視頻序列中的不同視頻信息，LR描述相對HR描述來說不完全冗余；另一種LR描述是HR描述的部分信息或者全部信息，完全是冗余，只有在HR描述丟失時作為錯誤恢復才起作用。

2.1 LR描述非完全冗余的UMDVC方法

LR描述相對HR描述并不完全是冗余的非平衡多描述視頻編碼方法，LR描述與HR描述分別由同一視頻序列中的不同視頻信息進行獨立編碼產生，描述間的非平衡可以采用描述間幀率不同、量化步長不同、空間分辨率不同等方法實現?，F有的方法主要是在基于時間采樣的平衡多描述視頻編碼方法的基礎上提出的。

文獻[3]提出將一視頻序列在時間上按奇偶幀采樣產生兩個描述，兩個描述采用不同的預測環，編碼器存儲兩個已編碼幀并交替作為奇偶幀的參考幀。將其中一個描述的幀率減半可達到兩描述間的非平衡。在解碼端，當一幀丟失時，依照原視頻序列，用鄰近的前后兩幀恢復丟失幀，類似于運動補償內插法。此方法由于幀間距離變大而導致預測誤差變大，但兩描述間的視頻質量差異不大。

同樣采用基于時間采樣的方法來產生兩個描述，文獻[4]在兩個描述間采用不同的量化步長達到兩個描述間的非平衡。這樣兩個描述間存在不同的視頻質量，導致在重構視頻流后，鄰近兩幀存在峰值信噪比（PSNR）差異。針對這個問題，并考慮到重構幀誤差對后續幀的影響，在丟幀時，用另一描述中對應的前后兩幀恢復丟失幀；而對于LR描述，在沒有丟幀的情況下仍然用HR描述中對應的前后兩幀重構當前幀，比較重構幀和LR描述中當前幀的質量，取質量好的視頻幀作為輸出。兩個描述間的碼率分配，需根據信道帶寬和丟包率的情況，并保證丟包時重構視頻流的平均PSNR最大且兩個描述間的PSNR差異最小。

2.2 LR描述完全冗余的UMDVC方法

在現有的非平衡多描述視頻編碼方法中，LR描述相對于HR描述是完全冗余的，它只有在HR描述出現丟失時作為錯誤恢復才起作用。HR描述由原視頻序列采用標準的視頻編碼（H.263，H.264等）方法產生，LR描述由以下方法產生：1）提取原視頻序列部分信息進行編碼；2）從HR描述的重構幀中提取部分信息進行編碼；3）同樣包含全部視頻信息，但與HR描述采用不同編碼參數進行編碼。

圖1中的非平衡多描述視頻編解碼器主要考慮到解碼端率失真最優[5]。對原視頻序列采用H.263標準產生HR描述，將HR描述中的運動矢量（MV）、頭信息等重要信息復制到LR描述中，同時HR視頻幀中每塊的部分高能量DCT系數也被復制到LR描述相對應的塊中，LR塊中殘余DCT系數用0填充。DCT系數的選取標準為在允許的冗余度內最小化丟包時的率失真。編碼端的交迭模塊用于打包，對每個視頻幀打兩個包，一個包封裝HR幀奇數標識的塊組（GoB）和LR幀偶數標識的塊組，另一個包封裝 HR幀偶數標識的塊組和LR幀奇數標識的塊組。這樣，非平衡的兩個描述可以在平衡信道中傳輸。

圖1 率失真優化UMDVC編解碼器

文獻[6]提出了一種適用于無線局域網（WLAN）傳輸的非平衡多描述視頻編碼方案，原視頻序列在H.264編碼基礎上采用不同編碼參數產生質量不同的兩個描述，LR描述采用的I幀間隔小于HR描述，這樣雖然降低了LR描述編碼效率，但當兩個描述同時發生丟包的時候，只要收到LR描述中的I幀就可以停止錯誤傳播。解碼端的后處理模塊如圖2所示，包含一個錯誤隱藏塊和一個緩存，緩存用于識別HR和LR幀中損壞的宏塊，錯誤隱藏塊用于重構幀，HR宏塊丟失，LR宏塊收到，用LR宏塊恢復，反之亦然；均收到，只取HR宏塊；均丟失用前幀的對應宏塊恢復（在緩存中）。將重構幀返回到HR和LR解碼器中作為后續幀的參考，這樣有效限制了錯誤傳播。

圖2 UMDVC解碼端

李彬等人在非平衡多描述編解碼器（如圖3，圖4）中加入“同步幀”的概念[7]，使用“同步幀”來阻止HR描述中的錯誤傳播?！巴綆奔碙R編碼器重構的I幀，其作用主要是被置于HR編碼器的幀緩沖區并替代HR編碼器當前重構的P幀。HR編碼器在編碼下一個P幀時以“同步幀”作為參考幀。在解碼端，HR解碼器必須取得“同步幀”來用于下一個P幀的運動補償?！巴綆笨梢酝ㄟ^兩種方式獲得（見圖4）：1）LR解碼器的輸出幀作為“同步幀”；2）LR編碼器的重構幀，此時編碼器的輸入是HR解碼器的輸出。解碼端對于4種情況的處理如下：1）HR描述和LR描述均接收時，輸出HR描述數據；2）LR描述發生丟包，而HR描述正確接收時，將HR解碼器的輸出直接輸入到標準編碼器，生成LR描述并正確重構LR描述中因丟包而損壞的幀，繼續LR描述的解碼；3）HR描述發生丟包，而LR描述正確接收時，從LR描述里取得“同步幀”作為HR描述下一個P幀的參考幀，這樣HR編碼器和解碼器之間不存在不匹配的情況。HR解碼器只需等待LR解碼器輸出下一 “同步幀”即可重新開始解碼；4）HR描述和LR描述同時發生丟包時，解碼器暫停解碼，等待下一“同步幀”到達后重新開始解碼。在這個過程中解碼器的輸出為最近的已解碼幀。

圖3 “同步幀”—UMDVC編碼端

同樣考慮錯誤傳播的問題，文獻[8]提出了基于SP幀技術的非平衡多描述視頻編碼方法，SP幀能夠參照不同參考幀重構出相同的圖像幀，利用這種特性SP幀可防止錯誤傳播，并且SP幀的編碼效率遠遠高于I幀。對原視頻序列采用不同的量化參數產生HR描述和LR描述，SP幀每隔6幀出現一次，輔SP幀BA i的作用是實現由LR到HR幀的過渡（如圖5），如果HR中的A4丟失，將由輔BA6幀預測重構出A6幀，在此處阻止錯誤傳播，使HR中A6幀以后的P幀正常解碼。對于解碼端最終輸出的第4幀和第5幀將使用描述LR中的重構幀。如果在LR描述中發生錯誤，由HR中的幀進行修復，如B2丟失，由A2恢復。

圖4 “同步幀”—UMDVC解碼端

圖5 描述HR和LR

文獻[9]提出的非平衡多描述視頻編碼在LR描述編碼過程中，對HR編碼輸出的重構幀進行時域幀采樣和運動信息分割（如圖6）。對LR編碼的宏塊進行棋盤采樣分割（見圖7），將運動信息分割為兩個部分。假設LR碼流只傳輸A部分的運動信息，對于未知的?B∈｛B0，B1，B2，B3｝的塊，要從周圍已知 8×8 塊 Av（v∈0，1，2，3，4，5，6，7）中找到運動矢量與其最為匹配的塊來預測原始塊。則運動信息分割后，得到原圖像幀中一半的運動信息和未傳送運動信息的宏塊指向周圍最佳預測塊的索引。時域幀采樣如下：1）選取HR編碼的I幀；2）對于非I幀，每隔3幀取1幀；3）取幀內編碼宏塊。對于LR描述，解碼端用接收的最鄰近幀信息代替未接收的幀信息，用上述方法對未傳送的運動信息進行恢復。

圖6 LR編碼器結構

圖7 分割后的宏塊

3 UMDVC關鍵問題

非平衡多描述視頻編碼方法的提出主要是為了適應現有的各信道帶寬不平衡，丟包率不等的無線網絡，其難點主要是在一定冗余度下產生非平衡的描述，并達到碼率與失真的平衡。非平衡多描述視頻編碼需考慮的關鍵問題如下：

1）視頻信息的非平衡多描述的產生及描述間的碼率分配

對于非平衡多描述視頻編碼，首要的問題是非平衡描述怎樣產生，它決定了非平衡多描述編碼的穩健性和重建信號的失真率。如上所述主要有3種方法產生：一是各描述包括視頻信息中不同的內容[3-4]，通過量化參數不同、幀率不同或者空間分辨率不同產生描述間的非平衡；二是高分辨率描述包含所有的視頻信息，低分辨率描述包含原視頻序列中的部分重要信息[5，8，10]；三是各描述都包含所有視頻信息，它們采用不同編碼參數產生分辨率不同的描述[6]。第二、三種方法中低分辨率的描述相對于高分辨率的描述完全是冗余的，只在高分辨率描述丟失時作為視頻重建時起作用，不太符合解碼端收到的描述越多重構視頻質量越好的原有多描述編碼的思想，因此應主要拓寬第一種方法。

非平衡描述間的碼率分配一方面需要適應網絡環境，如各信道的帶寬、丟包率，另一方面需要考慮解碼端在丟包情況下重建視頻的失真度，即保證解碼端輸出視頻的平均PSNR最大。如文獻[4]中為了使重建視頻的平均PSNR最大和描述間的PSNR差異最小，在保證總碼率不變的情況下，調整兩描述間的碼率去適應不同的信道環境。

2）丟包情況下的錯誤傳播

現有視頻編碼方法采用預測編碼來消除幀間冗余。當一個描述的包丟失時，用其他描述的包恢復并作為此描述后續幀的解碼參考，這樣解碼端與編碼端參考幀不一，出現預測編碼誤匹配問題，導致后續幀解碼出錯，即錯誤傳播問題。針對這個問題，文獻[6]在低分辨率描述中增加I幀的插入，并將后處理模塊的重構幀返回給對應的解碼器作為后續幀參考，減少了誤匹配。在文獻[7]中提出的“同步幀”和文獻[8]中的輔SP幀的應用都是為了減少錯誤傳播。

3）質量漂移問題

在平衡多描述編碼中，每個描述的質量大致相同，當有描述丟包時，用其他描述接收到的相關聯包重構的視頻幀質量不會差，則輸出幀之間的質量相差不會太大；但在非平衡多描述編碼中，描述之間的質量會有較大差距，當高質量的描述丟包時，用低質量描述接收的相關聯包重構的視頻幀質量較差，這樣會造成前后視頻幀存在較大質量差異，即質量漂移。這個問題在文獻[4]中最為突出，雖然提出了相應的解決方法，但增加了解碼端負擔。

現有的非平衡多描述編碼方法存在的主要問題是低質量的描述在解碼端的利用率太低，而且它起作用時還造成了一些問題，比如質量漂移、錯誤傳播。

4 小結

UMDVC因為能產生碼率不同的描述，更能適應各信道可用帶寬不同的無線網絡，受到國內外學者的關注。筆者通過對現有的UMDVC方法的介紹，提出了有待解決的關鍵問題。

UMDVC應用于無線環境比BMDVC有明顯的優勢，但現有的無線信道帶寬易變，雖然可用自適應的調整碼率去適應信道帶寬的變化，但當一條信道可用帶寬太小時，不能一味地降低碼率，那樣勢必降低輸出視頻質量，這時可考慮增加非平衡描述數，并尋找其他的可用信道，那么就需要考慮在一定冗余度情況下怎樣產生多于兩個以上的非平衡描述。

[1]WANG Y，REIBMAN A R，LIN S.Multiple description coding for video delivery[J].Proceedings of the IEEE，2005，93（1）：57-70.

[2]郁梅，蔣剛毅，賀賽龍，等.多描述視頻編碼方法研究[J].電路與系統學報，2005，10（1）：76-84.

[3]APOSTOLOPOULOS JG，WEE S J.Unbalanced multiple description video communication using path diversity[C]//Proc.the IEEE International Conference on Image Processing （ICIP）.Thessaloniki，Greece：IEEE Press，2001，1：966-969.

[4]EKMEKCI S，SIKORA T.Unbalanced quantized multiple description video transmission using path diversity[C]//Proc.SPIE Image and Video Communications and Processing （IVCP）.[S.l.]：IEEE Press，2003：301-311.

[5]COMAS D，SINGH R，ORTEGA A，et al.Unbalanced multipledescription video coding with rate-distortion optimization[J].EURASIP Journal on Applied Signal Processing，2003（1）：81-90.

[6]VILEI A，CONVERTINO G，OLIVA S，et al.A novel unbalanced multiple description scheme for video transmission over WLAN[C]//Proc.the 3rd ACM International Workshop on Wireless Mobile Applications and Services on WLAN Hotspots.Cologne，Germany：[s.n.]，2005：39-47.

[7]李彬，黃峰，孫立峰，等.一種魯棒靈活的非平衡多描述視頻編碼和傳輸方案[J].計算機學報，2008，13（7）：1155-1164.

[8]余海瑞，倪林.基于SP幀技術的非平衡多描述視頻編碼方法[J].數據采集與處理，2009，24（1）：87-90.

[9]趙小青，倪林.一種無線Ad hoc網絡中的非平衡多描述視頻編碼方法[J].中國科學技術大學學報，2008，38（7）：797-801.

[10]余海瑞，倪林.感興趣區域分割的非平衡多描述視頻編碼[J].計算機工程與應用，2009，45（4）：137-139.