一種矢量外推與邊界匹配相結合的視頻通信誤碼掩蓋算法

黃治華夏洋

（中船重工集團公司第七二二研究所武漢430079）

一種矢量外推與邊界匹配相結合的視頻通信誤碼掩蓋算法

黃治華夏洋

（中船重工集團公司第七二二研究所武漢430079）

針對無線視頻通信中因視頻數據傳輸丟失或誤碼導致重建圖像質量急劇下降的問題，提出了一種基于運動矢量外推與邊界匹配相結合的時域誤碼掩蓋算法。對于受損塊，采用運動矢量外推方法估算其時域相關運動矢量，然后利用受損塊與鄰域塊的空間相關性，基于改進的邊界匹配算法在時域相關運動矢量的鄰域內尋找受損塊運動矢量，從而實現受損數據的誤碼掩蓋。仿真結果表明，對不同視頻序列，該算法均可比傳統算法恢復出更高質量的圖像。

無線視頻通信；誤碼掩蓋；運動矢量恢復；運動矢量外推；邊界匹配

Class NumberTN94

1 引言

在無線視頻通信中，由于無線信道的多普勒頻移、多徑時延擴展、信號衰落以及環境噪聲等特性［1］，使得無線信道隨時間、空間的變化而變化，表現出極大的不穩定性。壓縮視頻在不穩定的無線信道傳輸時，不可避免地會發生數據的丟失或誤碼。當接收的碼流中存在丟包或誤碼時，解碼錯誤會在時域或空域擴散，嚴重降低主觀視覺效果。此時在解碼端引入誤碼掩蓋技術［2］，利用視頻信號的時空相關性，對受損數據進行恢復，可大幅提高受損圖像的重建質量。

當幀間編碼宏塊受損時，一般使用時域誤碼掩蓋算法，其關鍵是運動矢量（motion vector，MV）的恢復［3］?；镜倪\動矢量恢復算法包括：1）運動矢量置零，即時域替換（Temporal Replacement，TR）算法；2）使用前一幀對應塊的運動矢量；3）使用鄰域塊運動矢量的平均值或中值。這些算法在運動平滑的區域掩蓋效果較好，但在物體劇烈運動處會帶來明顯的掩蓋痕跡；邊界匹配算法（BoundaryMatching Algorithm，BMA）以邊界失真最小為準則，從多個候選運動矢量中選擇最佳運動矢量，該算法已被H.264參考軟件JM所采用［4］；文獻［5～7］基于運動跟蹤思想，利用前一幀的運動矢量去估計受損的運動矢量，實驗結果表明這些算法在運動一致且線性變化的場景中非常有效，但較少考慮圖像的空間相關性，在具有特殊紋理的區域，容易造成掩蓋失??；文獻［8～10］基于多項式插值方法，通過鄰域塊運動矢量恢復受損塊運動矢量，這些算法沒有針對運動場景變換而做出相應的改變，導致恢復的效果不一；文獻［11～12］提出的運動域插值算法由于要恢復每個受損像素的運動適量，運算量較大，不適合實時應用的要求。

為此，本文提出一種運動矢量外推與邊界匹配相結合的運動矢量估算方法，該方法根據運動矢量的時域相關性，將受損塊的前續塊、前續鄰域塊按照各自運動矢量外推到受損幀中，根據外推數據塊與受損塊重疊區域的大小估算受損塊的時域相關運動矢量。然后，根據圖像的空間相關性，采用改進的邊界匹配算法在時域相關運動矢量的鄰域內尋找最佳匹配的運動矢量作為受損塊的運動矢量，從而實現受損數據的錯誤掩蓋。

2 基于矢量外推的運動矢量估算法

大量試驗表明，鏡頭中的物體大多是沿著直線運動的，規律性較強，即使物體作曲線運動或不規則運動，只要時間間隔足夠短，也可以近似看作直線運動。本文基于這種合理假設，將受損塊的前續塊、前續鄰域塊按照各自運動矢量外推到受損幀中，并根據外推數據塊與受損塊重疊區域的大小計算受損塊時域相關運動矢量。在H.264樹狀結構運動估計中，4×4塊為運動估計的最小尺寸，其估計的精度最高，因此本文以4×4塊為單位恢復受損的運動矢量。

對于每一個受損塊，將其前續塊、前續鄰域塊按照各自運動矢量外推到受損幀中，得到外推塊，過程如圖1所示。

圖中，Fn表示當前幀，Fn-1表示前一幀的重建幀；Bn，x，y表示受損塊，x、y指示了受損塊在視頻幀中的位置，Bn-1，x，y表示前續塊，Bn-1，x+i，y+j，i，j∈{-1，0，1}表示前續鄰域塊；MVn，x，y為受損塊Bn，x，y的運動矢量，MVn-1，x，y為前續塊Bn-1，x，y的運動矢量，MVn-1，x+i，y+j為前續鄰域塊Bn-1，x+i，y+j的運動矢量；Wn-1，x，y為前續塊Bn-1，x，y的外推塊，Wn-1，x+i，y+j為前續鄰域塊Bn-1，x+i，y+j的外推塊。

重疊區域的大小反映了前續塊與受損塊的相關程度，重疊區域越大的前續塊，越有可能運動到受損塊的位置，即時域相關性越大，因此，將各受損塊與受損塊重疊區域的像素個數作為權重估算受損塊時域相關運動矢量，計算公式為

3 邊界匹配運動矢量優化

基于運動矢量外推的運動矢量估算方法考慮了運動的時域相關性，但由于其是針對受損塊獨立進行的，因此恢復的圖像可能存在塊邊界效應，為此，本文結合邊界匹配算法，對已估算的運動矢量進行優化，以保證掩蓋塊和鄰域塊實現最大平滑連接。

塊邊界的平滑程度可以由邊界亮度失真作為度量，即計算候選塊的內部邊界像素與受損塊的外部邊界像素的亮度差值之和，因此，可在已估算的運動矢量的領域內，查找使得邊界亮度失真最小的運動矢量作為最優的運動矢量。由于受損塊的解碼、掩蓋次序為從上到下，從左到右，對于當前待掩蓋的受損塊，只有其上領域塊和左鄰域塊像素已知，因此在計算邊界亮度失真時，只計算上邊界和左邊界的差值。最優運動矢量搜索過程如圖2所示。

最佳運動矢量計算公式為

式中，PXn，x，y、PYn，x，y分別表示受損塊Bn，x，y的左上像素X和Y坐標，Sn(x，y)表示Fn中像素(x，y)的亮度值，λ定義了領域搜索范圍，得到的最優運動矢量為(dx，dy)，即掩蓋的受損塊運動矢量。

得到受損塊運動矢量后，在參考幀中尋找對應的數據進行補償替代，從而完成受損塊的誤碼掩蓋。

4 仿真結果

本文采用H.264參考軟件JM作為測試平臺，對QCIF格式的序列Foreman、Mobile和Suzie進行仿真實驗。每個序列編碼120幀，幀結構為“IPPP…”，關鍵幀刷新周期為40。丟包模型為：I幀不丟包，P幀每隔3幀丟掉一個Slice（即數據丟失50%）。仿真采用的參數為λ=3。

對于每一個測試序列，采用4種算法進行性能比較：TR算法、BMA算法、文獻［8］提出的拉格朗日插值法（簡稱為LGRG算法）以及本文所提出的算法。通過選擇不同的量化參數QP以產生不同比特率的碼流，從而仿真各算法在不同碼率下的掩蓋效果。

各測試序列重建圖像的亮度信號的峰值信噪比（PSNR）如表1所示。

表1 測試序列在不同比特率條件下的峰值信噪比

從表1可見，對于不同運動類型的序列和不同的碼率，本文提出的算法PSNR值均高于TR、BMA和LGRG算法，相比TR算法增益為1.8dB～5dB，相比BMA算法增益為0.6dB～3dB，相比LGRG算法增益為0.4dB～1.6dB。對于運動較為復雜和較多細節的序列，如Mobile，由于結合了運動矢量的時域相關性和圖像像素的空域相關性進行誤碼掩蓋，恢復的運動矢量更為精確，因此新算法的相對效果更好。

下面以Foreman序列QP=26時第83幀為例，從主觀視覺角度對本文算法和TR算法、BMA算法及LGRG算法作比較，重建圖像如圖3所示。

從圖中可見，TR算法效果最差；BMA算法重建的圖像在人物的鼻梁及脖子處存在明顯的切線；LGRG算法重建的圖像在人物的鼻子下方有明顯切線、在左耳處有重影。這些區域正是正確接收數據和丟失數據的交界處，而本文算法重建的圖像消除了這些不足，使圖像看上去更平滑，表現出較好的掩蓋效果。

5 結語

本文根據受損塊與前續塊、前續領塊運動的時域相關性，提出了一種基于運動矢量外推的時域誤碼掩蓋算法，同時，根據圖像的空域相關性，將該算法與改進的邊界匹配算法相結合，從而保證掩蓋塊和鄰域塊的平滑連接。仿真實驗結果表明，與TR算法、BMA算法和LGRG算法相比，本文算法對不同視頻序列均能恢復出更高質量的圖像，具有更強的錯誤魯棒性。

［1］蔡躍明，吳啟暉，田華等.現代移動通信［M］.北京：機械工業出版社，2007：14-15.

［2］王瑤，奧斯特曼，張亞琴.視頻信號處理與通信［M］.北京：清華大學出版社，2003：227-228.

［3］馬宇峰，魏維，楊科利.視頻通信中的錯誤隱藏技術［M］.北京：國防工業出版社，2007：96-97.

［4］陳靖，劉京，曹喜信.深入理解視頻編解碼技術：基于H.264標準及參考模型［M］.北京：北京航空航天大學出版社，2012：89-92.

［5］彭強，張蕾.視頻傳輸差錯掩蓋技術研究現狀與發展趨勢［J］.西南交通大學學報，2009，44（4）：473-483.

［6］J.Zhou，B.Yan，H.Gharavi.Efficient Motion Vector Interpolation for Error Concealment of H.264/AVC［J］. IEEE Trans.On Broadcasting，2011，57（1）：75-80.

［7］Kung W Y，Kim C S，Kuo C C.Spatial and Temporal Error Concealment Techniques for Video Transmission over Noisy Channels［J］.IEEE Trans on Circuits Systems Video Technology，2006，16（7）：789-802.

［8］J.H.Zheng，L.P.Chau.A Motion Vector Recovery Algorithm for Digital Video Using Lagrange Interpolation［J］. IEEE Trans on Broadcasting，2003，49（4）：383-389.

［9］J.Zhang，X.Gao，S.Xiao，et al.An Error Concealment Algorithm Based on Non-uniform Lagrange Interpolation［C］//The 7th International Conference On Intelligent Information Hiding and Multimedia Signal Processing，Dalian，2011，286-289.

［10］J.H.Zheng，L.P.Chau.Efficient Motion Vector Recovery Algorithm for H.264 Based on a Polynomial Model［J］. IEEE Trans on Multimedia，2005，7（3）：507-513.

［11］B.N Chen，Y.Lin.Temporal Error Concealment Using Selective Motion Field Interpolation［J］.Electronics Letters，2006，42（24）：1390-1391.

［12］周杰.視頻傳輸的錯誤隱藏技術研究［D］.上海：復旦大學，2012.

An Error Concealment Algorithm Based on Motion Tracking and Boundary Matching in Video Communication

HUANG ZhihuaXIA Yang
（No.722 Research Institute of CSIC，Wuhan430079）

To overcome the degradation of video quality caused by compressed data loss or error in wireless video communication，a novel error concealment algorithm based on motion tracking and boundary matching is proposed.For a lost block，the temporal related motion vector is first calculated by the motion vector tracking method，and then the recovery motion vector is obtained by using modified boundary matching method which efficiently exploits the correlation between lost block and adjacent blocks.The simulation results show that compared with the traditional algorithms，the proposed algorithm can obtain better reconstruction quality and prevent error propagation in different video sequences.

wireless video communication，error concealment，motion vector recovery，motion vector tracking，boundary matching

TN94

10.3969/j.issn.1672-9730.2017.07.013

2017年1月9日，

2017年2月17日

黃治華，男，博士，高級工程師，研究方向：網絡通信、信號處理。夏洋，男，博士，工程師，研究方向：網絡通信、信號處理。