三維視頻深度圖像處理及其ASIC實現

郭 琪，周 莉，劉正華，楊 博

（山東大學 信息科學與工程學院，山東 濟南250100）

自由視點視頻FVV(Free Viewpoint Video)技術是自由視點3D視頻處理領域中最有前景的一種技術[1-4]。自由視點視頻處理技術的基本方法是基于深度圖像來估計和重建多視點視頻，從而顯著減少數據帶寬。所以深度圖像的估計和處理方法是自由視點視頻技術的關鍵和重點。

深度圖像可以直接由基于運動-視差聯合估計的方法計算，利用這種方法能夠有效減少自由視點視頻技術中深度圖像處理過程所需的數據帶寬，并且沒有增加額外的硬件資源和計算時間成本。但是這種方法是在一個特定的搜索窗口內用特定的代價函數來進行塊搜索，所以它存在一些問題：在物體的邊緣存在著塊效應；在連續的大背景區域、復雜背景區域存在預測噪聲?；谏确指畹姆椒梢愿倪M這些錯誤。

1 色度分割原理

原始的YUV圖像是由亮度分量和色度分量組成的。在一般的運動-視差聯合估計的方法中，只有亮度信息被用到，以求得視差矢量和深度圖像，包含有豐富的物體邊界信息的色度分量沒有被用到。對于連續物體表面或者背景區域，色度分量值幾乎是相同的。所以如果色度圖像按照特定的標準被分割，物體的表面或者背景區域就能被相應地檢測出來。如果深度圖像的像素值在同一個分割內各不相同，則在這個區域肯定存在深度預測錯誤。通過檢測到錯誤像素的位置，采取相應的措施來糾正這些錯誤。

色度分割方法的三個步驟[5]：

第一步：將U/V分量歸一化到[0，255]之間。

第二步：進行圖像分割，如果當前像素值與其相鄰的頂部或者左側像素值絕對值小于DIV_TH，則它被劃分到相同的分割，否則分離到下一個新的分割，如式(1)所示：

式中：divi代表第 i個像素的分割值，ci代表 U/V像素值，ci，top和 ci，left分別代表第 i個像素相鄰的上方像素值和左邊像素值，DIV_TH代表色度分量分割閾值。

第三步：同一個色度分割被認為是在同一個物體內。一般來說，同一個物體的像素深度值是一樣的。第K個色度分割的平均深度值由式（2）計算得到：

式中：avc_depthk代表第K個色度分割的平均深度。

屬于同一個色度分割（第K個）區域的深度圖像的像素深度值可以由式（3）來決定：

式中：avc_depthk表示第K個色度分割的平均深度，p_numk表示第K個分割包含的像素個數，P_NUM_TH表示預設的像素序號閾值，用以保證屬于同一個分割內的像素深度值取平均，屬于不同分割的像素深度值保持不變。

2 深度圖像處理模塊設計方案

2.1 總體設計

2.1.1 深度處理模塊的架構與組成設計

根據算法結構與組成，確定深度模塊的實現架構與組成，包括總線結構、存儲結構、時鐘頻率、模塊組成等。

總線結構選用標準AXI總線。由于立體視頻需要實時處理多路視頻信號，所以需要的視頻數據處理帶寬極大，必須采用AXI總線設計才能滿足實時處理要求。內部模塊所產生的處理數據，如果不能暫存于片上存儲單元中，則通過AXI總線寫到片外緩存。同樣，讀數據也通過AXI總線讀入處理模塊。存儲結構根據視頻像素YUV分量的組成，分為Interleave存儲方式和非Interleave存儲方式。Interleave存儲可以實現具有較長Burst傳輸的DMA設計，但是內部芯片設計較為復雜。而非Interleave存儲則不利于實現高效的總線傳輸，但是DMA設計相對簡單。根據所用的標準單元庫，以及芯片實際電路設計來確定所需的時鐘頻率,根據經驗應不低于200 MHz。

2.1.2 運動估計與視差估計存儲單元設計

由于需要對當前塊同時進行運動預測與視差預測，所以宏塊中間預測結果需要盡可能存儲于片上存儲單元中，以減少總線的輸入輸出數據帶寬。假設視差估計的搜索窗口為 PW×PH，圖像分辨率為 FW×FH，運動預測采用固定搜索窗口范圍48×48。視差預測模塊與運動預測模塊同時讀入相應參考宏塊存入片上緩存，片上存儲單元需要將進行完預測、并且后續預測有可能會用到的宏塊都存儲下來以減少數據帶寬，增加處理速度。這樣，運動估計存儲單元 MEM（ME Memory）至少需要有16×3+4個像素行的容量，即FW×52。相應視差存儲單元DEM（DE Memory）至少需要有 FW×PH+4容量。

2.1.3 芯片軟硬件驗證平臺設計

芯片設計離不開驗證平臺。大規模集成電路設計過程需要完善的驗證平臺進行仿真、測試來證明其功能和性能的正確性、完整性、實時性。立體視頻編碼芯片基于傳統的Verilog和C語言來搭建軟硬件驗證平臺，如圖1所示。

圖1中，stimulus&video input產生模塊測試激勵和輸入編碼前視頻數據；Monitor、reset、clock用于產生通用的測試信號和輸入；SDF文件用于芯片后仿真；Mem&controller為行為級存儲器控制模塊和片外存儲單元。測試平臺可以產生各種調試信號，如波形信號fsdb、vcd，運行記錄文件log，并產生最終的硬件結果。硬件結果與C/C++描述的軟件編碼參考模型結果進行比對，來判斷硬件結果的正確性。

2.1.4 深度處理模塊的總體框圖

對應于色度分割方法，整個系統分為三個部分：色度分量U/V銳化模塊Sharp、色度分量分割模塊 Frag、深度圖像濾波模塊Filter。深度圖像優化系統的框圖如圖2所示。

主要模塊功能定義如下：色度銳化模塊Sharp對讀取的U/V分量進行銳化處理；色度分割模塊Frag對處理過的U/V分量按照一定的規則進行劃分；深度濾波模塊Filter對得到的深度圖像進行濾波以保證深度圖像的優化是在同一個劃分內進行的。

2.2 色度分量銳化模塊

色度銳化模塊框圖如圖3所示。首先考慮存儲器的大小，對于一幀分辨率為1 024×768的圖像來說，如果采樣格式為 4：2：0，其 U/V分量為 512×384。 所以這里定義內部原始像素存儲器為8 bit位寬、地址從0～196 607的存儲器，用來存放片外讀取的U/V分量。類似地，定義內部銳化像素存儲器為同樣類型的存儲器，用來存放經過銳化處理過的U/V分量，這兩個存儲器的輸入、輸出均由存儲器控制器控制。定義兩個Reg寄存器Max Value Reg和Min Value Reg用來保存兩個比較器輸出的中間結果。存儲器控制器依次產生內部原始像素存儲器的地址，內部原始像素存儲器順序輸出給比較邏輯，等所有像素都輸出一遍后，寄存器Max Value Reg和Min Value Reg里面就分別保存了整幀的U/V色度分量最大值和最小值。然后使能寄存器，讓寄存器保持原來的值?？刂破髟僖来萎a生內部原始像素存儲器的地址，此時控制器根據后續的計算模塊的時序，對每一個像素值進行銳化處理，得到的結果保存在內部銳化像素存儲器里面。

2.3 色度分量分割模塊

色度分割模塊框圖如圖4所示，從Sharp模塊出來的數據直接進入Frag模塊進行處理。圖4中內部銳化像素存儲器和其右側的存儲器控制器與圖3中相對應。根據像素所處的位置來選擇不同的處理方法：如果當前像素處于第一行，則只需要將當前像素與其左邊相鄰的像素進行比較即可;如果當前像素處于第一列，則只需要與其上方相鄰的像素比較即可;如果是其他位置的像素，則需要同時和其左邊的相鄰像素及上方的相鄰像素比較。比較準則見式（1），得到的分割數 Frag Number存在像素分割數存儲器中。

2.4 深度圖像濾波模塊

深度圖像模塊框圖如圖5所示。其中，從片外存儲中讀出色度分量分割模塊的結果，放入內部濾波存儲器；然后在存儲器控制器的控制下，與事先預設好的P_NUM_TH一起進入比較器進行比較以得到同一個分割內的平均深度值 ave_depth；再根據式（3）進一步修正深度圖像depth的值，將結果存在結果存儲器中。

3 結果及分析

Verilog代碼經Synopsys綜合工具Design Compiler的邏輯綜合，深度圖像處理模塊在 SMIC 0.18 μm工藝下，能夠達到總線時鐘為200 MHz的工作頻率，消耗89 100門邏輯資源。由此可知：基于色度分割的深度處理模塊能夠有效地減少數據帶寬，并且沒有額外增加硬件資源和計算時間成本，適用于實時自由視點3D視頻處理。

圖6是基于塊搜索的運動-視差聯合預測方法直接得到的深度圖像，圖7是經過基于色度分割方法的深度處理模塊優化后得到的深度圖像。從圖6和圖7的對比可以看出：對于連續的大背景區域而言，這種深度圖像優化方法可以有效地過濾深度圖像的預測噪聲，并且對于減少物體邊緣的塊效應有很好的效果。另外，這種優化方法也使得圖中的物體邊緣變得更加清晰，如椅子、墻壁和桌子的邊緣等。

采用本文方法可以顯著減少連續大背景區域的深度圖像的預測噪聲，也能較好地改善物體邊緣處的塊效應。采用運動-視差聯合估計的方法，結合這種基于色度分割的深度優化方法，可以有效地優化深度圖像，顯著減少計算量和數據帶寬，非常適用于實時自由視點3D視頻處理。

[1]SMOLIC A，MUELLER K，STEFANOSKI N，et al.Coding algorithms for 3DTV-A survey[J].IEEE Transactions on Circuits and Systems for Video Technology，2007，17(11)：1606-1621.

[2]MARKUS F，ADITYA M，BERND G.Motion and disparity compensated coding for multiview video[J].IEEE Transtions on Circuits and Systems for Video Technology，2007，17(11)：1474-1484.

[3]VETRO A，WIEGAND T，SULLIVAN G J.Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard[J].IEEE Proceedings，2011(99)：1-17.

[4]ITU-T Rec.H.264-ISO/IEC 14496-10 AVC：Advanced video coding for generic audiovisual services[Z].ITU-T and ISO/IEC Joint Video Team，2005.

[5]Li Zhou，Tao Sun，Zhong Lv，et al.Depth map optimization based on adaptive chrominance image segmentation[J].Communication Software and Networks，2011(5)：660-664.