用于電視系統中的圖像清晰度測量算法及實現

方宏俊，施海鵬，宋 利

(1. 上海交通大學 圖像通信與網絡傳輸研究所，上海 200233；2. 美芯盟電子科技(上海)有限公司，上海 200000；3. 上海高清數字科技產業有限公司，上海 200000)

用于電視系統中的圖像清晰度測量算法及實現

方宏俊1,2，施海鵬1,3，宋 利1

(1. 上海交通大學 圖像通信與網絡傳輸研究所，上海 200233；2. 美芯盟電子科技(上海)有限公司，上海 200000；3. 上海高清數字科技產業有限公司，上海 200000)

介紹了數字電視中用于增強圖像畫質的一種清晰度測量的方法，該方法使用圖像中的頻率信息、細節信息和局部圖像的動態范圍來判斷當前輸入的圖像是一幅真實的高清圖像，還是在信號傳輸過程中被放大成高清信號的偽高清圖像信號。從而利用得出的清晰度測量結果對真實高清圖像信號和偽高清圖像信號進行不同的清晰度和對比度調整。該方法的設計應用填補了數字電視圖像后處理中對于原始信號檢測的一個空白。介紹了該方法的基本原理和具體實現的算法，并討論了該算法的硬件實現方案和代價。

數字電視；清晰度；對比度；畫質增強

圖像清晰度和對比度控制是當今數字電視中增強圖像畫質的重要手段。然而作為數字電視輸入的高清信號往往有些是在傳輸過程中被放大成高清信號的偽高清圖像信號，例如使用DVD、機頂盒等播放設備進行格式放大的高清視頻信號等等。如果不去區分真實的高清視頻信號和偽高清視頻信號，使用相同的清晰度和對比度控制強度得到的圖像畫質效果是完全不同的。

這是因為真實的高清視頻信號圖像中的高頻成分和細節豐富，而在傳輸過程中被放大成高清信號的偽高清圖像信號由于經過了畫面的放大，所包含的高頻成分和細節信息明顯下降。對于清晰度控制而言，實際上是根據圖像內容的頻率區域進行增強，真實高清信號的高頻成分多，而偽高清信號的高頻成分少，對他們使用相同的頻率范圍去增強無法得到相同的清晰度增強的效果。對于對比度增強而言，對比度增強是讓圖像中的亮度范圍向兩極拓展，即讓黑的更黑，白的更白，從而能表現出暗場或亮場中的細節信息。對于圖像中的亮度變化的區域來說，對比度增強使得這種亮度變化的過度沿變陡。因此真實的高清信號亮度變化的邊沿非常明確，在局部范圍內找出亮度的范圍也相對確定。但是對于被放大成高清信號的偽高清信號而言，由于在縮放過程中將亮度變化的邊沿進行了延展，因此這個亮度變化的邊沿就變得相對平緩，在局部范圍內也很難精確地找出最亮和最暗的亮度區間。所以對比度的增強效果會形成明顯的差異。

正因為此，本文介紹了一種根據圖像內容頻譜分析的清晰度測量方法(Sharpness Meter)。該方法的主要特點是可以對輸入的視頻信號的內容進行預先分析，從而動態的控制清晰度處理和對比度增強等畫質提升的手段。該方法著重提出一種測量手段以區分真實的高清視頻信號(true HD)和被放大產生的高清視頻信號(up sampled HD)。

1 基本原理及具體算法

1.1 基本原理

圖像清晰度測量方法的基本原理是依據輸入的高清視頻信號的內容中亮度分量上的頻譜分布[1]來區分該高清視頻信號屬于真實的高清視頻信號還是經過預放大的偽高清視頻信號。其主要手段是通過在水平和垂直兩個方向上的不同的頻率響應濾波器來獲得該圖像上的整體的頻譜分布信息。

該方法的測量結果包括以下3項：圖像內容中最高的響應頻率(這是用于清晰度控制的主要指標，也是分析該圖像屬于真實高清信號或者偽高清信號的重要表征之一)；圖像內容內部的局部動態范圍(這是用于對比度增強的主要指標)，以及每幀的細節統計數據(這與圖像內容中最高的響應頻率關系緊密，它用于統計分析圖像中高頻細節的程度，該結果既可以用于分析該圖像屬于真實高清信號或者偽高清信號的重要表征，也可以作為其他圖像增強動態控制算法的重要參考指標)。

1.2 頻率測量

由于圖像清晰度測量模塊在信號處理流程中是獨立于清晰度處理模塊之外的獨立模塊，所以其包含了幾組可以設置的濾波器組合。本文以2組可以獨立控制的濾波器為例進行說明，其輸出的結果可以有多種組合方式可供選擇。

本文中所介紹的濾波器按照頻率響應函數可以分為以下幾類：

一階濾波器(高通濾波)

Η1(Z)=1-Z-1

(1)

一階寬濾波器(帶通濾波)

Η1w(Z)=Z1-Z-1

(2)

以上是2個一階濾波器，它們在硬件設計上屬于同一組濾波設計，二者的區別是濾波所選擇的像素點的寬度范圍不同，所以式(2)所述的濾波器增加了“wide”加以表征。對于下面列舉的二階濾波器也是如此。

二階濾波器(高通濾波)

Η2(Z)=-0.5×Z2+1-0.5×Z-2

(3)

二階寬濾波器(帶通濾波)

Η2w(Z)=-0.5×Z2+1-0.5×Z-2

(4)

從濾波器的系數上來看，一階普通濾波器(Order 1 filter)的濾波系數為：[-1 1]×1/2；一階寬濾波器(Order 1 filter wide)的濾波系數為：[-1 0 1]×1/2；二階普通濾波器(Order 2 filter)的濾波系數為：[-1 2 -1]×1/4；二階寬濾波器(Order 2 filter wide)的濾波系數為：[-1 0 2 0 -1]×1/4。

這4組濾波器經過歸一化并線性縮放后，其濾波器頻率特征響應曲線如圖1所示。

圖1 濾波器特征曲線

濾波器設計為一階濾波和二階濾波的目的是為了用一階濾波響應去保護一些二階濾波響應所覆蓋不到的脈沖響應。從實際應用的意義上說，特別是對于很多真實的高清視頻信號中，一些細節的寬度過窄，也就是說其頻率超出了二階寬濾波器的頻率響應(Order 2 filter wide)的覆蓋范圍。這會導致在濾波器的輸出端出現雙峰特性。為了避免這種雙峰效應的產生，使用一階濾波器加以限制。

因此，在設計中將濾波器的組合方式分為以下幾種

(5)

(6)

(7)

(8)

這里列舉了2組可能的組合方式，其中為了保護二階濾波，一階普通濾波器和一階寬濾波器都可以被使用。雖然從數學上看一階寬濾波器的濾波范圍并不比一階普通濾波器長，但是從濾波器的系數上看，一階寬濾波器不會產生雙峰脈沖效應。

從濾波器的特征曲線上來看，所有的寬濾波器(Order 1 or 2 filter wide)都在1/4采樣頻率(1/4fs)后開始下降。但這并不意味著在實際應用中，當圖像中的清晰度頻率大于1/4采樣頻率(1/4fs)時，將會輸出一個較小的測量結果。因為圖像中的高頻成分已經被普通濾波器(Order 1 and 2 filter)所測得，所以對于一幅普通的高清圖片來說寬濾波器所測量的范圍主要是從1/4采樣頻率(1/4fs)直到寬濾波器的右邊沿。

從全局視角來看這些濾波器(包含普通濾波器和寬濾波器)。對于高通濾波響應而言，在0至1/2采樣頻率(1/2fs)之間，一階普通濾波的響應曲線比二階普通濾波的響應曲線測量的范圍更廣；而對于帶通濾波響應而言，在0～1/4采樣頻率(1/4fs)，二階寬濾波器的帶通范圍比一階寬濾波響應的帶通范圍收的更緊。因此將一階和二階濾波的響應在0～1/4采樣頻率(1/4fs)之間取一個合適的中間值，可以在測量結果上得到更為線性的結果。

作為這些一階和二階濾波組合的一個補充，如式(9)所列的一個獨立的一階濾波組合也可供選擇

(9)

1.3 圖像細節統計

圖像清晰度測量僅僅依靠頻率響應測量得出的圖像頻譜范圍的最大值(也就是圖像中最高頻率)是不夠的，因此另外一個測量指標也被引入其中，這就是統計這幅圖像中處于該最高頻率有多少像素點，從而來判斷這幅圖像屬于真實高清信號的程度，即可能性。這就是前面所述的圖像細節統計功能。它統計了處于圖像中最高頻率的像素點的差值的絕對值，并且將這些差值的絕對值累加起來作為輸出的指標。

用于圖像細節統計的濾波響應也是可以加以選擇的，但是被選擇的濾波響應必須和頻率響應測量所選擇的濾波器組合保持完全一致。

1.4 局部區域動態范圍的測量

局部區域動態范圍的測量被作為頻率測量和細節統計之外的又一重要輸出指標，該指標的主要作用是供對比度增強提供依據，該動態范圍測量的主要方法是測量相鄰的9個像素點的最大值和最小值的差異。

該局部區域動態范圍的測量結果是能捕捉到無論何時圖像的最高頻率發生增加，也就是說動態范圍的測量結果和圖像中最高頻率峰值的出現密切相關。

2 清晰度測量算法設計

2.1 具體實現的算法設計框圖

上面所述的算法，以水平方向為例，其頻率測量和細節統計部分結構框圖如圖2所示。對于垂直方向的實現和水平方向一致，但是基于硬件實現成本的考慮，僅僅存儲4行數據作為計算樣本。

圖2 具體實現的算法框圖(以水平方向為例)

2.2 控制參數設置

2.2.1 測量窗口

頻率測量功能必須設定一個用于測量的矩形窗口，這樣做的目的是為了避免一些圖像的外框或者實際圖像以外的噪聲被混入進圖像中一并進行測量，而導致頻率測量的失誤。因此這個窗口的大小和位置是該功能的控制參數之一。

2.2.2 濾波模式選擇

該算法中包含了多種濾波模式可供選擇，如圖2中所示的變量meas_mode可以用來選擇使用一階、二階單獨或者組合濾波方式，或者使用如式(9)所示的一個獨立的一階濾波組合。具體可以參考1.2節所述。

如果該變量meas_mode等于0，按照圖2所示，共有4中濾波模式可控選擇。對于水平和垂直方向，所有這些濾波模式都可以獨立進行選擇。

以一個真實的高清視頻信號為例，一般僅使用一階普通濾波器和二階普通濾波器來實現，其輸出為一階濾波結果和受保護的二階的濾波結果的平均值(如圖3中“Av-O2ProtO1”所示)。則其中的控制參數設置為：order 1 width=0,order 2 width=0,filterselect=2。其輸出的平均濾波響應曲線如圖3所示。

圖3 平均濾波響應曲線(高清信號)

以一個被經過放大的偽高清視頻信號為例，一般僅使用一階寬濾波器和二階寬濾波器來實現，其輸出為一階濾波結果和受保護的二階的濾波結果的平均值(如圖4中“Av-O2ProtO1”所示)。則其中的控制參數設置為：order 1 width=1,order 2 width=1,filterselect=2。其輸出的平均濾波響應曲線如圖4所示。

圖4 平均濾波響應曲線(偽高清信號)

3 實驗驗證

本方法通過對同一幅圖像經過播放設備反復縮放之后，進行了大量的仿真對比實驗。不僅測量了信號發生器產生的圖像[2-3]的檢測效果，對實際電視播放的場景也進行了大量的檢驗。本文以一幅原始信號為480i的被放大為1 080i的偽高清視頻信號，和一幅原始分辨率為1 080i的高清信號為例進行對比，原始測試圖片如圖5所示。

圖5 測試圖片

以水平方向的檢測為例，偽高清圖像和真實高清圖像的運算結果對比如表1所示。同樣，對于垂直方向和色彩豐富的圖像而言，也達到了較為精準的清晰度檢測結果。

表1 實驗對比結果(以水平方向為例)

輸入圖像信號格式原始圖像信號格式清晰度檢測結果最高頻率響應最大局部動態范圍細節統計數據低頻段/像素中頻段/像素高頻段/像素中高頻段占比/%測量結果1080i480i029fs1081035240054001偽高清1080i1080i046fs213932640156609234011真高清

4 結論

在上述的針對真實高清信號和經過放大的高清視頻信號的例子中，使用平均的方法會比單純使用某一階原始的濾波器具有更好的線性特性。再次提示，這些寬濾波器(Order 1 and 2 filter wide)如圖4所示，其頻率響應曲線都在1/4采樣頻率(1/4fs)后開始下降。但這并不意味這在實際應用中，當圖像中的清晰度頻率大于1/4采樣頻率(1/4fs)時，將會輸出一個較小的測量結果。因為圖像中的高頻成分已經被普通濾波器(Order 1 and 2 filter)測量，所以對于一幅普通的圖片來說寬濾波器所測量的范圍主要是從1/4采樣頻率(1/4fs)直到寬濾波器的右邊沿。

當然對于普通濾波器和寬濾波器還有很多其它組合方式，就以本文中所述的濾波器來說，使用filterselect參數一共可以有至多12種組合方式。而且也可以使用軟件手段[4]交替或者任意組合濾波器也是可行的，這樣的話組合方式可以擴展到無限多。

對于圖像局部動態范圍的測量也是在水平和垂直方向上獨立去實現的，因此相應的最終輸出的圖像局部動態范圍的結果也被分為了水平和垂直兩個方向。

綜上所述，基于這種圖像清晰度測量的結果，可以將真實高清視頻信號和傳輸過程中縮放產生的偽高清視頻信號區分開來，并從測量結果中得到了圖像內容中的頻率分布的范圍和局部動態范圍，以此為清晰度控制和對比度增強等畫質提升手段提供依據。測量結果中的細節信息，一方面可以作為判斷高清視頻信號真偽性的依據，最重要的是可以為其他圖像畫質動態控制手段[5]提供指標依據。該方法的設計應用填補了數字電視圖像后處理中對于原始信號檢測的一個空白，使得數字電視圖像增強功能模塊可以更加有的放矢的發揮作用。

[1] 宮峰勛. 彩色電視接收機圖像清晰度分析[J].電視技術, 2001,25(11):69-70.

[2] 李春濤, 唐強, 王立,等.像素比例校正及其在生成清晰度測試圖中的應用 [J].電視技術, 2003，27(12):91-93.

[3] 李桂苓, 李秀敏, 趙希. 數字電視圖像清晰度[J].電視技術, 2005,29(12):80-83.

[4] 方宏俊. 一種動態調整圖像畫質的方法：中國，ZL200710 0732809[P]. 2007-02-08.

[5] 方宏俊. 一種基于人的視覺特性提升顯示圖像的畫質水平的方法：中國，ZL2007100737319[P]. 2007-03-28.

責任編輯：時 雯

收稿日期：2015-01-12

Algorithm and Implementation of Sharpness Meter in Digital Video Processing of TV System

FANG Hongjun1,2，SHI Haipeng1,3，SONG Li1

(1.InstituteofImageCommunicationandNetworkEngineering,ShanghaiJiaoTongUniversity，Shanghai200233，China； 2.SigmaDesignsTechnology(Shanghai)Co.,Ltd.，Shanghai200000，China；3.ShanghaiHighDefinitionTechnologyIndustrialCo.,Ltd.，Shanghai200000，China)

A new method of picture quality enhancement in digital TV which is named Sharpness Meter is introduced. For correct handling of sharpness and contrast improvement functions according to the video content, it is essential to analyze the video content properly upfront. The image’s frequency information, detail information and local dynamic range info are used for detect the input picture is a true HD signal or an up-sampled HD signal. After briefly introducing the basic principal and algorithm of this method, the hardware implementation and simulation result also be proposed.

DTV; sharpness; contrast; picture quality enhancement

2015-01-28

國家自然科學基金項目(61221001)

TN949.17

A

10.16280/j.videoe.2015.17.003

【本文獻信息】方宏俊，施海鵬，宋利.用于電視系統中的圖像清晰度測量算法及實現[J].電視技術,2015，39(17).