利用邊緣相似度的光場圖像質量評價

田 鈺 曾煥強 邢 露 符 穎 蔡燦輝

(華僑大學信息科學與工程學院，廈門市移動多媒體通信重點實驗室，福建廈門 361021)

1 引言

與傳統成像不同，光場成像突破了簡單將三維場景投影在二維平面的局限性，通過記錄光輻射在傳播過程中的四維位置和方向信息，實現了多視角成像、三維重建、全對焦成像、深度估計等多種成像應用。然而，在獲取、處理、壓縮、存儲、傳輸和渲染的過程中，光場圖像(Light Field Image，LF image)會產生圖像失真效應，從而影響光場圖像處理與分析系統性能。因此，構建一個能夠快速準確地反應人眼對于光場圖像質量的主觀感知度的光場圖像客觀質量評價模型至關重要。

隨著信息化時代的到來，數字圖像處理技術得到了飛速的發展并廣泛應用于生活中，圖像質量評價[1](Image Quality Assessment，IQA)能夠直觀反映出圖像質量的好壞，因此成為圖像處理領域不可或缺的部分。圖像質量評估主要分為兩大類：主觀質量評價和客觀質量評價。人類作為圖像的最終接受體，主觀質量評價需要在特定的測試環境、測試設備、測試時間和距離下，要求一群測試人員觀看一組測試數據并依照自己的直觀感受對其進行打分，從而得到最終的主觀感知分數。雖然主觀質量評價能夠真實地反映出人類視覺系統特性(Human Visual System，HVS)，但在實際應用中耗時費力，不易實現[2]。而客觀質量評價則是根據人類視覺感知系統特性建立一個與主觀感知吻合的數學模型，利用該模型判斷圖像質量，得到一個客觀質量分數?？紤]到實用性，本文旨在于研究針對光場圖像的客觀圖像質量評價方法。

峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和均方誤差(Mean Square Error，MSE)是最經典的質量評價算法，然而它們僅僅考慮逐個像素間的差異，而未考慮像素間的相關性。為此，研究人員在設計圖像質量評價算法過程中進一步考慮了人類視覺系統。由于人眼對圖像中的結構信息較為敏感，Wang[3]等人提出了結構相似性算法(Structure Similarity，SSIM)。隨后，在SSIM的模型框架上，引入了多尺度計算，提出了多尺度下的結構相似性算法(Multiscale SSIM，MSSIM)[4]。梯度包含著很多視覺信息，利用梯度信息能夠反映出圖像結構和對比度的變化，Liu[5]等人提出了基于梯度相似性算法(Gradient Similarity，GSIM)，Xue[6]等人根據圖像梯度局部質量圖的變化延伸到圖像整體進行質量預測，提出了梯度幅值相似性偏差(Gradient Magnitude Similarity Deviation，GMSD)。Zhang[7]等人基于人類視覺系統(HVS)主要根據其低層特征理解圖像的特點，提出了一種新的全參考IQA特征相似度(Feature Similarity，FSIM)指標?？紤]到人類視覺的近閾值和超閾值特性，Chandler[8]提出了一種基于人類視覺的近閾值和超閾值特性來量化自然圖像視覺保真度的有效算法(Visual Signal-to-Noise Ratio，VSNR)。該算法包括利用基于小波的模型檢查失真的對比閾值、基于感知對比度的低級視覺特性和全局優先級的中級視覺特性。

盡管在過去幾十年中，學術界已經提出和發展了各種IQA算法模型，但它們被用于評估自然圖像、屏幕圖像、多曝光圖像等。由于不同的圖像類型具有不同的特征，因此它們并不適合直接評估光場圖像。目前針對光場圖像質量評價方法研究也涉及較少。為此，本文提出了一個面向光場圖像的質量評價方法，分別從空域和頻域兩個方面計算光場圖像邊緣相似度，進而融合得到一個邊緣相似度圖。具體地，在空域上，提取參考光場圖像和失真光場圖像的梯度幅值并計算其空域邊緣相似性；在頻域上，采用Gabor濾波器分別提取參考光場圖像和失真光場圖像邊緣信息并計算頻域邊緣相似性。接著采用基于頻域邊緣強度的池化策略對邊緣相似度圖進行權重計算從而得到圖像質量評價分數值。實驗結果表明，本文所提方法能夠較好地描述人眼對于光場圖像質量的主觀感知度。

2 利用邊緣相似度的光場圖像質量評價方法

根據光場采集方式的不同，光場圖像可分為微透鏡光場圖像和子孔徑光場圖像。本文研究主要針對于微透鏡光場圖像的質量評價。

圖1 光場圖像及其局部放大圖Fig.1 LF image and its partial enlarged region

圖2 利用邊緣相似度的光場圖像質量評價方法流程圖Fig.2 Flowchart of LF image quality assessment model using edge similarity

圖1為微透鏡光場圖像及其局部放大的示意圖，其中(a)和(c)分別為參考光場圖像和HEVC壓縮后的光場圖像，(b)和(d)為各自對應的局部放大圖。如圖1(a)所示，微透鏡圖像從宏觀上來看與常規圖像沒有太大區別，但從它的局部放大圖(b)中，我們可以看到光場圖像由許多微透鏡單元組成，而且每個微透鏡所對應的宏像素均覆蓋了若干個探測器像元。對比參考光場圖像和失真光場圖像的局部放大圖，即(b)和(d)，我們可以發現失真光場圖像結構邊緣信息丟失較為嚴重。因此，考慮到人類視覺系統對邊緣信息相對敏感的特性，我們結合光場圖像的特點，提出了基于邊緣相似度的光場圖像質量評價算法。具體算法流程如圖2所示，相應算法細節將在以下小節詳細介紹。

2.1 空域邊緣相似度

本文所提算法分別從空域和頻域提取邊緣信息來有效的評估光場圖像質量。

在空域處，由于人眼對圖像局部結構信息較為敏感，而梯度能夠較好的反應圖像局部結構變化。因此，本文首先利用水平和垂直方向濾波器模板分別對參考圖像和失真圖像進行卷積，從而得到了水平和垂直方向上的梯度圖，通過梯度圖計算各自的梯度幅值圖，即為空域邊緣圖，最后結合失真圖像和參考圖像的空域邊緣圖得到空域邊緣相似度圖。

為了減少計算復雜度，本文算法采用的濾波器水平方向模板hx和垂直方向模板hy的如下：

(1)

其中，x和y分別表示水平和垂直方向。

對于給定的參考光場圖像r和失真光場圖像d，Ix和Iy分別為圖像與梯度算子hx和hy卷積所得水平與垂直方向上的梯度圖，即：

Ixr=r?hxIyr=r?hy

(2)

Ixd=d?hxIyd=d?hy

(3)

空域邊緣圖Gr和Gd計算如下：

(4)

(5)

因此，空域邊緣相似度圖計算如下：

(6)

其中，T1=1000為通過實驗所得的穩定系數，目的在于保證Grads的穩定性。

2.2 頻域邊緣相似度

絕大多數哺乳動物的視覺皮層簡單細胞的二維感知域模型可以被二維Gabor函數很好地擬合，在提取圖像局部特性和頻域信息方面具有良好的特性[9-10]。因此對于頻域邊緣信息的提取，我們首先構建給定波長和角度的偶Gabor濾波器Even和奇Gabor濾波器Odd：

(7)

(8)

其中，σ為方差，λ為波長。

其次，利用偶Gabor濾波器和奇Gabor濾波器分別對參考圖像和失真圖像進行分解，得到參考圖像幅值Eimr和Oimr，以及失真圖像幅值Eimd和Oimd。計算公式如下所示：

Eimr(x,y)=Even?r(x,y)

(9)

Eimr(x,y)=Odd?r(x,y)

(10)

Eimd(x,y)=Even?d(x,y)

(11)

Eimd(x,y)=Odd?d(x,y)

(12)

則對應的參考光場圖像和失真光場圖像頻域邊緣圖如下所示：

(13)

(14)

在得到參考光場圖像和失真光場圖像的頻域邊緣圖Aimr(x,y)和Aimd(x,y)后，計算它們之間的頻域相似度圖Gabors：

(15)

其中，T2=10為通過實驗所得的穩定系數，目的在于保證Gabors的穩定性。

2.3 基于頻域邊緣強度的池化策略

為了更加合理、準確地描述光場圖像邊緣相似度，我們融合空域邊緣相似度Grads和頻域邊緣相似度Gabors得到邊緣信息相似度：

Gs(x,y)=[Grads(x,y)]α·[Gabors(x,y)]β

(16)

α和β分別是用于調節空域上邊緣信息和頻域上邊緣信息重要性的兩個參數。對于圖像而言，我們假設在空域上的邊緣信息和頻域上的邊緣信息重要性相同，因此本文算法將α和β均設置為1[11]。

如上所述，在得到邊緣相似度圖后，本文算法通過對邊緣信息相似度圖采用基于頻域邊緣強度的池化策略進行權重計算得到最終的評價分數。計算公式為：

(17)

其中Wmap(x,y)=max{Aimr(x,y),Aimd(x,y)}為頻域邊緣強度，M，N為光場圖片的寬和高。

3 實驗結果和分析

為了證明本文所提算法的有效性，我們使用已公開的SMART[12]通用數據庫進行驗證。該數據庫總共包含16張參考圖像和256張失真圖片。其中，256張失真圖像由4種失真類型的4個失真等級組成。這4種失真類型分別由以下四種常見的壓縮方法引入：JPEG壓縮(JPEG)、JPEG2000壓縮(J2K)、HEVC幀內編碼壓縮以及稀疏集和視差編碼(Sparse Set and Disparity Coding，SSDC)[13]。圖3為SMART數據庫下16張參考圖像。由于目前沒有專門用于評價光場圖像質量的客觀算法，因此本文將所提算法與一些經典的圖像質量評價算法做比較，其中包括SSIM[3]，MSSIM[4]，GMSD[5]，PSNR，GSS[11]，FSIM[7]，SCDM[14]，VSNR[8]。為了檢驗算法性能的優劣，需將主觀實驗得到的主觀分數與客觀算法評估結果進行比較。然而客觀分數和主觀分數之間的關系是復雜且非線性的，因此，在進行比較之前需使用回歸函數將每個算法的預測分數非線性的映射到與主觀平均意見值相同的同一尺度上。通常采用5參數的Logistic[15]非線性回歸函數：

(18)

其中，o表示客觀算法的預測質量分數，a1、a2、a3、a4、a5為進行擬合優化的參數。

圖3 SMART光場圖像質量評價數據庫Fig.3 SMART LF image quality assessment database

評價指標失真類型PSNRSSIMMSSIMGMSDFSIMGSSSCMDVSNRProposedPLCCJPEG0.62650.47030.41810.65200.60430.46610.64280.28670.6975J2K0.80020.74180.72190.83010.74560.55110.74490.57520.8056HEVC0.77760.70420.57550.74730.65040.46300.76800.67730.8045SSDC0.65110.68060.59440.61550.69450.45400.58910.49490.7221Overall0.66250.64270.56460.62250.55800.38760.61170.35560.7244SROCCJPEG0.61190.47390.47340.63360.64390.51040.65300.29350.7243J2K0.81380.76310.76430.84810.83140.62710.81550.63590.8239HEVC0.81970.77370.74710.77480.81760.49060.79930.74470.8167SSDC0.72460.70970.70790.69640.68320.55820.64050.57390.7524Overall0.70530.63340.51140.52260.51330.45850.53020.56130.7537KROCCJPEG0.42560.32740.32840.44150.45040.34030.46730.21430.5179J2K0.61810.57140.56050.64680.62800.43250.60620.45140.6329HEVC0.61310.56450.53080.55850.59920.33730.46730.53080.6012SSDC0.50990.53870.53470.50100.50400.39090.44150.38690.5605Overall0.50170.44990.35760.36750.35120.31010.36410.38570.5538RMSEJPEG1.04871.18701.22181.01981.07161.18991.03031.28850.9637J2K1.28811.43831.48401.19591.42921.78951.43081.75431.2706HEVC1.79212.02372.33101.89402.16512.52641.82552.09711.6929SSDC1.23691.19391.31051.28421.17251.45201.31691.41611.1274Overall1.59811.63451.76091.66981.77051.96681.68781.99411.4708

擬合后通常采用Pearson線性相關系數(Linear Pearson Correlation Coefficient，PLCC)、Kendall秩相關系數(Kendall Tau Rank Correlation Coefficient，KROCC)、Spearman等級相關系數(Spearman Rank Order Correlation Coefficient，SROCC)和均方根誤差(Root Mean Squared Error，RMSE)估計客觀質量評價模型性能。其中，PLCC、SROCC、KROCC的取值范圍在[0，1]之間，值越接近于1證明主觀分數與客觀分數的一致性越高，客觀算法性能越好，RMSE的值則越小越好。我們將表1中每種失真類型下性能最好的兩個算法標粗，整個數據庫下性能最好的算法加粗標紅。通過比較表格中PLCC，SROCC，KROCC，RMSE四個性能估計指標可以看出：(1)與僅從空域角度分析圖像的客觀質量評估模型(如GSS、PSNR、SSIM、MSSIM)相比，本文算法分別從空域和頻域角度捕捉圖像邊緣信息，能夠更加穩定準確地反映圖像質量；(2)JPEG、J2K、HEVC、SSDC四種失真類型在一定程度上造成光場圖像邊緣信息的丟失，導致光場圖像質量退化，評估這四種失真類型下的光場圖像，本文方法具有針對性的提取邊緣信息，因此，實驗結果相對較好；(3)由于本文所提方法特別考慮了光場圖像的結構特性，因此與其他圖像質量評估方法相比能夠更準確地描述光場圖像質量。

4 結論

考慮到光場圖像復雜的結構特性，本文提出了一種利用邊緣相似度的光場圖像質量評價模型。該算法將頻域和空域上提取的光場圖像邊緣相似度進行融合后得到邊緣相似度圖，隨后利用頻域邊緣強度的池化對邊緣相似度圖進行權重計算并得到最終圖像質量評價值。通過實驗可知，本文所提算法能夠更加準確地反應人類視覺特性對于光場圖像的主觀質量判定。