可見光與紅外圖像融合質量評價指標分析

孫彬，高云翔，諸葛吳為，王梓萱

1.電子科技大學航空航天學院，成都 611731；2.飛行器集群智能感知與協同控制四川省重點實驗室，成都 611731

0 引 言

圖像融合是利用多幅圖像在時空上的相關性和互補性形成更清晰全面的圖像(Li等，2011)。其中，紅外和可見光圖像融合廣泛應用于遙感探測、安全導航、醫學圖像和交通監測等領域(Li和Wu，2019)。目前，不同融合算法之間沒有統一的評價標準，多數情況下研究人員是憑經驗選擇客觀評價指標(宮睿和王小春，2019；陳木生，2016)衡量紅外光與可見光融合算法。如何遴選有效的評價指標是亟待解決的問題。

圖像融合質量評價方法可以分為兩類(Liu等，2018)。第1類為主觀評價方法，主要以評價人的肉眼觀察結果為準，但不同級別之間的界限較模糊且主觀性太強，易使結果受干擾(Yang等，2007)。第2類為客觀評價方法，即根據一個特定算法提供量化指標，從不同角度評估融合的質量和性能。

楊艷春等人(2018)根據不同參考對象將融合評價指標分為3類，分別是基于融合圖像統計特征、基于融合圖像與參考圖像和基于源圖像與融合圖像的客觀評價指標。Liu等人(2012)將指標細分為基于信息論、圖像特征、結構相似性和人類視覺系統4類，并分析指標間的相關性、一致性以及失真情況下與圖像質量評價(image quality measurement，IQM)的關系，提出了在夜視應用中不同可見光和紅外融合模型的建議指標集合。Liu等人(2018)總結了基于源圖像與融合圖像的評價指標，度量從輸入圖像到融合結果中傳遞的圖像特征、內容或信息數量，但不包含基于融合圖像統計特征的指標。張小利等人(2014)結合相關性分析和主客觀一致性排序遴選適合遙感圖像融合評價的指標集合，但無法推廣至缺少主觀評價結果的應用。

可見光和紅外圖像融合缺少主觀評價結果和統一的基準。Zhang等人(2020)提出一個可見光和紅外融合基準(visible and infrared fusion benchmark，VIFB)，包括21個圖像對、20種融合算法以及13種指標。本文依據參與評估的對象不同，將13種指標分為基于融合圖像質量的客觀評價和基于融合圖像與源圖像的客觀評價指標，利用相關性分析、一致性分析以及離散程度分析，提出一種通用的客觀評價指標篩選方法，并給出適用于紅外光與可見光融合的建議指標集合。

1 圖像融合客觀評價指標

目前，已經提出了幾十種圖像融合客觀評價指標。設參與融合的源圖像有n個，圖像融合的客觀評價指標定義為

S=m(F,I1,I2,…,In,R)

(1)

式中，m為評價指標，F表示融合圖像，In表示源圖像，R表示參考圖像。為簡化表達，以2個待融合圖像為例，源圖像分別記為A和B，圖像尺寸均為M×N。

大多數圖像融合應用，包括紅外和可見光融合一般并不存在參考圖像。Zhang等人(2020)總結了4類13種客觀評價指標，包括基于信息論的熵(entropy，EN)、交叉熵(cross entropy，CE)、互信息(mutual information，MI)和峰值信噪比(peak signal-to-noise ratio，PSNR)；基于圖像特征的平均梯度(average gradient，AG)、邊緣強度(edge intensity，EI)、空間頻率(space frequency，SF)、標準差(standard deviation，SD)和邊緣保持度(QAB/F)；基于結構相似性的均方根誤差(root mean squared error，RMSE)和結構相似度(structural similarity index measure，SSIM)；基于人類感知的QCV(Chen-Varshney)和QCB(Chen-Blum)。

本文依據參與評估的對象不同將指標分為基于融合圖像質量客觀評價指標以及基于融合圖像和源圖像的客觀評價指標兩類?；谌诤蠄D像質量的客觀評價指標包括SD、EI、EN、AG和SF等5個指標，基于融合圖像和源圖像的客觀評價指標包括CE、MI、RMSE、PSNR、QAB/F、SSIM、QCV和QCB等8個指標?；谌诤蠄D像質量的評價指標主要是針對融合后圖像本身的特性或統計特征，沒有考慮融合圖像與源圖像之間的關系，而融合是從融合源中繼承傳遞有價值信息的過程，基于源圖像和融合圖像的客觀指標是更為普遍使用的評價指標。

1.1 基于融合圖像質量的評價指標

基于融合圖像質量的評價指標計算僅利用融合圖像即可獲得指標評分。

1)標準差(SD)。標準差反映的是融合圖像分布和對比度的統計概念(Ma等，2020)。數學定義為

(2)

式中，μ為融合圖像的灰度值均值，由于人類視覺會對對比度較高的區域更敏感，因此，融合圖像的對比度越高，SD越大，意味著融合圖像融合效果越好。

2)邊緣強度(EI)。邊緣強度使用Sobel算子提取融合圖像的邊緣信息，其表達式為

(3)

式中，sx=F×hx,sy=F×hy，hx和hy為x和y方向上的Sobel算子。邊緣強度大，說明圖像細節清晰，圖像質量好。

3)熵(EN)。熵是度量圖像信息量的客觀評價指標(劉子聞 等，2020)，融合圖像F的熵定義為

(4)

式中，p={p1,p2,…,pn}表示圖像的灰度分布，pf為圖像中灰度值為f的像素所占的比例，n為灰度等級。該指標關注融合圖像的灰度值分布，可以反映融合圖像攜帶的信息量。

4)平均梯度(AG)。平均梯度主要反映圖像中細節間的區別(Ma等，2019)和紋理變化，其表達式為

(5)

通常情況下，平均梯度越大，圖像的清晰度越高，融合質量越好。

5)空間頻率(SF)?？臻g頻率用于測量圖像的總體活動水平(Zheng等，2007)。圖像F的空間頻率表達式為

(6)

式中，FR，FC，FMD和FSD分別對應4個方向(左、上、左上、右上)上的一階梯度。一般情況下，空間頻率越大，融合質量越好。

1.2 基于源圖像和融合圖像的評價指標

基于源圖像和融合圖像的評價指標計算需要人為選擇要衡量的有效信息，如信息量、邊緣和結構相似度等，先分別計算源圖像A、B與融合圖像F之間的指標值，然后根據規律加權出指標最終評分。

1)均方根誤差(RMSE)。均方根誤差計算融合圖像與源圖像的誤差(Ma等，2019)，從而測量融合圖像和源圖像之間的差異，表達式為

(7)

2)峰值信噪比(PSNR)。峰值信噪比是融合圖像中峰值功率與噪聲功率的比值(Ma等，2019)，反映了融合過程中的失真情況。數學表達式為

(8)

PSNR越大，說明融合圖像與源圖像越接近，即融合產生的誤差越小。

3)交叉熵(CE)。交叉熵反映的是融合圖像與源圖像灰度信息分布的差異性，可作為確定各種融合算法優劣的依據。在熵的基礎上加入源圖像A和B的灰度分布，融合圖像為F。以源圖像A與融合圖像F為例，交叉熵計算式為

(9)

式中，q為源圖像A的灰度分布。

總體交叉熵計算式為

(10)

交叉熵值越小，圖像間差異性越小，則融合方法從源圖像中提取的信息量越多，理論上融合效果會比較好。

4)互信息(MI)?；バ畔⒖啥抗烙嬙磮D像A與融合圖像F之間的依賴程度(Qu等，2002)。源圖像A與融合圖像F的互信息可以由邊緣概率密度pF、pA以及聯合概率密度pFA定義為

(11)

則總的互信息為

(12)

其中,3幅圖像的灰度值范圍分別為IA(i,j)∈[0,I]、IB(i,j)∈[0,J]和IF(i,j)∈[0,K]，則a=0,1,…,I、b=0,1,…,J和f=0,1,…,K。

融合圖像的MI值越大，說明融合圖像從源圖像處繼承的信息越多，融合圖像的質量較好。

GAF(i,j)=

(13)

(14)

對于兩幅源圖像A和B融合出F的情況，其邊緣保持度定義為

(15)

通常，ωA(i,j)=[gA(i,j)]L，ωB(i,j)=[gB(i,j)]L，L是一個常數。0≤QAB/F(i,j)≤1，指標值接近1時，說明邊緣保持特性越好，融合的效果越好。實驗中常用參數取值為L=1，Γg=0.999 4，kg=-15，σg=0.5，Γa=0.987 9，ka=-22，σa=0.8。

6)結構相似度。結構相似度(SSIM)的測量可以對圖像的失真做出近似(Martinez等，2019)，SSIM的取值范圍為[-1,1]，值越大說明源圖像和融合圖像的相似程越高。圖像A和F的結構相似度為

SSIMAF=l(A,F)×c(A,F)×s(A,F)

(16)

QCV=

(17)

式中，L表示局部窗口的數量，Wl為第l個局部窗口對應的區域。此方法得到的值越小，說明融合效果越好。

(18)

最后，得到全局質量圖，即

QGQM(i,j)=λA(i,j)QAF(i,j)+λB(i,j)QBF(i,j)

(19)

Chen-Blum指標結果為全部像素全局質量圖的均值。實驗結果表明，該方法與主觀評價結果具有高度一致性，值越大說明融合效果越好。

2 客觀評價指標分析

Zhang等人(2020)提出的VIFB包含13對彩色可見光(RGB多通道)和紅外圖像對，以及8對灰度可見光(單通道)和紅外圖像對，涵蓋廣泛的場景和工作條件，例如室內、室外、低照度和過度曝光等。Zhang等人(2020)總結了20種開源圖像融合方法在VIFB數據集的融合實驗，包括基于深度學習的卷積神經網絡(convolutional neural network，CNN)、深度學習框架(deep learning framework，DLF)和殘差網絡(residual network，ResNet)融合算法；基于多尺度的多分辨率奇異值分解(multi-resolution singular value decomposition，MSVD)、各向異性擴散變換(anisotropic diffusion fusion，ADF)和交叉雙邊濾波器(cross bilateral filter，CBF)；基于引導濾波器的內容增強(guided filter context enhancement，GFCE)和引導濾波融合(guided filtering fusion，GFF)；基于引導濾波器的混合多尺度分解(hybrid multi-scale decomposition with guided filter，HMSD_GF)、混合多尺度分解(hybrid multi-scale decomposition，Hybrid_MSD)和多尺度引導濾波(multi-scale guided image and video fusion，MGFF)融合算法；基于顯著性的雙尺度圖像融合(two-scale image fusion，TIF)和潛在低秩表示(latent low-rank representation，LatLRR)融合算法；基于子空間的四階偏微分方程(fourth order partial differential equations，FPDE)融合算法；基于混合方法的多尺度稀疏(multi-scale transform and sparse representation，MST_SR)、非下采樣輪廓波稀疏(nonsubsampled contourlet transform and sparse representation，NSCT_SR)、比率金字塔稀疏(ratio pyramid and sparse representation，RP_SR)、視覺顯著圖以及加權最小二乘(visual saliency map and weighted least square，VSMWLS)，以及梯度轉移融合(gradient transfer fusion，GTF)、紅外特征提取與視覺信息保存(infrared feature extraction and visual information preservation，IFEVIP)等方法。

21組圖像分為13組灰度可見光與紅外圖像對(Gray組)和8組彩色可見光與紅外圖像對(RGB組)，分別統計上述20種融合算法在分組數據實驗中13種指標的平均值，結果如表1和表2所示。其中，彩色可見光與紅外圖像融合的指標結果為RGB 3個通道分別與紅外圖像融合計算指標值后的平均結果。

表1 在VIFB數據集中不同算法融合13組彩色(RGB)可見光圖像與紅外圖像的13種指標均值

表2 在VIFB數據集中不同算法融合8組灰度可見光圖像與紅外圖像的13種指標均值

2.1 相關性分析

相關性分析是通過計算指標變量間的相關系數分析不同指標間的潛在聯系，融合客觀評價指標基于相關程度而不是指標類別進行聚類分析。常用的相關性分析方法包括Pearson、Spearman和Kendall等。其中，Pearson法用于衡量兩變量間的線性相關性，僅適用于服從或近似服從正態分布的情況(張小利 等，2014)。本文考察不同算法的多個評價指標間的相關性，選擇Kendall方法進行分析。

令Xi和Yi表示兩個隨機變量X和Y的第i個值(0≤i≤N)，這里N為變量長度。Kendall計算式為

(20)

式中，C為集合中一致的元素個數即(Xi>Xj，Yi>Yj)或(XiXj,YiYj)。

Kendall相關系數的取值范圍為[-1,1]。當τ=1時，即X與Y具有一致的等級相關性；當τ=-1時，即X與Y具有完全相反的等級相關性；當τ=0時，表示X與Y相互獨立。

對表1和表2中13項指標之間分別進行Kendall相關系數分析，結果如表3和表4所示。當指標Kendall相關性|τ|>0.7，則將指標視為同一組，在表中以粗體表示。

表3 彩色(RGB)可見光圖像與紅外圖像融合評價指標之間的Kendall相關系數

表4 灰度可見光圖像與紅外圖像融合評價指標之間的Kendall相關系數

彩色(RGB組)可見光與紅外圖像融合指標聚類分組結果如圖1所示，其中AG與EI、SF的Kendall系數分別為0.99和0.84，指標側重于反映鄰域的灰度變化；PSNR與RMSE高度負相關，其中RMSE是負向指標，PSNR是正向指標；QAB/F與EN、QCB的系數分別為0.70和0.74，該組指標的定義有較大區別，EN反映的是信息熵，而QAB/F和QCB主要反映邊緣和對比度的保留程度。

圖1 指標聚類分組圖(RGB組)

灰度可見光(Gray組)與紅外圖像融合指標聚類分組結果如圖2所示。單通道情況下，不同指標之間表現出較多通道更強的相關性，其中SD與EN、QCB表現出一定的相關性；SSIM利用均值和協方差從亮度、對比度、結構等方面度量與源圖像間的相關性，一定程度上與反映亮度空間變化的AG、SF和EI正相關，與PSNR、RSME負相關。

圖2 指標聚類分組圖(灰度組)

2.2 一致性分析

由于紅外和可見光融合缺少公開的主觀評價結果，無法進行主客觀一致性分析。本文將客觀評價指標視為分類器(Liu等，2012)，平等對待所有指標，并利用排序式的Borda投票法(Emerson，2013)，綜合大多數分類器(客觀評價指標)的選擇得到算法的排名。表5是利用Borda計數排序法分別統計RGB組和Gray組的總體評價結果，記為RGB排序/Gray排序。表中各列為表1和表2中特定指標在不同算法間的排序，1代表該指標下相對最優的算法，排名最高可獲得20積分，其余依次遞減，綜合所有指標排序得到的積分可得最后一列的算法Borda rank排序結果。若存在積分/排序相同情況，以所排序列號的均值統一排序，如表中CNN和HMSD_GF的RGB綜合排序相同，因此以均值3.5作為最終的綜合排序。

表5 Borda計數排序總體評價結果(RGB排序/Gray排序)

所有評價指標會對融合方法產生一個總體評價。某指標與總體評價相關性越高，說明該指標與總體評價的一致性越高。為了體現單一指標與Borda排序總體評價的一致性，計算算法各指標排序與Borda排序的Kendall相關系數，結果如表6所示。RGB組和Gray組一致性較高的4個指標均為QCB、QAB/F、EN和SD。

表6 單一指標排序與Borda計數排序的相關系數

2.3 離散程度分析

除了分析指標的相關性和一致性外，還需要考察指標受融合質量影響的波動情況。圖3為21組圖像對數據中10種不同算法的PSNR和QAB/F指標的量化折線圖(Zhang等，2020)?？梢钥闯?，不同指標的取值范圍差異較大，表現為表1和表2中的指標取值范圍，即圖中折線的縱坐標(指標值)范圍有較大差異,折線圖上方數值為對應算法的指標均值；其次，隨著圖像內容(橫坐標為不同圖像對)的變化，指標波動較大，表現為不同指標的折線圖均有明顯的峰值和谷值；再次，圖像內容變化時，不同算法的指標數值具有大致相同的變化規律，表現為不同折線有近似的峰谷位置以及變化趨勢，因此可以用多個圖像對的指標均值近似表征指標的變化。而當圖像內容相同時，不同算法產生的指標數值差異可以反映不同算法融合質量的相對差異。

圖3 10種算法在21對圖像上指標的折線圖

不同于Liu等人(2012)通過計算不同輸入圖像對的指標方差來度量指標隨圖像內容變化的規律，本文度量均值隨不同算法的波動情況。由于不同客觀指標的定義不同，值域范圍有較大差異，不適合用方差進行分析，所以利用離散系數分析指標隨算法的波動情況。其中，離散系數定義為標準差與均值之比。表7為表1和表2中不同指標的均值、標準差以及離散系數。通過對比可以看出，離散系數值越大，說明指標在不同算法間分布差異越大，越能體現不同算法間的性能差異。

相關性分析的目的是得到聚類分組，一致性分析的目的是得到指標評估的有效性，離散程度分析則可以通過評估指標的分布情況，選擇能夠充分體現不同算法間差異的指標。在實驗設定下，一致性分析得到的候選指標集為{QAB/F,EN,SD,QCB}，對應的離散系數在表7中以粗體顯示。RGB分組實驗中EN和QAB/F，QAB/F和QCB屬于同組指標，其中EN的離散系數明顯小于其他3項指標，QAB/F的離散系數高于QCB。Gray分組實驗中，QAB/F和QCB，QCB、SD和EN為同組指標，且EN的離散系數遠小于其他3項指標，QCB的離散系數略高于QAB/F。綜合上述實驗分析得到，RGB組的客觀評價建議指標集為{SD,QAB/F}或{SD,QCB}；Gray組的客觀評價建議指標集為{SD,QAB/F}或{QCB}。分組建議指標集合均包含SD、QCB和QAB/F3項指標，其中不同分組結果中SD指標與其他兩項指標的組合方式不同。原因是Gray組和RGB組分別基于相關性得到的指標聚類分組結果有差異，可參見圖1和圖2。依據Zhang等人(2020)中的計算方式，RGB組評價指標是RGB三個通道分別與紅外圖像融合客觀評價結果的平均值，相較于單一的灰度通道，SD指標與其他指標的相關性更低。

表7 VIFB數據集下評價指標的均值、標準差以及離散系數

綜合兩組的結果，取交集為{SD,QAB/F}，作為可見光與紅外圖像融合評價的建議指標集。其中，標準差SD屬于基于融合圖像質量的評價指標，通過與均值的差分反映融合結果中的對比度信息；邊緣保持度QAB/F屬于基于源圖像和融合圖像的評價指標，通過度量可見光和紅外源圖像傳遞到融合圖像的邊緣保留程度，反映融合結果圖像對可見光和紅外源圖像的融入度。

紅外和可見光融合應用中，紅外圖像中顯著性通常表現為對比度較大的局部區域，而可見光中通常表現為邊緣、紋理等細節信息。建議指標集中的兩項指標從屬于不同的指標類型，分別從對比度和邊緣細節保留度對融合結果進行評價，具有一定的互補性。

綜合SD和QAB/F指標，VIFB數據集下排名靠前的算法包括CNN、HMSD_GF、Hybrid_MSD以及MST_SR，在定性分析結果中也表現出較好的融合效果。

需要強調的是，1)目前統計的融合評估指標中沒有專門針對色彩失真方面的評價，與主觀感受并不絕對一致，例如MST_SR融合彩色圖像出現的偽影現象。研究更多主客觀一致的評價指標仍是圖像融合領域需要持續關注的重點。2)針對有限樣本在實驗設定下得到的建議指標集合是非排他性的指標建議，即選擇多個指標從不同角度綜合評價融合結果時，建議選擇而非只選擇的指標集合?；诮y計的指標分析方法可以推廣至更多的融合數據源、融合算法以及評估指標，融合建議指標集合也會有新的發展。

3 結 論

本文在討論圖像融合客觀評價指標分類基礎上，結合 VIFB數據集和代表性圖像融合算法，提出一種通用的客觀評價指標分析方法，將VIFB數據分為灰度/彩色可見光與紅外圖像融合兩組，分別進行相關性、一致性以及離散系數統計分析，基于客觀統計結果，得到適用于可見光與紅外圖像融合質量評價的建議指標集合{SD,QAB/F}。其中，SD屬于基于融合圖像質量的評價指標，QAB/F屬于基于源圖像和融合圖像的評價指標，分別側重從對比度和細節信息傳遞融入度評價融合結果，具有一定的互補性。相較于依賴主觀評價或聚焦特定類型融合算法的分析方法，本文方法基于客觀統計數據且涵蓋不同類型的融合算法，具有更好的適用性和可推廣性。但是，目前的客觀評價僅限于VIFB中涉及的13種指標，且僅討論針對紅外和可見光圖像融合下的應用。下一步工作將研究覆蓋更多融合源、融合算法以及客觀評價指標，并將方法推廣到多聚焦圖像、醫學圖像以及遙感圖像融合，得到適用于不同應用場景的圖像融合客觀評價指標建議。