基于目標探測的彩色融合圖像質量主觀評價實驗

張曉東， 高紹姝

(中國石油大學(華東) 計算機與通信工程學院， 山東 青島 266580)

?

·計算機技術及應用·

基于目標探測的彩色融合圖像質量主觀評價實驗

張曉東， 高紹姝

(中國石油大學(華東) 計算機與通信工程學院， 山東 青島 266580)

可見光與紅外彩色融合圖像能幫助觀察者更好地探測目標，然而，如何評價不同融合圖像在目標探測方面的性能表現，相關的研究目前還十分有限，特別是缺乏目標清晰度對融合圖像目標探測性影響的研究。開展彩色融合圖像質量主觀評價實驗，并對實驗數據進行回歸分析。結果表明，目標清晰度和目標與背景對比度是影響融合圖像目標探測性的兩方面關鍵影響因素，并利用這兩方面單一質量評價指標的線性組合建立了基于目標探測的融合圖像綜合質量的預測模型。為進一步實現基于目標探測的融合圖像質量客觀評價奠定理論和實驗基礎。

融合圖像； 目標與背景對比度； 主觀評價實驗

0 引 言

可見光與紅外圖像彩色融合技術可有效綜合兩個波段提供的信息，提供適于人眼觀察的偽彩色圖像，在保留場景細節信息的同時，也有助于觀察者探測熱目標。在戰場偵察、目標探測等方面展現出廣泛的應用前景。不斷涌現出的融合算法和系統裝備，使得科學評價融合圖像質量成為技術研究和系統應用迫切需要解決的焦點問題[1]。

圖像質量評價包括主觀評價和客觀評價兩種方法。主觀評價依靠觀察者的感受來評價圖像質量；客觀評價模擬人類視覺系統感知機制衡量圖像質量，依據模型計算量化指標。但是，人眼是彩色融合圖像的最終接受者，通過大量觀察者對圖像質量主觀評價的結果是最為準確的。主觀評價實驗是客觀評價模型研究和建立的基礎。

目前，圖像質量評價多為單一指標評價，如圖像對比度[2]、圖像清晰度[3]等。這類指標雖然方便建模量化，但是只能衡量圖像某一方面的單一質量。如何針對具體的應用目的評價融合圖像的綜合質量尚沒有統一的理論和方法。幫助觀察者更快、更準確地探測目標是彩色融合圖像的主要應用目的之一。Yuan等提出了彩色融合圖像目標探測性的客觀評價模型[4]，該模型由目標區域亮度、目標和背景的感知亮度差異、色調差和彩度差，四方面參數組成。Yin等[5-8]通過比較目標識別區域，用目標探測率和ROC(Receiver Operating Characteristic)曲線，以及計算目標與背景的顏色距離來客觀衡量融合圖像中目標的可探測性。然而，除上述幾方面影響因素以外，目標細節和邊緣的清晰程度對目標探測性的影響不容忽視，目前缺乏這方面的研究。

本文設計主觀評價實驗，通過實驗數據分析，利用易于建模的單一質量指標(目標清晰度和目標與背景對比度)，構造基于目標探測的彩色融合圖像綜合質量預測模型，為進一步實現融合圖像綜合質量客觀評價模型奠定實驗基礎和理論基礎。

1 主觀評價實驗

1.1 評價指標

主觀評價實驗選用兩方面單一質量指標與基于目標探測的圖像綜合質量指標。

(1) 目標清晰度(Sharpness of the Target, ST)。清晰度是衡量圖像質量時常用的評價指標[9]。目標清晰度是指目標中細節紋理以及目標邊緣的可辨識程度。清晰的目標更容易被探測。

(2) 目標與背景對比度(Contrast between the Target and Background, CTB)。對于彩色圖像，目標與背景的感知對比度是影響人眼對融合圖像中熱目標探測的主要因素之一。人眼在很大程度上，依賴目標和背景對比度來發現目標。目標與背景對比度越大，觀察者發現該目標所用的時間越短、判斷準確度越高，即目標探測性越好。

(3) 基于目標探測的圖像綜合質量(Comprehensive Quality Based on Target Detectability, CQTD)。該綜合指標可以評價彩色融合圖像滿足特定應用需求的能力，衡量融合圖像是否有利于觀察者快速、準確地發現目標。

本實驗規定紅外圖像中的熱目標為需要探測的目標。若一幅圖像中存在多個熱目標要求觀察者綜合衡量來打分。

1.2 評價圖像及分類

將可見光和紅外圖像采用8種融合算法產生不同的融合圖像，融合方法分別為TNO1996法[10]、MIT1997法[11]、YUV空間的線性融合法(LFinYUV20 07)[12]、基于拮抗視覺特性的YUV空間融合法(OFinYUV2009)[13]及基于控向金字塔的融合算法(SP2009)[14]。此外，在YUV空間線性融合基礎上采用了三種色彩傳遞處理，分別為YUV空間全局線性傳遞(GTinYUV2008)[15]、YUV空間和RGB空間的多分辨率色彩傳遞(MRTinYUV2010和MRTinRGB2010)[16]。實驗使用的一組可見光與紅外源圖像及其8種基于融合算法得到的融合圖像如圖1所示。

(a)紅外圖像(b)可見光圖像(c)TNO1996(d)MIT1997(e)LFinYUV2007(f)OFinYUV2009(g)SP2009(h)GTinYUV2008(i)MRTinRGB2010(j)MRTinYUV2010

圖1 實驗使用的一組源圖像以及融合結果圖像

在彩色融合系統的實際應用中，海天、植物和城鎮建筑是最常用的三種場景類型，本文主觀評價實驗選擇這三種典型場景融合圖像：

(1)海天場景。主要為海面和天空。

(2)植物場景。主要為野外樹林、草地背景。

(3)城鎮建筑物場景。主要為城鎮混凝土建筑物、水泥或瀝青地面等。

實驗中，每類場景包含10組圖像，三類場景共30組，每組包括8幅不同融合算法得到的圖像，全部240幅評價圖像。30組可見光與紅外的源圖像中，10組城鎮建筑物場景的圖像為Nigel J. W. Morris提供的圖片，其余圖像為本實驗室使用可見光CCD和長波紅外焦平面熱像儀采集圖像，這些實驗圖像均包含明確的熱目標。

1.3 實驗條件及觀察者

實驗在暗室中進行，使用CRT (Cathode Ray Tube)顯示器進行實驗，顯示器是暗室中唯一的光源。顯示器的分辨率為1 024×768，每英寸的像素數為 80，其峰值白點亮度為100 cd/m2。觀察距離為50cm，每幅圖像大小均為320×240。實驗前，顯示器預熱2 h，觀察者用2 min適應觀察條件。使用Photo Research公司的光譜輻射度計PR-715測量，對實驗使用的CRT顯示器進行校準以及顏色特性化。為了確保CRT顯示器顏色復制的準確性，使用GOG模型進行實測三刺激值與RGB值之間的轉換。根據ITU-R 提供的主觀評價相關標準，本實驗觀察者共17人，年齡范圍為20～46歲，具有正常的視力和色視覺。

1.4 實驗過程

實驗開始前，對實驗目的、實驗過程、評價指標、評分標準以及待評價圖像，進行必要的介紹，確保觀察者沒有理解偏差的給出評價分數。實驗時，每組圖像首先顯示可見光與紅外源圖像，使觀察者了解該組圖像內容并明確圖像中的目標(紅外圖像中的熱目標)，隨后顯示器同時顯示隨機排列的8幅融合圖像(背景為中等灰度)，評價者對圖像相互比較并等級排隊，每一項評價指標從非常不滿意到非常滿意分為7個等級，對應1～7分制的標準，采用類別評判法給出每一幅圖像的評價分數。要求觀察者在無法明顯區分優劣時, 盡量給出相同分數避免評價結果的不穩定性。

2 數據分析及實驗結果

2.1 主觀實驗數據預處理

為了方便進行相互比較，將不同分布的評價分數限制在[0,1]范圍內，本實驗把觀察者k針對評價圖像組p中8幅圖像給出的評價分數作為一組進行標準0-1變換，使得該組中最高分為1，最低分為0，得到標準化意見分數：

(1)

(2)

表1給出三方面評價指標相互間Pearson線性相關系數，其顯著性水平均小于0.01，CQTD與ST和CTB均存在顯著的線性關系。因此，基于多元線性回歸分析方法，研究CQTD和ST及CTB之間的線性關系。

表1 三個評價指標間的Pearson相關系數

表2 CQTD回歸模型及方差分析結果

2.2 融合圖像CQTD預測模型

主觀評價中所有融合圖像評價結果，將CTB和ST作為自變量CQTD作為因變量，進行回歸分析，得到CQTD回歸預測模型，如表2所示。t統計量反映出單一質量指標對CQTD影響的顯著程度，其中CTB較ST有更顯著的影響，兩者顯著性水平(P)均小于0.05，具有統計學意義。同時，方差擴大因子(Variance Inflation Factor, VIF)都小于10，表明CTB和ST之間不存在嚴重的多重共線性問題，得到回歸方程：

CQTD=0.507CTB+0.477ST

R2=0.973

(3)

其中，決定系數R2為0.973，表示CTB和ST能解釋CQTD中97.3%的變化。該回歸模型的方差分析(Analysis of Variance，ANOVA)結果中，F統計量為4345.961，顯著性P=0.000，表示此回歸方程十分顯著，即可按99.9%以上的概率斷言CTB和ST兩個自變量共同對CQTD產生顯著的線性影響。

在實際應用中彩色融合系統可能適用于特定類型的場景，需要針對不同的場景類型選擇適合的融合算法。同時，由于不同場景類型圖像具有不同的圖像特點，其中包含紋理和細節的豐富程度不同，各單一評價指標對圖像綜合質量的影響大小會有所變化，為了使融合圖像綜合質量預測模型更有針對性，分別對海天、植物和城鎮建筑物，三種典型場景圖像采用相同的回歸分析方法，分別得到各場景融合圖像CQTD的預測模型：

海天場景

CQTD=0.622ST+0.340CTB

R2=0.977

(4)

植物場景

CQTD=0.502CTB+0.478ST

R2=0.976

(5)

城鎮建筑物場景

CQTD=0.764CTB+0.260ST

R2=0.990

(6)

從式(4)～(6)可以看出，三種典型場景融合圖像的CQTD均可以利用CTB和ST兩方面單一質量評價指標進行有效地預測。其中，植物場景和城鎮建筑物場景融合圖像的CQTD預測模型中，目標背景對比度是主要的影響因素，目標清晰度次之；而對于海天場景圖像，ST在CQTD的預測模型中占有較大的權重系數，這是由于海天場景包含較少的細節和紋理信息，背景均勻，觀察者僅依賴目標的輪廓就可以發現目標，清晰的目標表現出邊緣和紋理較好的辨識性，使得目標更加突出。因此，對于海天場景融合圖像，目標清晰度對目標探測性有較大的影響。

3 結 語

通過開展彩色融合圖像質量的視覺主觀評價實驗，對實驗數據進行回歸分析，建立了基于目標探測的圖像綜合質量與圖像單一質量的關系。實驗結果表明，目標與背景對比度和目標清晰度是影響融合圖像目標探測性的兩方面主要因素，利用二者的線性組合可以很好地預測基于目標探測的融合圖像綜合質量。不同場景類型的融合圖像具有不同的圖像特點，目標與背景對比度和目標清晰度對CQTD的影響程度不同，但CQTD預測模型的基本形式不變，只是兩個自變量對應的加權系數有所不同。CQTD可以針對具體應用目的評價融合圖像的綜合質量，但卻難以直接量化。CTB和ST兩方面常用的單一評價指標易于客觀建模，結合本文主觀實驗得到的CQTD預測模型，可以建立更符合人眼主觀感受的CQTD客觀評價模型。

[1] 張 勇, 金偉其. 夜視融合圖像質量客觀評價方法[J]. 紅外與激光工程, 2013, 42(5): 1360-1365.

[2] Yuan Y, Zhang J, Chang B,etal. Objective quality evaluation of visible and infrared color fusion image[J]. Opt Eng, 2011, 50(3): 033202-033211.

[3] 高紹姝, 金偉其, 王 霞, 等. 可見光與紅外彩色融合圖像感知清晰度評價模型[J]. 光譜學與光譜分析, 2012, 32(12): 3197-3202.

[4] Yin S, Cao L, Ling Y,etal. One color contrast enhanced infrared and visible image fusion method[J]. Infrared Phys Techn, 2010, 53(2): 146-150.

[5] Qian X, Wang Y, Wang B. Effective contrast enhancement method for color night vision[J]. Infrared Phys Techn, 2012, 55(1): 130-136.

[6] Qian X, Wang Y, Wang B. Fast color contrast enhancement method for color night vision[J]. Infrared Phys Techn, 2012, 55(1): 122-129.

[7] Qian X, Han L, Wang Y,etal. Color contrast enhancement for color night vision based on color mapping[J]. Infrared Phys Techn, 2013, 57: 36-41.

[8] Pedersen M, Bonnier N, Hardeberg J Y,etal. Attributes of image quality for color prints[J]. Journal of Electronic Imaging, 2010, 19(1): 011016.

[9] Toet A, Walraven J. New false color mapping for image fusion[J].Optical Engineering, 1996, 35(3): 650-658.

[10] Waxman A M, Gove A N, Fay D A,etal. Color night vision: opponent processing in the fusion of visible and IR imagery[J]. Neural Networks, 1997, 10(1): 1-6.

[11] 史世明. 微光(可見光)與紅外熱成像的自然感彩色夜視成像處理方法研究[D]. 北京: 北京理工大學, 2009.

[12] 史世明, 王嶺雪, 金偉其，等. 自然感色彩的可見光/紅外控向金字塔融合[J]. 光電子.激光, 2009, 20(11): 1552-1560.

[13] 史世明, 王嶺雪, 金偉其，等. 基于多分辨率色彩傳遞的彩色夜視方法研究[J]. 光子學報, 2010, 39(3): 553-558.

[14] http://www.dgp.toronto.edu/～nmorris/data/IRData/

[15] Berns R S. Methods for characterizing CRT displays[J]. Displays, 1996, 16(4): 173-182.

[16] ITU-R Recommendation BT.500-12. Methodology for the subjective assessment of the quality of television pictures[S]. Switzerland, 2002.

Comprehensive Quality Psychophysical Assessment Experiment of Color Fusion Images Based on Target Detectability

ZHNAGXiao-dong，GAOShao-shu

(College of Computer and Communication Engineering, China University of Petroleum, Qingdao 266580, China)

Visible and infrared color fusion image can help observer detect targets better, however, until recently, the studies on performance evaluation in target detection for different fusion images were very limited, especially lack of the study on the influence of target sharpness. In this paper, a psychophysical experiment was performed, and the experimental data were analyzed by regression analysis. The results showed that sharpness of the target and contrast between the target and background were key influencing factors, and the prediction model of comprehensive quality of color fusion image based on target detectability was established by linearly combining the two single quality evaluation metrics. The study lays a theoretical and experimental foundation for further achieving the objective quality assessment of the fusion image based on target detectability.

fusion image; target detectability; psychophysical experiment

2015-05-05

國家自然科學基金項目(61231014)；教育部博士學科點專項科研基金(20131101130002)；青島市應用基礎研究計劃項目(14-2-4-115-jch)及中央高?；究蒲袠I務費專項資金(14CX02029A)

張曉東(1979-)，男，黑龍江綏棱人，博士，講師，主要研究方向為計算機應用技術，數據驅動控制等。

Tel.：13792890961；E-mail：zhangxiaodong@upc.edu.cn

TN 219

A

1006-7167(2016)05-0110-04