亮度估計驅動的監控圖像色彩還原性測試方法

姚晨　沈赟潔　朱佳敏

摘? ?要：色彩還原性表征了不同色溫條件下在標準顯示設備上真實還原圖像景物各種色彩的能力。然而實驗室環境下的測試方法是一種有參考且對測試軟件有嚴格要求的方法，無法在實際圖像監控系統得到應用。通過色彩還原色卡在實驗室環境下的亮度估計，獲得不同色彩還原值和色卡圖像亮度值，通過機器學習獲得兩者的對應訓練模型，通過對實際監控圖像亮度估計最終獲得實際監控環境下的色彩還原參考值。

關鍵詞：色彩還原性;監控圖像;亮度估計;機器學習;訓練模型

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A

Survelliance Image Color Error Testing Driven

by Illumination Estimation

YAO Chen？SHEN Yun-jie，ZHU Jia-min

（The Third Research Institute of Ministry of Public Security，Shanghai 200030，China）

Abstract：Color error represents real color reproduction ability on survelliance image within different color temperature. However，testing method in lab is reference-based and high demanded，which can not be applied for real image survelliance system. An illumination estimation of color check-check chart is obtained in lab. Meanwhile，color error value also is computed. A machine-learning method is used for compute the training model for illumination and color error value. Finally，we get color error value for real surveillance image through image illumination estimation and trained model.

Key words：color error;surveillance image;illumination estimation;machine learning;trained model

色彩還原性是安防攝像機行業標準《安全防范視頻監控攝像機通用技術要求 GA/T 1127-2013》中的重要性能指標，該指標直接反應了監控圖像真實還原外部自然場景色彩的能力。然而在實驗室環境下的測試指標由于受到測試環境，如：測試燈箱、測試色卡、測試軟件等限制無法在實際安防工程中大面積推廣。這導致在行業主管部門會同第三方檢測機構對部分已建視頻監控系統開展監督抽查工作中發現諸多問題，甚至存在竣工驗收后用不符合標準規范的低劣設備更換原有設備、系統設備拆除或挪作他用等情況。純粹通過人力開展監督檢查工作顯然無法成為長期穩定可靠的監管模式。如何對實際安防監控工程的圖像進行有效、高效的色彩還原性評價成為亟待解決的問題。

受到無參圖像質量評價和圖像色彩恒常性啟發，通過建立圖像亮度和色彩還原性的相關性模型來推導實際監控場景下的圖像色彩還原性。

1? ?經典測試方法

在實驗室環境下目前Imatest的ColorChecker[1]對色彩還原性進行分析。X-Rite的色彩檢查卡是8×11inch大小，包含24個色塊如圖1和圖2所示，光學密度范圍是[0.05，1.50]。

在實驗室環境下，分別不同的色溫攝取色彩還原測試卡，在截圖后由Imatest來判斷，每個色塊中的截取面積大于等于30%。最后，在圖像顏色空間Lab中計算色彩還原性ΔE，計算公式如下：

ΔE = ■? （1）

L1，L2分別圖像顏色空間L通道的原始圖像和測試圖像，a1，a2分別圖像顏色空間a通道的原始圖像和測試圖像，b1，b2分別圖像顏色空間b通道的原始圖像和測試圖像。

因此，從上述實驗環境下的測試方法可以總結出以下的依賴性問題：

1）需要ColorCheck的測試卡支持

2）對于投射式需要測試燈箱的支持

3）需要人工截圖不同顏色patch的面積

4）需要Imatest測試軟件的支持

上述四個依賴性問題對于色彩還原性計算在實際視頻監控系統中的應用帶來的巨大的障礙。因此，如何在去除上述依賴的條件下通過有效關系映射達到和實驗室測試結果一致效果成為需要研究的問題。

2? ?測試去依賴方法

受到無參考圖像質量方法啟發，如果能夠對ColorCheck的測試卡圖像如圖3所示，進行一些顏色特征提取擬合到Imatest的標準測試結果如圖4所示，則我們可以去除上述的四個依賴性問題。

2.1? ?圖像無參考質量評價相關工作

目前，圖像無參考質量評價在不用訪問原始參考圖像的基礎上實現了對圖像質量的人眼感知估計。圖像無參質量評價通常包含兩個步驟：特征提取和回歸訓練。以往的很多特征提取都是基于自然場景統計。在空間域和轉換域的自然場景統計模型被應用于質量評價的特征圖。最近，隨著深度學習的發展，很多基于深度置信網、卷積神經網路的特征提取方法也逐漸應用于質量評價的特征提取過程。在特征回歸的設計中通常采用支持向量機的回歸器（SVM regressor，SVR）[2-6]。

2.2? ?特征提取

如何進行有效的特征提取成為本文的重要工作。色彩還原性的本質是對圖像采集后的顏色恒常性的評估，是攝像機在白平衡后顏色差異的評價。顏色恒常性是指當照射物體表面的顏色光發生變化時，人們對該物體表面顏色的知覺仍然保持不變的知覺特性。顏色恒常性問題是一個典型的病態反問題。通常對一個給定的色偏圖像通過光源顏色的估計獲取色度空間的匹配。目前，經典的方法包括顏色RGB通道平均或最大響應的基于灰度世界的方法，還有假設在不同顏色通道中平均反射差異一致的灰度邊界的方法等[7-9]。

因此，考慮采用顏色恒常性中的亮度估計作為ColorCheck色卡圖像中的全局特征，同時RGB空間的SIFT點作為局部特征[10]。

2.3? ?亮度估計

首先對圖像進行對數空間變換，變換公式如下所示，

ILOG = LOG（IR，G，B）? ? ? （2）

IR，G，B為原始圖像，ILOG是變換后的圖像，LOG是對數空間算子。

受到方法[11]啟發，在圖像ILOG中獲取顏色空間的灰度像素點[11]，對圖像中像素塊大小為N = 7 × 7計算標準差變化，公式如下所示，

differ = （SDiN（x，y） - SDN（x，y））2? ? ? ?（3）

SDiN（x，y）為以像素點坐標（x，y）為中心的像素塊的標準差。

然后對標準差歸一化獲得灰度指數GP，統計中圖像中GP值為0的像素點獲取最終的灰度像素點?？紤]到像素塊計算的誤差干擾，選取最終的1%像素點P作為最終的計算對象。最終的亮度特征為P （r，g，b）。

局部特征計算我們采用SIFT來計算RGB通道的SIFT特征點，計算公式如下，

ISIFT = sift（ILOG）? ? ? ? ?（4）

最終，獲得的特征向量的集合為，

{（ f1，cr1），（f2，cr2），…，（fk，crk）}? ? ? （5）

通過回歸訓練器SVR獲得最終的

訓練模型

整個訓練算法流程如下：

1）讀取ColoCheck色卡圖像和色彩還原值;

2）圖像對數空間變換;

3）依次計算7×7的像素塊的標準差，標準差閾值小于0.1獲得候選像素點

4）對候選像素點由小到大排序選取1%的像素點，計算亮度均值，寫入特征向量

5）計算RGB空間sift特征點寫入特征向量

6）饋入回歸器計算訓練模型

整個推理算法流程如下：

1）讀取監控圖像和訓練模型;

2）圖像對數空間變換;

3）依次計算7×7的像素塊的標準差，標準差閾值小于0.1獲得候選像素點

4）對候選像素點由小到大排序選取1%的像素點，計算亮度均值，寫入特征向量

5）計算RGB空間sift特征點寫入特征向量

6）根據訓練模型獲得相應的色彩還原值

3? ?實驗分析

實驗通過測試燈箱上的顏色還原卡獲得不同色溫、不同攝像機型號的ColorCheck數據，具體測試環境如圖5所示，整個數據集由250幅色彩還原性圖像組成如圖6所示，采用Imatest對250副圖像進行色彩還原性計算，計算方式采用公式（1），如圖7所示。對所有的測試數據采用8 ∶ 2的比例進行訓練數據和驗證數據的構建。

對色彩還原性的預測值的準確性采用三個相關系數評估，分別是：SROCC（Spearman rank order correlation coefficient）、KROCC（Kendall rank order correlation coeffient）和PLCC（Pearson linear correlation coefficient）。三個系數的結果如表1所示。將算法和三個傳統經典的無參質量評價方法IL-NIQE[12]、NIQMC[13]和BRISQUE[4]做了比較，從測試結果可以發現，本方法在三個指標上都取得了最佳的效果，從實驗結果可以發現面向監控場景的圖像傳統的方法表現較差，擬合度均低于0.5，因為傳統方法多基于自然圖像分布的先驗假設來做特征設計，而監控場景的圖像采集與消費級的圖像采集在CCD/CMOS和編碼方式上都有較大差異，導致最終的特征擬合失效，而新提出的方法符合監控場景的圖像先驗概率分布具有較好的特征學習結果。因為所有算法在visual studio 2017下c++實現，單幅圖像的預測時間小于1 s，具備實際的應用的能力。在此基礎上，實際監控圖像如圖8所示進行實際場景的分析。在分析之前請3位技防專家對300幅實際監控圖像進行了色彩還原性打分，參考MOS評分系統（1-5分評價），5分為還原性最好，1分為最差。將亮度特征和SIFT特征擬合到1-5分的評價系統來判斷模型在實際系統中的準確性，在實際監控圖像中實驗發現擬合度大約在0.75左右，從而驗證了本方法在實際監控系統中評價色彩還原性的有效性。

3.1? ?存在問題和下一步工作

Imatest的分析結果科學性還有待驗證，攝像機在實際測試過程中不同型號相機的配置一致性如果保證也是在未來研究需要解決的問題。盡管本方法比傳統的質量評價方法優越，但是擬合度依然低于80%還有較大的改進空間，未來需要在色彩還原科學標注、更好的特征選取上深入開展工作來進一步提升實際的應用效果。因為監控圖像覆蓋的圖像范圍較大包括了：白天、黑夜、室內、室外等多場景，未來希望在不同場景下建立更多的訓練和測試數據集。

4? ?結? ?論

通過實驗建立了一種基于亮度估計的監控圖像的色彩還原性的測試方法，克服了目前實驗室環境下測試色彩還原性的強依賴問題，具有在實際視頻監控系統中測試的價值，可以提升視頻監控系統的驗收和評價水平。通過構建實驗室環境下ColoCheck數據集，驗證了方法的有效性?？紤]從實驗室場景到工程場景圖像模態的差別，又建立監控場景的數據集及相關標注。通過實驗驗證了算法的可行性。未來期望在數據集構建和特征提取上深入開展工作，進一步提升監控場景下色彩還原性預測的準確率。

參考文獻

[1]? ? https：//www.imatest.com/docs/colorcheck/.

[2]? ? LIN W，KUO J.Perceptual visual quality metrics：a survey[J]. Journal of Visual Communication and Image Representation，2011，22 （4）：297-312.

[3]? ? SHAO L.Non-distortion-specific no-reference image quality assessment[J]. A Survey，Information Sciences，2015，301：141-160.

[4]? ? MITTAL A，MOORTHY K，BOVIK C.No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing，2012，21 （12）：4695-4708.

[5]? ? SAAD A，BOVIK C，CHARRIER C.Blind image quality assessment：A natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing，2012，21 （8） ：3339-3352.

[6]? ? MITTAL A，SOUNDARARAJAN R，BOVIK C.Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters，2013，20 （3） ：209-212.

[7]? ? BEIGPUR S，VANDEWEJER J，RIESS S，et al.Multi-illuminant estimation with conditionalrandom fields[J]. Image Processing，IEEE Transactionson，2013，23（1）：83-96.

[8]? ? BIANCO S，CIOCCA G，CUSANO C，et al. Improvingcolor constancy using indoor-outdoor image classification[J]. Image Processing，IEEE Transactions on，2008，17（12）：2381-2392.

[9]? ? BIANCO S，SCHETTINI R. Adaptive color constancy usingfaces[J].? Pattern Analysis and Machine Intelligence，IEEE Transactions on，2014，36（8）：1505-1518.

[10]? LOWE D. Object recognition from local scale-invariant features[J].? International Conference on Computer Vision，1999：1150-1157.

[11]? YANG K，GAO S，LI Y，et al. Efficient illuminant estimation for color constancy using grey pixels[J].? Computer Vision and Pattern Recognition，2015：2254-2263.

[12]? ZHANG L，BOVIK C.A feature-enriched completely blind image quality evaluator[J]. IEEE Transactions on Image Processing，2015，24 （8） ：2579-2591.

[13]? GU K，LIN W，ZHAI G，YANG X.No-reference quality metric of contrast-distorted images based on information maximization[J].? IEEE Transactions on Cybernetics，2017，47 （12） ：4559-4565.