融合匹配特征的立體圖像顏色校正方法

朱文婧,范媛媛,陳羽中,2

1(福州大學 計算機與大數據學院,福州 350105)

2(空間數據挖掘與信息共享省部共建教育部重點實驗室,福州 350105)

0 引 言

在雙目立體圖像拍攝過程中,受攝像機參數設置和擺放位置、拍攝環境光源分布變化以及拍攝物體表面漫反射等因素的影響,不同視點的攝影機捕獲到的同一場景的圖像可能存在著顏色和亮度差異.立體圖像對之間存在的顏色差異不僅會影響與顏色一致性相關的后期任務,還會影響后續深度信息的重建[1-3].顏色校正算法通過顏色映射關系來消除圖像組之間的顏色差異,使顏色失真的目標圖像具有與參考圖像一致的顏色分布.作為一項重要的圖像預處理技術,顏色校正已經在立體圖像/視頻顏色校正[4-8]、多視點視頻顏色校正[9-11]、圖像拼接/融合[12-17]等領域取得了廣泛的應用.

顏色校正方法的研究重點在于顏色映射函數的設計,根據顏色映射函數數量的不同,可以將顏色校正方法分為全局顏色校正方法和局部顏色校正方法兩大類.

全局顏色校正方法對目標圖像中的所有像素使用同一個顏色映射函數進行顏色校正.早期方法中的全局顏色映射函數來自于簡單的統計信息.比如,Reinhard等人最早提出的全局顏色遷移方法[18]利用Lab顏色空間中的通道不相關性,分別使用標準差和平均值對目標圖像的各個通道進行顏色轉換.Xiao等人通過引入協方差矩陣直接在RGB顏色空間中進行全局顏色遷移,規避了空間轉換造成的額外時間開銷[19].Pitie等人基于累積概率密度函數對目標圖像進行顏色校正[20].另外,還有一些全局顏色校正方法基于參考圖像與目標圖像之間的直方圖或累積直方圖計算全局顏色映射函數.比如,Yao等人提出的梯度保留顏色遷移算法[21],通過建立拉普拉斯金字塔同時最小化直方圖和梯度誤差,以保持校正結果的圖像細節不變.

這些全局顏色校正方法運行效率普遍較高,但由于全局顏色映射函數數量單一,只關注圖像的全局顏色信息,缺乏對局部信息的關注,因此無法為顏色校正提供像素級別的對應關系.這導致了這類方法在對顏色和紋理細節豐富的圖像進行顏色校正時,容易造成校正結果局部顏色不一致的問題,無法得到令人滿意的結果.

針對全局顏色校正方法存在的缺陷,局部顏色校正方法被提出.局部顏色校正方法劃分和匹配參考圖像和目標圖像之間的對應區域,對不同區域中的像素計算不同的映射函數.比如,Park等人提出的基于矩陣分解的顏色遷移方法[22]利用圖像分割和SIFT(Scale-Invariant Feature Transform)特征點[23]進行區域匹配并根據各區域的匹配特征點計算局部顏色映射函數.Zheng和Niu等人提出的基于匹配和優化的顏色校正方法[4]通過SIFT Flow匹配左右視圖特征得到密集立體匹配圖,并將其結合全局顏色校正結果得到初始校正結果,接著將顏色校正轉換為二次能量最小化問題進行求解,得到優化后的最終結果.但該方法使用的SIFT Flow的計算和優化過程耗時較長,并且當左右視圖視差變化過大時,初始結果中的結構變形難以得到合理優化.為此,Niu等人在此基礎上加入引導濾波,提出視覺一致性立體圖像顏色校正方法[5],該方法雖然能夠提高校正結果的結構一致性,但引導濾波卻降低了校正結果的清晰度.為了避免結果清晰度的降低,Niu等人提出了基于摳圖的結構一致圖像顏色校正殘差優化方法[6],將顏色校正定義為目標圖像與校正結果圖像之間的殘差優化問題,通過軟摳圖的方式優化初始化結果殘差,在維持圖像清晰度的同時保證了校正圖像的結構不變.Fan等人提出的基于深度殘差優化的立體圖像顏色校正方法[7]使用神經網絡優化MO[4]的初始校正結果,耗時過長的初始化步驟導致該方法的整體效率并未得到大的提升.Zheng等人提出基于視差注意力的端到端立體圖像顏色校正方法[8],使用視差注意力機制匹配左右視圖特征,將初始化與優化步驟統一于一個卷積神經網絡之中.該方法運行效率高,但由于視差注意力搜索方向的限制,匹配精度受場景變化影響大,應用范圍受限.

與全局顏色校正方法相比,局部顏色校正方法對不同區域細節的關注提高了其對顏色紋理復雜圖像的處理能力,但這類方法在顏色校正性能上的提升通常以犧牲運行時間為代價:一方面,局部顏色校正方法為了提供更加精細的匹配關系,需要在特征匹配步驟上花費更多的時間;另一方面,由于圖像分割、特征匹配算法的引入以及多個映射函數的作用對校正的穩定性造成了影響,大部分局部顏色方法需要對初始結果進行后續優化,以解決校正結果中的區域顏色不一致以及無匹配或誤匹配區域結構變形的問題.

為了解決現有的全局顏色校正方法和局部顏色校正方法存在的顏色校正效果和時間效率不平衡問題,本文提出了一種融合匹配特征的立體圖像顏色校正方法(Stereoscopic image Color Correction based on Matching features Fusion,SCCMF),使用卷積網絡替換傳統方法中費時的左右視圖稠密特征匹配以及繁瑣的初始結果優化步驟,從而高效地實現精準的立體圖像顏色校正.本文SCCMF方法利用基于視差注意力機制的顏色校正網絡與基于光流的圖像匹配網絡獲取立體圖像左右視圖之間的密集像素對應關系,設計圖像融合網絡優化校正結果.具體地說,先通過基于視差注意力機制的顏色校正網絡得到初始校正圖,接著使用基于光流的圖像匹配網絡計算初始校正結果到參考圖像的光流,得到光流匹配目標圖.初始校正結果能夠提高光流網絡計算光流的準確性,光流匹配目標圖彌補了視差注意力機制對垂直視差和細節匹配的不足,兩個網絡相輔相成,共同提高左右視圖特征匹配的準確性和穩定性.最后由圖像融合網絡融合參考圖像、目標圖像、初始校正圖和光流匹配目標圖的特征得到最終校正結果,融合模型采用殘差訓練的方式,引入感知損失、逐像素損失和多層級結構相似性損失,在保持校正結果清晰度的同時,進一步地提高其與參考圖像之間的顏色一致性以及與目標圖像之間的結構一致性.實驗結果證明了本文提出的立體圖像顏色校正方法的有效性、穩定性和高效性.

1 本文方法

本節介紹本文提出的融合匹配特征的立體圖像顏色校正方法.如圖1所示,本文方法主要由視差注意力顏色校正網絡(Parallax Attention based Stereoscopic image Color Correction,PASCC)[8]、基于光流的圖像匹配網絡和圖像融合網絡3個模塊構成,輸入為參考圖像(左視圖)和待校正的目標圖像(顏色失真的右視圖),輸出為目標圖像的校正結果.校正過程如下:

1)首先,將參考圖像和待校正的目標圖像輸入PASCC網絡,PASCC網絡通過視差注意力機制對左右視圖進行特征匹配和顏色校正,得到初始校正圖.本文將在1.1節介紹PASCC網絡;

2)接著,將初始校正圖和參考圖像作為預訓練光流網絡FlowNet2.0[24]的輸入,計算初始校正圖到參考圖像的光流,接著根據該光流,使用變形層(Warping layer)對參考圖像進行圖像變形得到光流匹配目標圖.由于初始校正圖與參考圖像之間的大部分亮度差異已經得到了PASCC網絡的修正,因此,使用初始校正圖計算得到的光流要比直接使用目標圖像計算的光流更加準確.1.2節將對這一階段展開更進一步地描述;

3)最后,將前兩階段得到的初始校正圖、光流匹配目標圖與參考圖像、目標圖像共4張圖像一起作為圖像融合網絡的輸入.圖像融合網絡先使用編碼器分別提取4張圖像的特征,接著對提取到的4張特征進行特征融合,最后通過解碼器進行圖像重建得到最終的校正結果.融合模型的詳細結構將在1.3節中說明.

1.1 視差注意力顏色校正網絡

視差注意力機制[25]能夠捕獲雙目立體圖像全局對應關系.視差注意力顏色校正網絡PASCC利用該機制替換傳統預處理中的立體圖像稠密匹配,在學習左右視圖對應關系的同時實現目標圖像顏色校正,具有一定的靈活性和泛化性.視差注意力機制的應用前提為圖像對只存在水平視差,因此其只在水平方向(極線方向)上為每個像素搜索最佳匹配點,這一特性雖然提高了搜索的速度,但是當圖像對不止存在水平視差時,由于無法在水平方向上搜索到對應的像素,左右視圖對應關系的學習將會受到影響,導致錯誤的顏色校正.為此,本文方法在PASCC網絡校正結果的基礎上,引入光流計算彌補視差注意力機制的不足,實現更加精準的立體圖像像素匹配.

1.2 基于光流的圖像匹配網絡

基于光流的圖像匹配網絡的輸入包括參考圖像和PASCC初始校正圖,先使用光流網絡計算參考圖像與初始校正圖之間的光流,接著根據該光流變形參考圖像,輸出光流匹配目標圖.接下來具體介紹該階段的相關內容.

光流(Optical flow)形成于目標對象的運動、成像物體(如攝像機)的運動或兩者之間的相對運動,表示處于運動狀態的目標對象在成像平面上的像素運動的瞬時速度.光流的計算需要滿足兩個假設:一是時間連續或目標對象運動幅度較小,即在短時間內同一目標對象不會出現大的位移;二是亮度恒定不變,即同一目標對象的亮度不會隨著時間變化.雙目立體圖像可以看作是攝像機進行細微的水平運動產生的光流,滿足假設1.而對于假設2,由于顏色失真的目標圖像和參考圖像之間存在亮度差異,無法滿足該假設,直接使用它們作為光流網絡的輸入將會影響光流計算的準確性.為了滿足假設2,需要盡可能地減少光流網絡輸入圖像之間的亮度差異,本文方法使用經PASCC網絡校正得到的初始校正圖替代目標圖像與參考圖像進行光流估計,從而提高光流估計的準確率.在滿足了上述兩個假設后,就能夠直接為光流計算網絡選擇預訓練過的模型,而不需要用失真的立體圖像對重新訓練模型.本文選擇預訓練的FlowNet2.0作為光流計算網絡,該模型最快能以140fps的速度得到與傳統算法精度相當的稠密光流計算結果,保證了本文方法的高效性和準確性.圖2直觀地展示了不同輸入對光流計算網絡精度的影響,其中,圖2(a)為目標圖像(失真類型為亮度+60),圖2(b)為PASCC初始校正圖,圖2(c)為理想目標圖像,圖2(d)、圖2(e)、圖2(f)分別為參考圖像和圖2(a)、圖2(b)、圖2(c)輸入預訓練FlowNet2.0得到的可視化光流圖.可以看到,與使用目標圖像計算的光流(d)相比,由初始校正圖計算的光流(e)在整體和細節上都更加接近由理想目標圖像計算的光流(f),這得益于初始校正圖(b)已經對目標圖像(a)中的顏色失真進行了一定程度地修正,在圖像整體亮度上更加接近理想目標圖像(c).

圖2 不同輸入得到的可視化光流圖對比Fig.2 Comparison of visual optical flow images obtained from different inputs

光流估計與視差注意力機制類似,通過為每個像素搜索其在另一張圖像上特征相似度最高的像素作為最佳匹配點,實現像素級別的圖像間稠密特征匹配.不同的是,光流估計的搜索空間不受視差方向的限制,能夠同時搜索水平和垂直方向的對應像素點,從而提高特征匹配的準確性和穩定性.

假設某個位于立體圖像左視圖中的像素(x,y)在右視圖中的最佳匹配點為(x′,y′),則點(x,y)的光流為:

(u,v)=(x′-x,y′-y)

(1)

其中,u和v分別表示像素(x,y)發生水平位移和垂直位移的變化率.

定義參考圖像為Iref,初始校正圖為Iinit,初始校正圖Iinit到參考圖像Iref的逆向光流(backward flow)為Finit→ref,則點(x,y)的光流可以表示為:

(u,v)=Finit→ref(x,y)

(2)

(3)

特別地,由于正向變形(forward warping)會造成像素重疊和匹配區域空洞的問題,因此本文選擇反向變形(backward warping)作為圖像變形的實現方式.本文在基于光流的圖像匹配網絡中,使用雙線性采樣層(bilinear sampling layer)[26]實現參考圖像的反向變形和無匹配區域的空洞填充.

1.3 圖像融合網絡

本文使用的圖像融合模型基于U-Net圖像分割模型[27]設計,模型的詳細結構信息如表1所示,其中,ReflectionPad表示參數為2的反射填充,LeakyReLU的泄漏因子為0.02,BN(Batch Normalization)為批量標準化,[]表示參數dim為1的矩陣拼接,TransposeConv表示卷積核為5×5的反卷積.

表1 圖像融合模型的詳細結構Table 1 Detailed structure of image fusion model

圖3 圖像融合網絡輸入圖像與輸出圖像示例Fig.3 Example of input images and output images of image fusion network

1.4 損失函數

本文使用在ImageNet數據集上預訓練的VGG19的5個激活層(relu1_1、relu2_1、relu3_1、relu4_1、relu5_1)的特征進行距離度量,得到校正結果圖像Iresult與參考圖像Iref之間的感知損失,公式如下:

(4)

其中,φi(I)表示圖像I輸入預訓練VGG19網絡時第i層激活層的特征,Ni表示第i層中的總元素數.

與感知損失計算方式類似,本文提取預訓練VGG19網絡4個激活層(relu2-2、relu3-4、relu4-4、relu5-2)的特征進行風格損失計算,具體公式如下:

(5)

(6)

其中,H和W分別為圖像的高和寬,I(x,y)表示圖像I在坐標點(x,y)處的像素值.

MS-SSIM損失提高不同尺度下圖像的結構相似程度,其計算方法用公式表示如下:

(7)

結合上述介紹的4種損失,圖像融合模型的總損失函數如下:

L=λ1Lperceptual+λ2Lstyle+λ3LL1+λ4LMS-SSIM

(8)

其中,λ1、λ2、λ3和λ4分別表示感知損失、風格損失、L1損失和MS-SSIM損失的權重.實驗中,將各損失權重分別設置為:λ1=1,λ2=1000,λ3=100,λ4=100.

2 實驗結果與分析

本節介紹本文提出的融合匹配特征的立體圖像顏色校正方法的實驗設置和細節,通過對比實驗和損失函數實驗來驗證本文方法的有效性.

2.1 實驗數據集

本文實驗使用的數據集包括Flickr1024數據集[31]、Middlebury數據集[32]和ICCD2015數據集[33],其中,ICCD2015是圖像顏色校正方法常用的數據集.由于只有ICCD2015數據集包含失真圖像對,因此使用Adobe Photoshop CS6對Flick1024和Middlebury數據集中的立體圖像右視圖進行顏色修改,將修改后的右視圖作為目標圖像用于顏色校正,顏色失真處理同ICCD2015數據集,如表2所示,共有6種失真類型,且每種失真類型包括3種修改粒度.因此,每處理一對立體圖像就可以得到18張目標圖像.將經過顏色處理的Flickr1024數據集的訓練集(包含14400張待校正目標圖像)作為本文實驗使用的訓練集,該數據集中的立體圖像質量高且涵蓋場景豐富,有助于提高立體圖像顏色校正模型的泛化能力.模型測試集則包括經過顏色處理的Flickr1024測試集(包含2016張待校正目標圖像)、Middlebury數據集(包含1224張待校正目標圖像)和ICCD2015數據集(包含324張待校正目標圖像).

表2 ICCD2015數據集中的顏色失真類型與粒度Table 2 Color distortion types and granularity in ICCD2015 dataset

2.2 實驗細節

本文模型基于Pytorch框架,Pytorch版本為0.4.0,Python版本為3.6.2,實驗環境如下:操作系統為Ubuntu16.04,處理器為Intel(R)Xeon(R)CPU E5-2620 v4 @ 2.10GHz×6,顯卡為Nvidia Tesla P100 16G×2,CUDA版本為8.0.61.融合模型使用Adam優化器進行優化,批次大小設置為16,將初始學習率設置為1×10-3,最小學習率設置為1×10-4,訓練時學習率每隔20 epoch減半,最終將訓練130 epoch的模型用于測試.對于PASCC模型,本文實驗按照工作[8]中介紹的實驗設置進行訓練.

為了豐富訓練數據的多樣性從而增強模型的泛化能力,在融合模型的訓練過程中使用數據增強策略.具體地說,先將圖像短邊縮放至400像素,等比縮放長邊,接著采用相同隨機數的裁剪方法將各組圖像對裁剪成128×128的尺寸作為輸入.

為了方便不同方法對比校正結果,測試時等比縮放測試集圖像,將其長邊縮放至512像素,等比縮放短邊.

2.3 評價指標

為了評估本文所提出的方法的有效性,本文使用18種圖像質量評價指標來進行不同顏色校正方法的性能評估,包括:MSE[34]、MAD[35]、iCID[36]、PSNR[33]、SSIM[37]、VSI[38]、CSVD[33]、GSIM[39]、FSIM[40]、UQI[41]、GSM[42]、OSS[43]、IFS[44]、FSIMc[40]、DSS[45]、DSCSI[46]、CSSS[47]和PSIM[48],其中,MSE、MAD和iCID 3個指標數值越小越好,其余指標數值越大越好.

2.4 對比實驗

2.4.1 客觀質量評價

為了驗證本文SCCMF方法的顏色校正性能,本小節使用18種圖像質量評價指標進行客觀校正效果評估,并與12種先進的顏色校正方法進行對比,包括GCT[18]、GCT-CCS[19]、ACG-CDT[49]、GPCT[21]、CHM[50]、PRM[51]、GC[52]、ICDT[20]、MO[4]、VC-ICC[5]、MROC[6]和PASCC[8].同時,為了驗證PASCC校正模型與基于光流的圖像匹配模塊結合對于融合模型的有效性,本小節設計MF方法進行對比實驗,即針對基于光流的圖像匹配網絡,不使用PASCC模型的初始校正結果替換目標圖像,直接將目標圖像和參考圖像作為光流計算網絡的輸入,得到光流和光流匹配目標圖.注意,MF方法和SCCMF方法使用的圖像融合模型結構一致,模型的輸入均為4張圖像.由于實驗數據集中存在理想目標圖像(無失真的右視圖),因此直接用其與各顏色校正方法的結果進行比較,計算指標.Flickr1024數據集和Middlebury數據集上的客觀質量評價結果分別如表3和表4所示,最好的性能分別用粗體及單下劃線、下劃線和雙下滑線表示.

表3 Flickr1024測試集中2016張目標圖像的對比結果Table 3 Comparison results of 2016 target images in the Flickr1024 test set

表4 Middlebury數據集中1224張目標圖像的對比結果Table 4 Comparison results of 1224 target images in the Middlebury dataset

通過分析表3和表4中的指標數據發現,在Flickr1024測試集中,本文提出的SCCMF方法除了在SSIM和VSI指標上略低于PASCC排名第二,在其余16個指標上都排名第一;在Middlebury數據集中,SCCMF方法在所有的18個指標上都排名第一;在這兩個數據集中,與PASCC方法相比,本文SCCMF方法在MSE、MAD、PSNR、IFS、DSS、DSCSI和CSSS這7個指標上的提升較為明顯.指標數據證明了本文SCCMF方法的有效性.特別地,SCCMF模型只在Flickr1024訓練集上進行訓練,卻同樣在Middlebury數據集上表現最優,這證明了SCCMF方法具有優秀的泛化性能.

此外,在表3和表4中可以看到,直接使用目標圖像計算光流的MF方法的性能雖然略遜于SCCMF方法,但是與PASCC方法相比也有一定的提升,綜合表現排名第二.具體地說,在Flickr1024數據集中,MF在GSIM指標上與SCCMF并列第一,在SSIM、VSI和FSIM指標上和PASCC差距微弱,排名第三,在其余14個指標上排名第二;在Middlebury數據集中,MF的PSIM指標和SCCMF一起排名第一,SSIM指標排名第三,但與排名第二的PASCC差距微弱,其余16個指標均排名第二.這些證明了PASCC校正模型與基于光流的圖像匹配模塊結合的結構的有效性,二者彼此之間能夠互相增益,共同提高顏色校正的性能.

ICCD2015數據集中的圖像截取自視頻前后幀,不是標準的雙目立體圖像對,因此該數據集中的圖像對視差方向不固定且部分場景變化較大.ICCD2015數據集上的客觀質量評價結果如表5所示,最好的性能分別用粗體及單下劃線、下劃線和雙下滑線表示.

分析表5指標數據發現,在Flicker1024測試集和Middlebury數據集上性能良好的PASCC方法在ICCD2015數據集上性能下降明顯,與表現最好的MO、VC-ICC和MROC等方法在大多數指標上都有著較大的差距,只在PSIM指標上排名第三.對比PASCC方法,本文SCCMF方法在各個質量評價指標上都有很大的提升,其中,SCCMF方法在GSIM、GSM、OSS、DSS和PSIM上排名第一,在FSIM和IFS兩個指標上排名第二,在VSI和FSIMc指標上排名第三.這證明了SCCMF方法通過在PASCC方法的基礎上引入光流網絡加強像素匹配,以及使用融合模型進一步優化結果的設計,能夠彌補視差注意力機制僅在水平視差方向上搜索對應關系的不足,提高不同應用場景下顏色校正性能的穩定性.在IC-CD2015數據集中,MROC方法有7個指標排名第一,8個排名第二;VC-ICC方法則有5個指標排名第一,8個排名第二.綜合來看,該數據集中MROC方法表現最佳,VC-ICC方法次之,而SCCMF方法與VC-ICC方法的性能也具有可比性.但是一方面,MROC和VC-ICC方法基于ICCD2015數據集設置初始化閾值,雖然在該數據集上表現良好,但在另外兩個數據集上的表現卻有所欠缺;另一方面,MROC和VC-ICC方法使用SIFT Flow算法獲得匹配圖像,犧牲了時間效率,而SCCMF方法基于卷積神經網絡實現,可以利用GPU加速,大大減少了時間成本.有關時間復雜度的對比和分析將在2.4.3節中具體介紹.

2.4.2 主觀視覺效果對比

本節將SCCMF方法同12種顏色校正方法進行主觀視覺效果對比.本文SCCMF方法能夠很好地處理3種修改粒度的六種顏色失真類型,圖4、圖5和圖6分別展示了SCCMF方法對亮度、RG通道和色度3種顏色失真類型的校正性能.為了便于觀察對比,在圖4至圖6中使用方框圈出并放大圖像中顏色校正效果對比明顯的區域.

圖4 Flickr1024數據集的視覺對比示例(目標圖像失真類型為亮度+90)Fig.4 Example of visual contrast for Flickr1024 dataset(target image distortion type is luminance+90)

圖5 Middlebury數據集的視覺對比示例(目標圖像失真類型為RG通道+90)Fig.5 Example of visual contrast for Middlebury dataset(target image distortion type is RG channel+90)

圖6 ICCD2015數據集的視覺對比示例(目標圖像失真類型為色度+60)Fig.6 Example of visual contrast for ICCD2015 dataset(target image distortion type is chroma+60)

圖4為Flick1024數據集中的顏色校正結果對比示例.觀察圖4可以發現,GCT、GCT-CCS、PRM和GC4種方法的校正結果整體顏色和理想目標圖像存在很大的偏差;ACG-CDT、VC-ICC和MROC方法校正結果中的左側樓房顏色偏暗,且后兩種方法在方框圈出的窗戶上方存在比較明顯的噪點;GPCT和PASCC方法校正得到的窗戶右邊框部分泛白;MO方法校正結果中的窗戶存在紋理結構變形;CHM方法校正得到的云朵顏色存在偏差;ICDT方法的校正結果在天空出現了偽影,云朵的偽影尤其嚴重;而本文SCCMF方法的校正結果不僅在整體顏色上與理想目標圖像保持一致,還在細節的顏色和紋理上與其最為接近.

圖5為Middlebury數據集中的顏色校正結果對比示例.通過圖5可以發現,GCT-CCS和PRM方法校正結果的整體顏色與理想目標圖像不一致;GPCT和ICDT方法的校正結果中噪聲明顯;MO方法校正結果中右下角多面體出現結構變形;只有PASCC和SCCMF方法正確且清晰地還原條紋的顏色和紋理,但PASCC方法對條紋上方區域的校正效果卻明顯不如SCCMF方法.本文SCCMF方法不僅能夠校正目標圖像的顏色,還能恢復其因顏色失真而丟失的紋理細節.

圖6為ICCD2015數據集中的顏色校正結果對比示例,特別地,由于該數據集中的圖像對來自視頻前后幀,因此參考圖像和目標圖像的場景變化較大.分析圖6可以發現,PRM方法校正結果整體顏色錯誤;13種方法中,只有PASCC和SCCMF方法正確校正了手套的顏色;13張校正結果中,只有VC-ICC、PASCC和SCCMF方法校正結果中的墻上貼圖的整體顏色和理想目標圖像接近,但VC-ICC方法模糊了貼圖的細節,PASCC方法對貼圖左下角的校正不如SCCMF方法,顏色偏淺.本文SCCMF方法在非立體圖像對的應用場景中也能正確地校正目標圖像的顏色,使其顏色和結構都盡可能地接近理想目標圖像.

2.4.3 時間復雜度對比

本小節討論本文提出的SCCMF方法的時間復雜度.CPU實驗運行環境為3.00GHzntel(R)Core(TM)i5-9500F CPU and 8.00 GB存儲器的PC機.本文方法的時間復雜度實驗環境設置同2.2節中的介紹.

挑選90張大小為512×320的目標圖像,計算單張校正時間來進行時間復雜度分析,其中,對比方法包括全局顏色校正方法GCT、GCT-CCS、ACG-CDT、GPCT、CHM和ICDT,局部顏色校正方法PRM、GC、MO、VC-ICC、MROC和PASCC.

分析表6數據可知,本文SCCMF方法0.37s的平均運行時間(包括PASCC方法的0.24s,FlowNet2.0的0.09s,圖像融合模型的0.04s)優于部分全局顏色校正方法(ACG-CDT和ICDT)和大部分局部顏色校正方法(除GC和PASCC).結合2.4.1節的客觀質量對比結果和2.4.2節的主觀視覺對比,證實了本文方法能在保持高時間效率的同時獲得更高質量的顏色校正結果.

表6 平均運行時間對比表Table 6 Average runtime comparison table

2.5 損失函數實驗

2.5.1 損失函數消融實驗

為了驗證本文方法使用的4種損失函數的有效性,本小節在Flicker1024測試集上組合損失函數進行消融實驗,消融實驗所有的設置與對比實驗相同,使用MSE、DSCSI、CSVD、PSNR和SSIM作為圖像質量評價指標.實驗結果如表7所示,最好的性能用粗體及下劃線表示,次優的性能用下劃線表示.

表7 融合模型損失函數消融實驗表Table 7 Fusion model loss function ablation experiment table

從表7中的指標數據可以發現,使用4種損失函數組合訓練的融合模型性能最優,在MSE、DSCSI、CSVD和PSNR指標上排名第一,在SSIM指標上排名第二.效果次優的是LL1和LMS-SSIM兩種損失組合訓練的模型,在SSIM指標上排名第一,在其余4個指標上排名第二.因此,可以證明本文使用4種損失函數組合訓練融合模型是最有效,能夠最優化模型的性能.

2.5.2 損失函數權重實驗

本節討論本文方法使用的4種損失函數的權重設置對融合模型的影響.權重實驗在Flickr1024數據集上進行,實驗環境和設置與對比實驗保持一致,使用MSE、DSCSI、CSVD、PSNR和SSIM作為圖像質量評價指標.2.5.1節的損失函數消融實驗已經證明了4種損失函數組合訓練的有效性,因此,本節權重實驗將感知損失的權重λ1、風格損失的權重λ2、L1損失的權重λ3和MS-SSIM損失的權重λ4的量級比例保持在λ1∶λ2∶λ3∶λ4=1∶1000∶100∶100,以保證4個損失的量級相同.實驗結果如表8所示,其中,最好的性能用粗體及下劃線表示,次優的性能用下劃線表示.

表8 融合模型損失函數權重實驗表Table 8 Fusion model loss function weight experiment table

通過觀察表8數據可以發現,感知損失權重過大會導致融合模型性能的下降,而其余3個損失函數權重的變化對融合模型的性能影響不大.因此,可以證明本文實驗λ1=1,λ2=1000,λ3=100,λ4=100的權重設置是可行的.

3 結 論

本文針對顏色校正性能和運行時間效率的平衡問題,提出了一種融合匹配特征的立體圖像顏色校正方法,基于卷積神經網絡高效地實現了高質量的立體圖像顏色校正.在視差注意力顏色校正網絡的基礎上加入基于光流的圖像匹配架構,以加強左右視圖對應像素匹配的準確性和穩定性,彌補視差注意力機制對于垂直視差和細節匹配的不足.使用圖像融合模型進一步提高校正結果與參考圖像之間的顏色一致性以及與目標圖像之間的結構一致性.在Flickr1024數據集、Middlebury數據集和ICCD2015數據集上的對比實驗證明了本文提出的SCCMF方法的有效性.