基于魯棒主成分分析法的紅外可見光圖像融合

楊 彬，黃潤才，王從澳

（上海工程技術大學 電子電氣工程學院，上海 201620)

0 引言

隨著傳感器技術的發展,圖像融合技術也隨之發展。由于其工作原理的性質,單個傳感器捕獲的圖像信息不足而造成圖像不完整、模糊不清等問題,而圖像融合就是結合多個傳感器的工作特性,在同一場景獲得的多幅圖像根據其特性進行優勢互補,剔除冗余信息結合為一副對該場景描述更清晰、更完整的圖像[1]。在圖像融合范圍內紅外可見光圖像融合也是占據不小地位。紅外傳感器主要根據熱量輻射的工作原理來得到圖像,對目標場景中與背景溫度差別比較大的物體特別敏感,不易受到干擾。相比可見光傳感器依據光反射原理所得到的圖像在視覺和圖像信息方面明顯較好,但易受到外界因素所影響[2]。則根據這兩者的優缺點可以將紅外和可見光圖像融合而得到視覺效果好、信息更完整的圖像。

根據融合層次不同,圖像融合可分為像素級融合、特征級融合和決策級融合[3]。像素級融合得到的圖像細節信息更豐富,但數據量較大實時性差。特征級融合處于中間層次,在提取特征信息基礎上,數據量較少過程會損失細節信息。決策級融合為最高級,具有很高靈活性和容錯性,但也會損失細節信息。近年來隨著圖像融合技術的發展,相繼出現了小波變換[4]、Contourlet變換[5]、非下采樣Contourlet變換[6]和主成分分析法[7],這些方法雖然都能夠很好的表達圖像的信息,但是較容易導致源圖像細節信息丟失。

脈沖耦合神經網絡PCNN（pulse coupled neural network）因其耦合與同步脈沖的特性而在圖像融合領域廣受應用。近些年,關于PCNN的圖像融合方法也是成為熱點,其中Wang[8]等人提出的基于Curvelet域自適應PCNN的圖像融合方法也是明顯增強了PCNN的自適應能力。模糊邏輯主要思想是使用隸屬度函數等變量去處理那些界限不清晰的問題[9],對于問題歸宿給出隸屬程度,在處理非確定性問題上有著傳統方法所沒有的優越性和高效性,所以可以采用模糊邏輯來解決低頻系數圖像融合過程的不確定問題。在稀疏分量,選用自適應PCNN對稀疏分量融合。最后將融合后的低秩分量和稀疏分量疊加起來得到融合后的圖像。

1 相關背景

1.1 RPCA

魯棒主成分分析法（Robust Principal Component Analysis,RPCA）是一種新的低秩矩陣恢復模型[10],RPCA將數據矩陣分解為低秩矩陣和稀疏矩陣的疊加,低秩分量擁有源圖像的背景信息,稀疏分量擁有源圖像的顯著信息。相比于PCA（Principal component analysis）主要目的也是想找出一個低秩矩陣A,使得A與D矩陣之間的差異最小[12],約束模型如下：

式中,s.t.表示約束條件,r表示子空間的目標維數,r≤min(m,n),E矩陣是D與A矩陣的差。RPCA主要思想是想將數據矩陣分解為低秩矩陣和稀疏矩陣在一個最優化準則下的疊加,給定一個數據矩陣M∈Rm×n,可表達為：

其中L為低秩矩陣,S為稀疏矩陣。魯棒主成分分析約束模型可表示為：

圖1 本文融合算法流程圖

其中L為低秩矩陣,S為稀疏矩陣,M表示原數據矩陣,||·||*表示核范數,||·||1表示L1-范數,一般λ取值

1.2 模糊邏輯

模糊邏輯是一種利用隸屬度函數等清晰的數學語言來描述模糊概念的方法,方法簡便且靈活。在圖像融合過程中,對于不同目標場景來說,想要確定像素區域是屬于目標或者背景,這是一個典型的不確定事件。對于這種不確定性我們可以通過定義模糊隸屬度函數來進行定量描述,模糊隸屬度函數定義可表示為：

其中U為論域（即所有研究對象構成的集合）,A為U中的模糊集合,μA(A)是x對A集合的隸屬度,取值為0～1之間。

本文使用的是在高斯函數基礎上構造的隸屬度函數,高斯隸屬度函數表達式為：

其中μ為該函數的中心,σ決定了該函數的寬度,通常為正。

1.3 PCNN簡化模型

PCNN與傳統神經網絡相比不同的是不需要經過訓練即可從復雜的背景下提取出有效信息[13],是受動物大腦皮層細胞處理視覺信號啟發而產生的。PCNN由多個神經元連接而成,每個神經元由接受域、耦合調制域和脈沖發生器三部分組成,簡化PCNN模型如下所示：

式中：(i,j)表示像素坐標；Sij為外部輸入刺激；n為迭代次數；Wijkl為連接權系數矩陣元；kl為神經元與周圍鏈接的范圍；Fij、Lij、θij和Uij分別為神經元的反饋輸入、鏈接輸入、動態閾值和內部活動項；VL、Vθ分別為鏈接輸入和變閾值函數的放大系數；αL、αθ為時間衰減常數；β為鏈接強度；Yij為PCNN的脈沖輸出,當Yij(n)輸出為1、0時表示點火狀態和未點火狀態,點火輸出幅度總和為：

2 融合規則

在圖像融合中融合規則的選取也是占據不小地位,RPCA將源圖像分解為低秩分量和稀疏分量。低秩分量主要擁有源圖像的背景信息,選擇局部區域能量和模糊邏輯隸屬度函數相結合的方法；稀疏分量主要擁有源圖像的顯著信息,選用自適應PCNN對稀疏分量融合。本文算法的主要過程如下：

1）對源圖像X1和X2分別進行預增強得到I1和I2。

2）采用RPCA分別對I1和I2分解,得到相應的低秩矩陣和,稀疏矩陣S1和S2。

3）對低秩分量L1和L2選擇局部區域能量和模糊邏輯相結合的方法,通過高斯隸屬度函數計算局部區域能量得到模糊函數中的權重系數,進而得到融合后的低頻系數。

4）對于稀疏分量S1和S2,主要表達了源圖像的顯著信息,選用自適應PCNN對稀疏分量融合,以信息熵作為反饋輸入來調節自適應PCNN參數。

5）通過疊加融合后的低秩分量和稀疏分量來得到融合后的圖像。

2.1 紅外可見光圖像的預增強

在圖像融合中,圖像的預處理能較為有效地提高圖像的顯著信息,而有著更好的融合效果。調節圖像的對比度,紅外可見光圖像分別可以更好的表現紋理信息和更好的提升圖像的清晰度。本文使用Q函數[14]來調節圖像的對比度,可以看到大于的像素會被放大,而小于的像素則被減小,其定義為：

式(13)中：A(i,j)為源圖像的像素灰度值；μ為圖像的平均像素值；Q(i,j)為對比度拉伸后的像素灰度值；kA為拐點參數。

2.2 低頻融合規則

低頻系數主要擁有源圖像的背景信息,通過高斯隸屬度函數計算局部區域能量得到模糊函數中的權重系數,這里選擇3×3的窗口,得到紅外圖像的局部區域能量變換矩陣EA：

其中,

CA(i,j)是紅外圖像的像素值；sign(i,j)是局部區域能量的符號參數；Wg(a,b)為高斯加權矩陣。

計算局部能量變換矩陣EA(i,j)的均值Eμ及Eθ方差,利用高斯模糊函數來計算權重系數：

其中k∈(1,3),根據經驗,通常選擇1.5。

最后,得出低頻系數融合圖像如下所示：

2.3 高頻融合規則

稀疏分量主要表達了源圖像的顯著信息,我們可以選擇自適應參數脈沖耦合神經網絡對稀疏分量進行融合。由于信息熵代表著圖像信息量的豐富程度,所以我們可以選擇用信息熵作為PCNN的外部輸入。局部信息熵的表達式如下：

其中PE(i)表示點對應的像素值在Rx所占比例,Rx是x為中心的局部區域。同理得到紅外可見光稀疏子帶各自的信息熵HA(i,j),HB(i,j),將兩者歸一化到[0,1]之間,作為PCNN的輸入。

接著設定PCNN初始值Lij[0]=Uij[0]=θij[0]=Yij[0]=0,由式(7)～式(10)得出自適應PCNN的值,由式(11)得到點火輸出幅度總和,根據迭代次數運行式(6)、式(7)直到結束,則可得到為紅外可見光子帶的點火次數,則可得最終融合結果為：

3 實驗結果及分析

為了驗證本文算法的可用性,在這里我們使用兩組紅外和可見光圖像進行實驗,實驗使用的圖像來自于標準圖像數據集,選取基于小波變換的圖像融合（WT）[4]、基于NSCT變換的圖像融合[6]、基于PCA的圖像融合[7]這三種經典融合算法作為對比。測試平臺：Inter(R) Core(TM) i5-5200U CPU,2.20GHz,NVIDIA GeForce 820M顯卡,Windows10系統,在Matlab R2016a軟件上進行仿真實驗。

3.1 主觀評價

主觀評價是直接通過人眼來觀察融合圖像的邊緣、輪廓信息。圖2是夜晚的街道一角,可以看到,圖2(c)～圖2(f)在圖像融合都有一定的效果,不過明顯觀察到圖2(e)整體場景較暗,難以觀察到街道處的整體信息；在圖2(e)基礎上圖2(c)和圖2(d)對于整體亮度有一定的提升,但是在行人、廣告牌和汽車細節方面處理還不夠好,而本文算法在此方面明顯整體圖片亮度有了提升,在圖片整體細節和視覺效果都比較好。圖3是白天海面上的游船,可以看出,圖3(e)也是整體場景較暗,很難觀測出整個船體信息；而圖3(c)和圖3(d)相較于圖3(e)在整體亮度上有了不小提升,但是目標信息還是不夠明顯,周圍的海平面也比較模糊,而該算法在整體亮度上表現較好,在海平面和船體方面也更加清晰。圖4是白天的戶外一角,可以看到圖4(e)也是整體較暗,圖4(c)圖4(d)在亮度方面有了部分提升,但在人、樹木和房子處也是比較模糊,相比之下本文算法在整體亮度和人、樹木和房子處清晰度都比較好,有著較好的視覺效果。

圖2 第一組融合圖像

圖3 第二組融合圖像

圖4 第三組融合圖像

3.2 客觀評價

由人眼直接觀察得出的結果由于個人或環境因素影響往往會導致圖像效果評價的不準確,為了避免這種情況,一般會進一步對融合結果圖像進行客觀的定量分析,這里選用的客觀評價指標有信息熵（Information Entropy,IE）、平均梯度（Average Gradient,AG）、標準差（Standard Deviation,SD）和空間頻率（Spatial Frequency,SF）。IE表示圖像的信息量,AG表示圖像清晰度,SD表示圖像像素灰度值與平均灰度值的差距大小,SF反映了融合圖像空域的總體活躍度。這四種圖像指標都是值越大說明圖像效果越好。由表1、表2和表3可以知道本文融合圖像在信息熵、平均梯度、標準差和空間頻率這四種指標上和傳統融合算法相比都比較好,由此可以印證本文算法的可用性。

表1 第一組圖像融合指標比較

表2 第二組融合圖像客觀評價

表3 第三組融合圖像客觀評價

4 結語

為了更好的將紅外圖像的目標信息與可見光圖像的背景信息結合起來,提出一種基于RPCA和模糊邏輯的紅外可見光圖像融合算法。首先使用RPCA將紅外可見光圖像分解為低秩分量和稀疏分量,低秩分量主要擁有源圖像的背景信息,所以我們利用區域能量和模糊邏輯隸屬度函數得出權重系數,從而得到融合的低秩分量；稀疏分量主要擁有表達了源圖像的顯著信息,選用自適應PCNN對稀疏分量融合,以信息熵作為反饋輸入來調節自適應PCNN參數。最后由融合后的低秩分量和稀疏分量疊加得到融合后的圖像。實驗結果表明,與其他經典算法相比,本文的融合算法在融合指標和視覺效果上性能都更好。