基于視覺顯著性的紅外與可見光圖像融合

華瑋平+趙巨峰+李夢+高秀敏

摘要：

多波段圖像融合可以有效綜合各個波段圖像中包含的特征信息。針對可見光和紅外圖像，提出了一種結合紅外圖像視覺顯著性提取的雙波段圖像融合方法，一方面旨在凸顯紅外圖像的目標信息，另一方面又盡可能的保留了可見光圖像的豐富細節信息。首先，在局部窗口內實現紅外圖像的顯著性圖提取，并通過窗口尺寸的變化形成多尺度的顯著性圖，并對這些顯著性圖進行最大值的優選疊加，以獲取能反映整幅紅外圖像各個尺寸目標的顯著性圖；其次，通過結合顯著性圖與紅外圖實現顯著性圖的加權增強；最后，利用增強的紅外顯著性圖進行雙波段圖像的融合。通過兩組對比實驗，數據表明該方法給出的融合圖像視覺效果好，運算速度快，客觀評價值優于對比的7種融合方法。

關鍵詞：

圖像融合； 紅外圖像增強； 視覺顯著性

中圖分類號： TN 911.73文獻標志碼： Adoi： 10.3969/j.issn.1005-5630.2016.04.005

Abstract：

Dual-band image fusion is able to well synthesize the feature information from the different bands.To fuse visible and infrared images，in this paper，an infrared image visual saliency detection-based approach was proposed.This method aimed to highlight the target information from infrared image，meanwhile preserve abundant detail information from visible one as much as possible.Firstly，visual saliency map was extracted within a local window，and multiple window-based saliency maps could be obtained by changing the size of local window.And the final saliency map was generated by selecting maximum value，and this map could mirror all target information in the infrared image.Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map.Finally，the enhanced saliency map was used for dual-band image fusion.Comparing with other seven methods，the experimental results demonstrate that the proposed approach could rapidly produce fused image with good visual effect，and the objective evaluation is better.

Keywords：

image fusion； infrared image； visual saliency

引言

圖像融合旨在將不同圖像的信息進行綜合，以便進一步的理解和處理。20世紀90年代以來，圖像融合技術在軍事探測、醫療成像、圖像水印等方面都有著廣泛的應用[1]。通常情況下，紅外傳感器檢測到發熱的區域一般是人們關注的目標物體，但其保持圖像細節的能力較差，而可見光圖像則包含豐富的細節信息，因而兩者互補可以有效綜合信息。

較為常用圖像融合方法是基于多尺度分解的思路，包括拉普拉斯金字塔變換（LP）[2]、雙樹復小波變換（DTCWT）[3]、非下采樣輪廓波變換（NSCT）[4]、Curvelet變換[5]等方法。這些方法需要進行上采樣和下采樣，使得圖像中的細節容易被平滑。NSCT具有多尺度、多方向選擇性、多分辨率分析和平移不變性的特點。但變換過程中各部分的系數選擇仍是一個問題，計算速度也相對較慢。

隨著神經科學、心理學等學科的發展，在研究人類視覺機制的過程中視覺顯著性和視覺注意的概念被提出。觀察者能夠利用視網膜中央凹的高分辨率感知機構，主動地探索環境中的重要視覺信息[6]，即人眼視覺系統（human visual system，HVS）。視覺顯著性反映的是視覺系統從場景中提取一系列視覺信息的能力，其能夠像濾波器一樣選擇感興趣的信息。由于視覺顯著性的提取能夠自動化地代替人眼視覺系統快速準確的搜索到場景中的顯著目標，其產生的顯著性圖能夠反映人眼視覺系統對不同場景的關注程度，這些都使得視覺顯著性的研究具有廣闊的應用前景。

在上述研究的基礎上，國內外科研人員提出了利用視覺顯著性進行圖像融合的方法。華中科技大學的陳艷菲等人通過在紅外圖像和可見光圖像中分別提取視覺顯著性的方法對雙通道圖像進行融合，取得了優于傳統圖像融合方法的結果[7]。浙江大學的研究人員也結合視覺顯著性與NSCT進行圖像融合[8]，也取得了較好的成果。

受到上述方法啟發，本文提出了中心周圍像素差異計算局部顯著性圖，并變化局部窗口尺寸以實現圖像的不重疊的顯著性提取，能夠有效的凸顯不同尺寸目標的信息；在進一步增強顯著性圖的基礎上，實現了基于顯著性圖的紅外與可見光圖像的融合。通過實驗結果的對比分析，本文方法融合效果好，計算速度快。