基于多尺度分析的圖像融合技術研究進展?

孫商文 楊 桄 劉 宇

（空軍航空大學 長春 130000）

1 引言

隨著衛星的發射數量的不斷增加，以及傳感器技術的快速發展，提升高空間、高時間、高光譜分辨率成為重要研究發展方向，與此同時系統獲取數據的多源性和信息量不斷增加，使得傳統的信息處理方法無法滿足現有技術的發展。在這種需求形勢下，圖像融合技術得到迅猛發展與提升。圖像融合是將兩個或兩個以上的傳感器在同一時間或不同時間獲取的關于某個具體場景的圖像或圖像序列信息加以綜合，以生成新的有關此場景解釋的信息處理過程［1］。圖像融合技術在軍事領域廣泛應用，如目標解譯、目標識別以及多源情報融合等，在自然資源勘探、醫學成像與診斷、地理信息管理等民用領域也應用廣泛。

早期的圖像融合方法大多選擇在圖像的空間域上進行處理，如加權平均法、主成分分析法［2］、HIS空間融合算法［3］等，僅在單一層面上進行融合，不對源圖像的分解變換，沒有發揮多分辨率遙感圖像的優勢。從20 世紀80 年代中期，學者們開始研究基于多尺度分解的圖像融合技術，基于金字塔分解的融合方法開始出現，Burt等首先提出了拉普拉斯金字塔變換（Laplacian Pyramid Transform，LP）［4］，Toet A 考慮了人類視覺系統對局部對比度敏感這一特性，提出基于對比度金字塔變換的圖像融合算法［5］；Matsopoulos G.k.采用基于形態學金字塔變換進行了CT 和MRI 圖像進行融合［6］，在醫學圖像上取得良好的進展；為了提升融合圖像穩定性和抗噪性，獲得圖像的邊緣信息，Burt P.J 提出基于梯度金字塔的融合方法［7］；到了90 年代中期，小波理論的開始應用于圖像融合，并得到很好的發展，Ranchin T 等將離散小波良好的時頻特性用于圖像融合［8］，Rockinger O 在多傳感器動態圖像的融合處理過程中使用了離散小波框架［9］；當圖像在小波包空間融合時，使用不同的處理方式應對不同的頻率范圍，Wang等提出了基于離散小波包變換和多小波變換的圖像融合算法［10～11］；Lewis J J 等提出對偶數復小波模型［12］，具有方向選擇性和平移不變性等優點。近些年，為了提高對圖像空間結構更好的表達，新的多尺度幾何分析理論（MGA）開始應用于圖像融合，一些典型多尺度幾何分析理論有梳狀波（Brushlet）變 換、脊 波（Ridgelet）變 換、曲 線 波（Curvelet）變換、輪廓波（Contourlet）變換，非下采樣輪廓波變換（Nonsubsampled Contourlet Transform，NSCT）和非下采樣剪切波變換（Non-Subsampled Shearlet Transform，NSST）［13］等，這些變換相較于小波變換能更好地描述圖像的方向和邊緣特征，解決了小波變換不能最優地逼近高維空間的信號的問題［14］，給予處理圖像數據新的思路和解決方案，也有學者在基于兩種或兩種以上的算法進行多尺度圖像融合，來獲得質量效果更好的融合圖像?；诙喑叨确治龅娜诤戏椒ń鉀Q了傳統空間域融合算法的對比度減少、光譜失真問題，最大程度地保留了源圖像的有效信息，保證了算法的可靠性和實用性，已經成為圖像融合領域的研究熱點并應用于圖像的噪聲抑制［15］、圖像的邊緣檢測以及圖像融合等眾多領域。

2 多尺度分析的圖像融合方法

多尺度分析的圖像融合方法的基本思想是對輸入圖像進行多個尺度分解變換，然后依據不同的融合規則對分解得到的高低頻子帶系數融合進行，構成一個新的圖像的多尺度組合，然后運用逆變換，得到最終的融合圖像。目前多尺度變換的方法主要有基于金字塔變換的融合方法、基于小波變換的融合方法和基于多尺度幾何理論的融合方法等。

2.1 基于金字塔變換的圖像融合方法

金字塔變換是常用的多尺度分解方法之一，金字塔變換的最高層是由低分辨率表示，其他層是由每一尺度圖像的高分辨率表示。金字塔變換的基本思想是對數據源進行多次濾波，形成金字塔式的分解結構，分析每一層的信息特點，采用不同的融合算法，得到金字塔的融合算法結構，最后逆變換得到最終的融合圖像［16］。常見的金字塔式變換有拉普拉斯金字塔、形態學金字塔、梯度金字塔、對比度金字塔和比率低通金字塔。

金字塔變換奠定了多分辨率圖像分解的理論基礎，處理圖像過程更加符合人類視覺特性。進行金字塔變換時，由于不同層次圖像間的數據具有較強的相關性，又很難確定這種相關性是圖像自身造成還是來源于冗余性，所以這種變換并不能保證不同層之間信息損失率降到最小，而且，當數據之間的差異性較大時，圖像會產生斑塊效應。雖然金字塔變換開辟了多尺度圖像融合研究基本思路，但是無方向性、不能更好地提取特征、對噪聲敏感等［17］缺陷也很明顯，同時，對復雜地物的特征不能很好地表現，也不是最優的表達方式，某種程度上限制了其應用，因此在20 世紀80 年代后期誕生的小波多尺度變換理論，成為了多尺度分析的重要理論，得到了廣泛應用。

2.2 基于小波變換的圖像融合方法

小波變換與金字塔變換的圖像處理方法原理相似，某種意義上也可以稱之為廣義的金字塔變換方法［1］?；谛〔ㄗ儞Q的圖像融合，就是對源圖像進行小波變換，將其分解在不同頻段的不同特征域上，然后在不同的特征域內進行融合，構成新的小波金字塔結構，再用小波逆變換得到合成圖像的過程［18］。傳統小波變換一般有金字塔形小波融合技術和樹狀小波融合技術，融合規則主要有兩類，一類是基于單個像素的融合規則，另一類是基于區域特征的融合規則［19］，其中，基于像素規則的方法缺少對單像素細節部分的考慮，如邊界線、紋路；而基于區域規則的方法則降低圖像的對比度，不能有效地消除影像源中的邊緣振蕩效應和噪聲干擾的現象。

小波變換是一種多尺度、多方向變換，具有方向選擇性、時頻域分辨率可變以及分析數據量小等特性，適合非線性非平穩信號處理與傳統的平穩和線性信號處理。傳統小波變換存在兩個明顯的缺點，一是融合效果會有明顯的分塊效應，二是簡單地利用低分辨率圖像的低頻部分去替換高分辨率圖像的低頻部分，會使大量高分辨率圖像的細節信息缺失。多小波、小波包、雙樹復等［20］變換對高頻部分進行細化與具體化，提取出重要細節信息，保留邊緣和紋理信息，提升融合效果和效率。小波變換仍有自身的局限性，即未能充分利用數據本身的幾何特性，實現對呈奇異特征的線或面進行“最優”的表達，或者說表達能力有限，為了彌補不足，學者們提出了多尺度幾何分析理論來提高對圖像的表達能力。

2.3 基于多尺度幾何理論的圖像融合方法

多尺度幾何變換理論是在計算機視覺、數學逼近以及統計學等計算調和分析領域中發展起來的高維分析方法，它不但擁有小波變換優良的時頻特性，還彌補了小波變換無法進行稀疏表示的缺陷。多尺度幾何分析理論（Multiscale Geometric Analysis，MGA）是一種具有非常靈活的局部特性和方向特性的多尺度圖像表示方法，能對圖像的高維奇異性和稀疏性進行很好的逼近和描述［13］。常見的多尺度幾何分析方法主要有脊波變換、曲線波變換、楔形波、條帶波、輪廓波和剪切波等。

Candes E J和Donoho D L在小波理論的基礎上提出了Curvelet 變換理論，Curvelet 目前經歷了兩代的變換［21］，Curvelet 變換具有任意角度的方向特性，在表達圖像的邊緣特征信息上效果更加突出的優勢，但是其也有較難離散化、冗余度大的問題；為了減輕變換冗余度，更好地表征二維圖像各向異性特征，M.N.Do和M.Vetterli提出了Contourlet變換［22］；K.Guo和G.Kutyniok利用合成小波理論提出了一種Shearle變換［23］，繼承了Curvelet和Contourlet變換優點并且解決了部分缺陷，Cunha A.L.等又提出了一種具有平移不變特性的Contourlet變換－非下采樣Contourlet 變 換（Nonsubsampled Contourlet Transform，NSCT），在圖像去噪和圖像增強領域中得到應用［24］。

多尺度幾何分析研究目前仍是在探索發展的階段，也是各國學者研究的熱點，仍然存在急需解決的難點。

3 融合規則

融合規則的確定是多尺度圖像融合技術的一個關鍵步驟，選擇合適的融合規則對圖像融合效果和質量有著重要的影響。多尺度分解的圖像融合的規則一般分為基于像素的融合和基于區域的融合，其中基于像素融合的規則，操作簡單，容易實現，但是缺少對單個像素與周圍像素間的信息關聯的考慮，區域內或高空間分辨率的信息有所丟失，基于區域的融合規則考慮相鄰像素之間的相關性，減少系數的錯誤選取，但是此類融合規則也存在局限性，如局部方差取大值法，當方差較少時，會使圖像的細節信息丟失，影響融合質量。以下對兩種圖像融合規則進行討論。

3.1 基于像素融合規則

兩幅待融合圖像IA和IB經過多尺度分解后，令(x，y)和(x，y)表示兩圖像經分解后的最低頻子帶系數，N 為多尺度分解的層數，(x，y)表示系數坐標；令(x，y)和(x，y)表示兩圖像經分解后的各高頻子帶系數，i=1，2，…NH（NH為圖像經分解后的高頻子帶的個數）。令(x，y)（i=1，2，…NH）、(x，y)表示經融合和處理后的圖像變換系數。

對于低頻子帶圖像系數的組合，常用以下方法:

1）選取圖像A 或B 的分解后的低頻系數作為融合后的系數，即

2）選取圖像A、B 經分解后的低頻系數的平均值作為融合后的系數，即

3）高斯模糊邏輯融合

濾波公式:

μ，ρ對應高斯函數均值和標準偏差，t為常數。

對于高頻子帶系數的組合，常用以下方法:

1）選取對應位置上系數絕對值大的系數作為融合后的系數，即

2）窗口鄰域內絕對值最大的系數作為融合后的系數［25］，如中心位置的融合系數選取自源圖像A變換選取后的系數，而其周圍鄰域內的融合系數絕大多數選取自圖像B 變換后的系數，那么中心位置的融合系數將改為圖像B 變換后的系數，反之亦然。

3.2 基于區域圖像融合規則

圖像中區域內的各像素間具有較強的相關性，局部特征可以由局部區域內多個像素變換系數來表示的，Zhang Z、Piella G等提出了基于區域的融合規則［26～27］，把每個像素都看作區域內或者邊緣上的一部分，并利用區域內和邊界上的信息來指導融合的過程?；趨^域融合規則的常用方法有區域方差法、區域平均梯度法、區域能量法［28］以及區域匹配度法等。這些方法的基本思路都相似，下面以區域方差準則法為例介紹其過程:

設圖像為I（i，j），某像素的空間位置為（i，j），在其周圍截取一個M*N 窗口區域，則區域方差公式為

其中μ表示窗口區域內像素的均值，M*N 表示窗口區域的大小。

當方差較小時，我們可以考慮進行方差加權平均法:

其中，α和β分別代表圖像A 和B 的融合權值，計算方式如下:

4 圖像融合質量評價

國內外對于圖像融合評價沒有完善統一的理論模型與方法［29］，大多數圖像融合評價方法是針對具體的應用提出的。例如同一種方法對不同的類型的圖像，融合效果差異加大；對于同一幅圖像，由于觀察者感興趣的區域不同，其融合效果的評價也不相同［30］。目前圖像融合質量評價主要分為主觀評價和客觀評價，主觀評價由圖像專家人員根據既定的評價尺度、經驗和主觀偏好或者參照一副標準圖像進行直接對圖像進行評判，評價標準一般分為非常好、好、一般、差、非常差，客觀評價由各項指標組成，一般分為以下三類:

1）第一類是反應融合圖像的整體信息保留的豐富程度，主要有信息熵、平均互信息、交叉熵［31］等參數，通過與源圖像相比較，判斷融合圖像的融合效果。

2）第二類是反應融合圖像的光譜信息保留程度，主要有光譜扭曲程度、偏差指數和相關系數等。

3）第三類是反應融合中空間細節信息加注的效果，具體指標包括標準差、空間頻率、平均梯度等，該方法簡單，只需要比較與源圖像的統計特征就可以判斷不同融合方法的優劣。

5 結語

遙感數據的大時代，圖像融合技術是重要的研究方向，具有很高的應用價值。目前學者在圖像融合技術上取得了一系列的進展和成果，但是涉及到具體應用實例上，對于復雜的融合算法、融合規則選擇和融合圖像評價以及快速數據處理等問題上仍是面臨一系列難題。筆者認為下一步研究重點方向如下。

1）目前多尺度分析的融合算法復雜、計算量大，降低了時效性，尤其在軍事應用方面，戰場態勢緊張，情報信息獲取分秒必爭，除了提升硬件設備的性能，高效實用的融合算法將是贏得主動權的關鍵一步。

2）根據源圖像類型、尺寸、內容的不同，如何對融合算法中的各種參數進行設定需要研討。如多尺度變換所使用的濾波器類型、進行分解的層數、各層的方向數；融合規則中區域窗口的大小、閾值的選取等都缺少既定規則與現成的標準。

3）圖像處理技術的快速發展，如圖像配準、特征提取、目標識別等技術的提升，將各個處理模塊整合成一套智能處理系統，增強自動化程度，減少人為主觀因素的干擾，真正實現智能融合、自適應融合。

4）增加對于視頻圖像［32］及3D 彩色圖像融合技術［33］的研究，隨著傳感器及硬件設備的提升，將獲取的大量數據進行合理有效的應用，以滿足實時性、需求性要求性更高的場合。