基于分類分塊的全色多光譜圖像比值變換融合方法

魏晴 劉晉銘 徐其志

基于分類分塊的全色多光譜圖像比值變換融合方法

魏晴1劉晉銘*2徐其志1

（1 北京化工大學，北京 100029）（2 軍事科學院國防工程研究院，北京 100036）

低分辨率全色圖像合成是全色與多光譜圖像融合的關鍵環節，決定了融合圖像的光譜色彩和空間細節品質。由于光學衛星成像傳感器的非線性光譜響應以及不同地物的光譜響應差異，導致直接利用多光譜圖像各波段合成的低分辨率全色圖像存在灰度失真，以致融合圖像產生光譜色彩失真和空間細節失真。文章首先利用一種迭代求解的聚類分析算法k均值聚類算法（k-means算法）對全色和多光譜圖像所有像素進行分類；然后根據各類像素的方差將其劃分為不同大小的子塊，利用帶約束最小二乘法計算多光譜圖像每個子塊中各個像素的加權值；最后利用加權值合成低分辨率全色圖像，并通過比值變換方法生成高保真融合圖像。文章利用QuickBird和WorldView3衛星的全色與多光譜圖像進行實驗驗證，與PNN、PanNet、FusionCNN等方法相比，該方法有效提高了融合圖像的光譜色彩和融合細節的保真度。

圖像融合 比值變換 像素分類 帶約束最小二乘法 遙感圖像

0 引言

現有光學遙感衛星往往采用全色與多光譜同時成像方式對地觀測，然而實際遙感應用需要光譜信息豐富且空間分辨率高的圖像，但由于影像信噪比與數據存儲和傳輸的限制，衛星所獲取的遙感影像的空間分辨率與光譜分辨率相互制約，無法直接獲取高分辨多光譜圖像[1]。而圖像融合可提高圖像的清晰度，且包含更多細節信息，與人和計算機的視覺相符合，有利于后續的圖像處理（分類、檢測、識別等），因此圖像融合必不可少。在圖像融合中，尤其是用比值變換方法時，融合圖像與多光譜圖像的比值等于全色圖像與多光譜圖像擬合的低分辨率全色圖像的比值，故擬合的低分辨率全色圖像的品質直接影響最終融合圖像的品質，因此低分辨率全色圖像的合成至關重要。但由于光學衛星成像傳感器的非線性光譜響應[2]以及不同地物的光譜響應差異，通過多光譜圖像各波段合成的低分辨率全色圖像容易出現灰度失真，而多光譜圖像與全色圖像的空間分辨率相差較大，若采用現有的加性變換融合方法，容易導致融合圖像產生光譜色彩失真或空間細節失真。針對全色和多光譜圖像的融合，前人已經提出了許多有效的方法[3]，如：分量替換法[4-5]，比值變換法[6]，多分辨率分析法[7]，基于概率論、模糊理論的遙感圖像融合方法和基于深度學習[8-11]的遙感圖像融合方法等。其中比值變換法算法簡單，易于實現，運算速度快，且有較好的融合效果，被廣泛應用于遙感影像融合。利用比值變換的方法實現圖像融合，融合圖像等于全色圖像與擬合的低分辨率全色圖像的比值乘以多光譜圖像，因此擬合的低分辨率全色圖像可以直接影響最終的融合結果。而由于傳感器非線性光譜響應與不同地 物間光譜響應的差異，擬合的低分辨率全色圖像容易出現灰度失真現象，最終導致融合圖像出現光譜與細節失真。

針對傳感器非線性光譜響應導致融合圖像光譜和細節失真的問題，文獻[12]根據傳感器的光譜響應特性在快速IHS方法的基礎上，對強度分量進行重構并對空間細節注入的方式進行了改進，其中IHS方法是將原始多光譜圖像從紅、綠、藍三波段空間（RGB）變換到亮度、色調、飽和度空間（IHS），然后用高分辨率圖像或用不同投影方式得到的待融合圖像替代亮度分量；文獻[13]基于分量替換的融合方法，利用多光譜波段與全色波段的多元線性回歸進行了改進，使得融合圖像具有更高的光譜品質，但在融合圖像的細節方面仍有些不足；文獻[14-16]利用全色與多光譜圖像構造線性回歸方程，并利用回歸系數構造低分辨率全色圖像，有效改善了融合圖像光譜與細節失真的問題，但由于未考慮不同地物光譜響應差異的問題，故融合圖像品質仍有待提高；文獻[17]針對不同地物光譜響應差異導致的融合圖像光譜或細節失真的問題，提出先對多光譜圖像像素進行聚類，再利用多元回歸為每類像素計算出多光譜各波段與全色波段間的權值，更好地擬合出低分辨率全色圖像，大幅減少了融合圖像光譜與細節失真的問題。本文為了更精準地擬合低分辨率全色圖像得到高保真的融合圖像，提出了一種基于分類分塊的全色多光譜圖像比值變換融合方法。該方法首先利用k-means算法[18]對全色和多光譜圖像所有像素進行分類；然后根據各類像素的方差將其劃分為不同大小的子塊，利用帶約束最小二乘法計算多光譜圖像每個子塊 中各個像素的加權值；最后利用加權值合成低分辨率全色圖像，并通過比值變換方法生成高保真融合圖像。

本文利用QuickBird和WorldView3衛星全色與多光譜圖像進行實驗驗證，并與GS[19]、Zhang的方法（利用全色與多光譜各波段多元線性回歸擬合低分辨率全色圖像并通過比值變換得到融合圖像的方法）、PNN[20]、PaanNet[21]、FusionCnn[22]方法進行比較，實驗表明，本文方法有效提高了融合圖像的光譜色彩和融合細節的保真度。

1 融合方法

本文提出的融合方法主要是基于比值變換方法實現的，比值運算就是求2張或多張影像組合的對應像元灰度值的比值計算，是遙感影像處理過程中常用的方法。目前，比值變換的融合方法主要是Brovey算法[23]，該算法簡單，計算速度較快，易于實現。

1.1 比值變換方法

比值變換方法是通過計算全色圖像與合成的低分辨率全色圖像的比值得到待注入的細節，再將求得的比值與多光譜上采樣圖像相乘，即向多光譜上采樣圖像注入細節，最終得到既具有光譜信息又具有空間細節的融合圖像，原理公式如式（1）?；诒戎底儞Q的Brovey算法，表達式見式（2）。

1.2 本文融合方法

圖1 子塊劃分示意

表1 不同波段下各類像素方差

Tab.1 The variance of various pixels in different bands

這種為不同類別的像素設定不同大小子塊并進行局部擬合的方法，可以在像素所屬不同類別的情況下，在適當的不同大小的子塊中進行權值的計算，可解決由于不同地物光譜響應差異導致擬合的低分辨率全色圖像灰度失真的問題，有效減少了融合圖像色彩失真的問題。

本文的融合方法如圖2，首先將多光譜圖像上采樣至與全色圖像相同空間分辨率，得到多光譜上采樣圖像；然后針對傳感器的非線性響應以及不同地物光譜響應差異的問題，利用k-means算法對全色和多光譜圖像所有像素進行分類，得到分類圖像；接下來利用分塊匹配計算各個像素加權值，即先根據各類像素的方差將其劃分為不同大小的子塊，再利用帶約束的最小二乘法計算多光譜圖像每個子塊中各個像素的加權值。具體步驟如下：

argmin代表取最小值。最后利用加權值合成低分辨率全色圖像，并通過比值變換方法生成高保真融合圖像。

圖2 本文方法方框圖

直接使用最小二乘法計算所得的權值會出現負數，并不符合實際情況，對此文獻[24]提出對最小二乘法增加非負的約束。為了讓權值具有更明確的物理意義，本文對最小二乘法增加了約束條件。

2 實驗數據與評價指標

2.1 實驗數據

實驗數據采用目前世界上最先提供亞米級分辨率的商業衛星QuickBird衛星的影像與DigitalGlobe商用高分辨率遙感衛星WorldView3衛星影像。實驗影像包含豐富的地物，如：植被、建筑物、道路、裸地等，可作為檢驗融合方法效果的代表性樣本。實驗中所用的QuickBird影像全色圖像分辨率為0.61m，多光譜圖像分辨率為2.44m，全色圖像大小為10 616像素×13 276像素，多光譜圖像大小為2 654像素×3 319像素，拍攝地區為北京，拍攝時間為2008年4月25日。WorldView3實驗影像全色圖像分辨率為0.31m，多光譜圖像分辨率為1.24m，全色圖像大小為8 080像素×7 482像素，多光譜圖像大小為2 020像素×1 870像素，拍攝地區為的黎波里，拍攝時間為2016年9月26日。

2.2 評價指標

為了客觀地評價不同方法的融合效果，本文選取了4種常用的評價指標對融合圖像的品質進行評估，分別是光譜角（SAM）、相對量綱為一的全局誤差（ERGAS）、峰值信噪比（PSNR）和結構相似性（SSIM）[25]。SAM通過計算參考圖像和融合圖像間的角度來評估色彩的保真度，角度越小代表色彩保真度越好；ERGAS取值越小，融合圖像品質越高；PSNR用于衡量圖像有效信息與噪聲之間的比率，評估圖像是否失真，其取值越大，融合品質越高；相對于上述常用的圖像品質評估指標，SSIM是可衡量兩幅圖像相似度的指標，更符合人眼對圖像品質的判斷。SSIM值越接近1則代表兩張圖像更為相近。

光譜角計算公式[26]為

ERGAS計算公式為

PSNR計算公式為

SSIM計算公式[25]為

3 實驗結果與分析

為驗證提出的融合方法的有效性，本文選用了GS算法、Zhang的算法、PNN、PanNet以及FusionCNN進行對比實驗。由于實驗圖像較大，本文僅展示包含植被、道路、房屋、水體等地物的局部區域融合效果。第一組實驗圖像為QuickBird影像，如圖3（a）、（b）所示，分別為512像素×512像素的全色圖像和128像素×128像素的多光譜圖像；第二組實驗圖像為WorldView3影像，如圖4（a）、（b）所示，分別為400像素×400像素的全色圖像和100像素×100像素的多光譜圖像。

如圖3所示，對于QuickBird實驗數據，利用GS、Zhang的方法、PNN、PanNet、FusionCNN和本文的融合方法得到的融合圖像相對于原多光譜圖像，分辨率均有一定程度的提高。圖3（c）為GS方法得到的融合圖像，空間細節較為清晰，但與原多光譜圖像各波段值相差較大，光譜保真不夠好，尤其是植被處失真較為嚴重；圖3（d）為Zhang提出的方法得到的融合圖像，存在局部光譜失真問題，這是由于該方法每個像素點共用同一組權值，導致擬合的全色圖像出現灰度失真；使用PNN法得到的融合圖像如圖3（e）所示，色彩與原多光譜圖像相差較大；通過PanNet和FusionCNN得到的融合圖像分別如圖3（f）和（g）所示，在建筑物、植被等處較為模糊，存在細節失真；圖3（h）為使用本文方法得到的融合圖像，整體光譜與細節保真度都較高。圖3（i）～（p）為局部細節放大圖，可觀察到本文提出的方法在建筑物處色彩與原多光譜圖像更為相近，且空間細節清晰，即本文方法在空間細節與光譜的保真方面均有一定優勢。為驗證本文方法在其他數據集上也能得到高保真的融合圖像，同理，對WorldView3實驗影像進行了同樣的處理，其融合結果及局部細節如圖4所示?？砂l現本文提出的方法光譜保真最優且更好地保留了全色圖像的空間細節。

圖3 QuickBird實驗圖像融合結果及局部細節

圖4 WorldView3實驗圖像融合結果及局部細節

表2和表3分別為QuickBird和WorldView3實驗影像融合圖像的評價指標結果。通過對比各指標的評價結果發現本文提出的方法在四種融合品質評估指標下均獲得了最佳值，即本融合方法在光譜保真與細節保真方面優于其他對比方法。

表2 QuickBird影像融合圖像品質評估結果

Tab.2 The quality assessment results of QuickBird fused images

表3 WorldView-3影像融合圖像品質評估結果

Tab.3 The quality assessment results of WorldView-3 fused images

4 結束語

在利用比值變換法進行全色和多光譜圖像融合時，融合圖像等于全色圖像與擬合的低分辨率全色圖像的比值乘上采樣的多光譜圖像，因此低分辨率全色圖像的合成決定了融合圖像的品質。當前融合方法多存在著融合圖像光譜色彩失真或空間細節失真的問題，這是由于當前算法欠缺對傳感器非線性響應帶來的問題的處理，以及不同地物光譜響應差異導致擬合低分辨率全色圖像存在灰度失真問題。針對上述問題，本文提出了一種基于分類分塊的全色多光譜比值變換圖像融合方法。該方法與先前方法的不同之處在于，利用了局部擬合的思想，用帶約束最小二乘法為每一個像素點計算出一組權值，使得擬合的低分辨率全色圖像更精準且更具物理意義，最終得到高保真的融合圖像。通過QuickBird和WorldView3衛星全色與多光譜圖像進行實驗，與當前最新方法相比，本文提出的方法有效改善了融合圖像色彩與細節失真的問題，可以得到高保真的融合圖像。本方法中，大量的像素點的計算導致算法速度較慢，后續還需改進。

[1] 張良培, 沈煥鋒. 遙感數據融合的進展與前瞻[J]. 遙感學報, 2016, 20(5): 1050-1061.

ZHANG Liangpei, SHEN Huanfeng. Progress and Future of Remote Sensing Data Fusion[J]. Journal of Remote Sensing, 2016, 20(5): 1050-1061. (in Chinese)

[2] THOMAS C, RANCHIN T, WALD L, et al. Synthesis of Multispectral Images to High Spatial Resolution: A Critical Review of Fusion Methods Based on Remote Sensing Physics[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(5): 1301-1312.

[3] 張立福, 彭明媛, 孫雪劍, 等. 遙感數據融合研究進展與文獻定量分析(1992-2018)[J]. 遙感學報, 2019, 23(4): 603-619.

ZHANG Lifu, PENG Mingyuan, SUN Xuejian, et al. Progress and Bibliometric Analysis of Remote Sensing Data Fusion Methods (1992-2018)[J]. Journal of Remote Sensing, 2019, 23(4): 603-619. (in Chinese)

[4] 王文卿, 劉涵, 謝國, 等. 改進空間細節提取策略的分量替換遙感圖像融合方法[J]. 計算機應用, 2019, 39(12): 3650-3658.

WANG Wenqing, LIU Han, XIE Guo, et al. Component Substitution-based Fusion Method for Remote Sensing Images via Improving Spatial Detail Extraction Scheme[J]. Journal of Computer Applications, 2019, 39(12): 3650-3658. (in Chinese)

[5] 潘瑜, 徐麗燕, 王靜, 等. 基于多重集典型相關分析的圖像融合方法[J]. 航天返回與遙感, 2011, 32(3): 69-76.

PAN Yu, XU Liyan, WANG Jing, et al. An Image Fusion Method Based on Multi-set Canonical Correlation Analysis[J]. Spacecraft Recovery & Remote Sensing, 2011, 32(3): 69-76. (in Chinese)

[6] LI X, XU Q, GAO F, et al. Pansharpening Based on an Improved Ratio Enhancement[C]//2015 IEEE International Geoscience & Remote Sensing Symposium, July 26-30, 2015, Milan, Italy. IEEE, 2015.

[7] LI H, JING L. Improvement of MRA-based Pansharpening Methods through the Considerasion of Mixed Pixels[C]//IGARSS 20182018 IEEE International Geoscience and Remote Sensing Symposium, July 22-27, 2018 Valencia, Spain. IEEE, 2018.

[8] WEI Y, YUAN Q, SHEN H, et al. Boosting the Accuracy of Multispectral Image Pansharpening by Learning a Deep Residual Network[J]. IEEE Geoscience & Remote Sensing Letters, 2017, 14(10): 1795-1799.

[9] LIU X, WANG Y, LIU Q. PSGAN: A Generative Adversarial Network for Remote Sensing Image Pan-sharpening[J]. IEEE International Conference on Image Processing, 2020(99): 1-16.

[10] HE L, RAO Y, LI J, et al. Pansharpening via Detail Injection Based Convolutional Neural Networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019(4): 1-17.

[11] YANG Y, TU W, HUANG S, et al. PCDRN: Progressive Cascade Deep Residual Network for Pansharpening[J]. Remote Sensing, 2020, 12(4): 676.

[12] 徐佳, 關澤群, 何秀鳳, 等. 基于傳感器光譜特性的全色與多光譜圖像融合[J]. 遙感學報, 2009, 13(1): 97-102.

XU Jia, GUAN Zequn, HE Xiufeng, et al. Novel Method for Merging Panchromatic and Multi-spectral Images Based on Sensor Spectral Response[J]. Journal of Remote Sensing, 2009, 13(1): 97-102. (in Chinese)

[13] AIAZZI B, BARONTI S, SELVA M. Improving Component Substitution Pansharpening through Multivariate Regression of MS +Pan Data[J]. IEEE Transactions on Geoence & Remote Sensing, 2007, 45(10): 3230-3239.

[14] ZHANG Y. System and Method for Image Fusion: U.S. 7340099[P]. 2008.

[15] 王忠武, 趙忠明, 劉順喜. IKONOS圖像的線性回歸波段擬合融合方法[J]. 遙感學報, 2010, 14(1): 43-54.

WANG Zhongwu, ZHAO Zhongming, LIU Shunxi. Band Simulation Based Pan-sharpening Algorithm by Linear Regression for IKONS Imagery[J]. Journal of Remote Sensing, 2010, 14(1): 43-54. (in Chinese)

[16] DAI, Q. Context Adaptive Panchromatic Band Simulation and Detail Injection for Image Pansharpening[J]. Journal of Applied Remote Sens, 2018, 12(1): 1.

[17] XU Q, ZHANG Y, LI B, et al. Pansharpening Using Regression of Classified MS and Pan Images to Reduce Color Distortion[J]. IEEE Geoscience & Remote Sensing Letters, 2015, 12(1): 28-32.

[18] WONG J. Algorithm AS 136: A K-means Clustering Algorithm[J]. Journal of the Royal Statistical Society, 1979, 28(1): 100-108.

[19] LABEN C A, BROWER B V. Process for Enhancing the Spatial Resolution of Multispectral Imagery Using Pan-sharpening: U.S. 6011875[P]. 2000.

[20] GIUSEPPE M, DAVIDE C, LUISA V, et al. Pansharpening by Convolutional Neural Networks[EB/OL].[2021-05-30]. https://www.researchgate.net/publication/305338139_Pansharpening_by_Convolutional_Neural_Networks.

[21] YANG J, FU X, HU Y, et al. PanNet: A Deep Network Architecture for Pan-sharpening[C]//2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. IEEE, 2017.

[22] YE F, LI X, ZHANG X. FusionCNN: A Remote Sensing Image Fusion Algorithm Based on Deep Convolutional Neural Networks[J]. Multimedia Tools and Applications, 2018, 78(11): 14683-14703.

[23] TU T, LEE Y, CHANG C, et al. Adjustable Intensity-hue-saturation and Brovey Transform Fusion Technique for IKONOS/QuickBird Imagery[J]. Optical Engineering, 2005, 44(11): 116201-1-116201-10.

[24] 郝紅勛, 何紅艷, 張炳先. 基于非負最小二乘法的全色與高光譜圖像融合[J]. 航天返回與遙感, 2019, 40(4): 105-111.

HAO Hongxun, HE Hongyan, ZHANG Bingxian. Panchromatic and Hyperspectral Images Fusion Based on Non-negative Least Squares Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 105-111. (in Chinese)

[25] WANG Z. Image Quality Assessment: From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[26] 劉萬軍, 楊秀紅, 曲海成, 等. 基于光譜信息散度與光譜角匹配的高光譜解混算法[J]. 計算機應用, 2015, 35(3): 844-848.

LIU Wanjun, YANG Xiuhong, QU Haicheng. Hyperspectral Unmixing Algorithm Based on Spectral Information Divergence and Spectral Angle Mapping[J]. Journal of Computer Applications, 2015, 35(3): 844-848. (in Chinese)

Panchromatic and Multispectral Image Fusion by Ratio Enhancement Based on Classification and Block

WEI Qing1LIU Jinming*2XU Qizhi1

（1 Beijing University of Chemical Technology, Beijing 100029, China）（2 National Defense Engineering Research Institute of Academy of Military Science, Beijing 100036, China）

The synthesis of low-resolution panchromatic image is a key step in panchromatic and multispectral image fusion, it determines the spectral and spatial quality of the fused imagery. Due to the nonlinear spectral response of optical satellite sensor and the differences in spectral response of different ground objects, the low-resolution panchromatic image synthesized by each band of the multispectral image has gray-scale distortion which causes the spectral and spatial distortion of fused imagery. The proposed method firstly usedan iterative solution clustering analysis algorithm, namely k-means algorithm to classify all pixels of panchromatic and multispectral images; then divide them into sub-blocks with different sizes according to the variance of each class of pixels, after that, each pixel′s weights in each sub-block of the multispectral image are calculated by constrained least square method; finally, the weights are used to synthesize the low-resolution panchromatic image, and the high-Fidelity fused imagery is generated by ratio enhancement. This paper uses the panchromatic and multispectral images of QuickBird and WorldView3 satellite for experimental verification. Compared with PNN, PanNet and FusionCNN, the proposed method effectively improves the fidelity of the fused imagery's spectral color and fusion detail.

image fusion; ratio enhancement; pixel classification; constrained least square; remote sensing image

V445

A

1009-8518(2021)05-0108-10

10.3969/j.issn.1009-8518.2021.05.012

魏晴，女，1997年生，現為北京化工大學計算機科學與技術專業在讀碩士研究生，主要研究方向為遙感圖像融合處理。E-mail：weiqing@mail.buct.edu.cn。

劉晉銘，男，1991年生，2019年獲中國人民解放軍陸軍勤務學院計算機應用技術專業博士學位。主要研究方向為國防工程的測量與規劃技術。E-mail：xqzlab@buaa.edu.cn。

2020-12-28

國家基金面上項目（61972021，61672076）

魏晴, 劉晉銘, 徐其志. 基于分類分塊的全色多光譜圖像比值變換融合方法[J]. 航天返回與遙感, 2021, 42(5): 108-117.

WEI Qing, LIU Jinming, XU Qizhi. Panchromatic and Multispectral Image Fusion by Ratio Enhancement Based on Classification and Block[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(5): 108-117. (in Chinese)

（編輯：龐冰）