基于DWT和生成對抗網絡的高光譜多光譜圖像融合

孫佳敏，宋慧慧

(南京信息工程大學 自動化學院,江蘇 南京 210044)

0 引言

光譜圖像存儲了被觀測場景的不同光譜特征，廣泛應用于軍事監視、環境氣候監測和空間觀測等領域[1-2]。通常，光譜圖像主要分為2類：高光譜(Hyperspectral,HS)圖像和多光譜(Multispectral,MS)圖像。HS圖像通常包含數百個光譜波段，具有很高的光譜覆蓋率，可以準確地識別地面上的物質和物體；MS圖像通常具有較高的空間分辨率。低空間分辨率的高光譜(Low Spatial Resolution Hyperspectral,LRHS)圖像與高空間分辨率的多光譜(High Spatial Resolution Multispectral,HRMS)圖像融合具有重要意義。

LRHS和HRMS圖像融合大致可以分為2類：傳統方法和深度學習方法。傳統方法包括基于矩陣分解的方法和基于張量的方法等。Yokoya等人[3]提出基于耦合非負矩陣分解(Coupled Nonnegative Matrix Factorization,CNMF)的圖像融合算法，求解LRHS圖像的端元矩陣和 HRMS圖像的豐度矩陣，將求得的端元矩陣和豐度矩陣相乘得到高分辨率的融合結果。與基于矩陣分解的方法不同，基于張量分解的方法通常將HS圖像看作一個三維張量，高空間分辨率的高光譜(High Spatial Resolution Hyperspectral,HRHS)圖像被分割成若干圖像塊，對圖像塊聚類，劃分為對應的圖形塊集合?；谏疃葘W習的方法在計算機視覺領域取得了巨大成功，在遙感圖像處理中也得到了廣泛應用[4-11]?；谏疃葘W習的方法在復雜的非線性關系表示和高層次圖像特征提取方面具有優勢，其結果的準確性通常優于一些傳統方法。雖然這些方法在LRHS和HRMS圖像融合中取得了優異的性能，但如何有效地在空間和光譜之間傳遞信息仍然是一個挑戰，對于提高融合圖像的質量至關重要。

受文獻[12]的啟發，本文提出了一種基于離散小波變換(Discrete Wavelet Transformation,DWT)[13]和生成對抗網絡(Generative Adversarial Networks,GAN)[14]來融合LRHS和HRMS圖像的模型，包括一個生成器網絡和一個判別器網絡。在生成器網絡中，首先使用設計的DWT下采樣模塊替換部分卷積層，以減少參數量，在較小的訓練數據集上具有較好的性能，避免了模型冗余帶來的過擬合問題，而且DWT保留了圖像和特征映射中的頻域信息，更有利于紋理細節的恢復。此外，結合上采樣模塊和跳躍連接可以獲得多層特征信息。其次，在對LRHS圖像上采樣重建的過程中融合多尺度的HRMS圖像信息。生成器的輸出是融合重建的HRHS圖像。判別器網絡以融合重建HRHS圖像、真值HRHS圖像作為輸入，進一步增加了生成圖像的真實性效果。網絡的損失函數由均方誤差損失、對抗損失和焦點頻率損失[15]組成。

1 方法

理想情況下，融合重建的HRHS圖像應該與HRMS圖像具有相同的空間分辨率，與LRHS圖像具有相同的光譜分辨率。由于缺乏真實的HRHS圖像作為參考圖像，本文采用廣泛使用的Wald協議[16]。根據Wald協議，衛星直接獲取的HS圖像作為HRHS圖像。LRHS和HRMS圖像分別通過對HRHS圖像進行模糊下采樣和等間隔抽樣獲得。假設XL∈Rw×h×K表示具有K個波段數的w×hLRHS圖像，XM∈RW×H×k表示具有k個波段數的W×HHRMS圖像(w

1.1 網絡設計

1.1.1 生成器網絡

生成器網絡結構如圖1所示，包括特征提取和融合重建兩部分。

特征提取部分使用卷積塊結合DWT以減少參數數量,避免模型冗余帶來的過擬合問題。DWT可以將輸入的特征圖分解為低頻分量和高頻分量，保留了圖像和特征映射的頻域信息，更利于紋理細節的恢復。在融合重建部分，為了充分利用HRMS圖像的空間信息，采用在逐步上采樣過程中與多尺度的HRMS圖像融合的方式。LRHS圖像經過特征提取后，通過多次亞像素卷積上采樣，逐步放大到與HRHS圖像相同的空間分辨率。在融合HRMS圖像之前，使用1×1卷積將HRMS圖像的通道進行擴展。為得到多個尺度的HRMS圖像，使用MaxPooling對長和寬進行縮放。在多次亞像素卷積上采樣過程中執行上述過程，實現高光譜特征圖與不同尺度的HRMS圖像相加融合。以放大倍數為4為例，XL∈R32×32×K經過特征提取和一次上采樣后得到XL1∈R64×64×Z，XM∈R128×128×k經過1×1卷積和MaxPooling后得到XM1∈R64×64×Z，XL1與XM1相加后進行第2次上采樣，與經過1×1卷積的XM相加后送入最終的3×3卷積中，重建得到XH∈R128×128×K。

圖1 生成器網絡結構Fig.1 Architecture of generative network

近年來，小波變換與深度學習相結合得到了廣泛應用[12]。DWT將圖像分解為低頻子圖和高頻子圖，能夠提供優異的時頻局部化特征信息，具有提取圖像的邊緣、細節信息的優勢,可以在特征提取過程中全面地利用圖像的信息。特征提取部分使用了多層金字塔式卷積塊結合DWT的方法，如圖2所示，自下而上，從粗到細，通過卷積下采樣和轉置卷積上采樣得到多層的特征信息，在下采樣的同時進行二維DWT，將特征分解為低頻信息和高頻信息，在每個特征尺度上通過跳躍連接來傳遞高低頻信息。

圖2 DWT模塊結構Fig.2 Architecture of DWT module

DWT下采樣模塊和DWT上采樣模塊如圖3所示。在DWT下采樣模塊，DWT將輸入的特征圖分解為低頻分量和高頻分量。低頻分量與卷積輸出連接作為空域輸出繼續向下一個尺度傳遞，并且通過跳躍連接將低頻分量和高頻分量輸入到DWT上采樣模塊中。不僅從多個尺度學習了空域和頻域信息，而且通過跳躍連接保留了更多的紋理細節。

圖3 DWT下采樣模塊和DWT上采樣模塊Fig.3 DWT down-sampling module and DWT up-sampling module

本文使用二維Harr小波變換，二維DWT過程如圖4所示。輸入一張圖像，經過二維DWT后得到4個子帶A,H,V,D，分別對應低頻信息、水平高頻信息、垂直高頻信息和對角高頻信息。

圖4 二維DWTFig.4 Two dimensional discrete wavelet transform

1.1.2 判別器網絡

為了區分真實的HRHS圖像和融合重建的HRHS圖像，本文訓練了一個判別器網絡。網絡結構如圖5所示。真值圖像和融合重建圖像作為輸入，網絡包含7個卷積層、8個Leaky ReLU層、6個BN層、2個Dense層和Sigmoid層，最終的Sigmoid激活函數輸出真假樣本的概率值。

圖5 判別器網絡結構Fig.5 Architecture of discriminator network

1.2 損失函數

(1) 均方誤差損失

給定融合重建后的HRHS圖像和對應的真值圖像，均方誤差(MSE)損失記為：

(1)

(2) 對抗損失

為了使得到的融合圖像更趨向于真值圖像，可優化如下對抗損失，使輸出的真假概率趨同，對抗損失的定義是所有訓練樣本的判別器概率D(G(IL,IM))之和：

(2)

(3) 焦點頻率損失

在損失函數中引入了焦點頻率損失[14]LFFL，允許模型通過對容易合成的頻率分量進行降權來自適應地聚焦于難以合成的頻率分量，從而補充已有的空域損失，減少由于神經網絡固有偏差造成的重要頻率信息的損失,即：

(3)

(4) 總損失

將均方誤差損失、對抗損失和焦點頻率損失結合在一起來監督網絡的訓練，即：

Ltotal=LMSE+LADV+αLFFL，

(4)

式中，α=0.001為超參數。

2 實驗

為了驗證本文方法的有效性，選擇了3個典型數據集進行實驗，并和8個最新的融合算法進行比較。

2.1 評價指標

(1) 均方根誤差(Root Mean Squared Error，RMSE)可以比較融合圖像和真值圖像之間的差異，其定義為：

(5)

RMSE的值越小，融合圖像的質量越好。

(2) 峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)評價各波段的重建質量，是信號的最大功率與殘差功率的比值。第l個頻段的PSNR定義為：

(6)

(3) 相對全局誤差(Erreur Relative Globale Adimensionnelle de Synthèse，ERGAS)[17]提供融合數據質量的全局統計度量，最佳值為0，其定義為：

(7)

(4) 光譜角制圖(Spectral Angle Mapper，SAM)[18]通常用于量化每個像素處的光譜信息保留量，其計算式為：

(8)

2.2 數據集

本文使用了3個數據集(PU，PC，Botswana)來驗證所提出的基于DWT的GAN用于高光譜多光譜圖像融合的有效性和泛化能力。

(1) Pavia University(PU)數據集是由反射光學光譜成像系統(ROSIS)傳感器于2003年在意大利PU上空獲得的。在該數據集共有103個波段，覆蓋的光譜范圍為0.43～0.86 μm，間隔為10 nm，每個波段的圖像大小為610 pixel×340 pixel，空間分辨率為1.3 m。

(2) Pavia Center(PC)數據集是由PU數據集的相同Hyperion傳感器以與PU數據集相同的空間分辨率獲得的。它比波段數為103的PU數據集少一個波段。每個波段的圖像大小為1 096 pixel×1 096 pixel，遠遠大于PU數據集。

(3) Botswana數據集是由NASA EO-1衛星的Hyperion傳感器于2001—2004年在Botswana Okavango Delta上空獲得的。Botswana數據集共有242個波段，覆蓋的光譜范圍為0.4～2.5μm，光譜間隔為10 nm。去除噪聲波段后，剩余的145個波段保持不變，每個波段的圖像大小為1 476 pixel×256 pixel，空間分辨率為30 m。

2.3 實驗細節

對于3個數據集，裁剪中心128×128區域作為測試圖像，其余區域用于訓練。使用步長為2的128×128滑動窗口從訓練區域中提取圖像作為真值HRHS圖像。為了獲得LRHS圖像，本文使用4倍比率對HRHS圖像模糊下采樣，模糊核為5×5的高斯核，標準差為2。HRMS圖像由位于HRHS圖像中的5個圖像等間隔組成。

選擇CNMF[3]和基于張量分解(LTTR)[19]兩種傳統方法以及TFNet[20]，ResTFNet[20]，SSFCNN[21]，ConSSFCNN[21]，MSDCNN[22]和SSR-NET[23]六種深度學習方法與本文方法做比較。對于傳統方法，除數據處理外，所有參數均設置為與原始文獻相同。對于所有的深度學習模型，其輸入和輸出的通道數都是與所使用的數據集相適應的。在訓練網絡時使用Adam優化器，β1=0.9，學習率設置為10-4，批量大小16。此外，所提出的方法用Pytorch實現，并在單個GeForce GTX 2080Ti顯卡上運行。

2.4 性能比較

將本文方法與幾種最新的融合方法進行了比較，包括CNMF[3]、LTTR[19]、基于深度學習的方法TFNet[20]、ResTFNet[20]、SSFCNN[21]、ConSSFCNN[21]、MSDCNN[22]和SSR-NET[23]。TFNet和ResTFNet是雙流網絡，分別對空間特征和光譜特征進行編碼，然后利用空間特征和光譜特征的融合來解碼HRHS圖像。與TFNet相比，ResTFNet中增加了跳躍連接。SSFCNN和ConSSFCNN使用LRHS和HRMS圖像的直接級聯預測HRHS圖像。MSDCNN基于殘差學習和多尺度特征提取。SSR-NET對空間邊緣損失和光譜邊緣損失2種損失進行了優化，這2種損失是專門為空間和光譜恢復設計的。與傳統方法相比，基于卷積神經網絡(Convolutional Neural Networks,CNN)的方法性能更好，因為CNN可以自動學習高層次特征。其次，CNN的高度非線性對于在空間域和光譜域上模擬LRHS和HRHS圖像之間復雜的非線性關系具有很大的潛力。

上述所有方法的實驗結果如圖6～圖8所示，其中“GT”代表真值圖像。第一行顯示了融合的HRHS圖像的R-G-B圖像(67-29-1波段)，第二行顯示了融合的R-G-B圖像與真值R-G-B圖像之間的差異圖像，這些圖像經過偽彩色技術處理，顯示了從融合重建的HRHS圖像中選擇的R-G-B圖像以及融合R-G-B圖像與相應的真值R-G-B圖像之間的差異圖像。結果表明，LTTR的融合性能較差，光譜失真明顯，圖像模糊。與LTTR相比，CNMF成像效果更好，圖像更清晰、逼真。對于基于深度學習的方法，生成的圖像質量普遍較高。然而，在MSDCNN的結果中發現了明顯的顏色失真。與其他方法相比，ConSSFCNN的融合圖像更加模糊。與TFNet，ResTFNet，MSDCNN，SSFCNN和SSR-NET的融合效果相比，本文方法可以獲得更好的融合重建結果。

(a) CNMF

(a) CNMF

(a) CNMF

上述方法在3個測試數據集上的平均定量結果如表1～表3所示。最好的分數被標記為紅色，第二的分數被標記為藍色。

表1 不同方法在PU數據集上的融合結果

表2 不同方法在PC數據集上的融合結果

表3 不同方法在Botswana數據集上的融合結果

可以看出，對于所有4個評價指標，本文所提出的基于DWT的GAN取得了最好的性能，并且具有明顯的優勢?？傮w而言，本文所提方法在PU，PC和Botswana三個數據集上的融合性能最好。傳統的CNMF和LTTR方法的性能比深度學習方法要差。在深度學習方法中，本文方法具有更優的性能。

3 結束語

本文提出了一種基于DWT和GAN的方法用于高光譜多光譜圖像融合。與現有的基于CNN的方法不同，首先利用DWT幫助網絡獲得更多的頻域信息，同時可以減少參數數量，然后充分利用多光譜圖像的空間信息，并且在訓練中加入焦點頻率損失，縮小頻域差距。最后利用生成對抗網絡的對抗訓練特性，生成更加真實清晰的高分辨率高光譜圖像。大量實驗結果表明，本文方法在高光譜多光譜圖像融合方面具有很好的性能。由于實驗是在模擬的HRMS和LRHS圖像上進行的，因此不能確定本文方法是否適合實際應用,今后將在真實圖像上測試其性能。