基于卷積神經網絡的遙感圖像地物分類

仇 龍

（北京科技大學資產經營公司 北京 100083）

0 引言

遙感技術是在20 世紀60 年代逐步發展起來的新興技術［1］。 通過非接觸傳感器接收目標地物的電磁波信息，遙感圖像的獲得能夠測量目標地物的幾何和物理特性，并以可視化的形式展現出來。 由于不同地物在遙感圖像中具有獨特的特征，因此可以通過提取和學習這些特征來區分不同的地面物體。 隨著遙感技術的不斷發展，遙感數據被廣泛應用于都市規劃、農林、地質、生態等行業，這些應用也在一定程度上推動了遙感技術的進步。 高光譜圖像已成為遙感技術發展的重要趨勢，相對于傳統遙感技術，高光譜遙感利用數百個成像波段，每個波段的寬度通常小于10 nm，并在某個光譜范圍內連續分布。 高光譜圖像蘊含豐富的光譜和空間信息，因此在農業、環境、監測、醫學等許多重要領域廣泛應用。 高光譜圖像分類作為上述應用中的關鍵技術，是遙感領域中的一項重要任務。

1 研究背景與基礎

在過去幾十年中，針對高光譜圖像分類的傳統方法得到了不斷發展，這些方法通過將每個像素點分類為獨特的土地覆蓋標簽，例如最大似然、最小距離、K 近鄰、隨機森林、貝葉斯模型、神經網絡等。 其中，基于核的支持向量機是最重要的分類器之一。 支持向量機通過建立最佳的超平面來分離訓練樣本，從而獲得較高的高光譜分類精度。然而，這些傳統方法通常只用來提取邊緣、紋理等淺層次特征，難以應對高光譜遙感圖像的類內差異性高和類間差異性低的挑戰。 例如，類內差異性高是指同一類別的像素在鄰域內可能具有不同的形狀，其中一些是直線形狀，而其他一些是彎曲形狀，僅從它們的淺層特征來進行判斷和分類，可能會導致這些像素被模型誤判定為不同類別。 類間差異性低是指不同類別的像素的紋理可能極其相似，模型易誤判定其為相同類別。 在這些情況下，傳統的底層特征提取方法可能無法獲得最優的分類結果。 因此，研究人員開始探索更好的高光譜圖像分類方法。

自2006 年Geoffrey Hinton 提出深度置信網絡后，深度學習得到了眾多學者的廣泛關注，深度學習的主要目的就是建立能夠模擬生物體的大腦進行分析新知識和學習所需特征的神經網絡［2］。 Yann LeCun 于1998 年設計的卷積神經網絡是深度學習的典型應用。 卷積神經網絡由卷積層、池化層和全連接層組成，是一個多層神經網絡。 近年來，各種經典模型的不斷提出使得卷積神經網絡的識別準確率持續提高，使計算機具備超越人類的識別能力。圖像可以直接作為卷積神經網絡的輸入，無需任何處理，并可進行端到端的訓練任務，省去了傳統機器學習中的手工設計特征提取和數據重建過程。 隨著深度學習技術的不斷推陳出新，遙感圖像場景分析也迎來了新的變革［3］。

目前，許多學者開展了深度學習技術在遙感圖像處理上的應用。 趙爽［4］將卷積神經網絡用于遙感影像的處理，并將其與傳統人工神經網絡方法進行對比。 劉大偉等［5］將深度學習中的深度信息網絡應用于高分辨率遙感影像的研究。 基于深度學習的高光譜遙感圖像分類方法可以提取更高層次的特征，從而獲得更好的分類結果。 與傳統的機器學習方法相比，基于深度學習的高光譜遙感圖像分類方法不僅省去了手工設計特征提取的過程，還在分類精度上有了顯著的改進。 然而，目前仍存在三個普遍的問題：第一，過度增加卷積神經網絡的層數可能會阻礙網絡的融合。 第二，大多數現有方法忽略了不同層之間的相關信息。 第三，在聯合提取光譜特征和空間特征時仍然存在一定的挑戰。 為了解決這些問題并提高分類性能，本研究構建了一種新的雙流密集殘差網絡，詳細介紹了網絡框架和一些參數設置，并在一個知名的高光譜圖像數據集上進行了實驗。 實驗結果表明，與其他先進的分類方法相比，本研究提出的雙流密集殘差網絡具有更優越的分類性能。

2 實驗數據與實驗環境

2.1 實驗數據

Indian Pines 數據集是由美國印第安納州的農林地區于1992 年使用波長范圍為0.4 ～2.5 μm 的機載可視紅外成像光譜儀，通過連續的220 個成像波段對地物信息進行收集。 該數據集實際上是一張像素分辨率為145×145 的圖像，其空間分辨率為20 m。 在實際分類中，背景像素被排除，剩下的10 249 個像素是地物像素。 這個數據集總共包含16 類地物，主要以農作物為主。 圖1 為Indian Pines 圖像的偽彩圖，由第25、19、8 這三個波段組成，顯示了真實地物標簽。

圖1 Indian Pines 數據集可視化偽彩圖（左）和真實標簽（右）

2.2 實驗軟硬件環境

為了處理高光譜遙感圖像分類問題，首先需要建立整個實驗平臺的軟硬件環境。 在軟件配置方面，本文選擇使用TensorFlow 框架，并需要在系統中配置相應的環境。 實驗將在Linux 系統下進行，因此需要配置統一計算設備架構（compute unified device architecture，CUDA）。 本文使用Windows 系統通過PyCharm 軟件進行遠程操作，并使用Python 語言編寫模型代碼。 此外，為了生成偽彩圖，本實驗還將使用MATLAB 軟件。 在硬件配置方面，本文使用一臺配備Ubuntu 系統的計算機，并配備一塊NVIDIA GeForce GTX 1080Ti 圖像處理器（graphics processing unit，GPU）。 該GPU 將提供計算能力支持，加速深度學習模型的訓練和推理過程。 通過以上軟硬件環境的搭建，可以為高光譜遙感圖像分類問題的研究提供必要的計算平臺和工具支持。

3 實驗方法

3.1 數據預處理

高光譜數據是一個具有三個維度的立方體形狀數據，包括一維光譜信息和二維空間信息。 本文的方法是通過兩個分支分別學習光譜特征和空間特征。 因此，需要對三維高光譜數據進行劃分，將每個像素塊對應的光譜向量和相鄰的空間區域送入網絡。 這里的空間相鄰區域是由三個波段組成的偽彩圖，大小為21×21 像素，由像素點及其上下左右的10 個相鄰像素組成。 主成分分析（principal component analysis，PCA）是常用的數據降維技術。 通過采用PCA 將空間分支的成百個光譜帶壓縮為三個光譜帶，不僅可以減少光譜帶的冗余，還可以減輕計算負擔。 通過PCA，保留了光譜帶的主要特征，雖然會丟棄一些光譜特征，但空間特征保持不變。 由于空間分支主要關注空間特征，因此丟棄少量光譜特征對分類結果的影響不大。

3.2 雙流密集殘差網絡結構與訓練

本文設計的雙流密集殘差網絡的整體分類系統框架如圖2 所示。 將高光譜遙感數據劃分為一系列譜向量及其相應的空間鄰域。 對于這些空間鄰域：首先引入PCA 對光譜信息進行壓縮，以提高訓練速度。 然后，將訓練數據送入雙流密集殘差網絡中，利用反向傳播來更新參數。 最后，利用最優模型的參數對測試數據進行預測。

圖2 高光譜遙感圖像分類整體框架

如圖3 所示，雙流密集殘差網絡主要由三部分組成：光譜特征學習、空間特征學習和特征融合。 所設計的網絡具有兩個分支，上面的分支輸入一維光譜向量，且該分支中所有的卷積和池化操作都屬于一維計算，用于光譜特征學習。 下面的分支輸入每一個像素對應的空間近鄰區域，且該分支中所有的卷積和池化操作都屬于二維計算，用于空間特征學習。 在空間分支中，由于高光譜數據的通道有上百個，先通過PCA 選取三個光譜帶形成偽彩圖，對所得到的偽彩圖提取空間特征。 考慮上下文信息可以提取更豐富的特征，將像素的近鄰區域塊被設置為空間分支的輸入。 為了公平比較，采用跟其他方法相同的21×21 像素塊作為空間分支的輸入。 該深度卷積網絡的兩個分支，首先通過一維／二維卷積層和池化層得到淺層特征，隨后通過密集殘差網絡得到深層特征。 同時，如圖3 中的殘差塊上方的曲線箭頭所示，通過跳躍連接將淺層特征和深層特征結合，進一步提高分類結果。 最后，將得到光譜特征和空間特征通過全連接層結合起來。 需要注意的是，最后一層全連接層的隱藏卷積神經元節點的個數必須等于分類的類別數，而且還需要通過一種常用的激活函數——Softmax函數來預測每個類的概率分布，輸出分類結果以及整體分類精度。

圖3 雙流密集殘差網絡結構圖

如圖3 所示，雙流密集殘差網絡主要由三個部分組成：光譜特征學習、空間特征學習和特征融合。 該網絡采用兩個分支的設計：上面的分支（光譜分支）接收一維光譜向量作為輸入，其中的卷積和池化操作都屬于一維計算，用于學習光譜特征。 下面的分支（空間分支）接收每個像素對應的空間近鄰區域作為輸入，其中的卷積和池化操作都屬于二維計算，用于學習空間特征。 在空間分支中，由于高光譜數據的通道數較多以及更好地捕獲上下文信息，使用經過PCA 降維后的圖像像素的近鄰區域塊作為空間分支的輸入。 為了公平比較，采用與其他方法相同的21×21 像素塊作為空間分支的輸入。 該深度卷積網絡的兩個分支首先通過各自的卷積層和池化層提取淺層特征，然后通過密集殘差網絡獲得深層特征。 同時，通過跳躍連接（如圖3 中殘差塊上方的曲線箭頭所示），將淺層特征和深層特征結合起來，進一步提高分類結果。 最后，將得到的光譜特征和空間特征通過全連接層進行融合。需要注意的是，最后一層全連接層的隱藏神經元節點數量必須與分類的類別數相等，并通過Softmax 函數輸出每個類別的概率分布，以得到分類結果和整體分類精度。

受到ResNet［6］和DenseNet［7］的啟發，這樣的結構在一定程度上減輕了在訓練過程中的梯度消失問題，并證明了增加網絡的層數可以同時提高模型的準確性。 為了實現這一目標，本文設計了密集殘差模塊，如圖4 所示。 密集殘差模塊包括淺層的特征提取層、級聯的殘差塊、密集特征融合模塊和反卷積上采樣模塊，通過殘差連接的方式，既沒有引入額外的參數，也沒有增加模型的復雜度。 具體來說，殘差塊采用了“瓶頸塊”設計，以減少參數數量。 光譜分支的殘差塊包含三個階段的卷積層，卷積核的尺寸分別為1×1、3×1 和1×1。 空間分支的殘差塊也包含三個卷積層，卷積核的尺寸分別為1×1、3×3 和1×1。 第一層的1×1 卷積將通道數從75 降低到17，最后一層的1×1 卷積將通道數恢復到75。 與傳統的普通卷積神經網絡相比，該設計將網絡的總參數減少了約95%，顯著提高了訓練效率。 為了驗證其有效性，本文還比較了具有相同層數的普通網絡，結果表明其精度達到飽和后迅速下降。 因此，本文重點關注這種結構，以增加網絡深度。 為了解決下采樣過程中卷積和池化操作導致的信息丟失問題，網絡的后端采用反卷積操作來恢復信息。 反卷積并不能完全恢復卷積前的矩陣，但可以恢復尺寸，通過自動填充以使輸出矩陣與指定的輸出矩陣形狀相同。

圖4 密集殘差網絡細節圖

同時，深度卷積神經網絡的超參數選擇非常重要。 本文通過實驗分析了殘差塊數目和殘差塊中卷積核數目對模型分類精度的影響，并得出了最優網絡的超參數配置，如表1 所示。 其中，n 表示波段數目，m 表示像素點數目。光譜分支采用一維卷積，空間分支采用二維卷積，每個殘差塊包含三個卷積層，前兩層的通道數設置為17，最后一層的通道數設置為75。

表1 網絡的超參數配置

損失函數的設計在卷積神經網絡的優化中起著至關重要的作用。 在理想情況下，損失函數能夠衡量實際輸出與期望輸出之間的接近程度，通?？梢允褂媒徊骒刈鳛榫W絡的損失函數。 交叉熵的值越小，代表兩個概率分布越接近［8］。 交叉熵公式如式（1）所示。

式（1）中n表示參與訓練的數據集樣本的個數，概率分布p（xi）為期望的模型的輸出，即標簽，概率分布q（xi）為實際的模型的輸出，H（p，q）表示交叉熵的值。 整個網絡的損失函數被定義為平均交叉熵值。 在卷積神經網絡迭代學習過程中，當損失值達到最小且基本不再變化時，可以終止訓練，即網絡參數如權重和偏差達到最佳值。 此外，為了優化學習過程，常使用Adam 算法作為優化算法，它具有高效和易于實現的特點。

4 結果與分析

在本節中，設計了實驗以重點驗證密集雙流殘差網絡在高光譜遙感圖像分類中的效果。 為了公平比較，本文的數據劃分方式將按照以前的高光譜遙感圖像分類方法的設置，從Indian Pines 數據集中隨機抽取10%的訓練樣本。

4.1 精度評價標準

為了評估神經網絡模型的性能，需要使用評價指標來確定分類結果的準確性。 一種常見的方法是將預測的分類結果與實際的標簽進行比較，從而創建一個混淆矩陣?；煜仃嘋是一個r階方陣，具有r行r列，這里r指的是類別數。 如式（2）所示，Cij表示應該分到第i類樣本卻被分到第j類樣本的所有總數。 因此，混淆矩陣對角線上的元素表示被正確分類的樣本數量，而非對角線上的元素表示被錯誤分類的樣本數量。 因此，混淆矩陣對角線上的元素之和越大，模型的分類效果就越好。 相反，如果非對角線上的元素之和較大，則模型的分類效果較差。

在高光譜圖像分類中，通常使用三個指標進行評估，即總體準確度（overall accuracy， OA）、平均準確度（average accuracy，AA）和一致性系數（Kappa）［9］。 具體而言，總體準確度OA 表示被正確分類的像素數量占整個圖像的比例，可以根據混淆矩陣計算得出［10］，如式（3）所示。平均準確度AA 是各個類別精度的平均值。 Kappa 通過對精度進行加權測量來計算，代表了一致性程度和穩健性的度量標準，也是基于混淆矩陣計算的，如式（4）所示。

式（3）、式（4）中N代表測試集像素點總數，Ni表示測試集樣本中第i類的像素點總數，r為類別數，Cii表示第i類被分為第i類的像元素，Ci＋表示第i類的真實像元素，C＋i表示被分為第i類的像元素。

4.2 實驗結果及方法比較

為了驗證所提出的方法的有效性，在實驗中將本文提出的方法與其他高光譜遙感圖像分類方法進行了比較，包括支持向量機（support vector machine，SVM）、卷積神經網絡（convolutional neural networks，CNN）、深度卷積神經網絡（deep convolutional neural networks，DCNN）、雙分支卷積神經網絡（two?branche deep CNN，Two?CNN）、像素對卷積神經網絡（CNN with pixel?pair features，CNN?PPF）和波段自適應光譜空間網絡（band?adaptive spectral?spatial Net，BASS?Net）。 為了進行公平的比較，訓練樣本選擇使用與之前方法相同的數量，從Indian Pines 數據集中隨機抽取了10%的訓練樣本用于訓練網絡。 表2 顯示了在不同方法下使用Indian Pines 數據集時的性能比較結果。 顯然，傳統的機器學習方法SVM 的性能表現不佳。 此外，CNN 方法的性能也不佳，這是因為它忽略了空間信息。 相比較于其他方法，提出的方法在性能上有所提升。 圖5 展示了所有方法的分類圖像，本文所提出的方法具有最少的誤分類像素。

表2 Indian Pines 數據集在不同分類方法下的精度

圖5 Indian Pines 數據集下不同方法的分類結果圖

5 結語

為了解決高光譜遙感圖像分類問題，本文設計了一種能高效處理有限訓練樣本的雙流密集殘差網絡。 從雙流結構、密集殘差網絡兩個方面提高了高光譜遙感圖像分類精度。 該框架包含提取光譜特征的一維密集殘差網絡和提取空間特征的二維密集殘差網絡。 將光譜特征與空間特征相結合，可以顯著提高分類性能。 通過在可公開獲取的高光譜數據集Indian Pines 上所進行的實驗表明，本文搭建的框架不但能夠提取出比其他方法更加深層次的特征。 而且與傳統的方法和其他深度學習網絡相比，本文所設計的網絡可以獲得較高的分類性能。