利用DBN與LBP的多光譜遙感圖像分類

劉松林，李新濤，鞏丹超，郭 麗

1.西安測繪研究所，陜西 西安，710054;

2.地理信息工程國家重點實驗室，陜西 西安，710054;

3.測繪信息技術總站，陜西 西安，710054

1 引 言

遙感圖像分類是對圖像中每個像素劃分類別的過程，它在地理信息數據庫更新、城市規劃、災情檢測等方面具有重要的研究意義[1]。隨著遙感技術的不斷進步，可以獲得的遙感圖像種類越來越多，地物的光譜和紋理等特征也越來越豐富。圖像中大量細節的出現和地物光譜特征的復雜化，導致了傳統統計分類方法的準確率降低。

基于此，研究者將機器學習算法如神經網絡(neural network，NN)、支持向量機(support vector machine，SVM)等[2]應用于圖像分類，并且在分類過程中加入光譜或紋理等特征。然而SVM和NN均為淺層學習算法，難以有效地表達復雜函數[2]，所以隨著訓練集數量和多樣性的增加，淺層模型逐漸無法適應。而由多層非線性映射層組成的深度學習網絡擁有強大的函數表達能力，在圖像和場景分類等應用中具有很好的效果[3-8]。

深度學習可以看作是神經網絡的發展，它模擬大腦的學習過程，通過對輸入數據從低層到高層漸進地進行特征提取，最終形成適合分類處理的特征。2006年，Hinton等采用深度網絡模型實現了數據的降維和分類[3]，并指出深層的網絡結構可以學習到數據更為本質的特征，分類性能更強。當前，主要的深度學習網絡有深度置信網絡(deep belief network，DBN)和卷積神經網絡(convolutional neural network，CNN)等。文獻[4]將SAR圖像相關矩陣的對角線元素作為DBN的輸入，進行SAR圖像分類，取得了優于SVM的分類效果。文獻[5]首先提取圖像的空間和光譜特征，并將其首尾相接形成空譜聯合特征，然后采用DBN對該聯合特征進行協同解譯，獲得了很好的解譯效果，尤其是對于道路和樓房兩類地物有明顯的改善。文獻[6]綜合利用圖像的光譜和紋理特征，有效提高了基于DBN的高分辨率遙感圖像的分類精度。針對由于數據量小而導致的遙感圖像場景分類精度不足的問題，文獻[7]融合輪廓波變換和CNN，設計了一種基于多尺度CNN的分類方法，提高了遙感圖像場景分類結果。文獻[8]首先使用PCA Saliency檢測圖像中的顯著性區域，然后利用CNN和SVM實現了高分辨率遙感圖像的場景分類。

受上述文獻啟發，本文通過在圖像中提取局部二值模式(local binary pattern，LBP)紋理特征[9，10]，設計了一種利用深度置信網絡(DBN)的多光譜遙感圖像分類方法。

2 DBN模型

深度置信網絡由一層或多層無監督的受限波爾茲曼機(restricted Boltzmann machine，RBM)和一層有監督的反向傳播(back propagation，BP)神經網絡組成，其結構如圖1所示。DBN的訓練過程包括“預訓練”和“微調”兩個過程?！邦A訓練”通過無標簽樣本來進行，是一種無監督方式，采用貪婪算法逐層進行優化，每層RBM的參數單獨進行調整，前一層RBM訓練完成后，將其輸出作為下一層RBM的輸入。預訓練完畢后，采用有監督學習方式對最后一層的BP網絡進行訓練，并將網絡預測輸出與實際真值標簽的誤差逐層反向傳播，對整個DBN網絡的權值進行“微調”。這時可以將DBN看作是一個普通的神經網絡，但與傳統神經網絡不同的是各層的權重是通過預訓練得到，而并非隨機初始化。這使得DBN能夠克服傳統神經網絡因權值參數隨機初始化而引起的局部最優解和訓練時間過長的缺點[6]。

圖1 DBN結構示意圖

RBM本質上是一種描述對象概率分布的生成式隨機神經網絡模型，可以用來學習輸入數據的一個概率分布。如圖2所示，它包含m個可見層節點vi和n個隱藏層節點hj，其中W表示兩層之間的連接權值?？梢姽濣c一般對應于觀測數據，隱含節點可視為特征提取器?？梢妼庸濣c與隱含層節點之間為全連接，而各層內節點之間沒有連接。

圖2 RBM結構示意圖

對于一組(v，h)，RBM的能量定義為：

其中，Z(θ)為歸一化項。在實際應用中，我們關注的是關于觀測值的分布，即似然函數p(vθ)，它是聯合概率的邊緣分布。

由于RBM的各層內節點之間沒有連接，當可見層節點的狀態確定時，隱含層各節點的激活狀態是彼此獨立的[4]。以第j個隱含層節點為例，其激活概率如下式所示：

其中，σ(x)為sigmoid函數。同理，當隱含層節點的狀態確定時，可見層節點i的激活概率為：

RBM采用迭代的方式進行訓練，目的在于學習出參數θ，以擬合給定的數據。通過在訓練數據集上求取對數似然函數的極大值可以得到參數θ，即：

其中，T為訓練集中的樣本數量。

根據對比散度(contrastive divergence，CD)算法的思想[11]，各參數的更新規則為：

其中，ε為預訓練過程的學習率;〈·〉data為訓練數據集所定義的分布之上的數學期望;〈·〉recon為重構后的模型所定義的分布上的期望。

3 局部二值模式

3.1 LBP

紋理是指圖像灰度局部不規則、宏觀有規律的特性，其在空間上存在緩慢或者周期性的變化。局部二值模式(LBP)是一種典型的局部紋理特征描述符，它的計算效率比較高，且具有旋轉和灰度不變性[12]，已經被廣泛應用于地物分類和語義分割等遙感圖像處理領域。

原始LBP算子是在3×3鄰域內計算的，以鄰域中心像素值作為基準，將鄰域內8個像素值與閾值進行對比，大于基準標記為1，小于基準則標記為0，從而形成8位二進制數。將該二進制數轉化成十進制，即為中心點位置的LBP特征值。特征值計算公式如下：

其中，gray(x，y)為中心像素灰度值;p為鄰域像素序號;P為鄰域點總數;s(·)為符號函數。

僅使用3×3鄰域內像素進行對比，無法獲得更大尺度上圖像的特征信息。文獻[9]對原始LBP算子進行了改進，提出了圓形鄰域內的LBP特征計算方法，如圖3所示。設置不同的半徑R，則能夠獲得不同尺度上的LBP特征值。盡管在大尺度上能夠得到更多的信息，但采樣點的增加使得二進制數的長度相應增加，當采樣點為16時，維數達到216位，實用性不強。

圖3 LBP圓形模式示意圖

LBP算子的鄰域選擇、采樣點數量和特征值計算起始位置都影響著特征向量值。為了避免特征值的不穩定，文獻[10]提出選擇多種模式中數值最小的作為當前特征值，這種選擇模式稱為LBP旋轉不變模式，其原理如圖4所示，本文采用的旋轉不變模式。

圖4 LBP旋轉不變模式示意圖

3.2 算法具體步驟

本文算法的處理流程如圖5所示。多光譜圖像包括紅(R)、綠(G)、藍(B)和近紅外(Nir)4個波段數據，對于一幅圖像上每一個待分類的像素，假設用來計算紋理特征的鄰域窗口大小取為win×win，同時假定利用該鄰域提取的LBP特征維數為d。于是可以將在4個波段數據中提取的LBP特征組合為一個一維向量，維度為d×4。最后將組合后的LBP特征進行歸一化，就可以輸入DBN模型進行模型訓練和像素分類。

圖5 基于DBN的分類方法流程圖

在使用樣本數據訓練時，將訓練數據的歸一化LBP特征向量輸入到第1層RBM的可見層，接下來，數據流被依次映射到各個隱含層中，這是一種逐層訓練的方法。此外，DBN常采用批訓練(batch 1earning)的處理方式，即每次在訓練集中隨機采樣一定數量的樣本作為一個批次進行DBN訓練，每個批次完成后更新權值。

訓練完成后即可進行圖像像素類別預測，此時，圖像中每個像素點可以用同樣的方法得到同樣維度的LBP特征向量，然后再通過網絡的前向傳播計算即可得到預測的類別。

4 實驗結果及分析

為了驗證算法的有效性，本文使用天繪一號衛星多光譜圖像數據進行了實驗。實驗是在Intel E5 2.4 GHz CPU，16GB RAM的工作站上采用Matlab R2015a編程實現的。

4.1 實驗數據選取及評價策略

實驗數據為截取的某區域天繪一號衛星多光譜圖像，尺寸為416×384，包含紅、綠、藍和近紅外四個波段，圖像的空間分辨率為10m，如圖6所示。該區域地物類型主要包括居民區、田地、水域和道路等，其中田地根據農作物覆蓋不同細分為兩類，因此，對于該實驗數據，地物分類總數為五類。五類地物總共標記了24163個像素點，選取其中的20%作為訓練集，剩余像素作為測試集，訓練集像素總數占圖像總像素數的3.03%。實驗中，計算LBP特征的鄰域窗口win=4，每個波段的LBP特征維數d=36，于是最終得到的歸一化特征向量維數為36×4=144。

圖6 某區域天繪一號衛星多光譜圖像

在遙感圖像分類精度評價中，常利用混淆矩陣(也稱為誤差矩陣)，它能夠反映算法分類結果與真值的誤差信息，是計算算法總體精度和Kappa系數等指標的基礎[4]。假定M代表混淆矩陣，其元素mij表示屬于類別j但被錯分到類別i的像素總數，因此，該矩陣對角線的元素值越大，分類精度越高?？傮w精度(overall accuracy，OA)的計算方法是，使用正確分類的像素數總和除以總的像素數。Kappa系數主要反映了分類結果與真值之間的吻合程度，它通過矩陣M的所有元素計算得到，系數值越高，算法分類精度越高，具體計算公式如下：

其中，c表示地物分類總數;N表示測試樣本總數;mi+和m+i分別表示矩陣M的第i行的總和及第i列的總和。

4.2 實驗參數設置

DBN的基本參數設置如下：預訓練階段和微調階段的學習率分別為0.1和2，最小batch大小分別為80和40，epochs分別為2000和3500，權重的初始值是來自于正態分布的隨機數，偏置的初始值是0。接下來，本文首先通過實驗方法確定隱含層節點數。DBN的輸入、輸出層節點數分別為144和5，隱含層節點數在{50，75，100，125，150，175，200，225，250，275，300}內取值，計算不同取值下對應的網絡重構誤差，如圖7所示，當隱含層節點數取175時，重構誤差最小，從而確定該參數值為175。RBM的層數同樣可以采用實驗確定，假定各隱含層節點數相同，令層數從1變化至4，通過計算測試集的分類錯誤率可以得到最優RBM層數為1。

圖7 不同隱含層節點數的重構誤差

4.3 實驗結果分析

實驗一：將本文算法與SVM和NN兩種方法進行對比實驗，其中SVM和NN算法的最小batch大小、epochs等參數與本文算法保持一致，SVM的核函數采用徑向基函數，NN采用傳統的BP神經網絡，它與DBN的區別在于沒有RBM的預訓練過程。

表1 不同算法分類結果比較

三種算法的定量實驗結果見表1，分類結果如圖8所示。從表1中可以看出，與NN方法相比，DBN在各地物類別及總體的分類精度上都有一定提升，原因在于DBN通過RBM的訓練過程為NN提供了更為準確的初始權值，而在NN中，這些初始值均為隨機數。因此，DBN充分利用了有監督學習(NN)和無監督學習(RBM)的優點，有效地挖掘出了多光譜圖像的內在特征。與SVM方法相比，DBN方法在田地1、水域和道路幾個類別上分類精度有較大幅度提高，雖然在田地2和居民地兩個類別上分類精度略有下降，但DBN方法的OA和Kappa系數都優于SVM方法。

圖8 分類結果示意圖

下面進行實驗二的測試。原始多光譜圖像如圖10(a)所示，尺寸為401×401，該區域地物類型主要包括居民區、田地1、田地2和道路。四類地物總共標記了32841個像素點，選取其中的20%作為訓練集，剩余像素作為測試集，訓練集像素總數占圖像總像素數的4.08%。在該組實驗中，DBN的基本參數設置如下：預訓練階段和微調階段的學習率分別為0.1和2，最小batch大小均為6，epochs分別為2000和4000，RBM層數同樣為1，權重的初始值是來自于正態分布的隨機數，偏置的初始值是0。采用同樣的方法確定隱含層節點數為150，此時重構誤差為0.0183，如圖9所示。實驗結果在表2和圖10(c)～(d)中給出。從表2中可以看出，本文算法在OA和Kappa系數上均優于NN和SVM算法。

圖9 實驗二不同隱含層節點數的重構誤差

表2 實驗二不同算法分類結果比較

5 結 論

本文以實現多光譜遙感圖像典型地物分類為牽引，通過分析網絡模型和圖像紋理特征，提出了一種利用DBN與LBP特征的分類算法。首先，提取多光譜圖像各波段的LBP紋理特征，并將其組合、歸一化，形成DBN輸入特征向量;然后，使用訓練數據集對DBN網絡進行訓練;最后，利用訓練好的DBN網絡完成圖像分類。實驗表明，本文算法能夠取得優于NN和SVM等傳統算法的效果。同時也可以看出，DBN只是在NN的基礎上增加了利用RBM的預訓練過程，整體分類精度還有待于進一步提升。接下來，我們將對性能更加優異的卷積神經網絡做進一步研究。

[1]史文中，朱長青，王昱.從遙感影像提取道路特征的方法綜述與展望[J].測繪學報，2001，30(3)：257-262.

[2]周志華.機器學習[M].北京：清華大學出版社，2016.

[3]Hinton G，Osindero S，The Y.A Fast Learning Algorithm for Deep Belief Nets[J].Neural Computation，2006，18(7)：1527-1554.

[4]呂啟，竇勇，牛新等.基于DBN模型的遙感圖像分類[J].計算機研究與發展，2014，51(9)：1911-1918.

[5]李彤.多譜遙感影像特征提取及協同解譯研究[D].哈爾濱：哈爾濱工業大學，2014.

[6]劉大偉，韓玲，韓曉勇.基于深度學習的高分辨率遙感影像分類研究[J].光學學報，2016，36(4)：0428001.

[7]許夙暉，慕曉冬，趙鵬等.利用多尺度特征與深度網絡對遙感影像進行場景分類[J].測繪學報，2016，45(7)：834-840.

[8]何小飛，鄒崢嶸，陶超等.聯合顯著性和多層卷積神經網絡的高分影像場景分類[J].測繪學報，2016，45(9)：1073-1080.

[9]Ojala T，Pietikainen M，Harwood D.Performance Evaluation of Texture Measures with Classification Based on Kullback Discrimination of Distributions[C].International Conference on Pattern Recognition，IEEE，1994.

[10]Maenpaa T，Pietikainen M，Viertola J.Separating Color and Pattern Information for Color Texture Discrimination[C].16thInternational Conference on Pattern Recognition IEEE，2002.

[11]Hinton G.Training Products of Experts by Minimizing Contrastive Divergence[J].Neural Computation，2002，14(8)：1771-1800.

[12]曹云剛，王志盼，慎利等.像元與對象特征融合的高分辨率遙感影像道路中心線提取[J].測繪學報，2016，45(10)：1231-1240.