基于Block-Gibbs抽樣的無限潛Dirichlet分配模型的高分辨率全色遙感影像非監督分類

基于Block-Gibbs抽樣的無限潛Dirichlet分配模型的高分辨率全色遙感影像非監督分類

齊銀鳳1，舒陽1，2，唐宏1，2

(1.北京師范大學 地表過程與資源生態國家重點實驗室，北京 100875；2.北京師范大學 環境演變與自然災害教育部重點實驗室，北京 100875)

摘要：通過引入文本檢索算法中的無限潛Dirichlet分配(infinite Latent Dirichlet Allocation，即iLDA)模型，對遙感影像進行建模以獲取地物的統計分布及其共生關系，從而實現遙感影像非監督分類。首先，將遙感影像有重疊地劃分成一組大小相等的影像塊(文集)。其次，以iLDA為基礎，構建“像元”(視覺詞)、“影像塊”(文檔)和“地物類”(主題)之間的條件概率關系，并采用Block-Gibbs抽樣的方法來估計模型參數，從而構建基于Block-Gibbs抽樣的iLDA遙感影像非監督分類模型(Block-Gibbs based iLDA，即BG-iLDA)。最后，通過對BG-iLDA模型的逼近求解實現高分辨率遙感影像的非監督分類。實驗結果表明，本文提出的基于BG-iLDA的面向對象非監督分類方法相對傳統的K-means等算法精度更高，更能有效區分“同譜異物”的地物。

關鍵詞：無限潛Dirichlet分配；非監督分類；Block-Gibbs；Dirichlet過程

doi:10.3969/j.issn.1000-3177.2015.01.005

中圖分類號：TP751文獻標識碼：A

收稿日期：2013-11-05修訂日期：2014-04-22

基金項目：南方電網公司重點科技項目(K-GD2013-030)；國家自然科學基金(41371406)。

作者簡介：彭向陽(1971～)，男，教授級高工，碩士，長期從事輸電線路及高電壓技術工作。

收稿日期：2014-04-28

基金項目：國家科技支撐計劃課題(2011BAB01B05)；國家自然科學

作者簡介：岳貴杰(1984～)，男，博士生，主要從事遙感影像地理要素提取及全數字攝影測量相關方向研究。

Unsupervised Classification of High-resolution Panchromatic Remote

Sensing Image Based on Infinite Latent Dirichelt Allocation Using

Block-Gibbs Sampling

QI Yin-feng1，SHU Yang1，2，TANG Hong1，2

(1.StateKeyLaboratoryofEarthSurfaceProcessesandResourceEcology，BeijingNormalUniversity，Beijing100875；

2.KeyLaboratoryofEnvironmentalChangeandNaturalDisaster，MinistryofEducation，

BeijingNormalUniversity，Beijing100875)

Abstract：In this paper，the infinite Latent Dirichlet Allocation (iLDA) model for unsupervised classification of images is introduced.An effective unsupervised classification method using the semantic information and the symbiotic relationship from iLDA is proposed，which is used for high-resolution panchromatic images.Firstly，the image corpus is structured by overlapped segmentation of the image into sub-images.Secondly，the relationship of conditional probability among pixels (visual-words)，sub-images (documents) and land objects (topics) is built.By which，the proposed method using Block-Gibbs based iLDA (BG-iLDA) is modeled.And the model parameters are estimated using the Block-Gibbs sampling.Finally，the unsupervised classification of high-resolution panchromatic images is realized by approximate solution of the BG-iLDA.Experimental results show the classification precision of the proposed method is better than the K-means method，and the effect of the different object with the same spectral characteristics is appropriately displayed by the classification result.

Key words：infinite Latent Dirichlet Allocation；unsupervised classification；Block-Gibbs；Dirichlet process

1引言

由于高分辨率遙感影像中包含了豐富的地表細節，因此地物的尺寸、形狀以及鄰近地物空間關系的等特征在高分影像信息提取中發揮著重要的作用[1-2]。面向對象的影像分析技術能夠彌補傳統基于像元分類方法導致的地物細分、斑點效應等問題，并且能夠充分利用高分辨率遙感影像的空間信息提高分類精度[3-4]。因此，該技術在遙感應用中信息提取方面發揮著越來越重要的作用。但是目前常用的面向對象分析方法是基于多尺度分割的，分割尺度難以把握，并且語義分析不夠明確。

潛Dirichlet分配(Latent Dirichlet Allocation，LDA)模型的引入為解決上述問題提供了一個新的途徑[5]。LDA模型可以用于分析大規模文檔集或提取語料庫中潛藏的主題信息[6]。它采用了概率潛語義解釋的思想，對“詞”、“文檔”和“主題”之間的條件概率關系進行建模，確定各個文檔中每個視覺詞隸屬于不同主題的概率，從而同時獲得文檔和詞兩個層面的概率語義描述。因此，可以通過引入概率主題模型的概率潛語義分析方法，將其用于遙感影像的特征信息的分析解讀中，通過分析待分類的影像、地物類別和像元三者之間的條件概率關系，可以確定影像中每個像元的最可能的主題類別。該方法省去了傳統面向對象分析時的“圖像分割”這一步驟，直接利用文本檢索的思想來構建影像象元主題類別的概率模型，確定其所屬的主題，實現對遙感影像的非監督分類。無限潛Dirichlet分配模型(infinite Latent Dirichlet Allocation，iLDA)是LDA模型的衍伸，它將LDA模型的主題個數從有限擴展到了無限，因此具有LDA模型的全部特征，同時又具備Dirichlet過程的特性[7]。引入iLDA模型的分類算法，能夠避免傳統面向對象分類技術所面臨的問題和弊端，在高分辨率遙感影像處理技術中有一定優勢，具有很大的發展潛力和應用價值。

2iLDA模型基本原理

作為一種概率主題模型，LDA模型由Blei[8]在2003年提出。LDA模型能夠有效識別大規模文檔集或語料庫中潛藏的主題信息，因此在文本檢索領域得到了廣泛的應用。之后，Blei等人將圖片類比成文檔，首先將LDA應用于圖像標注[9]。隨后，LDA模型被廣泛地應用于計算視覺領域的圖像分割[10]、目標檢測[11]、視頻處理和場景分類[12]等。

圖1　概率圖模型

一般情況下，本文假設在LDA模型中文檔集的主題個數是預先給定的一個有限常量，即K是已知常量[13]。iLDA模型的提出對這一假設進行了擴展，即將LDA模型擴展成一個有無限混合組件(即主題個數是無限的)作為候選的主題，通過學習數據集來估計最終的主題個數的模型。該原理仿照了層次狄利克雷分配過程(Hierarchical Dirichlet Process，HDP)的方法[7，14]。從另一個角度來講，HDP方法可以看作是一個無限的LDA模型的擴展(候選的主題的個數是無限的)，它為主題個數添加了一個估計器，從而省略了給定主題個數K的步驟，形成了iLDA模型。LDA和iLDA模型對應的概率圖模型分別如圖1(a)和圖1(b)所示。從圖中可以看出，iLDA模型在LDA模型的基礎上做了簡單的擴展。

(4)對于第m個文檔{wm1,…,wmN}中的第n個詞

表1　iLDA模型相關變量及描述

3基于iLDA的遙感影像非監督分類

結合上述方法構建的iLDA用于遙感影像非監督分類方法，本文首先提出了一種虛擬文檔設計方法來構建文檔集；進而構建了基于Block-Gibbs抽樣的iLDA分類模型(簡稱為BG-iLDA模型)并求解了模型；最終設計了詳細的算法流程從而實現了BG-iLDA分類算法。

圖2　BG-iLDA的概率圖模型示意圖

3.1文檔的設計

一般情況下，影像文檔的生成采用顯式的生成規則，即按照固定的文檔大小和重疊度來分割生成一個個影像塊，組成文集。顯式的文集中各個文檔是相互獨立的。因此在對每個文檔進行采樣并確定該文檔中各個像元所分配的主題標簽后，仍要進一步處理才能消除同一像元在不同文檔中可能被分配不同主題標簽的歧義問題。本文提出的虛擬文檔的設計方法可以有效避免這個問題。

所謂虛擬文檔的設計方法，是指在影像文檔生成過程中，在對一幅影像中的每個像元進行采樣時，不再固定地對覆蓋該像元的各個分割生成的文檔進行采樣，而是直接以該像元為中心向四周擴展出一個大小為H×H的文檔。這些文檔只在對它的中心像元所在的采樣內框中的像元進行采樣時才生成，不是固定存在的，因此稱之為虛擬文檔。同時基于Block-Gibbs抽樣方法，在虛擬文檔設計過程中引入了內框Block的概念，即對一個文檔進行采樣時，只對該文檔的內框中的像元進行采樣。

圖3　顯式與虛擬文檔設計規則示意圖

3.2BG-iLDA模型

結合影像文檔的虛擬生成方法和內框Block的引入，基于Block-Gibbs抽樣的iLDA高分辨率遙感影像非監督分類的概率圖模型可由圖2來表示。從圖中可以看出，BG-iLDA模型與iLDA模型主要區別如圖2中主框體的內框中所示。此處，BG-iLDA算法引入了內框Block，把詞和主題的生成過程分成了兩部分：內框中像元和除內框以外的文檔中像元。對應的，第m個文檔中的第n個詞的生成過程的也拆分為兩個并列的部分：

(1)對于第m個文檔{wm1,…,wmN}中的內框Block中的第nb個詞

(2)對于第m個文檔{wm1,…,wmN}中的內框Block外的第nb 個詞

其中，文檔中詞wm,n分為內框中的詞wm,nb和除內框以外的詞wm,nb 兩部分，相應的文檔中詞對應的主題zm,n也分為了zm,nb和zm,nb 兩部分。wm,nb和zm,nb分別表示第m個文檔內框中的第nb個詞和其對應的主題，wm,nb 和zm,nb 分別表示內框外的第nb 個詞和其對應的主題，Nb,m和Nb,m 分別表示內框中的像元總個數和文檔中內框外的像元總數。

圖4　BG-iLDA算法流程圖

3.3模型算法

與LDA模型的推導類似，BG-iLDA模型用到了Block-Gibbs抽樣方法來估計模型參數和逼近求解模型中潛變量的最大后驗分布[18]。不同之處在于，本文將iLDA模型視為一種HDP模型來進行推導。作為一個DP(Dirichlet Process)方法，“Chinese restaurant process”(CRP)的隱喻被用來表征整個抽樣過程[19]。算法包含4個步驟：

①初始化模型參數

如圖2所示，iLDA模型共有4種初始化參數：標量精度參數α，主題分布的控制參數β，未知的主題分布的集合γ和初始的主題個數K0。其中，α、β和γ分別相應的初始化為1、0.1和1，K0則通過實驗測試得到。

②統計矩陣變量Φ和Θ

③利用Block-Gibbs抽樣方法估計求解

作為LDA模型的一種無限形式的擴展，iLDA模型沿用了主題有限情況下的Block-Gibbs抽樣得到主題z的結構：

(1)

?r∈[1,nm,k],m∈[1,M],k∈[1,K]

(2)

(3)

γ～Gam(aγ+K-1+u,bγ-logv)

(4)

(5)

α～Gam(aa+T-∑mum,ba-∑mlogvm)

(6)

④檢查結果是否收斂

由于使用Block-Gibbs抽樣方法有一定的隨機性，結果中總會存在一些幾乎沒有類別特征又分布很少的主題，因此本文通過設定一個閾值來過濾掉隨機的主題，進而達到平滑分類結果、使主題的估計收斂的目的。

4實驗與結果分析

4.1實驗數據

如圖5(a)所示，本節的實驗數據是拍攝于2006年4月26日的北京市通州區的QuickBird全色影像。影像大小為900×900個像元，影像的分辨率為0.6m。該影像中包含的主要地物類型包括房屋、道路、水體、陰影、農田和樹木這6類。由于房屋和樹木等這類具有一定高度的地物因光照角度的原因會產生陰影，因此在遙感影像中陰影常常伴隨著房屋、樹木等出現。這里將陰影作為一個單獨的類別，以與色調較暗的水體相區別。圖5(b)為該原始影像的真實地表分布，其中大片出現的淺黃色區域代表了除去上述6種地物類型外的其他無法通過視覺從影像中明確判讀的地物類型。

圖5　實驗數據示意圖

4.2評價方法

本文分別采用了熵值[11]和卡帕系數[20]兩種評價方法來對實驗數據的非監督分類結果進行分析。其中熵值評價方法是信息論中對不確定性進行度量的一種方法。在非監督分類評價中，它可以度量給定一個真實地物類別其屬于各個非監督類別的可能性，以及給定一個非監督類別其屬于各個真實地物類別的可能性。但是熵值評價方法無法對一個非監督類別中心是否與一個真實地物類別正確匹配做出評價，因此本文進一步利用卡帕系數的評價方法來衡量非監督類別與地物真實類別的一致性。

4.2.1熵值評價方法

本文采用的熵值評價方法是由Akcay針對遙感影像非監督分類算法而改進的[11]。該方法利用地表真實的地理對象(Ground-truth)和非監督分類結果影像進行分析，通過計算整體類別熵(Overall class entropy)與整體聚類熵(Overall cluster entropy)進而組合來求得非監督分類結果影像的整體熵值(Overall entropy)。該評價方法的具體實施過程如下：

(7)

因此整體聚類熵Ecluster可以通過計算聚類熵Ek的加權平均和來表示：

(8)

聚類熵反映的是屬于同一主題的像元之間的同質性，歸屬于同一主題的像元之間相似性越大則聚類熵值越小。但是這就造成了一個問題，聚類熵的值會伴隨著主題個數的增加而降低。為了避免這個問題，引入類別熵來計算歸屬于同一地物類別的不同主題之間的差異性。對于地表真實類別Ground-truth而言，第c類的真實地物分布于非監督分類結果的對應關系利用類別熵(Class entropy)Ec來表示為：

(9)

因此整體類別熵Eclass可以通過計算類別熵Ec的加權平均和來表示：

(10)

整體熵可以定義為整體聚類熵Ecluster和整體類別熵Eclass的一個線性組合：

E=βEclass+(1-β)Ecluster

(11)

其中，β∈[0,1]是用于平衡整體聚類熵Ecluster和整體類別熵Eclass兩個算子權重。正常情況下，這兩個算子在精度評價中所占的分量是相同的，因此在本實驗中權重β取0.5。一般而言，整體熵值越小，對應的非監督分類結果精度越高。

4.2.2卡帕系數評價方法

卡帕系數評價方法是評價圖像分類精度最常用的統計方法，用于衡量分類結果與真實地物分布之間的一致性?？ㄅ料禂禐?代表分類結果與真實地表分布完全一致，而卡帕系數為0則表示分類結果幾乎等于隨機。也就是說卡帕系數越高，分類精度越高。本實驗用誤分類數量總和的評價標準來評價非監督分類結果與地表真實分布[20]，詳細的方法實施過程在此不做累述。

4.3結果分析

在本實驗中，BG-iLDA算法的分類結果是通過初始化文檔大小為41×41、采樣內框為11×11、初始K0為2得到的。算法在求解的過程中估計得到的最佳主題個數為7，但是其中有一個主題是隨機存在的，即沒有明顯的類別特征且所屬象元的個數很少。為了更好地分析BG-iLDA算法用于影像非監督分類的有效性，本文利用了K-means和LDA這兩種遙感影像非監督分類算法跟BG-iLDA算法的結果進行對比分析。3種算法的結果如圖6(a)、圖6(b)和圖6(c)所示。從圖中可以看出BG-iLDA算法可以輕松地區分水體與陰影、房屋與道路這兩組因光譜特征相似而容易混淆的地物類型。簡單的從視覺角度來看，BG-iLDA算法的結果與原始影像的真實地表分布更加接近。而K-means和LDA的結果圖中水體與陰影、房屋與道路這兩組地物類型則嚴重地混在一起難以區分。因此，從視覺效果來看BG-iLDA算法的分類效果優于兩類經典的算法。

圖6　3種非監督分類方法結果對比

下面利用定量評價方法對實驗結果進一步進行分析。3種算法分類結果的熵值與卡帕系數評價結果如表2所示。從表2中可以看出，基于BG-iLDA算法的整體熵值明顯低于其他2種算法，而卡帕系數則明顯大于其他2種算法。這說明基于BG-iLDA算法得到的分類結果的精度比其他2種算法高，且與真實地表分布的一致性也高。本文利用歸一化整體熵(Generalized overall entropy)來評價真實地表各地物類型與3種算法分類結果中各類別中心的對應關系。

表2　3種方法影像分類結果的熵值與卡帕系數評價

歸一化整體熵是將傳統的熵值計算方法對應到不同的地物類別，即具體到每個地物類別所對應的該類別的整體熵。通常來講，歸一化整體熵值越小，說明對應的真實地物類別的影像聚集程度越高。3種算法對應的各個地表真實地物類別的歸一化整體熵的對比分析如圖7所示。從圖中可以看出，BG-iLDA算法分類結果影像中陰影、樹木和農田這3種地物類別對應的歸一化整體熵值均小于K-means、LDA算法。這說明BG-iLDA算法較其他2種算法可以更精確地識別出這3種地物類型。與此同時，BG-iLDA算法中水體類型的歸一化整體熵值也逼近了其他2種算法中水體對應的歸一化熵值。結合圖6中水體與陰影的區分情況可知，BG-iLDA算法中水體類型的歸一化整體熵值略高于其他2種算法的原因是當陰影成功地從水體類別中分離出去之后，水體類型所包含的像元的同質性比陰影被誤分為水體時的像元間的同質性要差，也就是說像元間的聚集效果從某種程度上受到了影響。同理，在將屋頂與道路區分開來的同時，屋頂與道路這2種地物類型的歸一化整體熵值較之屋頂與道路混淆在一起時的歸一化整體熵值也會有所升高?？偟膩碚f，BG-iLDA算法對混淆嚴重的屋頂與道路、水體與陰影這2組地物類型有較好的區分效果，其歸一化整體熵值與分類結果的整體熵值都相對較低，其對于各個地物類別的識別精度比K-means、LDA 2種算法要高。綜上所述可知，對比2種主題算法各個地物分類結果整體熵時，BG-iLDA算法比LDA算法更有優勢，屋頂、樹木、道路和農田4種地物類型的分類精度都明顯高于LDA算法。

圖7　不同算法的分類結果熵值對比圖

上述實驗結果和分析表明，給模型添加一個自動估計影像最佳主題個數的估計器，不僅能夠提高模型的靈活性、減少實現對影像進行主題個數估計的步驟，還能夠使模型提高對影像數據的自適應性、有效地提高模型的精度。但是，盡管在模型學習的過程應該具有較好的自適應性、模型能夠自動地估計出主題的個數，但是在本文中該模型的執行效果不是很穩定，有一定的敏感性和隨機性。因此，在本文研究的基礎之上，還需要進一步分析模型的實用性和有效性，完善模型的理論基礎、提高模型的可靠性和魯棒性。

5結束語

本文以基于Block-Gibbs采樣的iLDA模型為基礎，通過建立虛擬文檔構建遙感影像非監督分類模型，較好地引入了像元之間的語義信息與文檔之間的空間關系信息，形成了BG-iLDA模型遙感影像非監督分類算法。通過實驗表明，BG-iLDA算法的分類結果具有較好的面向對象特性，對應的類別較好地反映了地物的真實空間分布情況。與此同時，BG-iLDA算法通過引入像元的語義信息與鄰域空間關系信息，較好地實現了灰度信息十分相似的水體與陰影這2種地物類型的區分，取得了較好的分類效果，與傳統的K-means和LDA算法相比優勢明顯。同時BG-iLDA模型能夠有效地估計出影像數據的最佳主題個數，省去了建模前預設主題個數的步驟，實現了模型的去參數化。

參考文獻：

[1]GUI S，CHU H，HONG S.A rapid and automatic MRF-Based clustering methods for SAR images[J].IEEE Geoscience And Remote Sensing Letters，2007，(4)：596-600.

[2]易文斌，慎利，齊銀鳳，等.基于概率潛語義分析模型的高光譜影像層次聚類分析[J].光譜學與光譜分析，2011，31(9)：2471-2475.

[3]MAURO C，EUFERNIA T.Accuracy assessment of per-field classification integrating very fine spatial resolution satellite imagery with topographic data[J].Journal of Geospatial Engineering，2001，2(3)：127-134.

[4]蘇偉，李京，陳云浩，等.基于多尺度影像分割的面向對象城市土地覆被分類研究——以馬來西亞吉隆坡市城市中心區為例[J].遙感學報，2007，11(4)：521-529.

[5]TANG H，SHEN L，QI Y，et al.A multi-scale latent dirichlet allocation model for object-oriented clustering of VHR panchromatic images[J].IEEE Transaction on Geoscience and Remote Sensing，2013，51(3)：1680-1692.

[6]HOFMANN T.Unsupervised learning by probabilistic latent semantic analysis[J].Machine Learning，2001，42(1)：177-185.

[7]HEINRICH G.Infinite LDA-implementing the HDP with minimum code complexity[S].Technical note，2011.

[8]BLEI D M，NG A Y，JORDAN M I.Latent dirichlet allocation[M].Machine Learning，2003，(3)：993-1022.

[9]BLEI D M，JORDAN M I.Modeling annotated data[C].In Proceedings of the 26th Annual International ACM SIGIR Conference on Research and Development in Informaion Retrieval，ACM：Toronto，Canada.2003.

[10]WANG X，Ma X，GRIMSON W E L X.Unsupervised activity perception in crowded and complicated scenes using hierarchical bayesian models[J].Pattern Analysis and Machine Intelligence，IEEE Transactions，2008，31(3)：539-555.

[11]AKCAY H G，AKSOY S.Automatic Detection of geospatial objects using multiple hierarchical segmentations[J].IEEE Transactions on Geoscience and Remote Sensing，2008，46(7)：2097-2111.

[12]LI F，PERONA P.A bayesian hierarchical model for learning natural scene categories[J].Computer Vision and Pattern Recognition，2005，(2)：524-531.

[13]BLEI M D.Probabilistic topic models[J].Communications of the ACM，2012，55(4)：77-84.

[14]XING E，JORDAN M，SHARAN R.Bayesian haplotype inference via dirichlet process[J].Journal of Computational Biology，2007，14(3)：267-284.

[15]WANG Y，TANG H，CHEN Y.An object-oriented semantic clustering algorithm for high resolution remote sensing images using the aspect model[J].IEEE Geoscience and Remote Sensing Letter，2011，26(5)：40-44.

[16]QI Y，TANG H，SHU Y，et al.An object-oriented clustering algorithm for VHR panchromatic images using nonparametric latent dirichlet allocation[C].IGARSS，2012：2328-2331.

[17]TANG H，SHEN L.A MRF-based clustering algorithm for remote sensing images by using the latent dirichlet allocation model[J].Procedia Earth and Planetary Science，2011，(2)：358-363.

[18]JENSEN C S.Blocking gibbs sampling for inference in large and complex bayesian networks with applications in genetics[D].PhD thesis，Aalborg University，Denmark，1997.

[19]TEH Y W，JORDAN M I，BEAL M J，et al.Hierarchical dirichlet processes[J].Journal of the American Statistical Association，2006，101(476)：1566-1581.

[20]HALKIDI M，BATISTAKIS Y，VAZIRGIANNIS M.On clustering validation techniques[J].Journal of Intelligent Information Systems，2001，(17)：107-145.

E-mail：pigpxy@126.com

E-mail：xcp_rs@163.com