基于DBN與對象融合的遙感圖像變化檢測方法

竇方正,, ,,

(1.中國科學院電子學研究所,北京 100190; 2.中國科學院大學,北京 100190; 3.北京跟蹤與通信技術研究所,北京 100094)

0 概述

圖像變化檢測是指通過對同一區域不同時間觀測的圖像進行處理和分析確定目標變化情況的過程。遙感圖像因其覆蓋地域大的特點被廣泛應用于地物目標的變化檢測。遙感圖像的變化檢測在各領域具有廣泛的應用,如城市規劃、災害預測和戰場情報分析等,因此,開展遙感圖像變化檢測方法的研究具有重要的應用價值。

隨著遙感觀測技術的快速發展和成像分辨率的提高,單位地表面積的遙感圖像所承載的信息不斷增加。在高分辨率遙感影像中,目標細節信息更加豐富,這些目標本身的顏色和紋理變化較為復雜,且背景地物有時會呈現出與目標相似的顏色紋理特征,單純利用圖像中的顏色、紋理、局部邊緣等低層特征難以取得理想的變化檢測結果。為此,科研人員開始分析和提取高級的圖像特征以改善分類器性能,以提高算法在海量高分辨率遙感圖像數據下的魯棒性。文獻[1]針對高斯過程分類器在變化檢測中的不足,提出了基于空間上下文相關的高斯過程變化檢測方法。文獻[2]提出了一種融合多種特征的變化檢測方法,該方法利用光譜直方圖、LBP等多種特征提高變化檢測精度。然而傳統的基于像素的方法易受到局部噪聲和復雜背景的干擾,而基于面向對象分析的變化檢測能夠較好地解決此問題。文獻[3]利用圖像背景先驗知識提出一種基于對象的分析方法,通過圖像變化檢測結果實現目標的檢測與分析。文獻[4]采用面向對象的思想構造對象的特征向量用于SVM的變化分類。文獻[5]提出一種基于對數變差函數紋理增強的圖像變化檢測方法,采用方向對數變差函數算法對圖像的紋理特征進行增強。文獻[6]在面向對象的基礎上提出一種基于直推式支持向量機的變化檢測方法,該方法能夠利用未標注的歷史數據進行支持向量機訓練,從而提高檢測方法的泛化能力。然而,由于圖像中的對象通常具有大小不一的尺寸和形狀,因此對對象進行特征設計和提取面臨很大挑戰,而現有的面向對象的分析方法多數僅能利用一些簡單特征組合來得到不同尺寸對象的特征。

針對上述問題,本文提出一種基于深度置信網絡(Deep Belief Network,DBN)和面向對象結果融合的圖像變化檢測方法?？紤]到DBN能夠學習樣本數據集中低層到高層本質特征,因此,將圖像變化檢測看作二分類問題,利用DBN模型進行分類。為降低圖像和目標局部噪聲的對檢測結果的影響,設計面向對象的分類融合方法,以圖像像素為單元進行圖像特征提取和分類,將DBN分類結果作為該像素的變化檢測結果進行面向對象的分類結果融合。此外,提出一種多尺度的圖像特征學習和分類方法,在特征學習和分類階段利用圖像的金字塔變換得到多個尺度上的數據,并利用DBN學習得到多尺度的目標和上下文特征,從而增強本文方法對環境變化因素的魯棒性,提高檢測準確率。

1 深度置信網絡

隨著深度學習方法的研究與發展以及該方法在自然場景圖像解譯、大數據分析[7]等一系列應用中取得的成功,使得深度學習逐步引起遙感圖像解譯研究人員的重視,并開始研究如何將深度學習算法引入到遙感圖像的特征提取和分析中。文獻[8]利用深度置信網絡對遙感圖像中的飛機目標進行檢測,文獻[9]利用棧式自編碼器實現了SAR圖像中目標的變化檢測。本文將深度學習引入遙感圖像特征提取和分類中,提出一種基于深度置信網絡的光學遙感圖像變化檢測方法。深度置信網絡(DBN)[10]是一種產生式的深度神經網絡模型,其能利用大量的未標注歷史圖像數據和一種逐層的非監督訓練方法實現特征自學習和提取,并通過少量標注數據進行模型的分類訓練和優化。DBN的基本結構是一個多層的神經網絡,其概率圖模型如圖1所示。其中,最上面一層網絡是無向圖模型,即限制玻爾茲曼機模型,其余各層是自上而下的有向連接圖模型?；谶@種網絡結構,文獻[10]提出一種通過逐層訓練限制玻爾茲曼機進行參數初始化的訓練方法,用于深度置信網絡特征學習。

圖1 深度置信網絡圖模型

限制玻爾茲曼機的圖模型如圖2所示。它是一個包含2層節點的無向圖模型,即可視層與隱藏層,分別以v與h表示。不同層節點的連接由權值矩陣W表示。

圖2 限制玻爾茲曼機圖模型

限制玻爾茲曼機的能量函數表示如下:

E(v,h)=-hTWv-aTv-bTh

(1)

v=(v1,v1,…,vNv)T表示可視層的狀態向量,h=(h1,h1,…,hNh)T表示隱藏層的狀態向量,其中vi和hj分別表示第i個可視層節點與第j個隱藏層節點的狀態,wij表示權值矩陣W中連接這兩個節點的權值,ai和bj分別表示可視層偏置項a中第i個元素與隱藏層偏置項b中的第j個元素。W、a和b統稱為限制玻爾茲曼機的網絡參數。利用式(1)定義的能量函數,可以得到限制玻爾茲曼機中可視層節點與隱藏層節點的聯合概率分布:

(2)

(3)

在限制玻爾茲曼機的參數求解中,為了計算的方便,通常會對對數形式的似然函數進行梯度計算,即:

(4)

其中,<·>data和<·>model分別表示模型關于數據經驗分布和模型真實分布的期望。為解決吉布斯采樣效率較低的問題,文獻[11]提出一種近似采樣算法,稱為對比散度(Contrastive Divergence,CD)算法。目前,對比散度算法已成為限制玻爾茲曼機的標準訓練算法。

2 本文方法

本文方法流程如圖3所示,主要分為模型訓練與變化檢測2個主要步驟。在第1個步驟中,經過預處理的訓練圖像對(待檢測圖像和基準圖像)將用來訓練一個深度置信網絡,經過限制玻爾茲曼機非監督訓練和監督微調訓練2個過程就得到了用于變化檢測的深度神經網絡模型。在變化檢測步驟中,對經過預處理的測試圖像將利用上一步驟中訓練得到的深度神經網絡模型進行基于像素的分類和變化檢測,同時本文對預處理后的待測圖像進行基于對象的分割,隨后進行基于對象分割的分類結果融合,以降低局部噪聲的影響,經過融合后的結果即最終的變化檢測結果。

圖3 基于深度置信網絡的遙感圖像變化檢測流程

2.1 圖像預處理

預處理的過程主要包括圖像配準、相對輻射校正和濾波去噪。圖像配準的目的是消除成像設備、拍攝位置、角度不同所帶來的成像差異,本文采用了基于SIFT[12]特征點匹配的圖像配準方法。相對輻射校正的目的是消除2幅或多幅圖像由于光照、天氣等變化帶來的成像明暗差異,這些差異會對變化檢測的結果造成較大影響,本文中采用直方圖匹配的方法實現相對輻射校正。濾波去噪的目的是消除圖像中局部噪聲的影響,本文采用了保邊濾波中的雙邊濾波[13]實現噪聲去除,與傳統的高斯濾波等方法不同,雙邊濾波在去噪的同時能夠很好地保留圖像中的邊緣信息,這些信息對于此后基于對象的分析和結果融合非常重要。經過圖像預處理之后,待檢測圖像和基準圖像組成的圖像對將用于深度置信網絡模型訓練和最終變化檢測結果的產生。

2.2 深度置信網絡模型訓練

本文方法將經過預處理后的訓練圖像對作為訓練數據,來進行深度置信網絡的參數求解,從而得到一個用于分類的深度神經網絡模型。其中,基于深度置信網絡模型的分類變化檢測按像素進行分類,即圖像中的每個像素被賦予一個標簽,標簽值用離散的0和1表示,標簽為1表示圖像對中該像素位置產生了變化。為了充分利用遙感圖像目標的多尺度上下文信息,本文提出了一種基于圖像金字塔變換的訓練方法,即一個像素通過結合其周圍一定范圍內的多尺度上下文信息來得到分類結果。如圖4所示,本文獲取以待分類像素為中心周圍一定范圍內的金字塔變換后的圖像(黑框范圍內圖像)作為深度置信網絡的輸入數據。

圖4 利用多尺度圖像金字塔訓練深度置信網絡模型示意圖

深度置信網絡的訓練包括逐層非監督預訓練和監督微調訓練,逐層非監督預訓練是特征學習和提取的過程,訓練利用限制玻爾茲曼機和對比散度算法實現。預訓練完成后,本文利用反向傳播算法[14]進行網絡參數的有監督微調訓練,網絡的輸出層是一個二維向量,二維輸出向量中的最大值位置表示了檢測分類結果。本文利用事先標注的標簽進行監督訓練,最后得到一個深度置信網絡模型,并將其用于變化檢測分類中。

2.3 變化檢測和面向對象的結果融合

在變化檢測階段,本文方法首先將待檢測的圖像對進行預處理,按2.2節所述的方法獲取多尺度的深度置信網絡輸入數據,然后將數據輸入到訓練好的深度置信網絡模型中,模型的輸出即為變化檢測結果。

在高分辨率遙感圖像中,由于光照、天氣等變化因素,在同一位置不包含變化的2幅圖像中會出現局部紋理、明暗的變化,這些變化會使得最后的檢測結果產生大量虛警。為了解決這一問題,本文在基于像素的深度置信網絡變化檢測基礎上,提出一種面向對象的結果融合方法。對于經過預處理的測試圖像對,首先利用訓練好的深度置信網絡模型進行基于像素的變化檢測,同時對測試圖像對利用圖像分割方法進行對象分割,然后利用對象分割結果對深度置信網絡的分類結果進行融合,得到最終的變化檢測結果,具體過程如圖5所示。

圖5 面向對象的變化檢測結果融合過程

常用的對象分割方法包括基于均值漂移的方法[15]、水平集分割[16]、分水嶺算法[17]、金字塔算法[18]等。本文采用基于均值漂移的分割方法獲取對象。均值漂移是一種非參數估計密度函數方法[19],它使每一個點通過有效的統計迭代“漂移”到概率密度函數的局部極大值點上。均值漂移算法計算簡單,且不需要任何先驗知識,在實際應用中通常具有較好的穩定性和較高的效率。由于待檢測圖像和基準圖的分割結果往往會有差別,因此,本利用文獻[3]中的方法進行分割結果進行合并。

進行圖像分割后,本文方法利用分割得到的對象對深度置信網絡分類得到的變化檢測結果進行融合,其原理如下:

(5)

其中,label表示對象Ω中某個像素經過結果融合后的標簽,pi表示對象Ω中像素i的深度置信網絡預測標簽,其取值為1或0,Area表示對象Ω的像素面積分割后,T是本文方法定義的自適應融合閾值。

T的計算公式如下:

(6)

其中,MaxArea表示圖像中最大面積對象的像素面積值。通過面向對象的融合,可以很好地解決由于對象尺寸大小不一和形狀變化而難以進行高層特征設計和提取的難題。同時,該方法利用對象分割結果,對基于像素的深度置信網絡分類結果進行校正,以抑制局部噪聲對檢測結果的影響,從而提高檢測精度。

3 實驗與結果分析

3.1 實驗設置與數據集描述

為驗證本文方法的有效性,選取20組QucikBird光學遙感圖像對組成實驗數據集。其中,圖像分辨率為0.61 m,尺寸在1 000×1 000像素與10 000×10 000像素之間。這些圖像中包含全球部分民用機場、港口、工廠等大型設施。圖6為其中一組測試數據。

圖6 測試數據

在深度置信網絡訓練中,本文利用2.2節所述方法在5組圖像對中隨機產生20 000組多尺度數據,作為深度置信網絡的訓練數據。每組訓練數據包含待測圖和基準圖的各3層金字塔圖像,每層圖像選擇16×16大小的切片尺寸。其余15組圖像對作為變化檢測方法的測試數據集。

為了評價算法的性能,本文選擇準確率、召回率和F1值作為定量評價指標。準確率即檢測結果為變化的像素里實際為變化的比例,召回率是檢測結果中檢測出為變化的像素本占所有實際為變化像素的比例。F1值的計算方法為:

(7)

其中,P為準確率,R為召回率。

3.2 變化檢測結果比較與分析

通過觀察F1值得變化,本文對深度置信網絡的參數進行調整,以獲取最優的變化檢測結果,這些參數主要包括隱藏層數量以及每層的節點數量。通過實驗發現,當選擇節點數量分別為1 536(輸入層,16×16×6=1 536)、300、200、100、300、2(分類層)的包含4個隱藏層的深度置信網絡時,可以取得最優的檢測結果。因此,下面的對比實驗中均選擇這種參數組合。

實驗1將本文方法與利用深度置信網絡在不加入多尺度上下文信息情況下僅加入本文對象融合策略的方法(方法1)和像素分類的方法(方法2)進行比較。圖7顯示了不同方法檢測結果的定性比較,其中圖7(c)表示僅利用深度置信網絡按像素分類得到的檢測結果,可以發現結果受局部噪聲影響明顯,與之相比,利用本文提出的融合方法進行對象融合后(如圖7(d)所示),能夠顯著降低局部噪聲的影響。圖7(e)展示了本文方法的檢測結果,與圖7(d)的結果相比可以看出,通過在訓練和檢測中引入多尺度的上下文信息,可以很好地抑制由光照、紋理等因素變化而產生的干擾,提高檢測準確率。

圖7 不同方法的檢測結果比較

對以上方法的定量統計結果進行比較,如表1所示。實驗結果表明,本文方法可使檢測準確率和召回率得到明顯提升。

表1 檢測準確率、召回率和F1值的比較1 %

本文方法與文獻[1]方法和文獻[6]方法的檢測結果比較如表2所示。實驗結果表明,與其他2種方法相比,本文方法在準確率和召回率上均有提高。2種對比方法雖然較好地利用了面向對象的分析方法來抑制噪聲的影響,但由于對象尺寸大小不一的問題,僅能對對象進行了簡單特征的提取,因此限制了方法的進一步提高。而本文方法在解決上述問題的基礎上通過利用多尺度上下文信息,顯著地提升了檢測性能。

表2 檢測準確率、召回率與F1值的比較2 %

4 結束語

本文提出一種基于深度置信網絡和對象融合的圖像變化檢測方法。將變化檢測問題轉化為二分類問題,并在分類問題中把圖像像素作為分類單元。在特征學習和分類階段充分利用圖像目標的上下文信息,設計了多尺度的圖像特征學習和分類方法。在此基礎上,本文還提出一種基于對象的分類融合方法,通過基于對象融合的方法處理深度置信網絡分類得到的結果,從而降低圖像和目標局部噪聲的影響。在QucikBird影像數據集上的實驗結果表明,本文方法具有較高的變化檢測準確率。下一步將在本文工作的基礎上研究深度學習以及不同形式的融合方法在遙感圖像變化檢測中的應用。

[1] 陳克明,周志鑫,盧漢清,等.基于高斯過程的高分辨率遙感圖像變化檢測[J].遙感學報,2012,16(6):82-94.

[2] 李 亮,舒 寧,王 凱,等.融合多特征的遙感影像變化檢測方法[J].測繪學報,2014,43(9):945-953.

[3] 陳麗勇,閆夢龍,孫 顯,等.一種基于背景先驗的飛機目標檢測方法[J].測繪科學,2016,41(3):69-74.

[4] HUO C,ZHOU Z,LU H,et al.Fast object-level change detection for VHR images[J].IEEE Geoscience and Remote Sensing Letters,2010,7(1):118-122.

[5] 王 威,劉 洋,劉 婧,等.基于對數變差函數紋理增強的圖像變化檢測[J].計算機工程,2016,42(2):224-228.

[6] 陳麗勇,孫 顯,王宏琦.一種基于TSVM-MRF的變化檢測方法[J].國外電子測量技術,2015,3(7):32-36.

[7] BENGIO Y.Learning deep architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-127.

[8] CHEN X,XIANG S,LIU C L,et al.Aircraft detection by deep belief nets[C]//Proceedings of the 2nd Asian Conference on Pattern Recognition.Washington D.C.,USA:IEEE Press,2013:54-58.

[9] LIU J,GONG M,ZHAO J,et al.Difference representation learning using stacked restricted Boltzmann machines for change detection in SAR images[J].Soft Computing,2016,20(12):4645-4657.

[10] HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18(7):1527-1554.

[11] HINTON G E.Training products of experts by minimizing contrastive divergence[J].Neural Computation,2002,14(8):1771-1800.

[12] LOWE D G.Object recognition from local scale-invariant features[C]//Proceedings of the 7th IEEE International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,1999:1150-1157.

[13] TOMASI C,MANDUCHI R.Bilateral filtering for gray and color images[C]//Proceedings of the 6th International Conference on Computer Vision.Washington D.C.,USA:IEEE Press,1998:839-846.

[14] LeCUN Y,BOSER B,DENKER J S,et al.Back-propagation applied to handwritten zip code recognition[J].Neural Computation,1989,1(4):541-551.

[15] COMANICIU D,MEER P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[16] OSHER S,SETHIAN J A.Fronts propagating with curvature-dependent speed:algorithms based on Hamilton-Jacobi formulations[J].Journal of Compu-tational Physics,1988,79(1):12-49.

[17] GAUCH J M.Image segmentation and analysis via multiscale gradient watershed hierarchies[J].IEEE Transactions on Image Processing,1999,8(1):69-79.

[18] REZAEE M R,van der ZWET P M,LELIEVELDT B P,et al.A multiresolution image segmentation technique based on pyramidal segmentation and fuzzy clustering[J].IEEE Transactions on Image Processing,2000,9(7):1238-1248.

[19] KEINOSUKE F,HOSTETLER L.The estimation of the gradient of a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.