多尺度融合卷積神經網絡支持下的SAR影像變化檢測

段 玉,劉善偉,萬劍華,MUHAMMAD Yasir,鄭 爽

(1. 中國石油大學(華東)海洋與空間信息學院,山東 青島 266580;2. 自然資源部海上絲綢之路海洋資源與環境網絡觀測技術創新中心,山東 青島 266580;3. 山東財經大學公共外語教學部,山東 濟南 250014)

合成孔徑雷達(synthetic aperture radar, SAR)影像變化檢測是用于檢測同一區域不同時間內變化的技術[1]。在洪澇災害檢測、海岸線的動態監測等方面發揮著重要的作用[2]。

SAR影像變化檢測通常包括3個主要步驟: ①預處理,以抑制圖像噪聲;②構造差異圖 (difference image, DI);③差異圖分析,以檢測變化或不變的像素[3]。斑點噪聲的存在讓SAR影像變化檢測比光學影像更具挑戰性,而降噪對于SAR數據的準確識別和解釋至關重要。常用的空間域濾波器包括中值濾波[4]、均值濾波、Lee濾波[5]、Kuan濾波[6]和形態濾波[7]等。中值濾波器等雖然能有效地去除噪聲,但其無法區分噪聲和信號,去噪過程中會去除一些圖像紋理,導致清晰度和質量降低,這在復雜影像或有精細細節的影像中尤為明顯。Lee等濾波器則會導致邊界和細節信息的丟失,不能滿足變化檢測的需求。針對這些問題,本文提出一種顯著性中值濾波器來抑制圖像的背景噪聲。根據變化檢測的特點,對SAR影像的背景噪聲進行分層濾波,在去除背景噪聲的同時保留更多細節,以滿足高精度變化檢測的需求。

差異圖的生成是變化檢測中至關重要的一步,它影響著后續分析的結果。由于乘性噪聲的存在,因此多采用比值算子產生差異圖,如對數比算子[8]和鄰域比算子[9]等。聚類法是差異圖分析中的常用算法,文獻[10]使用模糊C均值聚類(fuzzy clustering methods, FCM)和馬爾可夫隨機場來降低圖像噪聲?？紤]標準FCM對散射噪聲具有敏感性,有學者在算法中引入鄰域信息,以提高變化檢測的穩健性。文獻[11]采用空間模糊聚類方法(spatial fuzzy clustering methods, SFCM)降低FCM對噪聲的敏感性。近年來,深度神經網絡在SAR影像變化檢測中發揮著重要作用?；谏疃葘W習的變化檢測通常將不同時相的兩幅影像作為輸入,通過良好的設計進行特征表達和噪聲抑制。卷積神經網絡(convolutional neural networks, CNN)由于其獨特的結構和局部權重共享機制,在各種深度學習網絡中脫穎而出,常用于空間的特征提取與表達[11-14]。雖然CNN在提取空間特征方面取得了很好的進展,但是這些網絡沒有考慮多尺度信息,可能會導致特征表達不足,關鍵信息丟失,從而降低檢測的準確性。

綜上,本文提出一種多尺度融合卷積神經網絡--squeeze, expand, and excitation network(SEENet),設計一個多感受野通道注意力模塊squeeze,expand and excitation(SEE)。SEENet主要由3個SEE模塊組成,受Fire模塊[15]和squeeze and excitation (SE) block[16]的啟發,SEE模塊利用不用大小的卷積核獲取多尺度信息,并自動學習獲取每個通道的重要性,以增強有用特征,抑制無用特征,從而實現對多感受野信息的高效選擇。SEENet通過殘差設計對多級空間特征進行組合利用來留存更多的變化細節,從而達到令人滿意的檢測精度。

1 研究方法

本文提出的變化檢測方法包含4個步驟: ①顯著性濾波去噪;②選擇可靠樣本; ③數據準備;④構建SEENet。具體而言,首先采用顯著性濾波去除圖像中的背景噪聲;將灰度共生矩陣提取的紋理特征與去噪后的原始圖像相結合形成樣本。然后采用無監督聚類方法得到粗略的分類結果,并選擇置信度較高的樣本作為標簽,指導SEENet訓練。最后采用最小交叉熵損失函數進行迭代,并將所有樣本輸入SEENet以獲得最終的變化檢測結果。

1.1 顯著性濾波去噪

首先使用顯著性提取方法獲取顯著性圖像,以區分圖像的前景和背景。前景是可能改變的區域,背景是潛在的不變區域。然后根據顯著性值,使用不同大小的窗口對背景進行濾波,在去噪的同時保留變化主體的細節,從而獲得更好的變化檢測結果。

利用上下文感知顯著性檢測[17]的方法進行顯著性區域提取,該方法基于人類視覺注意力原則,在多個尺度上對像素的顯著性值進行評估,提取出具有吸引力和緊湊的顯著性區域。將像素的顯著性值定義為

(1)

(2)

式中,i、j為像素點在圖像中的位置;Median為中值濾波器。

對原始影像I1、I2進行顯著性中值濾波操作,得到濾波后的兩幅影像C1、C2。

1.2 選擇可靠樣本

對于濾波后的影像C1、C2,首先利用經典對數比算子生成差異圖,然后利用空間聚類算法[11]對差異圖進行預分類,得到粗分類結果。粗分類結果是一幅包含變化和未變化兩類的二值圖,其中“0”為未變化區域,“1”為變化的區域,從中選擇可靠樣本,可以指導神經網絡的訓練,實現無監督的變化檢測。而很多像元在其屬于“0”和“1”之間有著模糊的界限,直接使用差異圖的粗分類結果來當作標簽通常會有很多誤差,因此需要進一步篩選,確定置信度更高的樣本。當一個像素與其周圍的相鄰像素相同時,那么這個像素是一個內部點,通常認為它是可靠的;當一個像素的周圍像素有一半及以上與它相同時,那么這個像素是一個邊緣點,也是可靠的[20]。因此,統計像素D(i,j)周圍的8個像素D(i-1,j-1)到D(i+1,j+1)的變化類型,與中心像素變化相同的像素所占比例作為標簽的置信度。公式為

(3)

式中,NB(Fij)表示Fij的相鄰元素;ε為閾值,本文選取0.75作為閾值,選取大于0.75的像素值作為可靠標簽。

1.3 數據準備

將不同的特征進行組合可以提高模型的穩健性和泛化能力,更好地適應各種復雜場景的需求。因此,對原始影像提取紋理特征,連同原始影像組成輸入層輸入到SEENet中?；叶裙采删仃嘯21](grayscale co-generation matrix, GLCM)是一種利用圖像灰度空間相關特征描述紋理的通用方法,包含能量、熵、方差等多個標量。其中,能量為GLCM的角二項式矩,可以反映紋理的粗細度和灰度均勻分布程度。因此,本文選擇GLCM中的能量標量作為紋理特征,其提取公式為

(4)

式中,G為灰度共生矩陣;i為行號;j為列號;k為灰度值的級數。

通過上述操作,生成I1、I2的紋理特征影像W1、W2,與去噪后的影像C1、C2進行疊加。對于任意一幅影像,以任意像素為中心連同周圍m個像素作為網絡的輸入。利用1.2節挑選出的標簽指導樣本生成,最后生成n×n×4大小的訓練樣本,經過旋轉等增強手段后,與標簽進行組合,輸入到SEENet進行訓練。最后將所有像素塊輸入到訓練好的網絡中,得到最終的分類結果。

1.4 SEENet

將Fire模塊和SE Block組合作為一個SEE模塊,如圖1(a)所示。將1×1的卷積作為squeeze部分對特征圖進行大小調整,expand由一組連續的1×1卷積和3×3卷積通過連接操作生成,多感受野可獲取多尺度特征,然后利用SE Block得到每個通道的權值,建立通道之間的依賴關系,強調有用特征。為了提升運算速度,本文將SE Block中的全連接層替換為卷積層。

圖1 網絡結構

SEENet如圖1(b)所示,總共設置了3個SEE模塊,每個模塊都對特征圖的大小進行了壓縮。本文使用RMSProp優化器和交叉熵損失函數進行訓練。SEENet網絡結構由1個卷積層、3個SEE模塊、1個Fire模塊和1個dropout層組成。第一個卷積層的通道數為64個,SEE模塊分別有16、24和32個通道。將每個SEE模塊生成的特征圖通過深度連接后輸入到具有64通道的Fire模塊中,經過dropout層、分類層得到最終的變化檢測結果。

經過3次SEE模塊壓縮后的特征圖大小分別為6×6、3×3和2×2。淺層網絡可以獲取更多的細節信息,而深層特征具有更強的語義信息和更少的噪聲。本文將3個SEE模塊的輸出特征通過殘差連接進行特征融合,在減少噪聲的同時保留更多細節。最后經過卷積層分類得到最終結果。

2 結果與討論

2.1 試驗數據

本文在由3個傳感器獲得的4個真實數據集上進行了試驗,以驗證本文方法的有效性。如圖2所示,黃河數據集由Radarsat-2傳感器捕獲,包含內陸水數據集(291×444)和農田D數據集(257×289)。渥太華數據集由Radarsat傳感器分別采集于1997年1月和8月,大小為290×350像素。舊金山數據集由ERS-2傳感器分別獲取于2003年8月和2004年5月,大小為256×256像素。在4個數據集的地表真實變化標簽中,黑色表示不變的區域,白色表示發生變化的區域。為了更好地評估方法性能,將本文方法與幾種傳統的變化檢測方法廣義最小誤差閾值(GKI)[22]、SFCM[11],以及深度學習方法極限學習機(extreme learning machine, ELM)[23],深度置信網絡(deep belief network, DBN)[20],主成分分析網絡(principal component analysis network, PCANet)[24],CWNN[13],雙域網絡(dual-domain network, DDNet)[25],膠囊網絡(capsule network, CapsNet)[26]進行比較。以假陰性(FN)、假陽性(FP)、總體誤差(OE)、正確分類百分比(PCC)和Kappa系數為指標,對試驗結果進行定量評價。

圖2 4個真實數據集上的可視化結果 (從上到下為內陸水、農田D、渥太華、舊金山)

2.2 試驗結果

圖2展示了4個真實數據集及部分性能較好的試驗結果。由于每個數據集的噪聲水平不一致,如果對模型進行統一訓練會導致對模型對不同數據集噪聲和細節信息的誤判。因此,本文使用模型分別訓練每個數據集生成測試結果,并對試驗結果進行了定性和定量分析。

由表1中可以看出在內陸水數據集上,GKI、SFCM、CWNN和DDNet方法的假陽性值區域較大。從圖2可以看出CWNN和DDnet的結果存在明顯的斑點噪聲,部分內河邊緣被錯誤識別。對于內陸水數據集,ELM、PCANet和CapsNet方法不能識別右下角部分河流和內河湖的變化,因此存在較大的假陰性區域。由表1中看出,DBN和DDNet方法的OE相同,均為1.59%,差異僅為0.01%。但Kappa系數卻相差2.96%,觀察發現當FN越小時,KC越高。ELM方法具有較大的FN,盡管其整體精度較高,但其KC相對較低。SEENet方法的PCC為98.60%,Kappa系數為78.44%。

表1 內陸水數據集試驗結果 (%)

對于農田D數據集,由表2中可以看出,GKI算法、SFCM算法、DBN算法、PCANet算法及CWNN算法的假陽性率均大于1%;由圖2可以看出,CWNN方法的結果有著明顯的散斑噪聲,這導致了較高的FP。GKI、SFCM、ELM、DDNet、CapsNet和SEENet方法的FN均大于3%。前5種方法的高FN是由于對農田中部的細節識別較差造成的。在表2中閾值法的各評價指標中最差。本文所提出的SEENet的總體誤差為3.93%,PCC為96.07%,Kappa系數為86.05%。

表2 農田D數據集試驗結果 (%)

由于渥太華是一個噪聲水平相對較低的數據集,因此許多方法都達到了較高的精度。由表3中可以看出,閾值法GKI的試驗結果噪聲區域較多,FP高達14.95%,總體精度和Kappa較低,分別為84.79%和58.53%。ELM方法錯誤地將頂部一些變化區域識別為不變區域,導致FN過高。雖然FP較低,只有0.01%,但Kappa系數略低于其他方法,為76.90%。其他方法的結果差異不大,得到的結果圖中幾乎沒有散斑噪聲。SEENet方法的Kappa系數和PCC略低于DDNet,分別為93.35%和98.22%。

表3 渥太華數據集試驗結果 (%)

由于舊金山數據集差異圖的區別度較小,因此GKI方法在舊金山數據集上的性能非常差(見表4)。對比GKI結果圖和真實標簽值,可以發現其有大部分未變化區域被標識為變化區域。精度較低的GKI無法有效地指導DBN訓練,導致GKI指導下的DBN方法在舊金山數據集上的識別精度極差。ELM算法具有較高的噪聲敏感性,由圖2可以看出,它的假陽性區域較大。CapsNet算法的結果圖中雖然斑點噪聲很少,但是變化主體的細節部分沒有被有效識別,變化主體的右部被錯誤的連接,因此假陽性率也比較高。DDNet算法和SEENet算法的表現良好,噪聲較小, Kappa系數較高,分別為91.83%和92.01%。

表4 舊金山數據集試驗結果 (%)

本文方法在4個數據集上都表現出良好的性能。定性來看,所得到的變化檢測結果邊界清晰,噪聲較小;定量來看,本文提出的方法在大多數指標上都有較好的表現,證明了該方法的有效性和穩健性。

2.3 因子分析

2.3.1 補丁大小

補丁大小決定了像素點鄰域信息的多少,對試驗結果有著重要影響。以黃河數據集為例,Kappa系數為試驗的評價指標,進行補丁大小與Kappa系數的關系探究。如圖3所示,隨著補丁從小變大,Kappa系數表現出先增加后減少的趨勢,當補丁大小為7時,Kappa系數最高。因此,選擇7作為該試驗的補丁大小。

圖3 補丁大小對Kappa的影響

2.3.2 顯著性中值濾波

為了驗證顯著性濾波的有效性,將本文方法與Kuan濾波器、Lee濾波器、中值濾波器和均值濾波器通過前述流程生成變化檢測結果,并將結果進行對比。試驗選用了噪聲較大的農田D數據集作為驗證數據集。試驗結果如表5和圖4所示,定性來看,顯著性中值濾波器噪聲較少,農田部分邊界和細節清晰;定量來看,顯著性濾波在5個指標上都取得了最好的結果,可以證明顯著性中值濾波比其他空間域濾波在變化檢測領域更具有優勢。

表5 試驗結果 (%)

圖4 不同濾波器下的結果

3 結 論

本文提出了一種基于顯著性中值濾波的SEENet以實現變化檢測,該方法在去噪的同時保留了變化檢測的細節。顯著性中值濾波通過對圖像背景信息進行分層去噪減小噪聲的影響,與其他濾波器相比可以保留圖像更詳細的信息,更適用于高精度變化檢測中細節的提取。多尺度融合網絡SEENet利用3個SEE模塊提取多尺度特征,并通過殘差將深度特征與淺層特征連接起來,實現多尺度特征的多級利用。在4個不同噪聲水平的數據集上的優異表現證明了該方法的穩健性。未來將致力于研究大型SAR影像的變化檢測方法,由于大型數據集具有復雜多樣的場景,因此這項工作更具挑戰。