多層級特征增強聚合的遙感圖像細小水體提取

孟月波,王 靜,劉光輝

(西安建筑科技大學信息與控制工程學院,陜西 西安 710055)

0 引言

水體提取作為遙感圖像地物分割中的一個重要任務,包含對河流、湖泊、坑塘及水庫等豐富類型的提取,在水資源監測和自然災害評估等方面具有重要作用[1]。目前高分辨率遙感圖像水體提取方法在特征簡單的大中型水體上呈現出較優的提取結果,但對于紋理、輪廓、光譜特征各有差異的細小水體提取的性能較差。細小水體是小尺度水體及細長狹窄水體的總稱,在遙感圖像中展現出多樣的屬性和細節信息[2],具有像素占比較少、特征不明顯等特點。其中細小水體特征不明顯主要表現在外部邊界不清晰、紋理特征不突出、與鄰近背景相似度高。因此,在遙感圖像中可以捕獲到的目標有效特征少且目標容易受到相似目標和其他地物陰影等背景噪聲的干擾,這使得細小水體的精確提取更具挑戰性。傳統遙感圖像水體提取方法處理流程繁瑣且特征表達能力弱,難以滿足不同區域細小水體提取對精度的要求。

隨著深度學習的不斷發展,深度卷積神經網絡憑借其較強的深層次特征提取能力及非線性擬合能力被廣泛應用于語義分割領域,在遙感圖像水體提取方面取得了諸多研究成果[3-4]。文獻[5]運用FCN提取水體相比傳統算法取得最優解,但由于下采樣路徑多次池化操作逐漸降低輸入特征圖的分辨率,且細小水體自身空間分布較少,導致目標細節信息不斷減少甚至消失,提取精度明顯下降。文獻[6-7]針對細節信息損失致使細小水體分割結果變差的問題,提出了改進的U-Net編解碼網絡,通過強化下采樣結構和改變跳躍連接方式增強低維特征信息,彌補空間信息的損失,但細小目標很難通過跳躍連接恢復,從而影響細小水體預測結果。文獻[8]在跳躍連接中添加殘差卷積結構實現特征提取,增強中間層特征表達,但其直接在整張特征圖上進行操作,未考慮細小目標的空間位置信息。文獻[9]設計了中間層特征切分上采樣模塊用于自然圖像分割,通過擴大區域內的目標提高其關注度,但特征提取能力欠佳,且網絡結構過于冗余造成模型參數量較大。因此,本文認為結合特征切分從空間維度上放大細小目標,并設計高效輕量的重點區域特征提取結構是解決遙感圖像細小水體有效信息提取量少的有效思路。

由于遙感圖像中細小水體形狀特征多變,紋理空間特征豐富,淺層特征無法滿足細小水體的精準提取。文獻[10]采用普通卷積作為骨干網絡提取圖像特征,但受限于卷積計算,小范圍感受野不利于充分利用圖像全局上下文信息進行特征捕獲及更深層次的特征疊加,故選取性能優異的骨干網絡挖掘穩定深層特征是細小水體精確提取的前提。文獻[11-12]將編碼器編碼特征輸入到4個不同擴張率的并行擴張卷積中進行學習,提取更豐富的深層次上下文特征,但膨脹率過大使得相鄰像素無法參與運算,不利于圖像連續信息的提取,導致細小水體分割效果較差,如何更好地利用空洞卷積進一步獲取深層次語義特征是改善細小水體分割效果的關鍵問題。

細小目標亮度、輪廓等信息特征響應弱,易于地面其他相似物體相混淆是影響細小水體分割精度和實際效果的關鍵問題之一。一方面,文獻[12-13]提出利用注意力機制增強網絡對弱目標信息的感知,抑制圖像噪聲信息,但不同層級特征語義信息都有差異,僅將關注機制應用于單層特征圖而忽略了不同層級特征的重要性,無法發揮其最大優勢。另一方面,解碼階段將具有較高語義信息的高層特征與富含空間細節的低層特征進行特征聚合,獲取更具有判別力的特征表達。文獻[14]通過拼接操作聚合不同層級特征,但簡單的聚合方式并未充分利用高低層特征之間的互補性,且額外噪聲會干擾高層水體語義特征的表達。文獻[15]設計特征聚合模塊,通過對直接拼接后的特征輔以全局池化操作,生成全局上下文優化特征聚合過程,但其未考慮高低層特征之間的語義差距,直接利用低層特征幫助高層特征恢復圖像細節,造成有用信息的丟失和無用信息的冗余,從而使網絡模型的性能下降。

基于以上分析,本文基于U型網絡提出一種多層級特征增強聚合的遙感圖像細小水體語義分割方法(multi-level feature enhancement aggregation network,MLEA-Net),旨在充分保留遙感圖像中的空間細節信息,同時獲取高質量的語義上下文信息,改善最終輸出特征圖的質量,提高遙感圖像細小水體的分割精度和效果。

1 相關研究工作

1.1 U型網絡

U型網絡采用編解碼結構學習特征的豐富層次表達,編碼部分對輸入圖像進行特征提取,解碼部分將編碼端輸出特征圖通過上采樣還原至原圖尺寸,結合跳躍連接融合多尺度特征信息,提供高低特征圖的同時加速模型收斂。U型網絡利用特殊對稱結構在高分辨率圖像中獲取局部特征,在低分辨率圖像中捕捉全局特征,實現端到端分割,被廣泛應用于遙感影像水體提取任務。U型結構如圖1所示。

1.2 CSPDarknet53特征提取

遙感圖像中細小水體具有形狀特征多變,紋理空間信息豐富等特點,其深度特征利用不足不能較好地滿足細小水體的識別與提取。深度卷積神經網絡CSPDarknet53[16]引入了CSP-Resblock_body模塊,通過截斷梯度流的方式防止過多重復梯度信息,既增強了網絡對目標特征的學習能力,又解決了深層次網絡帶來的計算瓶頸問題,大幅節省計算內存的消耗;同時合理的卷積層數量設計使其感受野可覆蓋更大的圖像面積。所采用的CSPDarknet53由stem,stage0-stage4組成。stage0-stage4分別對應5個CSP-Resbody模塊,5個模塊中分別由1,2,8,8四個小的殘差塊組成,其中利用3×3卷積代替maxpool層實現下采樣。另外網絡前端的stem由1個3×3的卷積層組成。CSPDarknet53網絡及CSP-Resbody模塊如圖2所示。

圖2 CSPDarknet53 網絡結構及CSP-Resbody模塊Fig.2 CSPDarknet53 Network and CSP-Resbody module

圖2(a)為CSPDarknet53的網絡結構,圖2(b)為CSP-Resbody模塊,該模塊在保持原來Bottleneck的基礎上,利用卷積的方式將輸入的特征分為兩個部分,其中一部分做ResNet的殘差卷積,另一部分為1×1卷積,最后與另一部分進行cat拼接操作,與單分支殘差塊相比,獲取了更豐富的梯度融合信息且降低了計算量。

1.3 非對稱卷積塊

與普通卷積相比,非對稱卷積塊[17](asymmetric convolution block,ACB)用兩個一維非對稱卷積分別從水平和垂直方向對方核卷積進行特征增強,減輕冗余信息對捕獲代表性特征的影響,然后將3個并行卷積核獲取的信息集中到方核卷積,在不增加額外計算量的基礎上,提取到豐富的空間細節信息,保證網絡對各切分區域內目標具有良好地辨識能力,利用式(1)、式(2)描述非對稱卷積塊:

CXI=Lconv3×3(XI)+Lconv1×3(XI)+Lconv3×1(XIi),

(1)

(2)

式中,XI和XI1分別表示輸入特征和輸出特征,Var(·)和E(·)表示輸入的方差函數和期望值,ε是保持數值穩定性的常數,γ和β是BN層的兩個可訓練參數,σ(·)表示ReLU激活函數。

2 多層級特征增強聚合的遙感圖像細小水體語義分割模型

2.1 網絡結構

本文方法的網絡基本結構如圖3所示,采用U型網絡框架,具體包括4個部分:特征提取網絡、細節特征增強模塊(detail feature enhancement module,DFEM)、全局局部空間金字塔池化模塊(global local-spatial pyramid pooling,GL-SPP)、雙分支聚合模塊(two-branch fusion module,TBFM)。特征提取網絡以CSPDarknet53為主干網絡采用stem,stage0-stage4卷積塊連續下采樣,得到多分辨率特征信息{E0,E1,E2,E3,E4}。將含豐富空間信息的淺中層特征{E1,E1}輸入至DFEM模塊,擴大不同尺度下局部區域的細小目標并捕獲更加有效的上下文信息和全局信息,得到描述不同語義信息的特征{PE1,PE2},采用逐像素相加的方式將其與上一階段的特征合并得到特征{DE1,DE2},以便后期編碼階段融合。編碼末端特征E4通過GL-SPP模塊生成優化特征EP4,實現深層次語義信息的充分提取和有效編碼。在解碼端4個A-TBFM模塊用于逐步完成上采樣特征聚合和恢復,通過相互融合和引導生成豐富特征{D1,D2,D3,D4},低層特征提供更精確的空間定位,高級特征增強信息的長期依賴性,提供更準確的類別一致性判斷。通過4×4轉置卷積將D1還原到原圖像大小,使用3×3卷積將D0進行通道壓縮,經由SigMoid函數映射完成輸出。

圖3 網絡基本結構Fig.3 Network basic structure

2.2 細節特征增強模塊

中間層特征復用有助于網絡對編碼特征的增強和利用,是解決遙感圖像細小水體提取目標有效信息量少的有效途徑,其處理方式通常直接對整張特征圖進行卷積操作。但對細小水體而言,其往往分布于圖像的某一小塊區域內,這種特征提取過程未考慮細小水體的空間位置信息,對處于圖像某局部區域細小目標缺乏很好的關注,且隨著特征提取層數的變多無法避免地增加了模型參數量。此外,根據可視化深度卷積神經網絡,淺中層特征攜帶大量的空間細節信息,而高層特征基本不包含[18]。因此,如何以淺中層特征為主高效地捕獲豐富信息是實現遙感圖像細小水體提取的關鍵。

本文設計的DFEM模塊從空間維度上劃分淺中層特征,生成局部擴大區域以充分利用所攜帶的空間細節信息,然后將其輸送到混合分層非對稱卷積特征提取塊(mixed layered asymmetric convolution feature extraction block,AFEB)獲取對應區域下的語義類別信息,得到更具空間區域性質的上下文信息和全局信息,利用參數共享機制加強各局部擴大特征之間的聯系,最后將獲取的特征與解碼階段對應輸出特征融合生成更全面的特征表達,達到增強細小目標特征辨識能力的目的。DFEM模塊具體如圖4所示,將DFEM模塊附著在主干網絡編碼階段{E1,E2}處,獲取更加有效的淺中層特征。

圖4 DFEM模塊Fig.4 DFEM module

以E1為例分析說明DFEM模塊,當高度為H,寬度為W,通道數為C的輸入特征經切分操作之后,得到2×2個張量大小為H/2×W/2×C的局部區域切分塊E1i,利用式(3)將其還原至原特征大小,生成局部擴大區域特征FE1i:

FE1i=Lupsampling(E1i) (FE1i=1,2,3,4),

(3)

式(3)中,Lupsampling(·)表示雙線性插值上采樣。

AFEB具體結構如圖5所示,以通道數為C的FE11為例,經方形卷積和帶有擴張率的非對稱卷積構成兩條分支進行特征提取,提升卷積層的實際感受野,各分支分別對特征圖維度進行壓縮,之后將不同尺寸卷積核提取的特征在通道維度上進行拼接。利用擴張卷積的分層加法,在多尺度上下文中保留層次相關性,在特征圖的計算中涉及更多像素。因此,疊加擴張非對稱卷積特征提取層,獲得不同尺度增強特征P,V,獲取過程如式(4)、式(5)所示;結合兩層生成的特征圖得到深層次融合特征K,獲取過程如式(6)所示。

圖5 AFEB具體結構Fig.5 AFEB specific structure

P=Lconv1×1×C′(FE11)·
‖LACB3×3×C′,rate=2(Lconv1×1×C′(FE11)),

(4)

V=Lconv1×1×C′(FE11)·
‖LACB3×3×C′,rate=4(Lconv1×1×C′(FE11)),

(5)

K=P⊕V,

(6)

式中,‖表示特征拼接,⊕表示按元素相加,LACB3×3×C′,rate=i(·)表示擴張率為i的非對稱卷積塊。

將全局平均池化操作擴展到特征提取中得全局特征信息,將該特征結合式(5)生成深層次融合特征K,通過式(7)獲取更具空間區域性質的上下文信息表征AE11,其大小與初始特征E11保持一致。最后,將{AE11,AE12,AE13,AE14}在空間維度上重新拼接,生成通道數為C,高度為2H,寬度為2W的淺層優化特征PE1。該操作在不同的切分區域提取對應區域下的語義類別信息,從而能夠關注區域內的細小目標,提供更加有效的淺中層特征信息。

AE11=GP(K)⊙K,

(7)

式(7)中,⊙表示按元素相乘,GP表示全局池化操作。

2.3 全局局部空間金字塔池化模塊

高層次上下文語義信息的充分提取和有效編碼是緩解淺層特征無法滿足具有特征多樣性的細小水體精確提取的常用手段,而擴張卷積和空間金字塔池化是捕獲高質量語義上下文信息的有效模塊。通常,以級聯或并聯的方式堆疊不同擴展率的擴張卷積增大感受野,但文獻[19]表明積極增加的擴展因子會導致相鄰單元之間的空間不一致,以及無法聚合小對象的局部特征。此外,擴張卷積可能會因為感受野過大造成從特征圖中提取到的有用信息量較少,使其失去建模能力?；诖?本文提出一個GL-SPP模塊(見圖6),用于提升網絡感受野的同時減少特征信息的丟失,整合水體更多尺度的語義信息。

圖6 GL-SPP模塊Fig.6 GL-SPP module

GL-SPP模塊通過堆疊遞增遞減不同擴張率的3×3卷積核提取E4特征,獲取像素點周圍的特征信息;遞增的擴張因子提取覆蓋上下文的特征,保證其最大感受野可以獲取全局語義信息;遞減的擴張因子逐漸恢復相鄰單元之間的一致性,聚合前端分散的局部特征;同時,多條并行支路與初始特征E4利用相加操作將具有不同感受野的擴張卷積融合,利用式(8)進行計算,得到輸出特征SE4,獲得周圍特征信息和大感受野的同時減少信息丟失。其次,利用池化核大小分別為13×13,9×9,5×5,1×1的空間金字塔池化進一步分離出最顯著的上下文特征,獲取特征圖不同局部感受野及全局感受野的特征信息,對它們進行拼接操作及1×1卷積將其通道數調整為與E4相同。最后,與殘差進行融合獲得多尺度特征EP4,增強高階水體語義表達能力的同時加速梯度反向傳播。

(8)

式(8)中,conv1-conv4表示依次疊加擴張率為1,2,4,8的3×3卷積,conv5包含擴張率為1,2,4,8,3的3×3卷積,conv6包含擴張率為1,2,4,8,3,1的3×3卷積。

2.4 注意力引導的雙分支聚合模塊

融合更多特征信息對于細小水體識別取得優秀的分割效果至關重要,但跨越不同層級特征間的語義差距也是細小水體分割面臨的一個挑戰。語義差距通常是指低層和高層語義特征之間的差異。一般而言,低層特征包含邊緣、顏色和紋理等空間細節,但缺乏高級語義信息;而高層特征包含更多的判別性信息,如語義信息,卻缺乏空間細節信息。為了使這些信息相互補充以獲得更具有判別力的特征表示,進行多層次的特征融合是必要的。待融合的低分辨率高層特征通過轉置卷積或者雙線性插值的上采樣操作恢復到與低層特征相同的分辨率,使得兩層特征圖在空間尺寸上保持一致,然后經沿通道拼接或逐像素相加的方式進行融合。然而,由于特征結構以及特征內容本身的限制,不同層級之間的特征簡單融合勢必會存在語義差距[20]。例如高低層特征的每個位置并不都是同等有效的,直接利用相同的權重來融合,忽略了多層級特征的不同重要性。并且,直接融合勢必會引入低層特征的背景噪聲。

因此,針對細小水體特征響應弱,易與地面其他相似目標混淆的問題,本文提出A-TBFM模塊將通道注意力和空間注意力結合,用于特征聚合強化關鍵特征信息,緩解不同層級特征之間語義不一致的問題,減少背景噪聲對識別任務的干擾,生成表征信息更加豐富的語義特征圖,實現不同尺度特征有效融合。即深入挖掘和使用不同尺度的圖像信息,并將輸出具有較強語義信息的高層特征反饋至低層,在補充低層特征信息的同時引導其進行學習,使得最終低高層特征分別提供更精確的空間定位和類別一致性判斷。

本文使用4個雙分支聚合模塊逐步完成特征聚合和恢復,高層特征分支采用經轉置卷積上采樣獲取的語義信息,低層特征分支中包含下采樣的語義信息和DFEM模塊優化的語義信息,為實現小水體分割提供更詳細的特征信息,A-TBFM模塊具體結構如圖7所示。為了充分利用低層特征信息,A-TBFM模塊首先利用3×3深度可分離卷積層對其進行建模,并在卷積操作后附加歸一化BN層,對數據進行標準化處理,以提高訓練效率,強化網絡泛化能力;再經過激活函數ReLu層,增加網絡的非線性表達能力,緩解梯度消失的問題,之后生成低級優化特征L。同時,通道數為C、高度為H、寬度為W的高級語義特征經式(9)-式(11),獲得通道數為C的區域重塑特征B,A,D。B∈RN×C,{A,D}∈RC×N,其中N=H×W:

B=Lreshape(H)T,

(9)

A=Lreshape(H),

(10)

D=Lreshape(H)。

(11)

采用式(12)計算A和B的通道注意力圖S∈RC×C。具體來說,在A與B之間進行矩陣相乘,計算相似度,在最后一個維度上執行softmax操作。這個過程相當于通道注意,即利用所有對應位置的空間信息來建模通道相關性,softmax激活函數主要是求特征圖中每個像素與圖片中的其他圖像的歸一化相關系數。最后,(C,C)通道注意力矩陣中第i行第j列元素的值為圖中第i通道像素點與第j通道像素點之間的相關性。接著,通過式(13)生成具有全局上下文信息的高層通道增強特征Z。對通道注意力矩陣ST和D之間執行矩陣乘法,并將結果再次重塑為RC×H×W。這樣得到的輸出是考慮全局信息的特征圖,每個位置的輸出值為所有其他通道的加權和,用于建模特征映射之間的長期語義依賴關系。最后,高層通道增強特征Z與低級優化特征L相乘為其提供加權參數,獲取圖像的通道語義關系y。

S=Lsoftmax(A×B),

(12)

Z=(Lreshape(ST×D)),

(13)

式中,×表示矩陣相乘,即對于矩陣運算ST×D,ST∈RC×C,D∈RC×N,則結果為RC×N。

為獲得特征圖的空間注意力信息,對加權低級優化特征y通過平均池化操作壓縮通道特征信息,采用SigMoid激活函數獲取特征圖在寬度和高度維度的空間權重,生成子區域特征相關性注意力矩陣y′,y′∈R1×H×W,將y′結合高層通道增強特征Z得到區域間特征空間位置信息的注意力表征。最后將其與高層特征和帶有全局上下文信息的通道特征融合,通過式(14)獲取兼具空間定位信息和上下文信息的高級語義特征F,F∈RC×H×W:

F=H+y+y′⊙Z,

(14)

式中,⊙表示按元素相乘,+表示像素級相加。

2.5 損失函數

本文采用如式(15)所示損失函數,采用逐像素二元交叉熵損失(binary cross entropy,BCE)和Dice損失函數的混合損失函數進行計算:

L=Lbce+LDice。

(15)

Lbce和LDice計算公式為

(16)

(17)

式中,tij為某像素真實類別標簽,pij為某像素預測類別標簽,W和H分別為圖像的寬度和高度。

3 實驗及結果分析

3.1 數據集與評價指標

3.1.1數據集

1) GOQQ數據集

GOQQ數據集以青藏高原湖泊水體數據集[8]為基礎進行擴充豐富水體多樣性,補充研究區域為青海省,水體類型包括湖泊、河流、水庫等。青海和青藏高原屬于典型寒旱區域,不同于一般區域,寒旱區地形復雜,山脈河谷較多,其遙感圖像易受到山體陰影、干涸河床、植被等影響;且因天氣因素影響,寒旱區降水量少且分布不均,使水體具有小尺度目標以及細長狹窄目標多,排布較為分散等特點,適合細小水體遙感信息提取。目前對于細小水體的定義尚未形成嚴格的標準,本文參考多種研究將占據5～30個像素的水體定義為細小水體。選取第14級谷歌遙感圖像作為研究數據,共截取50張大小為256×256的包含細小水體的圖像構成補充數據集,最終GOQQ數據集按照訓練集(5 460張),驗證集(688張)和測試集(674張)進行劃分。

2) LoveDA數據集

為進一步檢驗網絡模型的穩定性,本文選擇在LoveDA[21]數據集上進行模型應用驗證。該數據集共5 987幅高空間分辨率遙感影像,包含城市和農村兩個區域,地理環境風格差異大且水生環境復雜,包含眾多類型細小水體,適合作為驗證細小水體提取模型穩定性的研究區域。由于測試集標簽未開源,則將訓練集和驗證集合并,重新劃分訓練集、驗證集和測試集。圖像尺寸裁剪為512×512,去除標注錯誤、存在黑邊區域和純背景標簽的圖像,減小數據誤差及樣本不平衡對實驗的影響,最終選用訓練集5 313幅,驗證集1 518幅,測試集759幅。

3.1.2評價指標

準確率、召回率、精確率、F1以及平均交并比是遙感圖像語義分割任務常采用的評價指標,具體計算公式為

(18)

(19)

(20)

(21)

(22)

式中,VTP為真正例,表示正樣本被判斷為正確樣本的數目;VFN為假反例,表示正樣本被判斷為錯誤樣本的數目;VFP為假正例,表示負樣本被判斷為正確樣本的數目;VTN為真反例,表示負樣本被判斷為錯誤樣本的數目。

3.2 實驗環境及訓練策略

本文及所對比算法均在Ubuntu系統下進行,GPU型號為RTX2080Ti,環境配置為CUDA11.2+python3+pytorch1.7.0。主干網絡CSPDarkNet53選擇ImageNet[22]預訓練結果作為初始化參數,采用Adam算法對網絡進行優化,GOQQ數據集Batch Size設置為8,LoveDA數據集Batch Size設置為4,動態改變網絡學習率大小。在訓練網絡過程中,采用數據增強策略,包括對比度變換、隨機水平垂直翻轉以及圖像隨機旋轉90°。此外,訓練的總迭代次數設置為120,以保證各模型在訓練過程中均可達到收斂。使用早停策略,避免過擬合。

3.3 GOQQ數據集實驗結果分析

為了驗證本文方法的有效性,與SegNet,U-Net,DeeplabV3+,DANet,Linknet等模型進行對比實驗,從定量與定性兩個方面綜合評價本文方法的性能。對比實驗的定量性能指標如表 1所示,所提模型MLEA-Net在準確率、召回率、精確率、F1和平均交并比等精度指標上分別達到了96.91%,96.90%,95.61%,96.23%和93.82%,與各網絡模型相比都有顯著的提升。因此,表1的對比結果證明了所提模型在細小水體分割任務中的有效性。

表1 GOQQ數據集不同算法結果對比Tab.1 Comparison of results of different algorithms in GOQQ dataset

如圖8所示,選擇5張典型影像進行分析,進一步突出本文方法的可行性。其中影像1有大面積和分散的不規則小目標水體,可將其用來驗證模型對于小目標水體的識別效果;影像2包含大量彼此非常接近并且具有微小輪廓的小目標水體;影像3,4用來分析細長目標的分割性能;影像5有較明顯的山脈陰影干擾區域,用于探究模型受陰影干擾時的分割性能。為了更清晰地對比各模型的提取結果,在圖中用虛線框圍出區域為分割細節對比和漏分及誤分情況。

圖8 不同網絡模型在GOQQ數據集上的預測結果對比Fig.8 Comparison of prediction results of different network models of GOQQ dataset

分析圖8的分割結果圖細節,在圖8(c)中,無論是排列分散或密集的小目標水體都存在被漏分割的現象,細長水體的連接處也被誤分為背景,受高山陰影干擾的區域水體將背景誤分為水體,這種誤分割主要是因為SegNet的編碼器深度不夠導致特征提取不夠充分,無法很好地處理區域內的陰影干擾,且網絡中的最大池化索引無法使編解碼特征有效聚合,達不到增強目標語義的作用。圖8(d)中,U-Net網絡對水體分割效果較好,其通過在上采樣過程中,跳躍連接相同尺寸的特征圖并采用拼接操作進行特征融合,在受高山陰影干擾的水體區域中,水體的輪廓可以大概被分割出來,但仍會將小部分陰影錯誤識別為水體。由于其利用的2倍上采樣倍數小,特征保留相對比較豐富,除極小水體外大多數小目標水體能夠被識別出,但在細長水體的較細處出現了中斷,細節識別效果不理想。圖8(e)中,DeepLabV3+模型中使用擴張卷積可以緩解由于下采樣過多使得水體信息丟失的問題,但其會造成局部信息丟失以及長距離獲取的信息關聯減弱,無法完全正確提取出水體的精細邊界,如第二列圖中小目標水體輪廓分割過多,第四列圖中細長水體的較細處將背景誤分為水體。圖8(f)中,DANet網絡不同于ASPP等結構特征聚合獲取上下文,其利用并行注意力機制分別模擬空間和通道維度中的語義相互依賴性,有效地集成局部特征與全局特征,對大尺寸水體整體分割表現較好,但缺乏包含豐富空間信息的淺層特征造成小目標水體識別效果較差。圖8(g)中,LinkNet模型編碼部分采用ResNet捕獲豐富特征,且編解碼層采用相加的操作有效增強了語義信息,對細長水體的分割效果較好,如第4列圖中細長水體的輪廓連續完整,但簡單的逐像素相加的方式,使得背景噪聲影響高階水體語義特征的表達,同時結構中無優化模塊,缺乏抑制背景噪聲的能力,使得極小目標漏分割,山脈陰影與水體難以區分。圖8(h)是本文方法的分割結果,從影像一和影像二的分割結果可以看出,所提模型將分散和密集排布的小目標都能夠完整地識別,且影像一右上方受干擾區域也未出現誤分割的現象,具有較強的小目標分割能力。影像三和影像四中的細長水體識別較為完整連貫,清晰地反映出水體的細節部分。由于影像五中山脈陰影與水體具有相似的特征,分割結果很大程度上受其干擾,對高山陰影遮擋等干擾因素有較強的區分性。對比實驗結果表明,本文所提模型具有提取細小水體的能力,提取細小水體區域面積準確且輪廓邊緣信息清晰完整,總體精度較高,優于其他水體提取算法。

3.4 LoveDA數據集實驗結果分析

為驗證模型穩定性,在LoveDA數據集上也評測了本文方法,將所提模型與其他5種語義分割網絡進行對比,定量精度如表2所示。

表2 LoveDA數據集不同算法結果對比Tab.2 Comparison of results of different algorithms in LoveDA dataset

從表2可以看出,本文提出的MLEA-Net模型在準確率、召回率、精確率、F1和平均交并比5個精度指標上分別達到96.04%,89.83%,85.65%,86.27%和85.65%,各項指標均高于其他網絡,具有一定的性能優勢。

為比較不同方法的水體提取結果,從測試集中選取5幅典型影像進行分析,如圖9第1行所示,其中包含植被與人工建筑交錯的水體、細長和微小水體、不同面積規則和顏色的水體分布緊湊以及具有陰影和其他地物干擾的水體。

圖9 不同網絡模型在LoveDA數據集上的預測結果對比Fig.9 Comparison of prediction results of different network models of LoveDA dataset

從圖9可以看出,與其他方法相比,本文方法的水體提取結果與真值圖最匹配,漏分和錯分現象也比較少且輪廓更為準確清晰。影像一中,小塊水體之間夾雜較細的中間邊界且右下方水體被植被陰影遮擋著一小部分,對比方法中間距微小的水體幾乎都被粘連,而本文方法則提取了較為精細的邊界;影像二微小水體和窄長的溝渠識別結果更連續和完整,水體的完整性不受河岸周圍植被的影響,且準確區分出水體和相鄰的建筑物陰影;影像三中不同面積規則的坑塘水體分布緊湊,同物異譜現象顯著,本文方法將絕大多數坑塘都提取出來,與水體特征相似的干涸河床也沒有被錯誤分類為水體;影像四中除本文方法外,與小面積水體特征相似的操場、植被和深色頂棚的建筑物幾乎都存在誤分;影像五中港口處的碼頭和?？康拇粚⑺w分割成邊界崎嶇的幾部分,使得在對水體輪廓的提取過程中難以保證其完整性,本文方法可以對大面積水體和微小水體都實現較為準確的識別,然而過于凹凸的細節處沒有被完全提取出來?；谝陨戏治?表明本文方法MLEANet具有較高的穩定性,在應用于地理環境風格差異大的數據集時也可以表現出較為優越的性能。

3.5 消融實驗

為驗證MLEA-Net模型各模塊的有效性,在GOQQ遙感數據集上開展消融實驗。表3給出了各網絡的詳細結構,所提模型以CSPDarknet53為特征提取網絡,利用轉置卷積進行特征恢復,輔以跳躍連接減輕信息損失,故將該U型結構作為baseline網絡,DFEM表示細節特征增強模塊,GL-SPP表示全局局部空間金字塔池化模塊,A-TBFM表示注意力引導的雙分支聚合模塊。對比結果如表4所示。

表3 各模塊組成的方法Tab.3 Method of composition of each module

表4 消融實驗結果Tab.4 Ablation experiment results

分析表4可得:

1) 以CSPDarknet53為特征提取網絡,5個指標分別為95.43%,94.80%,94.13%,94.46%,91.01%,表明CSPDarknet53能有效增強網絡特征提取能力,可學習到更利于辨別水體的判別信息。

2) 對比baseline和M1結構,通過在跳躍連接處添加DFEM模塊,準確率、召回率、F1和平均交并比指標分別提高了0.63%,1.52%,0.73%和1.17%,表明DFEM模塊高效利用了編碼端淺中層特征,在保留空間細節信息的同時提升語義表達能力;對比M1和M2結構,加入GL-SPP模塊后各性能指標均有小幅度提升,其中平均交并比提高了0.79%,說明GL-SPP模塊能獲取有效的周圍特征以及不同尺度特征,從而提高分割性能;對比M2和M3(MLEA-Net)結構,精度指標準確率、F1和平均交并比分別提升了0.44%,0.53%和0.85%,表明添加A-TBFM模塊后能夠集中注意力關注輸入特征的重要語義信息,可以融合更多跨層特征信息,對于提升網絡的分割性能十分有益。

3) 隨著本文提出的關鍵模塊逐步添加在baseline網絡上,分割的準確性逐漸提升,對比baseline和D(MLEA-Net)結構,5個指標分別提高了1.48%,2.10%,1.48%,1.77% 和2.79%。實驗結果表明本文提出的每個關鍵模塊對于獲得最佳遙感圖像水體語義分割結果都是必要的。

4 結論

針對遙感圖像細小水體多樣、有效特征信息難獲取及易受背景噪聲干擾的問題,設計多層級特征增強聚合的遙感圖像細小水體提取方法(MLEA-Net),以CSPDarknet53作為骨干網絡挖掘深層次特征,保證網絡特征提取能力的同時降低模型復雜度,利用細節特征增強模塊(DFEM)提高淺中層特征質量;而后,設計全局局部空間金字塔池化結構(GL-SPP)在編解末端捕獲全局局部多尺度上下文信息;最終,在解碼端提出通道注意力和空間注意力引導的雙分支聚合模塊(A-TBFM)進行不同尺度特征圖有效聚合,增強目標邊緣的像素信息和空間信息,進而提升細小水體的分割性能。

實驗結果證明:GOQQ數據集的精確率、召回率和平均交并比分別為96.91%,95.61%,96.90%和93.82%,LoveDA數據集的精確率、召回率和平均交并比分別為83.65%,89.83%和85.23%,提升效果顯著。但本文方法仍有需要改進的地方,MLEA-Net對與山脈陰影緊密相連的細長水體分割效果仍有提升的空間,后期研究將進一步優化注意力模塊或嘗試將其與網絡其他位置結合,抑制噪聲信息。