地學知識圖譜引導的遙感影像語義分割

李彥勝，武康，歐陽松，楊坤，李和平，張永軍

1.武漢大學 遙感信息工程學院,武漢 430079;

2.貴州省基礎地理信息中心,貴陽 550004;

3.貴州省第一測繪院,貴陽 550025

1 引言

遙感影像語義分割作為地學信息解譯的基礎性工作，廣泛地應用于土地覆蓋制圖、自然環境保護、災害應急監測、城市空間規劃等領域，具有重要的應用價值（Ma等，2019）。遙感影像是地表三維世界經過大氣傳輸到達傳感器的映射，包含了豐富的地物光譜、目標形狀特征和地理空間關系等信息。人類領域專家在語義分割過程中，往往需要綜合考慮目標語義信息和地學先驗知識才能夠有效克服遙感影像的“同譜異物、同物異譜”問題，從而取得理想的分割結果（Zhu等，2017）。

傳統的圖像語義分割方法包括最大似然法（MLE）、隨機森林（RF）、決策樹（DT）、支持向量機（SVM）等基于淺層特征判別的監督分類方法（Camps-Valls 等，2014；李楠 等，2018）。這類方法一般先根據人工設計的特征描述子提取圖像的光譜、紋理和幾何結構特征，然后進行特征分類（肖春姣 等，2020）。傳統分割方法高度依賴于人工設計特征，難以跨越底層圖像數據與高層邏輯信息的語義鴻溝，其魯棒性和精度較差。隨著人工智能理論與技術的快速發展，深度學習方法廣泛運用到了遙感圖像處理任務中（Li 等，2018，2020，2021a）?；谏疃葘W習的語義分割方法包括全卷積網絡（FCN）、U型網絡（U-Net）、分割網絡（SegNet）、掩模區域卷積網絡（Mask R-CNN）、深度分割網絡（DeepLab）、分割Transformer（SegFormer）、多視野融合網絡（MFV-Net）、PID網絡（PIDNet）等深度語義分割網絡方法（Long等，2015；Ronneberger 等，2015；Badrinarayanan等，2017；Zhao 等，2017；He 等，2018；Chen等，2018；Xie 等，2021；Li 等，2023；Xu 等，2023）。深度語義分割網絡通過端到端的學習機制對特征提取與特征分類一體化模型自動學習，從而自適應完成分割工作，使得分割的準確度大幅提高、分割的過程也更加智能化。然而，深度學習是基于像素的數據驅動方法，通過降低在每個像素上的損失來反向優化網絡模型，缺乏實體級別的學習，不能有效提取出目標形狀特征，使得分割結果整體性缺失、邊界模糊和隨機噪聲分布明顯，同時受制于結構化數據驅動方法的缺陷，往往難以利用地學先驗知識和實體間豐富的語義信息（如空間關系）（Liu 等，2020），導致可解釋性差。以上兩點不足嚴重制約著深度語義分割網絡性能，亟需在分割過程中從實體尺度出發，綜合考慮地學先驗知識和實體間語義信息。

先驗知識和語義信息是對規則或事實的抽象化表達，難以形式化建模。為充分利用先驗知識，國內外專家學者探索了諸多方法，如輔助通道嵌入、物理模型建模、遷移學習等。輔助通道嵌入方法（Wu 等，2021）通過將領域知識作為輔助的輸入通道參與網絡訓練測試從而進行知識嵌入。物理模型建模方法（Xu 等，2022；Li 等，2022）將物理知識融入損失函數和模型結構中來利用先驗知識。遷移學習方法（Dash 等，2022；李發森等，2022；歐陽淑冰 等，2022）通過預訓練等方式將領域先驗知識耦合網絡模型中。然而這些方法大多只考慮到特定場景下的先驗知識的入，對語義信息的利用程度不夠。在此背景下，遙感科學應該得到本體論、知識圖譜等知識表示技術的支持。本體（Ontology）（Arvor 等，2019）作為對特定領域中概念及其相互關系的形式化表達，具有很強的知識表示能力、基于認知語義學的推理能力和共享知識的能力。地學知識圖譜作為語義網絡，描述了地物目標的屬性以及目標之間的關系，相較于其他建模方式，能夠更好的捕捉實體之間的語義關聯和復雜的關系模式，有助于更好地理解和推理知識，適用于地學知識的結構化表達。其中，地學本體是地學知識圖譜的骨架，地物目標作為本體的實例化對象組成了地學知識圖譜的基本單元。地學知識圖譜的發展經歷了專家智能解譯系統（Goodenough 等，1987）、地學信息圖譜（張洪巖 等，2020）、地理知識圖譜（Hogan等，2022）3 個階段。傳統的專家智能解譯系統通過知識的規則化模仿專家的決策過程，針對性強，但適用范圍小，解譯精度有限；地學信息圖譜是一種借鑒圖譜思想構建的地球信息科學理論，系統化和抽象化地表達了地學知識，但由于面向的是整個地學領域，并不能直接用于遙感影像解譯；地理知識圖譜則是將當前的知識圖譜理論引入到了地理科學領域，完成了地學知識的結構化表達和推理?，F有遙感影像解譯方法缺乏地學知識的嵌入，導致解譯的可解釋性和可靠性受限，這使得地學知識圖譜驅動下的遙感影像智能解譯具有廣闊的應用前景（王志華 等，2021；李彥勝和張永軍，2022；張永軍 等，2023）。通過引入地學知識圖譜，從中抽取符號化的地學先驗知識和語義信息，并借助知識推理以完成遙感影像解譯，從而提高解譯結果的準確度和可解釋性。在已有工作中，建筑物本體模型（Gui 等，2016）用于從SAR 影像中提取建筑物，地學知識圖譜推理（Gu等，2017）被用于基于目標的高分辨率遙感影像語義分類方法，旨在挖掘利用地學知識圖譜推理理論對遙感影像解譯的優勢。地學知識圖譜嵌入方法（吳瑞 等，2022）被用于高光譜解混領域，通過先驗知識來進一步提高端元選擇的可靠性，從而提升解混的精度。地學知識圖譜推理增強了分類結果的可解釋性和可信度，但是相比于深度學習方法，其分類精度較差（Li 等，2021b）。聯合深度學習與知識推理是協調數據驅動方法與知識驅動方法的重要途徑（Arvor 等，2019；Li 等，2022）。在該類工作中，Alirezaie等（2019）實現了本體推理器與深度神經網絡分類器在輸入和輸出端的交互。耦合深度語義分割網絡和圖卷積神經網絡的遙感影像語義分割方法DSSN-GCN（Ouyang和Li，2021）借助圖卷積神經網絡對節點依賴關系的強大建模能力，在深度語義分割網絡的特征提取的基礎上引入了地物目標空間拓撲關系，從而預先將空間拓撲先驗知識嵌入到了網絡中，有效提高了網絡的性能。雖然遙感領域已有研究引入知識來推動遙感影像解譯技術（范菁 等，2017），但仍沒有具體工作來探討如何將地學知識圖譜來引導優化深度網絡。鑒于結構化數據和非結構化知識之間的鴻溝，如何將地學知識嵌入深度語義分割網絡中以自主引導網絡訓練仍極具挑戰性。

基于上述分析，為在深度語義分割網絡分割過程中實現實體級特征自主學習以及充分利用空間語義信息與地學先驗知識，本文提出了地學知識圖譜引導的遙感影像深度語義分割方法，使用從地學知識圖譜中抽取得到的地物目標語義信息和地學先驗知識來構建實體級連通約束和實體間共生約束，從而自主引導深度語義分割網絡訓練。實體級連通約束通過對分割結果的實體級約束，保證了分割結果的整體性。實體間共生約束通過量化共生先驗知識，實現將非結構化的知識嵌入到數據驅動的深度語義分割網絡中。驗證結果表明，本文提出的地學知識圖譜引導的深度語義分割方法明顯優于已有深度語義分割方法。

2 理論與方法

本文提出方法的總體流程圖如圖1。主要包括地學知識圖譜構建與遙感解譯先驗知識提取模塊、地學知識圖譜引導的損失約束模塊以及深度語義分割網絡優化模塊。地學知識圖譜構建與遙感解譯先驗知識提取模塊首先利用地學本體定義抽象類和屬性關系，再從數據集標簽影像中抽取實體及其屬性以實例化本體類，從而完成地學知識圖譜構建，最后從圖譜中提取空間共生先驗知識。地學知識圖譜引導的損失約束模塊包括常規的像素級稠密約束、實體級連通約束和實體間共生約束。數據集中的標簽包含大量的連通域，這些連通域是地物目標的分割結果，連通域之間的空間共生分布是領域分類知識的體現?？臻g共生等地學先驗知識可以根據連通域的空間分布進行抽取。實體級連通約束和實體間共生約束均以連通域為處理單元，前者計算每一個連通域單元而不是像素的損失，以實現對實體的整體性約束；后者借助空間共生先驗知識完成鄰域實體對中心實體的打分，該分值代表中心實體在當前鄰域空間分布下所屬類別的置信度，再根據分值計算損失，從而實現對實體空間分布的約束。深度語義分割網絡優化模塊負責網絡的訓練和圖像的語義分割。本文提出方法是一種地學知識圖譜引導的遙感影像深度語義分割方法，深度語義分割網絡優化模塊作為其中一部分，并不局限于特定的結構，可基于不同的深度語義分割網絡構建。為了驗證方法的通用性，本研究將地學知識圖譜引導的深度語義分割方法作用在U-Net 和DeepLab V3+這2 種常見的網絡中。深度語義分割網絡通過優化加入約束的綜合損失來調整網絡模型，從而學習到實體級特征表示和利用空間共生知識引導分割。

圖1 本文提出方法的總體流程圖Fig.1 The workflow of the proposed method

2.1 地學知識圖譜構建及遙感解譯先驗知識提取

2.1.1 地學知識圖譜構建

地學知識圖譜建立在地學本體的基礎上，通過實例化本體完成構建。地學本體的引入可將地學知識符號化，有助于提高知識的自主化運用水平。為建立地學本體，本文使用網絡本體語言OWL（Web OntologyLanguage）描述本體。地學本體的層次結構如圖2 所示?？梢姷匚飳ο箢悾╮s：GeoObject）為根類，其余子類從中衍生：一級子類主要包括水體（rs：Water）、植被（rs：Vegetation）、透水地面（rs：Ground）、農業用地（rs：Agriculturaland）、城鎮用地（rs：Urbanland）、交通工具（rs：Vehicle）和其他（rs：Unknown）；二級子類在一級子類的基礎上細分為湖泊（rs：Lake）、河流（rs：River）、海洋（rs：Sea）、草地（rs：Grass）、樹木（rs：Tree）、裸地（rs：Bareland），荒地（rs：Wasteland）、耕地（rs：Farmland）、牧場（rs：Rangeland）、建筑物（rs：Building）、道路（rs：Pavement）、車輛（rs：Car）、船只（rs：Ship）、飛機（rs：Airplane）。屬性關系是本體類間或實體間聯系的語義橋梁，地學本體的核心屬性主要包括從屬（oc：isA）等上下層屬性，相鄰（geo：adjacentTo）、環繞（geo：surroundedBy）、方位（geo：hasDirectionOf）等空間關系屬性以及多數類（geo：MaxClass）等統計屬性。圖2 中上下層屬性描述了實體間的從屬關系，比如：“耕地”是“農業用地”，因此“耕地”和“農業用地”之間就包含上下層屬性；空間關系屬性描述了實體間的空間關系，“道路”環繞“車輛”，因此“車輛”和“道路”之間就包含環繞的空間關系屬性；統計屬性描述實體間的統計性質和特征，如某個類別在知識圖譜中出現的頻率等統計屬性。地學本體是地學知識圖譜的骨架，而實體作為本體類的實例化對象，組成了地學知識圖譜的基本單元（圖2）。

圖2 地學本體層次結構Fig.2 The hierarchy of the geographic ontology

2.1.2 遙感解譯先驗知識提取

數據集的標簽影像包含大量的地物目標信息，包括類別、空間分布等信息。地物目標的空間分布是地學先驗知識的體現，因此可以從標簽影像上地物目標的空間分布中抽取空間共生關系等先驗知識。一般來說，超像素可以作為目標單元，因為受超像素分割算法的約束，影像中每個超像素是由一系列同質的像素組成的，同時超像素具有一致的形狀大小，意味著形狀較大的地物目標可以分割出更多的超像素，那么在獲取目標單元的條件共生概率等統計屬性時能夠將地物目標的尺寸也一并考慮進來。鑒于地物目標尺寸信息的重要性，本文以原始影像超像素分割塊對應于標簽影像的區域作為本體類的實體。利用標簽影像中的超像素（實體）實例化本體類，超像素中具有多數像素的地物類別作為對應實體的本體類類別，也即實體的多數類geo：MaxClass 屬性。超像素的空間關系屬性和統計屬性作為實體的屬性。若實體obj1和obj2在空間上存在公共邊，則兩者具有相鄰屬性，以三元組（obj1geo：adjacentTo obj2）表示。同理可得其他屬性關系。本體類的空間共生屬性是一種地學先驗知識，可由統計概率表達，具體做法是在鄰域內統計不同本體類實體出現的條件概率。以本體類Ci、Cj為例，統計地學知識圖譜中所屬Ci的實體出現的概率P(Ci)，以及出現與該實體相鄰的類別為Cj的實體的概率P(Ci，Cj)，再根據下式即可計算出在本體類Ci實體出現的條件下鄰域內出現本體類Cj實體的概率P(Cj|Ci)，稱P為共生條件概率。

以類別Cbuilding建筑類為例，首先統計出地學知識圖譜中出現建筑類的實體的概率P(Cbuilding)以及鄰域內同時出現類別為建筑類和Cpavement道路類實體的概率P(Cbuilding，Cpavement)，再根據式（1）即可計算出在建筑類實體出現的條件下鄰域內出現道路類實體的概率P(Cpavement|Cbuilding)。

2.2 地學知識圖譜引導的深度語義分割網絡優化目標函數

從遙感領域知識圖譜中抽取目標實體關系知識用于自主引導深度語義分割網絡訓練。引導方法主要包括實體級連通約束和實體間共生約束，約束構建以標簽連通域為實體。實體級連通約束以實體而不是像素為單元計算損失，實現對實體的整體性約束。實體間共生約束通過實體間空間共生知識將非結構化的地學先驗知識嵌入到數據驅動的神經網絡中以約束分割目標的空間分布。深度語義分割網絡通過優化總體目標函數來完成遙感領域知識圖譜的嵌入。深度語義分割網絡的總體優化目標函數L 包括像素級稠密約束的常規損失項?P、實體級連通約束損失項?R和實體間共生約束損失項?K，具體計算公式如下：

式中，α和β為常數，用于調節?R和?K在總體損失中所占的比例。

2.2.1 像素級稠密約束

深度語義分割網絡輸出的分類置信度圖F∈RC×H×W及其標簽 影像Y∈RH×W計算像素級稠密損失，像素級稠密約束的常規損失項?P定義為

式中，F=?(I，Wθ)，?(·)既 代表深度語義分割網絡的層次化映射函數，也代表深度語義分割網絡模型，I為輸入圖像，Wθ為深度語義分割網絡的參數。C、H和W分別為圖像的類別數、高度和寬度。

2.2.2 實體級連通約束

圖像原始數據I輸入深度語義分割網絡，輸出分類置信度圖F∈RC×H×W，對F按通道取最大值的序號即得到分割結果。實體級連通約束損失?R以標簽中連通域為單元進行計算，首先在分類置信度圖F上對Si(1 ≤i≤N)實體區域內所有像素Pj（Pj∈Si）的分類置信度向量D按通道計算均值，得到具有通道維數C的向量，這個向量作為該實體的分類置信度向量；然后根據實體的分類置信度向量和真實類別Yi計算損失；最后取所有實體損失項的均值，該均值即為實體級連通約束損失?R。具體計算公式如下：

2.2.3 實體間共生知識約束

與實體級連通約束損失構建一樣，實體間共生約束損失?K以標簽中連通域為實體單元進行計算。首先確定每個實體的分類類別，取實體Si(1 ≤i≤N)的分類置信度向量將向量中最大值及其最大值序號分別作為該實體的分類置信度和分類類別k(1 ≤k≤C)；其次給實體Si打分，取中心實體Si鄰域內的所有實體{Sj|SjAdjacent toSi}對Si打分（鄰域內共mi個實體），Si的分值由鄰域內實體的分類置信度向量的最大值和共生條件概率P按類別加權求和而來，得到具有通道維數的分值向量Hi∈RC，該向量代表中心實體在當前鄰域空間分布下所屬各類的分類置信度；最后根據實體的基于空間分布的分類置信度向量Hi和真實類別Yi計算損失，取所有實體損失項的均值作為實體間共生約束損失?K。具體計算公式如下：

實體間共生知識約束和實體級連通約束的關系如圖1所示。二者都以連通域單元作為基本計算單位且損失計算都依賴實體的分類置信度向量，但損失計算方式、約束角度有明顯區別。其中，連通域單元是標簽中各類別實體相連通的像素區域，實體的分類置信度向量是通過計算每個連通域單元的預測結果的逐通道均值得到。如圖1 第3行所示，實體級連通約束計算實體的分類置信度向量和真實標簽之間的損失，從實體層級對網絡進行約束，使網絡自主學習實體級別的特征表示。如圖1第四行所示，實體間共生知識約束基于多個鄰域實體的分類置信度向量和地學知識圖譜中的共生條件概率得到空間分布的分類置信度向量，再計算空間分布的分類置信度向量和真實標簽間損失，從領域知識的角度約束深度網絡訓練。實體間共生知識約束將非結構化的知識嵌入到數據驅動的深度語義分割網絡中，從而自動優化分割結果的空間分布。

2.3 深度語義分割網絡的優化方法

深度語義分割網絡輸出的分類置信度圖F及其標簽影像Y∈RH×W計算總體損失，通過后向傳播算法降低總體損失L，從而優化深度語義分割網絡?；趯嶓w級連通約束的損失?R引導深度語義分割網絡在訓練的過程中自主學習實體級別的特征表示，使得網絡輸出的分割結果更具整體性，邊界模糊和隨機噪聲現象得到抑制?；趯嶓w間共生約束的損失?K根據實體間的空間共生知識調整目標的空間分布，從而實現對分割實體的空間分布的自動優化。

3 數據處理與結果分析

3.1 實驗數據集

本文基于UCM 遙感數據集（Shao 等，2018）和DeepGlobe 遙感數據集（Demir等，2018）。UCM數據集包含21 個地物類別，每個類別有100 張遙感圖像，每張圖像尺寸為256×256像素，地面分辨率為0.3 m。樣本集采用密集標注的DLRSD 數據集（Shao 等，2018），共包含17 類。參照（Alirezaie等，2019）的做法，為了縮小類別之間的相似性，本文將樣本集中的17類合并成了8類，分別是植被（Tree，Grass）、裸地（Bare soil，Sand，Chaparral）、道路（Pavement，Dock）、建筑（Building，Mobile home，Tank）、水體（Water，Sea）、飛機（Airplane）、車輛（Cars）和船只（Ship）。每個類別由括號里面的原類別合并而成。為了減低類別之間的相似性，移除了包含Field 或Tennis court 類的圖像。將這些篩選出來的圖像按8∶1∶1的比例隨機劃分出訓練集、驗證集和測試集，分別包含1513、189和190張圖像。

DeepGlobe土地覆蓋分類數據集提供了1146幅亞米分辨率的遙感影像，圖像尺寸為2448×2448像素。人工標注了7 類，分別是城鎮、耕地、牧場、森林、水體、裸地和未知類。整個數據集分為訓練集、驗證集和測試集，分別包含803、171 和172 幅圖像。從每個原始圖像中均勻地裁剪大小為256×256 像素的圖像。將裁剪后的圖像按8∶1∶1的比例隨機劃分出訓練集、驗證集和測試集，分別包含10272、1280和1296張圖像。

UCM 遙感數據集中，訓練所使用的地學知識圖譜各類別共生條件概率如表1 所示；DeepGlobe數據集中各類別共生條件概率如表2所示。表中每一行表示地學知識圖譜中的類別Ci，每一列表示與Ci不同的類別Cj；表中的具體數值表示共生條件概率，即本體類Ci實體出現的條件下鄰域內出現本體類Cj實體的概率P(Cj|Ci)。

表1 UCM數據集各類別共生條件概率Table 1 Symbiosis conditional probability of each category in UCM dataset

表2 DeepGlobe數據集各類別共生條件概率Table 2 Symbiosis conditional probability of each category in DeepGlobe dataset

3.2 實驗設置及評估指標

在實驗測試的過程中，本文采用了經典的UNet（Ronneberger 等，2015）和先進的DeepLab V3+（Chen 等，2018）深度語義分割網絡。U-Net是一種用于圖像分割任務的卷積神經網絡，以其編碼—解碼結構和跳躍連接的設計而聞名，能夠有效地處理醫學圖像和自然圖像等領域的分割問題。其采用了一種類似于“U”形的結構，將輸入的圖像分成兩個部分，分別進行卷積和池化操作，然后將它們合并起來得到最終的輸出結果。這種結構可以有效地捕捉圖像中的細節信息，從而提高了分割的精度。DeepLabv3+是一種用于圖像語義分割的深度學習模型。它結合了全卷積網絡和空洞卷積，以實現高效準確的圖像分割。模型采用編碼器—解碼器結構，使用預訓練的卷積神經網絡提取特征，并通過轉置卷積將特征映射上采樣到原始圖像尺寸?？斩淳矸e和自適應空洞擴張模塊允許模型在不增加參數的情況下捕捉多尺度上下文信息。多尺度推理和空間金字塔池化進一步提高分割性能。DeepLabv3+在圖像分割任務中取得了優秀的性能。對于網絡的訓練，分別采用隨機梯度下降法（SGD）和交叉熵（Cross Entropy）作為優化器和損失函數。在深度學習領域中，當數據規模等條件差距較大時，為了保證網絡的收斂，通常使用不同的初始學習率進行網絡訓練（He 等，2016）。本文中2 個數據集的數據規模和分辨率等條件差異較大，因此，在UCM 數據集和DeepGlobe 數據集上的學習率設置不同，分別為3×10-4和2×10-4。另外，超像素分割方法采用了簡單線性迭代聚類SLIC（Simple Linear Iterative Cluster）（Achanta 等，2012）。所有的實驗均在PyTorch 框架下使用一塊NVIDIA 1080Ti GPU 進行的。

語義分割結果的評價指標采用總體精度OA（Overall Accuracy）、交并比IoU（Intersection over Union）、均交并比（Mean Intersection over Union，MIoU）和頻權交并比FWIoU（Frequency Weighted Intersection over Union）。上述指標計算公式如下：

式中，n為類別的數量，TP、TN、FP和FN 分別為正類被正確判別的像素數、正類被錯誤判別的像素數、負類被正確判別的像素數和負類被錯誤判別的像素數。

3.3 超參數的敏感性分析

超參數主要包括式（2）中的α和β，α用于調節實體級連通約束損失項?R在總體損失L 中的占比，β用于調節實體間共生約束損失項?K在總體損失L 中的占比。由于?R和?K對于總體損失L 貢獻比例并無法直接通過理論得到，因此我們將其設置為超參數，通過實驗來探究合適的比例。在UCM 數據集和DeepGlobe 數據集上，本文使用DeepLab V3+（Chen 等，2018）作為基礎網絡進行超參數的敏感性分析實驗。

3.3.1 UCM數據集上超參數敏感性分析

UCM 驗證集上α的敏感性分析結果見表3?？梢姡寒敠?0.5 時，隨著α增加，基礎網絡在驗證集上的分割精度先上升后下降，當α=0.5 時分割精度到達頂點。在最佳α=0.5 取值條件下，β的敏感性分析結果見表4?？梢娀A網絡在驗證集上的分割精度隨著α變化，當β=0.5，得到最佳精度。

表3 在UCM驗證集上α的敏感性分析（β=0.5）Table 3 The sensitivity analysis of α on the validation set of the UCM dataset（β=0.5）/%

表4 在UCM驗證集上β的敏感性分析（α=0.5）Table 4 The sensitivity analysis of β on the validation set of the UCM dataset（α=0.5）/%

3.3.2 DeepGlobe數據集上超參數敏感性分析

表5 為DeepGlobe 驗證集上α的敏感性分析結果?？梢姡寒敠?0.5 時，基礎網絡在驗證集上的分割精度隨著α變化，當α=0.5，得到最佳精度。在最佳α=0.5取值條件下，β的敏感性結果見表6，可見隨著β增加，基礎網絡在驗證集上的分割精度先上升后下降，當β=0.5時分割精度到達最佳。

表5 在DeepGlobe驗證集上α的敏感性分析（β=0.5）Table 5 The sensitivity analysis of α on the validation set of the DeepGlobe dataset（β=0.5）/%

表6 在DeepGlobe驗證集上β的敏感性分析（α=0.5）Table 6 Sensitivity analysis of β on the validation set of the DeepGlobe dataset（α=0.5）/%

3.4 消融實驗

在UCM數據集和DeepGlobe數據集上，本文使用U-Net（Ronneberger 等，2015）和DeepLab V3+（Chen等，2018）作為基礎網絡進行消融實驗。

3.4.1 UCM數據集上的結果

本文方法在UCM 測試集上的語義分割精度如表7所示?？梢姡合啾扔诨谙袼丶壋砻芗s束的常規損失（?P）訓練的語義分割網絡，加入實體級連通約束（?P+?R）訓練的網絡的分割精度OA、MIoU 和FWIoU 均更高，尤其是在MIoU 上提升明顯，提升幅度達9%，這說明實體級學習能夠有效提高深度語義分割網絡的性能；綜合實體級連通約束與實體間共生約束（?P+?R+?K）的深度語義分割網絡的精度優于只加入實體級連通約束（?P+?R）的網絡，這體現了空間共生知識對于遙感影像語義分割的重要性。

表7 在UCM測試集上的語義分割精度Table 7 The accuracy of semantic segmentation on the test set of the UCM dataset/%

深度語義分割網絡在UCM 測試集上的分割結果如圖3 所示?？梢姡簩嶓w級連通約束（?P+?R）分割結果和綜合實體級連通約束與實體間共生約束（?P+?R+?K）的分割結果均明顯優于常規的像素級稠密約束（?P）的分割結果；對于飛機、車輛等小目標場景，施加實體級連通約束能獲取輪廓更加清晰的分割結果，對于建筑物和油罐等規則地物，施加實體級連通約束的分割結果整體性更佳，噪聲較少同時輪廓更加清晰，這表明約束項使得網絡學習到了實體級的特征表示。另外，綜合實體級連通約束與實體間共生約束（?P+?R+?K）的分割結果中地物實體空間分布更加接近真實世界中的空間布局，如建筑物鄰近道路與植被。

圖3 UCM測試集上的可視化分割結果圖Fig.3 The visible semantic segmentation of the test set of the UCM dataset

3.4.2 DeepGlobe數據集上的結果

本文方法在DeepGlobe 測試集上的語義分割精度如表8所示?？梢娤啾扔诨谙袼丶壋砻芗s束的常規損失（?P）訓練的語義分割網絡，加入實體級連通約束（?P+?R）訓練的網絡的分割精度OA、MIoU 和FWIoU 均更高，這說明了實體級學習能夠有效提高深度語義分割網絡的性能；綜合實體級連通約束與實體間共生約束（?P+?R+?K）的深度語義分割網絡精度優于常規的像素級稠密約束（?P）的網絡。

表8 在DeepGlobe測試集上的語義分割精度Table 8 The accuracy of semantic segmentation on the test set of the DeepGlobe dataset/%

圖4 為深度語義分割網絡在DeepGlobe 測試集上的分割結果?？梢姡簩嶓w級連通約束（?P+?R）分割結果和綜合實體級連通約束與實體間共生約束（?P+?R+?K）的分割結果均明顯優于基于像素級稠密約束的常規損失（?P）的分割結果；第一行和第二行的水體和牧場區域施加實體級連通約束與實體間共生約束（?P+?R+?K）的分割結果整體性更佳；第三行和第四行的水體和農業用地的分割結果施加約束后輪廓清晰，噪聲更少，這表明約束項使得網絡學習到了目標級的特征表示。綜合以上結果可以看出綜合實體級連通約束與實體間共生約束的分割結果中地物目標空間分布更加簡單，一些錯分目標類別被修正為鄰域目標類別，從而優化了地物目標的空間布局。

圖4 DeepGlobe測試集上的可視化分割結果圖Fig.4 The visible semantic segmentation of the test set of the DeepGlobe dataset

3.5 與已有方法的對比分析

為進一步驗證本文方法的有效性，本文選擇了經典的U-Net 網絡（Ronneberger 等，2015）、先進的DeepLab V3+網絡（Chen 等，2018）、深度語義分割網絡和圖卷積網絡相結合的DSSN-GCN 方法（Ouyang 和Li，2021）作為對比方法，其中DSSN-GCN 方法以DeepLab V3+作為基礎網絡。本文方法以DeepLab V3+作為基礎網絡，超參數α和β取各數據集下的最佳值。各方法在UCM 測試集和DeepGlobe 測試集上的分割精度見表9 和表10 所示?？梢姳疚奶岢龅牡貙W知識圖譜引導的遙感影像深度語義分割方法綜合了實體級連通約束與實體間共生約束（?P+?R+?K），均取得最佳的分割精度，這充分驗證了本文方法對于遙感影像語義分割的有效性，同時說明了在深度語義分割網絡中嵌入地學先驗知識的重要性。相比于地學先驗知識預嵌入的DSSN-GCN 方法，本文方法能夠自主運用和學習地學先驗知識，從而獲得精度高和魯棒性強的分割結果。各方法在UCM 測試集和DeepGlobe 測試集上的語義分割結果如圖5 和圖6所示。與表9 和表10 結果一致，本文方法取得比其余方法更佳的分割效果。各方法對建筑物的分割結果表明在實體級連通損失的約束下，本文方法的分割結果更具整體性，輪廓清晰（第一行至第三行）且對于干擾較大的場景時噪聲更少（第四行至第六行）；實間空間共生知識約束修正了分割結果中地物目標的空間分布，使其更接近現實世界的空間布局，如第一行所示的車輛通常近鄰道路（圖5）。圖6 中各方法分割結果也表現出類似的結論，本文方法對城鎮和水體的分割結果更具整體性，對于水體輪廓的分割結果更加清晰，且對于復雜城鎮場景的分割噪聲更少。

表9 各方法在UCM測試數據集上的語義分割精度Table 7 The accuracy of semantic segmentation of various methods on the test set of UCM dataset/%

表10 各方法在DeepGlobe數據集上的語義分割精度Table 10 The accuracy of semantic segmentation of various methods on the test set of DeepGlobe dataset/%

圖5 各方法在UCM測試集上的語義分割結果Fig.5 The semantic segmentation results of the test set of the UCM dataset

圖6 各方法在DeepGlobe測試集上的語義分割結果Fig.6 The semantic segmentation results of the test set of the DeepGlobe dataset

4 結論

針對深度語義分割網絡缺乏目標級學習以及難以利用地學先驗知識和空間語義信息的問題，本文提出了地學知識圖譜引導的遙感影像深度語義分割方法。地物目標的語義信息以地學知識圖譜的形式進行表達，地學先驗知識從地學知識圖譜中抽取，地學先驗知識和目標空間語義信息用于構建實體級連通約束損失和實體間共生約束損失。實體級連通約束損失引導深度語義分割網絡自主學習目標級特征，實現了對實體的整體約束，使得分割結果更具整性并減少了邊界模糊和隨機噪聲；實體間共生約束損失成功地將非結構化的地學先驗知識嵌入到數據驅動的深度語義分割網絡中，完成了對分割目標的空間分布的自動優化。本文方法有效地提高了深度語義分割網絡的性能和魯棒性，但同時也存在所采用的地學先驗知識單一的問題。后續研究工作將引入更全面的地學先驗知識，包括地物目標空間拓撲信息、形狀結構信息等知識。

志 謝本研究的數值計算部分得到了武漢大學超級計算中心的幫助。