基于半監督學習的遙感影像變化檢測研究綜述

唐天俊，王銅川

（1. 重慶開放大學城市建設工程學院，重慶 401520；2. 重慶市地理信息和遙感應用中心，重慶 401121）

0 引言

隨著工業化和城鎮化的加速，遙感影像變化檢測已成為眾多學者研究高地。目前，遙感影像變化檢測技術已廣泛應用于土地覆蓋與土地利用制圖、生態系統監測、城市擴張監測、災害評估等領域［1］。例如，利用遙感影像檢測建筑物變化可為城鎮規劃提供基礎數據，同時能監測城鎮化進程，為土地資源分析提供支持。城鎮化的加速推進使人們對建筑物變化識別的準確性及高效性提出了更高的需求。因此，理想的變化檢測模型能在特定的應用場景下檢測出感興趣的地物變化，同時具備抵抗高分辨率遙感影像中冗余變化的能力，如建筑物陰影遮蔽、高光譜變異性以及多尺度等。

在過去，傳統的變化檢測主要分為基于像素的變化檢測以及基于對象的變化檢測?；谙袼氐姆椒ㄍㄟ^逐像素比較生成差異圖，然后以經驗閾值提取變化信息，但該方法易受到影像幾何校正和輻射校正的影響?；趯ο蟮姆椒ò讼嗤矬w像素間豐富的屬性關系，可平滑地理目標范圍的小變化，減少了高光譜變異性和錯配的偽變化，但該方法易受地物的復雜性影響。此外，基于像素及對象的方法受制于閾值及特征的選擇，精度依賴于人工干預。

變化檢測在深度學習（deep learning, DL）賦能下，取得了豐碩的成果?；贒L 的方法可從大量的標注數據中學習特征，顯著降低對專家領域知識的需求［2］。此外，基于DL 的方法由于其出色的特征提取能力，提供了對復雜場景的更好理解，性能遠超過傳統方法。然而，以往基于深度學習的變化檢測研究中主要集中于全監督變化檢測框架，基于全監督框架的性能釋放依賴大量的精確標注的影像對訓練。但構建變化檢測數據集需要人工判讀影像對的差異，識別出細微的變化區域，用不同的像素填充變化及不變化的區域。此外高分辨率遙感影像的圖像分辨率的提升，使得人工標記變化像元更加困難。在一定程度上限制了全監督學習方法的準確性及應用推廣。

為了克服人工標注成本的局限性，眾多學者集思廣益，通過數據增強擴充樣本數量，提高監督模型的準確性，但其變化始終是原始圖像的變化，模型在測試集上仍可能表現不佳，并未解決全監督模型對大量標簽的依賴。由此，半監督學習框架給出了較好的解決方案，半監督學習原理是利用少量的標記數據與大量的未標記的數據進行模型訓練，提高模型的魯棒性，這一點與遙感影像變化檢測契合，未標記的遙感影像容易獲取。因此，本文以基于深度學習的無監督、全監督框架作為引入，重點綜述半監督學習框架在變化檢測研究中取得的成果，展望未來半監督變化檢測研究趨勢，為變化檢測研究者提供一定的參考。

1 無監督框架

非監督框架無需先驗的樣本標簽信息，能直接對多時相遙感影像進行變化檢測。該框架在非監督情況下從影像塊中學習特征表示，生成包含影像關鍵信息的特征圖，對特征圖進行融合處理，結合距離度量和閾值分割算法，獲得最終的變化檢測結果，其檢測流程如圖1所示。

圖1 無監督框架檢測流程

在無監督變化檢測研究中，Su 等［3］提出了一種面向三元變化檢測的無監督學習框架。該方法以去噪自編碼器（SAE）提取特征影像對特征；在選擇相關樣本后，通過堆疊映射網絡生成映射函數，建立每個類別特征之間的關系，最后通過特征比較及聚類生成最終的變化圖。為了實現更精確的無監督三元變化檢測，Gong等［4］結合了SAE、CNN和無監督聚類算法，利用SAE 將差異圖像轉換為特征空間，去除噪聲并提取關鍵變化信息，并以此特征圖進行無監督聚類，為CNN 提供可靠的偽標簽。Lyu等［5］提出了一種基于堆疊收縮自編碼器的特征學習方法。該方法以三種不同的損失函數構建關聯的時序變化圖像，從而提供更多像素級時序差異信息。Gong 等［6］開發了一種用于多光譜影像變化檢測的生成判別分類網絡（GDCN）。DCN將輸入數據劃分為變化類、不變類和偽變化類，生成器通過輸入噪聲恢復真實數據，為訓練提供額外的樣本，以雙時相多光譜影像輸入DCN，生成可靠的最終變化圖。

2 全監督框架

在充足的標簽數據情況下，相較于非監督學習框架，監督學習框架能通過孿生神經網絡充分提取標注影像對變化區域及非變化區域的差異特征，隨后利用神經網絡輸出像素級變化概率圖，以概率圖生成變化圖，提供更準確的變化檢測結果，其檢測流程如圖2所示。

圖2 全監督框架檢測流程

在全監督變化檢測框架下，Jaturapitpornchai等［7］提出了一種基于U-Net 網絡的變化檢測方法，利用不同時序的兩幅合成孔徑雷達影像來檢測新建筑物建設。隨后，一些研究對U-Net架構進行了改進。Peng 等［8］提出了一種改進的UNet++架構，用于高分辨率衛星影像的端到端變化檢測，該架構通過在不同層之間建立密集的跳躍連接來學習多尺度特征圖，并采用殘差塊策略約束網絡的梯度收斂。Daudt 等［9］提出了一種基于深度全卷積神經網絡的集成網絡，可以同時實現土地覆蓋識別和變化檢測，并利用土地覆蓋識別分支的信息輔助變化檢測。Zhang等［10］提出了一種光譜-空間聯合學習網絡，通過類似于Siamese CNN 的網絡獲得光譜-空間聯合特征表示。此外，Liu等［11］通過將CNN和雙向長短時記憶網絡（Bi-LSTM）結合到一個統一的架構中，展示了CNN 和Bi-LSTM 在變化檢測中的互補性。

3 半監督框架

盡管非監督學習框架無需標注數據，可直接提取特征進行變化檢測，但特征提取過程約束較少，導致非監督學習變化檢測任務的魯棒性較差。此外，獲取大量的標注數據時間成本較高，尤其是遙感影像變化檢測數據標注需要比對兩圖像的像素級差異，在一定程度上限制了監督學習模型的泛化能力。為了克服上述劣勢，基于稀疏標簽樣本訓練的半監督模型出現，半監督模型由監督部分與未監督部分組成，監督部分通過利用少量標注數據預訓練模型，未監督部分通過特征擾動、生成對抗網絡等無監督策略，充分利用大量的未標記的雙時相的數據信息，最后利用損失函數約束預訓練模型與無監督訓練模型結果保持一致，從而提升稀疏標注數據訓練下模型的泛化能力，其檢測流程如圖3所示。

圖3 半監督框架檢測流程

半監督框架在一定程度上緩解了變化檢測方法對標注數據的依賴，其充分利用大量未標注數據的能力，與遙感影像大數據趨勢的當下契合（未標注數據易獲得）。Bovolo 等［12］利用定義的二進制半監督支持向量機（S3VM）分類器，提出了一種針對多光譜RS 圖像的半監督變化檢測方法，其中逐步考慮了未標記數據，以定義變化和未變化像素之間的決策邊界。后來，Chen 等［13］通過高斯過程（GP）分類器和馬爾可夫隨機場（MRF）模型提出了一種半監督變化檢測方法。使用概率GP 分類器對標記和未標記的數據進行利用。為了克服GP 分類器的不足，充分利用空間上下文信息，引入邊緣信息和高階勢，采用MRF 正則化方法。此外，Ghosh 等［14］提出了一種基于自組織特征映射（SOFM）的半監督變化檢測方法，該方法僅利用少量標記數據初始化SOFM網絡，然后利用模糊集理論確定未標記數據的隸屬度值。除了上述方法外，Yuan 等［15］還將度量學習引入到半監督變化檢測中，該方法首先學習適當的距離度量，使無變化類像素彼此緊密映射，而變化類像素盡可能地分開映射，然后，通過拉普拉斯正則化框架將未標記的數據合并到半監督變化檢測問題中。Zhang等［16］在KISS 度量學習的基礎上，提出了一種針對多光譜圖像的從粗到細的半監督變化檢測方法。該方法提高了易訓練樣本的貢獻率，同時削弱了難訓練樣本的貢獻率；此外，結合度量學習和鄰域標簽信息，在測試樣本上應用了從粗到細的策略。

值得注意的是，GAN 能夠學習訓練樣本的特征分布，在監督學習和半監督學習方面都取得了巨大成功。在半監督變化檢測方面，GAN也得到了廣泛應用。Gong 等［17］提出了一種用于多光譜圖像CD 的生成式判別分類網絡。由隨機噪聲生成的假數據作為額外的訓練樣本，而未標記的數據則用于估計適當的先驗信息，從而提高了判別器的性能；然而，在該方法中的斑塊大小很難定義；此外，對于場景復雜的高分辨率遙感圖像，僅從隨機噪聲中生成假數據是相當困難的。Liu 等［18］首次提出了一種半監督變化檢測的GAN 圖模型。該模型將GAN的半監督圖學習應用到生成的圖中，利用標記節點的先驗知識給每個節點一個特定的標簽，由此獲得變化圖。

4 結語

為有效利用未標記數據的信息，現有的半監督變化檢測方法主要通過半監督分類器、度量學習及生成對抗網絡三種方法來實現。然而，大多數研究由單個影像對開展，而少有研究集中于影像群，而圖像群將更有利于大規模的實際應用。此外，目前半監督變化檢測框架實現具有一定的復雜性，不利于工程項目中的廣泛應用。在上述總結和分析中，筆者歸納出部分未來半監督變化檢測框架值得研究的研究方向。①一致性正則化半監督學習框架：通過一致性損失強制強增強影像輸出標簽與弱增強后影像輸出標簽數據一致，以提高模型對高分辨率偽變化識別的魯棒性。②小樣本學習：除了半監督學習框架，還有Few-shot、One-shot 和自監督學習，這些方法將為遙感影像變化檢測開辟新的研究視角。