MtSCCD：面向深度學習的土地利用場景分類與變化檢測數據集

周維勛，劉京雷，彭代鋒，管海燕，邵振峰

1.南京信息工程大學 遙感與測繪工程學院,南京 210044;

2.北京師范大學 遙感科學國家重點實驗室,北京 100875;

3.武漢大學 測繪遙感信息工程國家重點實驗室,武漢 430079

1 引言

高空間分辨率遙感影像能夠獲取地物的紋理、結構等細節信息，因此廣泛應用于土地利用/土地覆蓋相關任務，其中土地利用場景分類與變化檢測是廣受遙感領域研究人員關注的研究熱點。土地利用場景分類是從高分影像中提取圖像的語義信息從而識別場景對應的土地利用類型（白坤 等，2022；錢曉亮 等，2018），土地利用場景變化檢測則是利用多時相的遙感影像監測土地利用類型的變化情況（眭海剛 等，2018；張良培和武辰，2017），二者對于城市發展規劃和土地利用優化具有重要的指導意義（袁靜文 等，2020）。

土地利用場景分類與變化檢測的關鍵在于獲取表征能力強的圖像特征。深度學習通過層次化的深層網絡結構能夠實現特征的自適應學習（LeCun等，2015），因此面向自然圖像的眾多方法和模型被借鑒并用于遙感領域，形成一種新的基于數據驅動的遙感信息提取范式（Ma 等，2019；Zhang等，2016；Zhu等，2017）。對于一個有效的深度學習模型來說，高質量、大規模的遙感圖像標注樣本是必不可少的（馮權瀧 等，2022）。在這一背景下，國內外學者發布了多個面向深度學習的遙感數據集，包括遙感圖像軍用飛機目標識別數據集MAR20（禹文奇 等，2022）、SAR 建筑數據集SARBuD1.0（吳樊 等，2022）、點云基準數據集WHU-TLS 和WHU-MLS（楊必勝 等，2021）。對于土地利用場景分類，當前有多個包含土地利用場景的數據集，如UC Merced（Yang 和Newsam，2010）、WHU-RS19（Xia 等，2010）、RSSCN7（Zou 等，2015）、AID（Xia 等，2017）、NWPURESISC45（Cheng 等，2017）、PatternNet（Zhou等，2018）、天宮一號高光譜數據集（劉康 等，2020）。但上述數據集僅包含少部分土地利用類別，且數據集側重的是目標而非土地利用類型。例如，PatternNet 數據集中包含飛機、飛機跑道、橋梁、籃球場、足球場等目標，不能直接反應土地利用類型。作為土地利用類型變化的有效監測方法，當前的變化檢測研究大多是像素級的（Cheng 等，2022）。然而，從土地利用的角度來說，場景內部一些地物的變化并不會直接導致場景類別發生變化。例如，一幅居住用地場景內部分房屋變成了裸地，雖然發生了像素級變化，但該場景仍然屬于居住用地。因此，從標注成本和實際需求的角度來說，圖像級的變化檢測數據集更適合土地利用類型監測?，F有的圖像級土地利用變化檢測數據集包括MtS-WH（Wu 等，2017，2016）和WH-MAVS（Yuan 等，2022）。其中，MtS-WH 數據集各時相包括190 幅訓練集影像、1920 幅測試集影像，由于樣本數量較少，不適合基于深度學習的土地利用變化檢測研究。與MtSWH 不同，WH-MAVS 數據集的樣本數量更多，各時相包括16496 幅訓練集影像、4713 幅驗證集影像和2356 幅測試集影像，且包含的更多的土地利用類型。但WH-MAVS 數據集存在以下幾個局限：（1）部分土地利用類型劃分粒度過細。例如，一類、二類和三類居住用地的主要區別在于建筑物的高度或者密度，無論是前期樣本構建還是后期的土地利用類型識別，三者都是比較容易混淆的，因此將3個類別合并為居住用地更為合理。（2）數據集中的樣本僅包括武漢市中心城區的土地利用場景，由于不同城市的土地利用規劃與景觀格局存在差異，因此構建覆蓋更多城市的土地利用數據集有利于訓練泛化性能更好的深度學習模型。（3）數據集中訓練集、驗證集與測試集是按一定比例隨機劃分的，這種劃分方式不符合真實的業務需求，且不能評估模型的泛化性能。例如，實際業務應用中，往往是將訓練好的深度學習模型用于和訓練集不重合的區域，這樣不僅可以實現模型的重復利用，而且可以驗證模型的泛化性能。（4）數據集不開源，不能用于模型訓練和算法評估。

為了推動高分辨率土地利用場景分類與變化檢測的研究進展，針對現有土地利用分類與變化檢測數據集存在的局限性，本文利用高分辨率遙感影像構建了面向深度學習的大規模場景分類與變化檢測數據集MtSCCD（Multi-temporal Scene Classification and Change Detection）。該數據集具體包 括MtSCCD_LUSC（MtSCCD Land Use Scene Classification）和MtSCCD_LUCD（MtSCCD Land Use Change Detection）兩個子數據集，分別用于土地利用場景分類與變化檢測研究?；趦蓚€子數據集，本文進一步評估了多個場景分類與變化檢測深度學習方法，為后續研究提供了參考基準。MtSCCD 的兩個子數據集MtSCCD_LUSC 和MtSCCD_LUCD 分別與現有場景分類和變化檢測數據集的對比如表1所示?？梢钥闯?，對于土地利用場景分類和變化檢測兩個任務來說，MtSCCD 數據集在圖像分辨率、樣本數量、數據組織方式、開放獲取等方面具有明顯的優勢。

表1 MtSCCD數據集與現有的場景分類與變化檢測數據集對比Table 1 Comparison between MtSCCD and the existing datasets

2 MtSCCD數據集

2.1 數據來源與標注

為了保證MtSCCD 數據集中土地利用場景圖像的多樣性以便更好地評估土地利用場景分類與變化檢測算法，本文選擇杭州、合肥、南京、上海和武漢5個城市中心區域的高分影像作為數據源，并且每個城市的數據均包含同區域兩個時相的影像。高分辨率影像來自World Imagery（https：//livingatlas.arcgis.com/wayback［2023-06-13］），空間分辨率大約為1 m，包括R、G、B這3個波段。

對大尺寸高分辨率影像按照300×300像素大小進行裁剪得到土地利用場景圖像，圖像的命名格式為：xx_yyyymm_nx_ny_c。其中，xx 表示城市的首字母縮寫，yyyymm表示影像獲取的年份和月份，nx 和ny 表示圖像裁切時在原影像中的位置編號，c表示場景類別。

本文參考城市用地分類與規劃建設用地標準（GB50137-2011）（http：//www.risn.org.cn/Xxbz/ShowForceStandard.aspa？Guid=61387［2023-06-13］）和現有公開的城市土地利用數據（Wu 等，2016；Yuan 等，2022），確定了MtSCCD 數據集中土地利用場景的分類體系，具體包括居住用地（residential land）、公商用地（public service and commercial land）、教育用地（educational land）、工業用地（industrial land）、交通用地（transportation land）、農業用地（agricultural land）、水體（water body）、綠地（green space）、林地（woodland）、裸地（bare land）共10種類別。杭州、合肥、南京、上海和武漢5個城市的土地利用場景經目視解譯后分別劃分到上述10 個土地利用類別。為了保證數據集質量，人工標注過程中丟棄成像質量不高的場景圖像（如不清晰、云霧遮擋等），并對難以確定類別的土地利用場景借助Google Earth影像進行解譯。

MtSCCD 數據集中5 個城市兩個時相各類別場景的數目、標簽（類別編號）、影像的獲取時間如表2 所示。由表2 可知，各城市兩個時相的影像的獲取月份比較接近，這樣可以充分降低季節因素對地物的影響，便于后續構建土地利用場景分類與變化檢測數據集。但由于裁剪獲取土地利用場景樣本時去掉了樣本的坐標信息，因此無法繪制各城市的采樣點分布圖，導致不能展現采樣時的空間分異性以及評估樣本空間分布的合理性，這是MtSCCD數據集的一個缺陷。

表2 MtSCCD數據集各城市土地利用數據概況Table 2 Overview of the land use data of each city in the MtSCCD dataset

2.2 數據集的構建

2.2.1 MtSCCD_LUSC子數據集

由表2可知，各城市同一類別的土地利用場景均包括兩個時相，而兩個時相的同類別場景必然是有差異的。因此，為了增加每個土地利用類別的圖像數目且使圖像庫更具挑戰性，將兩個時相的數據合并構建MtSCCD_LUSC 子數據集。首先，把每個城市兩個時相的數據按照類別進行合并得到單時相場景數據；然后，分別將杭州、上海、武漢3 個城市各類別數據按照80%和20%的比例劃分為訓練集與驗證集；最后，將南京與合肥兩個城市的數據作為兩個測試集，其中，測試集A和測試集B分別為合肥和南京的土地利用數據。

表3 給出了MtSCCD_LUSC 數據集中訓練集、驗證集以及測試集的劃分情況，可以看到，訓練集和驗證集分別包含36215 和9053 幅圖像，測試集A 和B 分別包含10156 和10124 幅圖像。同時，從圖1給出的各土地利用類別的樣本圖像可以看出MtSCCD_LUSC 數據集類內差異較大（如交通用地、公商用地）。因此，MtSCCD_LUSC 是一個大規模且具有挑戰性的土地利用場景分類圖像庫，可用于基于深度學習的場景分類方法研究。

圖1 MtSCCD_LUSC數據集各類別圖像實例Fig.1 Example images of each category in the MtSCCD_LUSC dataset

表3 MtSCCD_LUSC數據集劃分Table 3 Data splits in MtSCCD_LUSC dataset

2.2.2 MtSCCD_LUCD子數據集

MtSCCD 數據集中每個城市均包含兩個時相的土地利用場景數據，因此可以利用各城市的數據直接構建MtSCCD_LUCD 子數據集。首先，分別將5個城市時相1和時相2的各類別數據合并在一起，得到各城市時相1 和時相2 的數據；然后，按照80%和20%的比例依次將杭州、上海、武漢3個城市的時相1 與時相2 的數據隨機劃分為訓練集與驗證集，劃分時需保證訓練集與驗證集中同一地面區域兩個時相的場景圖像同時劃分到訓練集或驗證集；最后，將南京與合肥兩個城市的數據作為測試集，其中，測試集A和測試集B分別為合肥和南京的土地利用數據。MtSCCD_LUCD 是圖像級的變化檢測數據集，支持二值變化（即場景類別是否發生變化）和類別變化（即場景的變化類別）兩種檢測任務。表4 給出了MtSCCD_LUCD 數據集中訓練集、驗證集以及測試集的劃分情況，可以看到，訓練集和驗證集分別包含18108 和4526 幅圖像對，測試集A 和B 分別包含5078 和5062 幅圖像對，各類別變化與未變化圖像實例如圖2所示。

圖2 MtSCCD_LUCD 數據集各類別變化與未變化圖像實例Fig.2 Changed and unchanged example images of each category in the MtSCCD_LUCD dataset

表4 MtSCCD_LUCD數據集中訓練集、驗證集與測試集的劃分Table 4 Data splits of training set，validation set and testing set in MtSCCD_LUCD dataset

此外，由表5給出的土地利用場景變化矩陣可知，MtSCCD_LUCD 數據集包含豐富的土地利用變化，共有14.52%的場景發生了變化。具體來說，時相1 中4.27%的居住用地發生了變化，6.81%的交通用地發生了變化，18.68%的綠地發生了變化。此外，工業用地、農業用地、綠地和裸地的變化比例較高，分別為20.04%、36.77%、18.68%和79.26%。因此，MtSCCD_LUCD 是一個大規模的土地利用場景變化檢測圖像庫，包含豐富的土地利用場景變化信息，可用于基于深度學習的場景變化檢測方法研究。

表5 MtSCCD_LUCD數據集土地利用場景變化矩陣Table 5 Land use scene change matrix of MtSCCD_LUCD dataset

2.3 數據集的特點

MtSCCD 數據集是一個面向深度學習的高分辨率遙感土地利用場景數據集，支持場景分類與變化檢測研究，具有以下特點：（1）圖像數量大規模：MtSCCD 是目前公開的規模最大的高分辨率土地利用場景分類與變化檢測數據集，MtSCCD_LUSC和MtSCCD_LUCD 兩個子數據集均包含65548 幅圖像和10 種土地利用類型。（2）高度可擴展性：MtSCCD 數據集是根據城市分別劃分訓練集、驗證集以及測試集，因此具有較高的可擴展性。后續對于新增的城市土地利用數據，可以按照一定比例劃分到訓練集與驗證集，或直接作為測試集，實現數據集的靈活擴充。（3）符合實際應用場景：MtSCCD_LUSC 和MtSCCD_LUCD 兩個子數據集中訓練集和驗證集與測試集不重合，即模型訓練和測試所用的數據來自不同區域，因此更符合實際應用場景。此外，這種不重合的數據集劃分方式也有利于驗證模型的泛化性能。（4）場景類內差異大：MtSCCD 數據集包含5 個城市的土地利用數據，而不同城市的同類別土地利用場景受成像條件等因素的影響存在較大的視覺差異。同時，MtSCCD 數據集構建分類體系時，對于相近的類別進行了合并，進一步增加了場景的類內差異性。例如一類、二類、三類居住用地統一劃分到居住用地，道路、鐵路、橋梁統一劃分到交通用地。類內差異大使得MtSCCD 數據集對訓練的模型更具挑戰性。

3 MtSCCD數據實驗與分析

本節以MtSCCD 數據集為基礎，對基于深度學習的土地利用場景分類與變化檢測方法進行評估。

3.1 評價指標

為了評價土地利用場景分類與變化檢測方法的精度，本文基于混淆矩陣，采用總體精度OA（Overall Accuracy）和Kappa 系數作為評價指標。其中，對于場景變化檢測，由于本文研究的是二值變化檢測（即土地利用類型發生變化和未發生變化兩類），因此以變化場景為正類、未變化場景為負類，采用二分類混淆矩陣來計算總體精度和Kappa系數。

3.2 實驗設置

對于土地利用場景分類任務，本文選擇常用的網絡，包括AlexNet（Krizhevsky 等，2012）、VGG網絡（VGG16 和VGG19）（Simonyan 和Zisserman，2015）、GoogLeNet（Szegedy等，2015）、ResNet系列網絡（ResNet18、ResNet50、ResNet101）（He 等，2016）、DenseNet（Huang 等，2017）、EfficientNet（Tan 和Le，2019）、SENet（Hu 等，2018）、ViT（Vision Transformer）（Dosovitskiy 等，2021）和SwinT（Swin Transformer）（Liu 等，2021）進行分類。其中，AlexNet 和VGG 網絡提取第一個全連接層的輸出作為特征，GoogLeNet 和ResNet 網絡提取最后一個池化層的輸出作為特征，訓練SVM 分類器進行分類，其余網絡直接用自帶的分類器進行分類。具體訓練時，以預訓練網絡為基礎進行訓練。其中，AlexNet、VGG、GoogLeNet、ResNet 的學習率設置為8E-5，批次大小50，優化器sgdm。DenseNet 和EfficientNet 的學習率為1E-3，批次大小分別為50 和128，優化器sgdm，預訓練網絡分別采用densenet201 和efficientnetb0。SENet、ViT和SwinT 的學習率為1E-4，批次大小32，優化器sgd（SwinT 采用AdamW），采用的預訓練網絡分別為se_resnet50、vit_base_patch16_224_in21k 和swin_tiny_patch4_window7_224。

對于土地利用場景變化檢測任務，本文選擇兩種變化檢測方法，一是常規的基于分類的“先分類后檢測”方法CDC（Change Detection after Classification），二是基于場景相似度的變化檢測方法，包括CNN 特征相似性度量方法CFSM（CNN Feature Similarity Measure）和基于相似性學習的變化檢測方法SSCD（黃宇鴻和周維勛，2022）。圖3給出了兩種變化檢測方法的基本流程，可以看出利用場景對相似性進行變化檢測是一種更為簡單的方法，能夠避免基于分類的方法中的兩次分類過程。

圖3 基于分類和相似性的變化檢測基本流程Fig.3 Flowchart of classification-based and similarity-based change detection

CDC方法包括兩個：一是利用場景分類任務中訓練的AlexNet、VGG19、GoogLeNet和ResNet101提取時相1和時相2土地利用場景的特征訓練SVM 進行變化檢測，或利用訓練的DenseNet、EfficientNet、SENet、ViT、SwinT 直接分類進行變化檢測，記為CDC_1；二是參考手工特征與視覺詞袋模型BoVW（Bag of Visual Words）結合的思路（Wu等，2016），利用上述4個網絡提取最后一個卷積層的特征，并采用BoVW對卷積層特征進行編碼得到特征向量用于訓練SVM 進行變化檢測，記為CDC_2，其中字典大小設置為128。CFSM 方法同CDC_1 方法，不同之處在于提取特征后通過歐氏距離計算兩個時相場景的相似度進行變化檢測。其中，DenseNet、EfficientNet、SENet、ViT、SwinT 網絡從分類層的前一層提取特征計算相似度。SSCD 方法也是利用場景相似度進行變化檢測，但與CFSM 方法不同，SSCD 是通過網絡直接學習場景的相似度。此外，對于CFSM 和SSCD 兩種相似性變化檢測方法，本文采用相似度閾值搜索方法（黃宇鴻和周維勛，2022）獲取相似度閾值，且相似度閾值通過驗證集獲取。

3.3 MtSCCD_LUSC數據集實驗結果

表6 給出了各網絡對MtSCCD_LUSC 的測試集A 和B 的分類結果，可以看出網絡層較淺的AlexNet 在測試集A 和B 上的效果最差，但簡單增加網絡深度并不能明顯提升分類精度，例如ResNet18、ResNet50 和ResNet101 分類性能基本一致，且和VGG16、VGG19、GoogLeNet 相比，也并沒有表現出明顯優勢。ResNet 之后提出的新型網絡結構，如DenseNet 和EfficientNet，取得了更好的分類結果，尤其是DenseNet，在兩個測試集上的精度最高。此外，SENet、ViT 和SwinT 等3 個網絡均在特征提取時考慮了注意力，整體上分類效果比傳統網絡更好。若采用更優的預訓練網絡，有望進一步提升分類精度。

表6 MtSCCD_LUSC數據集不同網絡分類結果Table 6 Scene classification results of different networks on MtSCCD_LUSC dataset

為了進一步分析MtSCCD_LUSC數據集的分類結果，選擇AlexNet、VGG19、GoogLeNet、ResNet101、DenseNet、EfficientNet、SENet、SwinT繪制了在測試集A和B上分類結果的混淆矩陣（行表示真實結果，列表示分類結果，方格顏色越深表示數值越大），分別如圖4 和圖5 所示。圖4、圖5 中AL 表示農業用地、BL 表示裸地、EL 表示教育用地、GS 表示綠地、IL 表示工業用地、PSCL 表示公商用地、RL表示居住用地、TL 表示交通用地、WB 表示水體、WL 表示林地。由混淆矩陣可知，公商用地與工業用地、居住用地以及交通用地混淆嚴重，從而分類精度相對較低，這與土地利用場景的實際情況一致，即4種土地利用類型視覺上相似性較高，如圖1所示。

圖4 MtSCCD_LUSC測試集A各網絡的分類結果混淆矩陣Fig.4 Confusion matrixes for each network on testing set A in MtSCCD_LUSC dataset

圖5 MtSCCD_LUSC測試集B各網絡的分類結果混淆矩陣Fig.5 Confusion matrixes for each network on testing set B in MtSCCD_LUSC dataset

3.4 MtSCCD_LUCD數據集實驗結果

表7 給出了傳統分類后檢測方法（CDC_1 和CDC_2）和基于相似度的變化檢測方法（CFSM 和SSCD）對MtSCCD_LUCD 數據的變化檢測結果。由表7 中結果可知，對于測試集A 和B，基于相似度的變化檢測方法優于傳統的基于分類的變化檢測方法。這是因為基于分類的變化檢測方法需要對兩個時相的場景各做一次分類，從而導致最終的變化檢測結果受兩次分類的影響較大。與之相反，基于相似度的變化檢測利用兩個時相場景的相似度閾值判斷場景是否發生變化，避免了兩次分類帶來的誤差累積，從而能夠得到更好的變化檢測結果。此外，對于兩種相似度變化檢測方法，CFSM（SwinT）的總體精度和Kappa 系數均高于SSCD 方法，尤其是顯著提升了SSCD 方法的Kappa系數。然而，SSCD 是更具潛力的變化檢測方法，主要體現在SSCD 雖然使用VGG16 作為骨干網絡提取特征，但總體精度和CFSM（SwinT）相差較小，因此，若以ResNet或Transformer作為骨干網絡進行特征提取，SSCD的變化檢測精度有望進一步提升。

表7 MtSCCD_LUCD數據集不同方法場景變化檢測結果Table 7 Change detection results of different methods on MtSCCD_LUCD dataset

為了直觀分析各方法的檢測效果，表8給出了MtSCCD_LUCD 數據集部分檢測實例?？梢钥闯?，對于同一網絡，基于相似度方法的檢測效果優于傳統的基于分類的檢測方法。

表8 MtSCCD_LUCD數據集變化檢測實例Table 8 Change detection examples of MtSCCD_LUCD dataset

4 結論

本文利用中國5 個城市中心區域的高分影像，構建了目前規模最大的場景分類與變化檢測數據集MtSCCD。該數據集包括MtSCCD_LUSC 和MtSCCD_LUCD 兩個子數據集，兩個子數據集均包含10 種土地利用類型，共65548 幅圖像?；谏鲜鰞蓚€子數據集，本文評估了多個深度學習網絡的場景分類與變化檢測效果，為相關研究人員提供了重要參考。最后，希望本文構建的MtSCCD 數據集能夠促進土地利用類型識別與監測領域的研究進展。