基于全卷積神經網絡和低分辨率標簽的森林變化檢測研究

向 俊,嚴恩萍,姜鎵偉,3,宋亞斌,韋 維,莫登奎*

(1. 廣西壯族自治區林業科學研究院,廣西 南寧 530002;2. 林業遙感大數據與生態安全湖南省重點實驗室,中南林業科技大學林學院,湖南 長沙 410004;3. 中山大學土木工程學院,廣東 珠海 519082;4. 國家林業和草原局中南調查規劃設計院,湖南 長沙 410014)

森林資源是全球可持續發展的重要資源,準確及時地獲取林地變更信息對保障生物多樣性、生態環境的穩定等具有重要意義[1-2]。森林變化檢測工作是林業生態建設的基礎性任務,是保持林地資源數據真實性、準確性和時效性的重要手段;也是實現林地管理 “一張圖”工作的主要內容;更是實現國家森林資源一類調查、二類調查以及各類林業重點工程監管的重要基礎[3-4]。

近年來,遙感技術迅速發展,遙感影像覆蓋面積越來越廣,精度越來越高,數據獲取周期越來越短,在農業、環境保護、土地利用、林業、海洋觀測等多個領域得到廣泛應用[5-12]。在遙感影像上采用目視解譯法進行人工判讀,區劃出林地變更區域,可極大地加快林地變更調查的速度。隨著人工智能技術的快速發展,深度學習方法被廣泛應用于計算機視覺和圖像處理領域[13]。在森林變化檢測方面,結合遙感影像與深度學習方法,可以有效保證森林變化檢測的及時性,避免人工判斷習慣的不同而造成干擾,提升林地變更調查的精度與效率。許多學者使用基于全卷積神經網絡(fully convolutional network, FCN)的深度學習模型[14]在遙感影像地物分類[15-16]和變化檢測[17-18]方面的研究較多,并且取得較好的效果。

深度學習方法已被證明在變化檢測領域采用高分辨率標簽完成檢測任務是有效的,這類網絡模型的特點是建立多層卷積神經網絡結構和大量高分辨率標簽來分析[13,19-20]。如Chen 等[21]提出一種基于時空注意力的方法應用于遙感影像變化檢測,利用新穎的基于時空注意力的卷積神經網絡提升檢測精度。王昶等[22]采用深度學習方法和變化向量檢測(change vector analysis,CVA)方法對3組遙感影像數據集進行變化檢測實驗,結果表明基于深度學習方法的變化檢測精度高于CVA方法。Lei等[18]提出一種基于對稱全卷積神經網絡的山體滑坡變化檢測方法,結果表明這種對稱全卷積神經網絡結構能夠有效利用滑坡地區的空間多尺度特征,解決單尺度集合的缺點,從而輸出更好的特征圖。森林變化檢測作為地類變化檢測中一項重要分支,使用深度學習模型也能達到目的。然而想要獲得高精度檢測結果,通常需要大量高分辨率的標簽作為訓練樣本,其獲取和制作過程相比于中低分辨率標簽難度更大。

本研究基于全卷積神經網絡模型,利用低分辨率標簽對高分遙感影像中的森林進行提取,得到準確的高分辨率森林影像提取結果,將前后兩期森林影像提取結果對比獲得林地區域森林變化檢測結果。

1 材料與方法

1.1 研究區概況

長株潭地區位于湖南省中東部(111°53′～114°17′E,26°03′～28°40′N)。研究區總面積為2.8×104km2,是典型的山地丘陵地形,屬于亞熱帶季風性氣候,降雨充沛,年均降水量為1 200～1 450 mm,年均氣溫為15～19 ℃[23-24],研究區中林地與城市大片相接,對研究碎片化林地的地物分類和變化檢測具有重大意義。

1.2 數據來源與處理

1.2.1 遙感數據來源

為檢測研究區域內2020—2021年林地變更情況,本研究獲取研究區2020年與2021年兩期高分遙感影像和“林地一張圖”(圖1)。2021年研究區高分影像數據局部含云區域已在后續處理中去除,且含云區域影像未用來制作數據集。提取森林使用的是256×256的小圖像,故影像中的拼接痕跡對森林提取無影響。兩期遙感影像由多種國產高分數據及全年多期影像融合而成。高分遙感影像與“林地一張圖”均來自國家林業和草原局調查規劃設計院。

1.2.2 數據預處理

云覆蓋地球表面50%～70%面積,是影響大氣輻射收支平衡以及氣候變化的重要因素之一[25-26]。目前大部分卷積神經網絡分類器只接受有效值的輸入,所以對遙感影像進行地物分類時,云和影像缺失是嚴重的干擾因素。本研究獲取的高分衛星影像數據中部分區域存在云覆蓋或影像缺失,直接影響地物分類的效果和后續變化檢測分析。為了減少或避免這些因素對結果分析造成的影響,通過人工目視判讀,篩選并剔除含云和有缺失的遙感影像。

下載開源數據——2020年全球土地利用/土地覆蓋地圖(land use/land cover,LULC)。使用LULC地圖作為本研究的低分辨率標簽,并從中裁剪出研究區LULC地圖。LULC地圖來自州航天局entinel-2影像,分辨率為10 m。獲取研究區的LULC標簽,地物種類共分為6類(水體、森林、耕地、灌木、建筑和裸地)。森林變化檢測需要檢測出林地區域內不同時相的森林變化區域。因此提取出LULC標簽的森林作為檢測高分辨率影像森林的標簽,同時為模擬低分辨率標簽,使用最近鄰算法將10 m分辨率標簽下采樣調至30 m分辨率(圖2)。

圖2 標簽預處理示意圖Fig. 2 Schematic diagram of label pre-processing

1.2.3 制作數據集

采用最近鄰算法將低分辨率標簽重采樣至與高分影像相同分辨率,保證影像之間的空間兼容性[27]。2020年和2021年兩期高分影像、低分辨率標簽均裁剪為4 000×4 000像素大小,對應編號。由于2020年與2021年兩期影像含云和影像位置的缺失,以及兩期影像的顏色特征均不相同,因此需要生成不同的森林提取模型。分別制作2020年與2021年的數據集,各200張4 000×4 000像素的遙感影像,以及對應區域的低分辨率標簽。同時為保證樣本中各地物種類的均衡性,隨機挑選各種地形圖片作為實驗樣本。

1.3 研究方法

1.3.1 全卷積神經網絡模型

以較大的數據樣本為模型提供更強的泛化能力,依據高分辨率圖像本身的紋理結構與顏色等特征,為提取其地物輪廓標簽帶來較大優勢。高效、輕量的全卷積神經網絡(FCN)模型設計見圖3,網絡中每一層都包含1個卷積層(convolutional layer)和激活層(relu layer),其中卷積核大小為3×3。網絡模型輸入256×256×3的隨機裁剪圖片,經過模型的卷積學習,最終網絡輸出256×256的提取結果。利用該網絡模型分別在兩個訓練數據集中進行訓練得到對應數據的模型。

圖3 FCN網絡模型結構示意圖Fig. 3 Schematic diagram of the FCN network model structure

為驗證不同網絡模型對同一數據集的森林提取精度以及本研究所用模型(FCN)的優勢,將FCN提取結果與U-Net、FPN、LinkNet模型提取結果進行對比。對比試驗中U-Net、FPN、LinkNet模型編碼器結構均為Resnet-18。其中Resnet前3層塊被用于下采樣,并在相應的上采樣層分別使用128、64和64個濾波器的卷積層。

損失函數選擇Diceloss函數,Diceloss損失函數來自Dice coefficient,是一種用于評估兩個樣本相似性的損失函數,取值范圍為[0,1],取值越大表示兩個樣本越相似[19]。

(1)

式中:Ldice為損失函數;X與Y分別為預測值與真值;|X|和|Y|分別表示X和Y的元素個數,分子乘2是為了保證分母重復計算后取值范圍在[0,1]區間內。Diceloss函數是一種具有區域相關性的損失函數,意味著某像素點的loss值以及梯度值不僅與該點的標簽以及預測值相關,與其他點的標簽以及預測值也相關。構建優化器對象,用來保存當前計算狀態,并且能夠根據計算得到梯度更新參數。梯度下降優化器使用AdamW函數[28],初始學習率設置為0.001。

實驗環境基于 Pytorch 框架和 Python 語言搭建。在Windows 10系統下以 Pytorch1.9.0 為基礎編寫,并使用Nvidia RTX3080ti GPU進行訓練,顯存為12 G, CUDA版本為11.0。深度學習所用服務器 CPU 為 Intel(R) Core(TM) i7-10700KF CPU,其主頻最高為 3.79 GHz,服務器運行內存 32 G,4 T儲存空間。

1.3.2 森林提取網絡模型精度評價

構建的是基于深度學習方法的森林檢測網絡模型。檢測結果的準確性以單個像元為統計單元,精確率(precision,P)和召回率(recall,R)是分類網絡模型中的常用評價指標。因此,選擇精確率和召回率作為本網絡模型的評價指標。對結果進行精度評價時,將人工目視解譯結果作為真值,全卷積神經網絡模型的預測結果作為預測值,最終以像素面積計算精度。表達式為:

(2)

(3)

式中:STP為正確預測的像素面積;SFP為錯誤預測的像素面積;SFN為漏檢區域面積。

采用綜合評價指標(F1-score,記為F1)[29]對結果進一步評價,該量化指標是精確率(P)和召回率(R)的調和均值,計算公式如下:

(4)

1.3.3 變化檢測方法

基于圖像分類結果的方法是變化檢測眾多方法的一種,主要包括分類后比較法[30-31]和多時相直接分類法[32]。使用分類后比較法來識別森林變化區域,該方法能夠有效地削弱傳感器、大氣條件等因素對變化檢測的影響。通過森林檢測模型分別得到2020年與2021年的兩期高分影像森林提取結果,再比較得到森林變化結果。利用“林地一張圖”掩膜非林地區域,僅保留林地區域內變化,生成林地區域內的森林變化結果。

1.3.4 檢測結果后處理

對于森林變化檢測結果圖像(圖4a)中出現的極小區域圖斑、小間隙以及變化區域內存在的孔洞,采用形態學后處理和去除最小面積的方法處理這些圖斑和孔洞來完善最終的檢測結果。形態學處理[33]是基于集合論基礎的一種圖像處理方法,包括腐蝕、膨脹、開和閉等形態學運算。閉運算是先膨脹后腐蝕,能夠平滑目標輪廓外和填充區域間的狹窄縫隙,具有填充孔洞的效果。在閉運算結果基礎上去除面積小于閾值的變化圖斑,最終得到后處理的結果,即去除處理面積小于666.67 m2的變化區域圖斑(圖4b)。

圖4 檢測結果后處理示意圖Fig. 4 Diagram of post-processing of detection results

2 結果與分析

2.1 森林提取模型預測結果

對前后兩期高分影像分別利用森林提取模型訓練,并從兩期遙感影像中隨機選取5個面積為80 km2的影像作為測試樣本,與地面真值進行比對和精度計算。森林提取模型訓練過程中損失值(loss) 隨訓練批次(epoch)變化的曲線如圖5所示,模型的損失值呈緩慢下降趨勢。通過測試樣本反饋的結果,模型在第10個訓練批次處得到最佳效果。森林提取精度如表1所示。

表1 網絡模型精度評價

圖5 FCN訓練損失值變化曲線Fig. 5 FCN training loss value change curve

FCN在2020年的森林提取結果中,模型精確率為96.25%,召回率為97.95%,F1分數為97.09%。對于2021年影像森林提取結果,精確率達到92.53%,召回率為99.65%,F1分數為95.96%。在低分辨率標簽森林提取方面,FCN對于森林的提取精度整體優于同為分割網絡模型U-Net、FPN、LinkNet。2021年提取結果中,森林提取的精確率低于U-Net網絡模型,其原因是物候期的變化和本研究所用模型在該方面訓練樣本不足,導致部分非森林區域被模型預測為森林。在FCN對于兩期影像的檢測結果中,F1分數均高于90%,分類網絡模型的一致性強,說明本研究所用模型基于低分辨率標簽可以完成遙感影像森林提取,滿足后續的森林變化檢測任務。

各模型提取結果如圖6所示,FCN模型在細小地物如道路、單個建筑、裸地等邊界上具有更好的提取效果(圖6c),而同為分割模型的U-Net、FPN、LinkNet網絡模型均只能提取大面積森林,對于細小地物的邊界分割效果較差。

圖6 不同森林模型提取結果Fig. 6 Different forest model extraction results

2.2 森林變化檢測結果

為進一步驗證本研究所用方法在森林變化檢測中的有效性,基于森林提取結果,使用分類后比較法得出研究區變化檢測結果。利用2020年和2021年研究區FCN模型森林提取結果,獲取森林減少區域與森林增加區域,并結合目視解譯結果計算精度等參數。采伐和開墾是造成森林減少的主要驅動因素,通過比對長株潭地區森林減少區域結果(圖7a)和兩期高分影像,經過人工目視判別,發現大多數森林減少區域均為采伐和開墾。提取森林變化區域與實際影像相符(圖7b),且邊界準確?？梢钥闯?除去含云區域,林地減少區域主要集中在長沙市南部、湘潭市與株洲市交界處南部以及株洲市西南部。人工造林會一定程度增加森林面積,長株潭地區森林增加區域結果見圖7a,森林增加區域遠少于森林減少區域,且森林增加區域主要集中在株洲市中部,以及長沙市北部少量區域。

選取面積為960 hm2區域(圖7a)作為測試樣本數據集,將提取的森林變化檢測結果與真實變化區域進行比較。其中通過人工目視解譯法獲得的森林真實減少面積為369.46 hm2,本研究所用方法預測的變化面積為386.56 hm2,正確預測面積為286.60 hm2,錯誤預測面積為99.96 hm2,漏檢面積為82.85 hm2,計算得到精確率(P)為74.14%,召回率(R)為77.57%,F1分數為75.82%。通過人工目視解譯法獲得的真實森林增加區域面積為84.04 hm2,所用方法預測的變化面積為92.12 hm2,正確預測面積為64.26 hm2,錯誤預測面積為27.86 hm2,漏檢面積為19.78 hm2,計算得到的精確率(P)為69.76%,召回率(R)為76.46%,F1分數為72.96%,合計變化精確率為73.30%,召回率為77.37%,F1分數為75.28%(表2)。通過表2中的數據可以得出,該網絡模型能夠利用低分辨率標簽,完成高分遙感影像的變化檢測任務,且具有較好的效果。

表2 森林變化檢測結果精度評價

3 討 論

林地年度變更調查工作是及時掌握林地利用現狀及其消長變化情況的重要基礎性工作。利用遙感手段進行森林變化檢測有利于實現對森林資源、地類變化等數據的定量、定位和可視化監測,對林地變更調查工作具有重要指導意義[1-4,34]。

損失函數雖然是評估兩個樣本相似的重要方法,但是本研究參與訓練的標簽為低分辨率標簽,損失值在訓練過程中不能完全評估模型訓練結果的好壞。避免模型輸出結果完全與低分辨率標簽擬合,采用低分辨率標簽與淺層全卷積神經網絡結合的方法,訓練200張4 000×4 000像素大小的圖片,通過較大的樣本數據集為模型提供較強的泛化能力。由于數據樣本充足,僅需要訓練少量的epoch就能得到較好的檢測結果。

雖然本研究所用模型對兩期高分影像森林提取精度分別為96.25%與92.53%,但是森林變化檢測的結果中精度不高,其中森林增加區域精確率僅為69.76%。造成森林提取精度過高的原因,可能是森林區域占樣本區域比例過高,如2020年樣本區域森林面積占比為86.77%,即使有少量面積的誤檢和漏檢也不影響整體的精度;通過人工目視判別發現在森林提取過程中,造成漏檢、誤檢多發生在森林與其他地類的交界之處。同時該處也是森林變化區域高頻率發生地段,如林地的砍伐和開墾以及人類的其他經濟活動[35],從而造成精確率較低。

本研究所設計實驗仍然存在一定的局限性:①雖然對遙感影像進行去云預處理,但檢測結果仍有云的干擾,影響檢測精度;②遙感影像為多期高分影像拼接而成,且2021年影像顏色偏向于綠色,導致道路兩旁的灌木、草地被誤檢為森林,該現象同樣是影響變化檢測結果的因素之一;③由于物候期影響,部分闊葉樹落葉期的影像顏色特征與采伐、開墾地相似[36-37],導致檢測出部分森林變化為偽變化。

針對上述問題,后續實驗將采用Sentinel-2影像進行森林變化檢測研究,以期避免影像拼接以及兩期影像物候期不同導致的檢測結果精度不高。

4 結 論

1)所用的全卷積神經網絡對于2020年和2021年兩期高分遙感影像均有較好的提取效果,滿足用于變化檢測任務的條件;同時通過人工目視判別發現FCN在森林提取中對邊界優化較為準確。

2)利用分類后比較法對兩期森林提取結果作變化檢測,以像素變化面積為精度評價計算單位,其中森林減少區域的精確率為74.14%,召回率為77.57%,F1分數為75.82%;森林增加區域的精確率為69.76%,召回率為76.46%,F1分數為72.96%;合計變化精確率為73.30%,召回率為77.37%,F1分數為75.28%。本研究結果能夠為高精度標簽樣本缺失或不足情境下的林地地物分類以及森林變化檢測提供參考,后續研究將針對季相變化造成的誤檢進行深入研究。