聯合顯著性和多方法差異影像融合的遙感影像變化檢測

王譯著，黃 亮,2，陳朋弟，李文國，余曉娜

(1.昆明理工大學國土資源工程學院，昆明 650093；2.云南省高校高原山區空間信息測繪技術應用工程研究中心，昆明 650093；3.昆明工業職業技術學院，昆明 650302)

0 引言

多時相遙感影像變化檢測是宏觀、動態地監測與分析地表變化的主要技術手段之一[1],該技術通過對遙感影像多次觀測并識別地表變化特征，得到前后地物的變化信息，進而分析出各類地物的性質、位置、和范圍變化[1-2]。目前變化檢測在城市擴張、農業調查和災害分析等領域得到廣泛應用[3-4]。

隨著衛星遙感影像分辨率不斷提高，影像中地物更加多樣和復雜，這對變化檢測方法提出了更高的要求[4]。目前根據是否分類，可以將變化檢測方法分為兩種：分類后比較法和直接比較法。分類后比較法需對不同時相遙感影像獨立分類，多次分類誤差累計會導致變化檢測精度變低[5-6]，相比之下直接比較法簡單易操作而得到廣泛應用。差異影像構建和變化區域提取是直接比較法的兩個關鍵步驟，二者直接決定了后續變化檢測的結果精度。其中，差異影像構建是直接比較法的基礎和關鍵。目前，國內外研究人員圍繞差異影像構建進行大量研究，取得了一定的成果。如文獻[7]和文獻[8]通過變化矢量分析(change vector analysis，CVA)構建差異影像，然后分別使用機器學習方法和OTSU法對差異影像進行處理得到最終的變化區域。采用CVA構建差異影像只考慮了光譜特征，對“同物異譜”“異物同譜”較為顯著的高空間分辨率遙感影像易造成錯檢和漏檢，難以得到很好的檢測結果；文獻[9]采用CVA得到各個尺度差異影像圖，然后引入模糊融合和兩種決策級融合方法進行多尺度融合。但是該方法對融合的尺度選取的要求較高；文獻[10]建立一個鏈式模型來表示光譜斜率差異(spectral gradient difference，SGD)模型，通過該SGD模型知識庫對遙感影像進行變化檢測。采用SGD構建差異影像不適合分析不同生長時期的植被，同時需要大量的訓練樣本；文獻[11]則將CVA和SGD加權融合構造差異影像，然后采用OTSU方法獲得最終變化區域。融合CVA和SGD的差異影像構造方法忽略了空間信息，因此“同物異譜”和“異物同譜”問題仍未得到很好的解決。

綜上，CVA和SGD的方法僅考慮光譜和紋理特征，忽略了空間和對比度信息，對“同物異譜”和“異物同譜”的檢測精度不高，通過CVA和SGD加權融合獲取差異影像又容易將CVA和SGD引起的誤差累積，對尺度選取的要求較高。根據上述問題，本文引入基于聚類的聯合顯著性檢測技術(co-saliency)[14]，該技術不僅考慮了對比度信息和空間信息，同時綜合考慮了影像間的相關性信息。因此本文提出了一種聯合顯著性和多方法差異影像融合的多時相遙感影像變化檢測方法，該方法先分別采用CVA和SGD構建差異影像；然后將差異影像進行基于聚類的聯合顯著性檢測[13-14]并進行顯著性差異影像融合得到聯合顯著性圖；最后采用OSTU法閾值分割[16-17]和閉運算處理得到變化影像，以期獲得更優異的變化檢測結果。

1 研究方法

本文所提出方法的具體流程圖如圖1所示。

圖1 方法流程圖Fig.1 Flow chart of the method

主要包括以下步驟：①利用CVA和SGD算法分別對兩期遙感影像進行差異影像構造；②利用基于聚類的聯合顯著性檢測方法的對比度信息和空間信息，對CVA和SGD構建的差異影像進行聯合顯著性檢測，分別得到兩幅差異影像的共同顯著區域，檢測結果可以認為是CVA和SGD共同的變化區域；③利用兩幅差異影像的相關性，將CVA和SGD的聯合顯著性圖進行融合得到聯合顯著性差異影像；④通過OTSU和閉運算步驟處理聯合顯著性差異影像，得到最終的變化區域和未變化區域；⑤對變化檢測結果進行定量評價。

如果兩幅遙感影像地物未變化，可認為影像的顯著性相同，該技術充分考慮了對比度信息、空間信息和相關性信息。因此，通過將兩幅差異影像進行聯合顯著性檢測，檢測結果可以認為是CVA和SGD共同的變化區域，結果更具有魯棒性，在復雜場景中也能將顯著性變化目標檢測出來[12-15]。

1.1 結合CVA和SGD的聯合顯著性差異圖構建

設兩個時相T1和T2的遙感影像分別為G1和G2，則某一像素Xij的灰度值G1=[Xij1(T1)，Xij2(T1)，…，Xijn(T1)]T和G2=[Xij1(T2)，Xij2(T2)，…，Xijn(T2)]T，其中，n是計算過程中相互獨立的波段數，X是所對應像元的灰度值。分別通過CVA和SGD構建差異影像DCVA和DSGD，然后通過co-saliency技術獲取DCVA和DSGD的聯合顯著圖SCVA和SSGD，并通過將二者融合得到最終的差異圖DFusion，具體步驟如下：

1)構建DCVA。計算G1和G2影像的變化向量ΔG，公式為：

(1)

然后計算G1和G2兩幅影像的變化強度‖G‖，公式為：

(2)

式中‖G‖為影像的變化強度，數值越大，表明該像素發生變化的可能性大；e為波段。本文采用4個波段的遙感影像數據，即在式(2)中，當n=4時，DCVA=‖G‖。

2)構建DSGD。SGD方法主要是通過計算光譜斜率空間，比較兩期遙感影像光譜斜率的強度差異來判斷地物是否發生了變化。假設遙感數據有n個波段，波段e與e+1(e≤n-1)之間的斜率g是：

(3)

式中：Re+1和Re分別為波段e+1和e的反射率值；ΔR(e,e+1)為Re+1和Re之間的差值；λe+1和λe為波段e+1和e的波長;Δλ為二者的差。

光譜斜率描述了兩個相鄰波段之間的趨勢。如果g(e,e+1)>0，這表明光譜值從波段e增加到e+1;相比之下，如果g(e,e+1)<0，則表明光譜值從波段e減小到e+1;如果g(e,e+1)=0，反射率保持不變，而更大的Δg(e,e+1)則表示兩個相鄰波段之間的變化更大。

光譜曲線的形狀用光譜梯度向量(spectral gradient vector，SGV)描述，當采用4個波段遙感數據時，SGV將光譜信息從傳統的光譜空間投影到梯度空間，公式為：

A=[g(1,2),g(2,3),g(3,4)]T。

(4)

假設A1和A2分別是在時間T1和T2的一個像素的SGV，那么它們之間的差值ΔA可以計算為：

ΔA=A2-A1=[g2(1,2),g2(2,3),g2(3,4)]T-[g1(1,2),g1(2,3),g1(3,4)]T。

(5)

在式(5)中，DSGD等于ΔA的絕對值。作為基于SGD的變化幅度，較大的ΔA表示變化的可能性較高。在計算光譜梯度的變化幅度圖像后，建立特定的閾值來檢測變化和未變化區域。

3)基于co-saliency技術構建SCVA和SSGD?；诰垲惖穆摵巷@著性檢測方法能構建多特征的相關性，將遙感影像的對比度信息和空間特性檢測出來，如果一個地物在多張差異圖像上表現出很高的相似性，那么就可以被視為一個共同顯著性物體。具體步驟如下：

①分別輸入差異影像DCVA和DSGD。

②采用K均值聚類方法分別將DCVA和DSGD分為K個聚類，其中k代表某一聚類。

③計算每個聚類的對比度線索(ωc(k))和空間線索(ωs(k))，公式分別為：

(6)

(7)

式中：‖μk-μi‖2用于計算特征空間；ni為聚類Ci中的像素數量；N為輸入圖像中的像素數；μk和μi為Ck和Ci類中心；oj為輸入圖像Ij的中心；高斯核函數Υ用于計算像素zij和圖像中心oj的歐幾里得距離；方差σ2為輸入圖像的歸一化半徑；歸一化參數nk為Ck的像素數；pij為輸入圖像Ij中的像素i；Nj為圖像Ij的第j個圖像像點；M為輸入圖像的數量；b(pij)為聚類指數。

④通過式(8)融合對比度線索和空間線索，ωi(k)表示顯著性線索，公式為：

p(Ck)=Πωi(k)。

(8)

⑤通過式(9)獲得最終的顯著性效果圖，x為輸入圖像中的像素，公式為：

(9)

4)融合SCVA和SSGD構建最終的差異影像DFusion。將SCVA和SSGD融合構造差異影像DFusion。使用該方法對CVA和SGD的差異影像聯合進行顯著性變化檢測，不僅包含了對比度信息和空間特性，而且檢測結果可以認為是共同顯著的。

1.2 基于OTSU的差異影像分析

OTSU算法是按灰度特性將圖像分成背景和前景兩部分，方差作為灰度分布均勻性的度量，其值越大說明構成圖像兩部分差別越大，即類間方差越大。任何混淆錯分現象的發生均會導致錯分概率變小，可將圖像中兩部分進行最理想分開。

將圖像的灰度范圍平均分為L級，Ni表示第i灰度級的像素點數，像素點總數及其概率密度分布分別為：

(10)

(11)

將圖像分割成兩類，目標類為C0={0,1,…,T}，背景類為C1={T+1,T+2,…,L-1}，σ2為類間方差，則最佳閾值T′滿足類間方差最大，公式為：

σ2(T′)=max[σ2(T)]，0≤T≤L。

(12)

2 實驗及分析

2.1 實驗數據與精度評價

實驗計算機的配置為英特爾酷睿i7-8700K和英偉達GTX 1050Ti 4G，實驗過程由MATLAB2018b實現。本文選擇了昆明市呈貢區部分地區的GF-1遙感影像，遙感影像包含藍、綠、紅和近紅4個波段，獲取時間為2013年12月19日和2015年12月10日，將全色與多光譜數據融合后裁剪成3組數據，空間分辨率為2 m，大小分別為：243像素×396像素，301像素×526像素和296像素×405像素。

為了驗證本文方法的有效性和可靠性，設計了5組對比實驗，分別為CVA與OTSU結合的方法(CVA-OTSU)、SGD與OTSU結合的方法(SGD-OTSU)、卷積小波神經網絡(convolutional-wavelet neural network，CWNN)[21]方法、模糊局部C均值聚類(fuzzy local information C-means，FLICM)[22]方法和主成分分析(principal component analysis，PCA)與K均值(K-means)結合方法(PCA-Kmeans)[23]。

在精度評價方面，本文采用錯檢率(false alarm，FA)[18]、漏檢率(missing alarm，MA)[18]、總體精度(overall accuracy，OA)[18]、Kappa系數[19]、和F-measure系數[20]來定量分析試驗結果，同時采用直觀比較法定性評價。

FA表示實際為未變化的樣本被檢測成為發生變化的地物的樣本比例，公式為：

(13)

式中：FP為實際正確、變化檢測結果錯誤的樣本；TN為實際錯誤、變化檢測結果正確的樣本。

MA表示實際為發生變化的樣本被檢測為未變化的地物的樣本比例，公式為：

(14)

式中：FN為實際錯誤、變化檢測結果錯誤的樣本；TP為實際正確、變化檢測結果正確的樣本。

OA是所有的分類正確的樣本數除以總得樣本數，公式為：

(15)

Kappa系數用于一致性檢驗，其計算公式基于混淆矩陣，結果用于衡量分類精度，代表著分類與完全隨機的分類產生錯誤減少的比例，公式為：

(16)

(17)

式中PRE為理論檢測結果的一致率。Kappa值越高，代表檢測結果精度越高。

F-measure系數為算數平均數除以幾何平均數，其數值越大代表變化檢測的結果越好，公式為：

(18)

2.2 第一組試驗結果

圖2為第一組影像變化檢測結果。圖2(a)和圖2(b)分別是2013年和2015年獲取的昆明市呈貢區部分地區GF-1號衛星遙感影像；圖2(c)是目視解譯的變化參考影像；圖2(d)—(h)分別是影像通過CVA-OTSU，SGD-OTSU，CWNN，FLICM和PCA-Kmeans方法得到的變化檢測結果；圖2(i)是本文所提出的變化檢測方法。

(a)T1時相影像 (b)T2時相影像 (c)參考影像

根據表1，本文方法具有較高的OA系數、Kappa系數和F-measure系數，其中，OA系數達到94.02%，Kappa系數和F-measure系數均達到60%以上，FA系數僅為4.09%，精度明顯高于其他傳統的變化檢測方法。對比第一組數據結果(圖2)的視覺效果可得出，本文方法優于其他傳統檢測方法，更接近于參考基準影像。與參考影像相比，本文方法對植被有一定的錯檢，主要原因為T1和T2時相原始影像的植被處在不同生長時期，光譜特征不同，所以將植被錯檢測為變化區域。

表1 第一組影像精度評價結果Tab.1 Accuracy evaluation of the first group image (%)

2.3 第二組試驗結果

圖3為第三組影像變化檢測結果，圖3(a)和圖3(b)分別是2013年和2015年獲取的昆明市呈貢區部分地區GF-1號衛星遙感影像；圖3(c)是目視解譯的變化檢測參考影像；圖3(d)—(h)分別是影像通過CVA-OTSU，SGD-OTSU，CWNN，FLICM和PCA-Kmeans方法得到的變化檢測結果；圖3(i)是本文所提出的變化檢測方法。根據表2，本文方法具有較高的OA系數、Kappa系數和F-measure系數，其中，OA系數達到99.01%，Kappa系數和F-measure系數均達到70%以上，FA系數僅為0.59%。明顯優于其他傳統的變化檢測方法。對比第二組數據結果(圖3)的視覺效果可看出，本文方法更接近于參考影像，但是與參考影像相比本文方法未能將中間斜體建筑物檢測出來，所以漏檢率達到22%。主要原因是原始影像中的建筑物光譜不一致，T1原始影像為灰色，T2原始影像為深藍色，均相融于背景顏色，導致該建筑物漏檢。

(a)T1時相影像 (b)T2時相影像 (c)參考影像

表2 第二組影像精度評價結果Tab.2 Accuracy evaluation of the second group image (%)

2.4 第三組試驗結果

圖4為第三組影像變化檢測結果，圖4(a)和圖4(b)分別是2013年和2015年獲取的昆明市呈貢區部分地區GF-1號衛星遙感影像；圖4(c)是目視解譯的變化檢測參考影像；圖4(d)—圖4(h)分別是影像通過CVA-OTSU，SGD-OTSU，CWNN，FLICM和PCA-Kmeans方法得到的變化檢測結果；圖4(i)是本文所提出的變化檢測方法結果。

(a)T1時相影像 (b)T2時相影像 (c)參考影像

根據表3，本文方法具有較高的OA系數、Kappa系數和F-measure系數，其中，OA系數達到97.80%，Kappa系數和F-measure系數在60%左右，FA系數僅為1.35%。對比第三組數據結果(圖4)的視覺效果可看出，本文方法更接近于參考影像，錯檢區域遠少于其他傳統方法。但是與參考影像相比，本文方法將一些噪點錯檢為變化區域，噪點可以后續形態學去除。

表3 第三組影像精度評價結果Tab.3 Accuracy evaluation of the third group image (%)

2.5 實驗分析

傳統方法中，CVA-OTSU和SGD-OTSU方法僅僅考慮紋理和光譜特征，沒有考慮空間和對比度信息，所以有大量錯檢和漏檢；根據文獻[6]和[21]，CWNN對合成孔徑雷達影像有較好的檢測結果，但對光學圖像的效果還有待提升；FLICM和PCA-Kmeans對于光譜信息更為復雜的高分辨率遙感影像還需要進一步研究提升檢測精度。而本文方法不僅考慮光譜和紋理特征，而且結合對比度線索、空間線索和相關性線索較好地提升了變化檢測精度，尤其是本文方法的錯檢率不足5%，證明了本文方法的檢測精度高和可行性，是一種效果優異的變化檢測方法。

3 結論

1)為提高變化檢測實驗精度，本文提出了一種聯合顯著性和多方法差異影像融合的多時相遙感影像變化檢測方法。本文方法較傳統方法不僅考慮光譜和紋理特征，而且結合對比度線索、空間線索和相關性線索更好地提升了變化檢測精度。

2)通過3組遙感影像數據實驗，本文方法最終變化檢測OA分別為94.02%，99.01%和97.80%；Kappa系數分別為64.59%，73.19%和60.36%；F-measure系數分別為65.00%，71.80%和59.10%。與傳統方法相比具有更高的精度和可行性。

3)本文方法還存在將不同物候期植被和噪點誤檢為變化區域的問題，深度學習方法能自動提取影像特征，能減少上述問題所帶來的影響，因此未來將開展基于深度學習的變化檢測方法研究。