基于深度學習的巖體遙感智能解譯模型研究
——以黑龍江省葦河鎮、亞布力鎮、綏陽鎮地區為例

李雨柯，趙院冬，陳偉濤，李顯巨，韓科胤，曹 會，溫秋園，王 群

1.中國地質調查局 牡丹江自然資源綜合調查中心，黑龍江 牡丹江 157000；

2.中國地質大學 計算機學院，湖北 武漢 430074

0 前言

隨著遙感科技的發展，遙感影像光譜、空間、時間分辨率不斷提高，應用領域和需求逐步延伸，對高效率、高精度提取影像信息的要求顯得越來越迫切［1］.但是受限于遙感數據容量大、難識別、非平穩等特點［2］，加之地表復雜的地質條件，傳統的人機交互方法花費時間長、解譯精度差的問題開始凸顯，因此，遙感大數據分析處理方法應運而生［3-4］.目前這種分析方法主要有兩類：一類是使用關系型數據庫的聯機分析統計技術方法；另一類是基于機器學習的智能化分析法.其中的深度學習方法在數據的提取和分析方面具有明顯的優越性，是目前遙感智能化應用的研究熱點［5］.

深度學習是一種利用多個隱含層的神經網絡來解決特征表達的學習方法，與監督學習、無監督學習、半監督學習、集成學習等機器學習方法相比，在智能提取遙感影像信息方面，精確度和智能化程度更高［6-10］.

由于地表巖體地質成因背景復雜，物理化學性質具有各向異性和不連續性，對遙感智能化精確識別提出了更高要求.本研究利用深度學習方法在試驗區開展巖體智能解譯模型工作，結果顯示，該方法效果良好，能夠有效滿足智能、快速、高精度解譯需求.

1 研究區與多源數據

1.1 研究區概況

本研究依托遙感地質調查數據，重點選取葦河鎮、亞布力鎮和綏陽鎮3個1∶50 000標準圖幅（圖1a、b）為試驗區，分別位于黑龍江中東部地區，跨越松嫩地塊和佳木斯-興凱地塊，總面積1 092 km2.圖幅內巖性主要發育花崗巖、花崗閃長巖、流紋巖、安山巖、玄武巖、片巖，具有較好的代表性.

圖1 研究區地理位置示意圖Fig.1 Geographical sketch map of the study area

1.2 遙感數據及預處理

試驗區選取資源三號立體測繪衛星影像為數據源，采用的數據清單見表1，主要包含3景后視、前視、多光譜和正視影像，數據能夠完全覆蓋研究區.所有數據均沒有云、雪覆蓋，呈像時間在10月、11月和3月，該時段植被裸露程度較高，能夠提升遙感數據信息提取精度.

表1 試驗區使用的資源3號數據Table 1 Data from ZY-3 satellite images used in test areas

采用資源三號前后視立體像對影像提取數字高程模型（DEM）數據，再進行偽洼地填充等后處理，得到精度為5 m的成果數據.基于DEM數據和有理多項式系數，對資源三號全色和多光譜影像進行正射校正.接著以全色影像為基準，采用二次多項式對多光譜影像進行幾何糾正.其中，糾正誤差控制在0.5個像元之內，重采樣選用立方卷積方法.最后采用Gram-Schmidt光譜銳化（GS）方法融合上述處理后的全色和多光譜影像，從而得到2.1 m的融合多光譜影像.

1.3 巖體數據集構建

利用項目影像數據，考慮到巖體在遙感影像上連續性的空間展布特征，按500×500像元制作了安山巖（98幅）、花崗巖（265幅）、石英閃長巖（87幅）、中性火山巖（53幅）4類巖性場景數據集，共503幅，作為參考數據集（圖2）.

圖2 典型遙感巖體場景Fig.2 Typical rock scenes by remote sensing

根據試驗區巖體調查和解譯數據，采用資源三號影像數據，分別構建了真彩色、假彩色和DEM場景數據，尺寸為500×500像元和210×210像元.根據16 bit的多光譜圖像和DEM圖像，得到8 bit的圖像及其裁剪后的真彩色、假彩色和DEM圖像（表2），包含有真實地理坐標和無真實地理坐標兩個版本.

表2 試驗區場景數據集Table 2 Scene datasets of test areas

2 研究方法

2.1 巖體預測學習模型確定

實驗環境的構建及主要實現功能分為以下步驟：搭建軟件運行平臺的系統環境Ubuntu 16.04；遵循系統環境穩定性的原則，分別配置和安裝對應版本的NVIDIA Cuda Version 10.0、cu DNN Version 10.0、Open CV Version 3.4.1；安裝Anaconda3、Py Charm等Python語言編譯環境，并配置Numpy等語言擴展程序庫；創建數據集；編譯代碼并按照一定的窗口大小對數據影像進行隨機裁剪；網絡訓練及數據集擴展，模型驗證、測試、結果預測及精度評價.

將數據集按8∶2劃分為訓練和測試集.具體的技術路線如圖3所示.首先分別提取人工設計特征、中層視覺特征和深度特征；然后輸入SVM（支持向量機）、ANN（人工神經網絡）和Softmax分類器，從而得到混淆矩陣；接著開展分類精度評價.人工設計特征包括GLCM（灰度共生矩陣）、HOG（方向梯度直方圖）和CH（層次聚類）；中層視覺特征包括BoVW（視覺詞袋模型）、超級位置模型SPM（level＝1）和SPM（level＝2）；深度特征包括超分辨率測試序列（VGG）、Xception和ResNet網絡提取的特征.SVM算法使用默認參數，未調參；ANN算法包含2個隱含層和1個輸出層，隱含層神經元為300，輸出層神經元為4，Dropout設為0.2，具體如圖4所示.人工設計特征和中層視覺特征均輸入了SVM和ANN算法，深度特征輸入了Softmax算法，從而得到5組分類結果.OA（總體精度）、Kappa和F-score評價各種模型的總體性能，采用統計檢驗探測不同模型之間是否具有統一意義上的顯著性差異.

圖3 巖體遙感智能解譯路線Fig.3 Intelligent interpretation route of rock mass remote sensing images

圖4 ANN算法結果圖Fig.4 ANN algorithm result diagram

選取基于人工設計特征和中層視覺特征的最優模型，與基于深度特征的模型進行對比分析.模型總體性能見表3，不同模型總體性能的概率（PD）見表4.總體上，基于CH特征的模型明顯優于深度學習模型；而深度學習模型略微優于基于中層視覺特征的模型.相比于VGG模型，基于CH特征的模型OA、Kappa和F-score分別提高了25.00%、72.47%和79.71%；相比于Xception模 型，分 別 提 高 了29.03%、67.39%和59.30%；相比于ResNet模型，分別提高了31.15%、62.93%和37.98%.而相比于基于BoVW特征的模型，VGG、Xception和ResNet模 型 的OA分 別 提 高 了10.34%、6.90%和5.17%，Kappa分別提高了31.26%、35.25%和38.95%，F-score的PD分 別 為-1.95%、10.61%和27.71%.

表3 不同模型的總體性能Table 3 Overall performance of different models

表4 不同模型總體性能的PD值Table 4 PD values of overall performance for different models

統計結果（表5）表明：1）VGG和ResNet模型顯著優于基于BoVW特征的模型，即卡方和p值分別為9.60和0.02，12.96和0.00；2）Xception模型和基于BoVW特征的模型之間沒有統計意義上顯著性的差異，卡方和p值分別為0.52和0.92；3）基于CH特征的模型顯著優于VGG和ResNet模型，卡方分別為17.87和12.95，p值均為0.00；4）基于CH特征的模型與Xception模型之間沒有顯著差異，卡方和p值分別為3.67和0.30.

表5 不同模型統計檢驗結果Table 5 Statistical test results of different models

盡管基于CH特征的模型明顯優于深度學習模型，但大多數情況下深度學習模型的特征提取能力更強.可以基于分類實驗的結果優選特征提取能力強的深度學習預訓練模型，用于后續智能解譯模型構建.

2.2 模型構建

鑒于巖體類型具有地形異質性的特點，以及精細的土地覆蓋分類數據對巖體分類和邊界的指示意義，擬構建基于多源多模態數據和多流CNN（卷積神經網絡）的巖體分類模型（圖5）.首先使用多光譜和地形數據及精細的土地覆蓋分類數據，提取像元鄰域特征；然后構建多流CNN分支，分別提取深度特征并分類；最后采用自適應方法融合多流CNN分類結果，從而得到巖體分類結果.各個分支采用深度卷積神經網絡模型和參數遷移策略構建；精細的土地覆蓋分類則采用單獨的模型得到.

2.2.1 基于大尺度鄰域和深度卷積神經網絡的巖體提取模型

使用遙感地質解譯數據和遙感影像構建本次實驗的訓練樣本數據集，樣本都是48×48的鄰域影像數據；在模型的構建階段，利用遷移學習，結合ImageNet數據和樣本池中的數據對VGG16模型進行預訓練和微調；最后使用訓練好的模型對全圖的像元進行預測，依據遙感地質解譯數據對預測的標簽進行評估.算法流程如圖6.將該模型直接遷移給圖5中第一個分支，另兩個分支直接遷移VGG16的結構.

圖5 基于多源多模態數據和多流CNN的巖土體分類模型流程圖Fig.5 Flowchart of rock-soil mass classification model based on multisource，multimodal data and multistream CNN

圖6 基于鄰域數據的深度學習巖體分類算法流程圖Fig.6 Flowchart of deep learning rock mass classification algorithm based on neighborhood data

使用遙感地質解譯數據在每一類目標區域中隨機選擇樣本點，將樣本點作為圖片的中心點，在原始影像數據上裁剪48×48的鄰域數據，保存為jpg格式的圖片，同一類別的數據保存在一個文件夾中.由于部分點在圖片的邊界，裁剪過程中會發生越界，需要進行剔除，所以實際的數據相對于計劃樣本數有所減少.

本方法使用5個指標進行性能評估：混淆矩陣、總體分類精度（Overall Accuracy）、精確率（Precision）、召回率（Recall）、Kappa系數和F-score.

ImageNet項目是一個用于視覺對象識別軟件研究的大型可視化數據庫，大約包含1500萬張照片，2.2萬個類別，每張圖片都是經過嚴格的人工篩選和標記，利用VGG16通過學習ImageNet數據集提取圖像特征的方法，獲得預訓練的模型.

真彩色訓練集是進行獨立訓練的，使用圖像增強等方法增加訓練的數據，最終保存驗證集精度最好的模型.實驗的硬件平臺為RTX 2080 Ti GPU，實驗框架為Python＝3.6，kares＝2.3.1和tensorflow＝1.13.1.

利用訓練好的模型，對影像數據的每一個像元進行預測，得到一個和原始影像的寬和高相同的圖片，作為全圖的預測標簽圖.在此過程中，需要把每一個像元作為48×48鄰域的中心進行預測.該鄰域的標簽，即為該像元的標簽值.為了使得最終輸出標簽的數目與原始影像的像元數目一致，需要對影像的上下左右各填充24個像元，填充值設置為0.

2.2.2 精細土地覆蓋分類模型

精細的土地覆蓋分類數據采用基于波段組合和多模態數據的多流CNN融合模型獲?。▓D7）.首先基于多光譜數據的真彩色和假彩色影像及DTM等多波段組合和多模態數據，提取像元鄰域特征；然后構建多流CNN分支，分別提取深度特征；最后融合多流深度特征，從而實現基于波段組合和多模態數據的多流CNN融合模型.

圖7 基于波段組合和多模態數據的多流CNN融合模型Fig.7 Multistream CNN fusion model based on band combination and multimodal data

3 結果與評價

3.1 精細土地覆蓋分類結果

將研究區土地覆蓋類型劃分為14個二級類，并構建相應的訓練、驗證和測試集.

模型訓練和構建過程中的主要超參數為：epoch，1000；step_per_epoch，568；多光譜輸入尺寸，15×15像元鄰域；DEM輸入尺寸，15×15像元鄰域；batch size，50.

測試集精度評價結果為：總精度，88.30%；Kappa系數，86.33%；F1分數（精度和召回率的調和平均數），87.71%.

3.2 巖體分類結果

基于真彩色影像數據，最終得到巖體分類結果預測圖.與實際巖體分類結果對比（圖8）顯示，預測結果圖的整體目測效果較好，整體的區域預測分布正確，但是部分類別中存在“椒鹽現象”.

圖8 巖體分類結果與實際巖性對比Fig.8 Comparison of rock mass classification result and actual lithology

利用Recall、Precision、F1、Kappa和Acc作為精度評價的指標（表6），總精度達到84.4%.

表6 巖體模型精度評價結果Table 6 Accuracy evaluation result of rock mass model

4 結論

（1）深度學習模型總體性能優于基于中層視覺特征的模型，信息提取能力優于基于人工設計特征的模型，可作為巖體預測學習模型.

（2）由于巖體具有地形異質性特點，以及土地覆蓋分類數據對巖體類型和邊界的指示意義，采用深度卷積神經網絡模型和參數遷移策略構建多流CNN的巖體分類模型，并結合精細的土地覆蓋分類模型，從而得到巖體分類數據，結果顯示總精度達到84.4%，能夠為地質工作者提供輔助決策依據.

利用深度學習方法開展高分辨率遙感地質智能解譯研究意義重大［11-14］.其中的CNN模型被廣泛應用在圖像識別等領域，取得較好效果［10-12］.但是，該模型也存在易于過擬合需要大量樣本提高模型泛化能力的缺陷［15］.本研究文嘗試使用遷移學習策略對樣本數量進行擴容，較好地解決了小樣本問題，提高了模型的解譯精度.今后將繼續研究深度學習中不同模型的結合，并開展不同研究區、不同季節的測試研究，從而提升模型的泛化能力.