基于卷積神經網絡的光學遙感影像分析綜述

田啟川 吳施瑤 馬英楠

1(北京建筑大學電氣與信息工程學院 北京 100044)

2(北京建筑大學建筑大數據智能處理方法研究北京市重點實驗室 北京 100044)

3(北京城市系統工程研究中心 北京 100048)

0 引 言

光學遙感影像識別是遙感技術應用的一個重要環節,是使用特定算法從遙感影像中提取特征并判斷感興趣的目標在圖像上的差異,識別其類別屬性。光學遙感影像識別常應用于環境監測、礦產勘查、城市規劃與建設、搶險救災等方面。21世紀以來,遙感技術的發展使得遙感圖像的分辨率越來越高,其中地物細節更加清晰,光譜特征更加復雜。傳統的遙感影像識別算法主要依賴主觀提取的特征,基于這些特征進行分類的方法,有支持向量機[1]、決策樹[2]、主成分分析法[3]等。這些方法易受圖像噪聲干擾,浪費大量時間在選取特征和調整閾值上,且泛化能力不夠,已不適合處理大量復雜特征。

近年來卷積神經網絡(Convolutional Neural Networks,CNN)活躍于計算機視覺領域,在圖像分類、檢測和檢索等多類圖像分析任務有所應用?；贑NN在圖像特征處理方面的優秀表現,遙感影像識別也逐漸向CNN方向發展,一些研究人員將其推廣到遙感圖像分類、檢測和檢索方面。利用CNN自動提取多層次特征信息的優勢,有效識別高分辨率遙感圖像中復雜的地物信息,可以提升識別精度和增強泛化能力,從而推動遙感圖像智能化解譯的發展。

國內對光學遙感影像識別進行綜述的文獻,一種是作為圖像識別綜述中的一部分內容,多為簡單列舉光學遙感影像研究成果,總結不全面[4]。另一種雖然圍繞遙感影像識別方法進行全面的綜述,但多為介紹機器學習方法的大方向,沒有具體分析卷積神經網絡在遙感影像中的研究成果[5]。并且,對于涉及基于卷積神經網絡的光學遙感影像算法綜述,大多數只針對遙感影像應用的某一類的方法進行綜述,缺乏系統地總結不同應用背景的遙感影像訓練算法。

因此,本文從場景分類、目標檢測和圖像檢索三個遙感影像的重要應用背景,對以CNN為研究網絡的光學遙感影像算法進行具體綜述研究,介紹了相關數據集和目前的研究成果,對各類算法進行對比分析,最后對該領域的發展方向進行展望。

1 遙感影像識別的發展

1.1 光學遙感影像

遙感影像是利用衛星和飛行器通過不同方式采集到的圖像,采集方式有航空攝影、航空掃描和微波雷達三種。航空攝影是通過光學成像,這類遙感影像分辨率較高,適合用于識別研究。光學遙感影像有以下幾個特點,同時產生了遙感影像研究中面臨的問題。

(1) 多模的遙感信息。大多數的對地觀測衛星同時提供了圖像信息和光譜信息,單從視覺上看,獲得的圖像與實際情況可能會完全不同。這是一個具有潛力的挑戰,如果能更好地融合多模態信息,可以促進識別精度的提高,擴大遙感圖像識別的應用領域。

(2) 大數據的遙感信息。近年來,“遙感30號6組”“高分二號”“天繪二號”等遙感衛星相繼發射,采集了海量高質量遙感圖像,推動地理測繪、海洋和氣候氣象觀測、城市管理等領域的應用發展。采集的遙感圖像分辨率越來越高,地物的幾何結構、位置布局和紋理尺寸越來越清晰,圖像背景越來越復雜,精度識別的難度增加。

(3) 定位的遙感信息。普通圖像直接從特征中獲取圖像的解譯信息,如識別街道上的汽車和行人。而遙感數據的每個像素都是一個空間坐標,這有利于影像信息與其他來源獲取的數據進行融合。因此,遙感影像特征提取后需要配合經緯度等具體地理信息才可以應用在實際項目中。

傳統的遙感影像識別方法需要人工提取圖像特征,在圖像預處理和特征提取的過程中會遺失許多有效信息,導致識別精度不穩定,魯棒性不高。CNN算法能夠解決傳統方法難以有效提升的問題,有能力對海量數據的進行處理,自動提取多層次和多維度的復雜圖像特征,可以快速和直接地從遙感圖像中獲得有效的特征信息。

1.2 基于經典網絡模型的遙感影像識別

近年來,CNN模型在計算機視覺上的優異表現促進其不斷發展,延伸出一些經典的網絡模型。研究人員將它們用于遙感影像識別的研究,這些模型為遙感影像識別研究做出了許多杰出的貢獻。下面分析經典網絡模型的特點和缺陷,并舉例基于經典的網絡模型的遙感影像研究成果。

(1) LeNet-5是Yann LeCun成功搭建了第一個卷積神經,為后來卷積神經網絡的發展奠定了基礎[6]。2016年,曲景影等[7]對LeNet-5網絡進行改進并用于對遙感圖像目標識別。該算法在LeNet-5網絡基礎上采用卷積展開方法,把Sigmoid和Tanh激活函數換成ReLU激活函數,在遙感圖像上的分類準確率達到91.2%。但LeNet-5網絡只局限于小規模的數據處理問題,網絡寬度和深度的加深都無法在大規模數據集上實現良好的效果,無法在大數據遙感圖像識別上取得更優秀的成績。

(2) AlexNet模型采用雙GPU并行運行,提出了ReLU激活函數,擴大數據集[8]。另外,模型使用Dropout正則化方法減少局部神經元之間的連接,利用重疊池化等方法防止過擬合情況的發生。王鑫等[9]在AlexNet模型基礎上設計一個七層CNN模型進行遙感圖像分類。特征圖通過第五層池化后進行PCA降維和最后兩個全連接層輸出,得到三種高層特征進行融合,基于邏輯回歸分類器對圖像進行分類。在UCNerced_LandUse遙感圖像數據集上的準確率達到95.7%。Chen等[10]提出了一種新的全卷積網絡。它只由稀疏連接的層組成,可以減少參數數量且緩解過擬合問題。在MSTAR數據集上,A-ConvNets對10類目標的檢測平均準確率達到99%。AlexNet模型網絡層數較少,結構簡單,對深層特征提取的能力有限,但它為后續的研究提供了許多新的思路。

(3) VGG模型利用小卷積將網絡深度延伸至11至19層,并采用多尺度(Multi-Scale)訓練方式[11]。Tang等[12]對VGGNet進行改進,提出一種將像素級和區域級相結合的遙感影像目標顯著性檢測方法。該模型使用多尺度特征學習,預測遙感圖像的像素顯著性。Wei等[13]基于VGG結構設計了一種道路結構細化卷積神經網絡(RSRCNN)以提取航空圖像中的道路。RSRCNN結構中包含了反卷積層和融合層,并設計了基于道路特征信息的交叉熵損失函數。Lin等[14]提出了一種基于HOG和深度學習特征的飛機識別方法。首先采用SVM分類器對圖像中的飛機位置粗略定位,再利用VGGNet模型進行精確定位,排除識別錯誤的區域。測試中,對飛機定位的精確率達到99.7%,識別精度為98.1%。VGGNet模型在遙感圖像研究的表現良好。但由于VGGNet模型自身計算量大的缺陷,使得訓練效率無法提高,這是早期CNN模型的通病。針對這一問題,之后研究人員設計了許多新型的CNN模型,有效提高了遙感圖像識別的效率問題。

(4) GoogLeNet模型設計了Inception結構[15]。創新點是使用多尺度特征融合,使用平均池化層取代全連接層,增加兩個輔助的softmax用于向前傳導梯度。Inception結構如圖1所示。Castelluccio等[16]采用GoogLeNet模型,對目標數據微調來預訓練網絡進行遙感圖像的場景分類任務。該算法對UCMerced土地使用數據集和巴西咖啡場景數據集進行場景分類,準確率分別達到97.10%和91.83%。但GoogLeNet模型在網絡寬度和深度增加的同時,淺層的梯度值變小,隨之帶來新的問題——梯度消失。而且由于網絡復雜度的增加導致參數數量的增加,優化參數的難度隨之增加,簡單地增加層數和寬度只能產生更大的訓練誤差而非提升精度。

圖1 Inception結構

(5) ResNet模型設計了殘差模塊,增加一個恒等映射(Identity mapping),并用網絡主線路之外的一條分支連接[17]。殘差模塊結構如圖2所示。在遙感圖像應用中,Zhang等[18]提出一種端到端遠程圖像分類方法,側重于恢復像素級和原始特征的詳細信息。該方法的設計思路是將U-Net和ResNet結構相結合,重點提高特征質量而不增加標簽。Scott等[19]基于ResNet模型,利用遷移學習和數據增強相結合的方法分類遙感圖像。ResNet模型的優勢在于增強了網絡層之間的信息傳遞,優化了CNN模型不斷加深而網絡性能退化的問題,但新增的恒等映射結構在分支上的特征較少。

圖2 殘差模塊結構

(6) DenseNet模型是根據隨機深度的思想進一步提出的[20]。DenseNet模型是在ResNet模型基礎上,通過捷徑將所有層直接連接起來,使得每一層均能獲得前面所有層的特征圖,強化了特征在層間的關聯性,且為了在特征融合上保證信息流通,采用拼接的方式。張靜等[21]提出一種基于多尺度信息融合的遙感圖像語義分割算法?；贒enseNet模型進行編碼,利用短解碼器進行不同層次特征融合,以分層監督網絡模型監督網絡訓練。但DenseNet隨網絡層加深,會帶來特征寬度不斷加大的問題。

(7) SeNet模型提出一個新的結構模塊“SE Block”[22]。SeNet模塊結構如圖3所示。該模型沒有引入新的空間維度,利用全局信息有選擇的增強,以達到特征通道自適應學習。Yang等[23]通過美國航空圖像探測建筑物,對CNN網絡進行評估。相比全卷積神經網絡和遞歸神經網絡,支持語義像素級標記的SegNet對NAIP圖像處理效果最佳,在精確度和速度上都有著不錯的成績。

圖3 SeNet模塊結構

(8) MobileNet模型是一個可以在移動端使用的網絡模型[24]。它采用深度可分離卷積[25]替代傳統卷積,以達到減少參數數量和提升運算速度的目的。孫皓澤等[26]以MobileNet模型為基礎,提出一種檢測裝甲目標的方法。該方法與經典SSD目標檢測方法精度相當,且模型大小降低,運行速度加快。MobileNet模型參考ResNet模型的殘差結構,提出倒置殘差結構,升級為MobileNet V2模型。喬夢雨等[27]提出一種基于MobileNetV2模型的輕量級CNN算法,對遙感陸戰目標進行識別。設計思路是采用ELU函數和全局池化緩解梯度消失和控制參數的數量,提高了模型的泛化能力。

表1給出了基于UCM遙感數據集的CNN模型性能對比?？梢钥闯鲆晃对黾由疃群蛯挾炔⒉荒苁沟镁W絡性能有效提升;新模塊的添加促進了特征間的關聯性,使得精度提高,但隨之帶來運行速度下降的問題;輕量級的小網絡的訓練精度雖然不高,但計算空間和成本大大降低,使得CNN模型朝便攜的移動端發展,是一個很有潛力的發展方向。

表1 基于UCM數據集的CNN模型性能對比

2 基于光學遙感影像的場景分類研究

圖像場景分類是通過對給定圖像中的信息進行整體圖像的類型判斷。遙感場景分類是指對遙感影像類型進行劃分,并貼上標簽,應用在功能區分別、城市規劃、土地資源管理等多個領域。遙感場景圖像分類綜合了計算機視覺、模式識別和遙感技術等多類學科知識,是大數據遙感領域的一個重要研究方向。

2.1 數據集

算法的研究需要大量的數據進行訓練和檢測,目前常用于遙感場景分類研究的公開數據集有以下幾種：

(1) UC Merced數據集：由Yang和Newsam從美國地質調查局的美國地區土地利用遙感影像中采集的不同區域影像。圖像分辨率為0.3 m,像素大小為256×256。包含海灘、港口、立交橋等共21類土地利用場景圖像,每一類有100幅,共2 100幅。

(2) WHU-RS數據集：由武漢大學實驗室從Google Earth影像中采集的不同分辨率的遙感影像,圖像像素大小為600×600,總包含19類場景圖像,每一類大概50幅,共1 005幅。

(3) AID數據集：于2017年由武漢大學和華中科技大學發布,是一個遙感影像數據集,圖像像素大小為600×600,總包含30類場景圖像,每一類大概220～420幅,共10 000幅。

(4) RSSCN7數據集：遙感影像像素大小為400×400,有4類自然場景和3類人類生活場景,包含7類場景圖像,每一類有400幅,共2 800幅。

2.2 遙感場景分類發展

早期的場景分類思路是考慮像素間的權重關系,再由人工干預進行語義分割,從而確定類型。隨著計算機視覺領域上對特征提取算法的優化和語義分割算法的優化,場景分類由基于特征和基于語義兩個方面發展。

基于特征的場景分類是通過紋理、尺寸等能夠對圖像描述的簡單特征實現分類。在一般場景分類任務中有效,但在大數據項目中表現能力差,無法進行深層特征分析,不適用于背景復雜的遙感場景分類?；谡Z義的場景分類側重點在于研究圖像語義層面的表達,將圖像中的目標轉化為語義進行場景分類。相比基于特征的方法,基于語義的場景分類可以建立多層次的分類器,分類效果更好。但同樣無法利用深層特征,無法進行深層語義理解,且計算量大,這約束了分類精度無法進一步提高。

卷積神經網絡的興起推動了遙感場景分類的發展。一方面,CNN可以自動學習深層特征,實現了大數據訓練,提高分類精度;另一方面,CNN模型的設計有效減少大量參數,運算能力提高,能夠更高效完成分類任務。無論在特征提取和語義分割上,均可以使用CNN進行訓練,同樣推動了上述提到的兩種場景分類技術。

近年來,許多研究人員使用CNN進行遙感影像的場景分類,隨著經典CNN模型的不斷提出,基于CNN的遙感影像場景分類研究廣泛應用在各個項目中。

Hu等[28]提出一種基于預處理的CNN的多尺度特征提取方法。他們將提取局部特征與特征編碼技術相結合,通過特征編碼將最后一個卷積層的多通道特征轉化為全局圖像特征進行場景分類任務。

Zhang等[29]提出一種基于對象深度學習特征的生態環境要素分類方法。從各個區域抽取子圖像來代表相應區域,利用訓練好的DCNN模型提取子圖像特征,softmax分類器預測子圖像類概率從而確定區域類別。在崇明島遙感圖像分類的準確率達到98.44%,對異形區域的分類精度也達到了96.77%。

周明非等[30]先CNN模型在ILSVRC-2012數據集上進行預訓練,并對其微調后對UCM數據集遙感影像分類,分類效果達到94.44%。

周強等[31]采用隨機多選擇殘差網絡集成的遙感圖像分類算法。算法將多個殘差網絡融合,通過最小化子網絡對樣本的最有分類誤差,使得子網絡自適應于不同的分類任務,有效提升了分類性能。

龔希等[32]提出一種融合全局和局部深度特征的視覺詞袋模型。設計思路是融合CNN模型不同層次的特征,使用支持向量機對其分類,充分利用局部信息和全局信息來描述遙感圖像的場景。

蔡之靈等[33]一種改進的Inception-V3提出遙感場景分類模型——Inception-L1。該模型在全連接層前加入Dropout層避免過擬合,并基于遷移學習進一步提高訓練效率,在AID數據集和NWPU-RESISC45數據集上分類精度達到94.44%和93.95%。

余東行等[34]提出一種聯合CNN與集成學習的遙感影像場景分類算法。利用多個網絡模型提取高度抽象語義特征,再通過集成學習構建概率特征,對其進行訓練和預測。

汪鵬等[35]將跳躍連接和協方差池化嵌入殘差網絡中,對遙感圖像進行場景分類。新模型通過連接不同特征映射,將不同層的特征信息進行融合,保留中間層的互補特征信息。

2.3 場景分類算法對比

通過評價指標——準確率(Precision),基于UCM數據集和NWPU-RESISC45數據集對上述介紹的場景分類研究成果進行算法對比。算法對比結果見表2。根據表2可以看出,基于卷積神經網絡的遙感場景分類算法改進方向主要在特征提取上,主要有提取單層特征和融合特征。利用單層特征可以有效壓縮大信息量的特征圖,提高訓練速度,但同時會帶來局部信息丟失和語義信息不連續的問題。特征融合可以獲得有效的全局信息,提高訓練精度。但融合方式的不同會產生不同的效果,由于計算機通過圖像得到的語義信息和用戶對圖像感知的語義信息不一致,容易產生感知鴻溝和語義鴻溝問題。

表2 基于UCM數據集和NWPU-RESISC45數據集的遙感場景分類算法對比

3 基于光學遙感影像的目標檢測研究

目標檢測是對興趣對象進行位置定位和識別類型。遙感影像中包含大量的地物信息,針對不同目標的檢測,在航通交通和軍事偵察等領域有著重要的應用價值。

3.1 數據集

目標檢測的數據集需要對目標做標注,目前常用于遙感目標檢測研究的公開數據集有以下幾種：

(1) DOTA數據集：由武漢大學和華中科技大學2018年聯合制作?？偣? 806幅遙感圖像,包括188 282個目標,分為15個對象類,圖像像素約800×800到4 000×4 000范圍內。

(2) NWPU VHR-10數據集：由西北工業大學2014年發布?？偣?00幅圖像,10種對象類,其中包括650幅目標圖像和150幅背景圖像,圖像分辨率為0.5～2 m。

(3) RSOD數據集：由武漢大學于2017年發布,其包含飛機、操場、立交橋和油桶四類目標,總共2 397幅遙感圖像。

(4) DIOR數據集：是一個大規模的光學遙感影像數據集,總共23 463幅遙感圖像和192 472個目標,分為橋梁、港口、車輛等20個對象類。

3.2 遙感影像目標檢測的發展

傳統的遙感影像目標檢測算法有尺度不變特征變換(SIFT)、定向梯度直方圖(HOG)和顯著性等,需要人工設計特征,依賴先驗知識,因此模型的自適應能力和泛化能力較差。卷積神經網絡在遙感影像目標檢測中實現對特征的自動提取,挖掘深層特征,有效彌補了人工設計特征的不足,提高檢測效率和精度?；贑NN模型的遙感影像目標檢測方法可分類三類。

(1) 基于全卷積神經網絡(FCN)的檢測算法。FCN將CNN中的全連接層替換成卷積層,以便適應任意尺寸的輸入;在網絡中使用反卷積增大圖像尺寸以提高檢測精度;通過跳躍方法將多層信息融合,增加模型的精度和魯棒性。

Maggiori等[36]設計的CNN模型由卷積層和反卷積層[37]共四個卷積層構成。他們利用反卷積層獲得初始分辨率尺寸一致的標記圖像,提升分類精度且縮短運行時間。

Huang等[38]提出了一種基于多源信息融合的端到端深度反卷積網絡(DeconvNet)的建筑物提取方法。首先對圖像進行預處理,得到高質量的建筑數據集,然后預訓練一個深度反卷積網絡,并對RGB和NRG組合波段組合調整后,融合輸出。在建筑數據集分類中,準確率達87.58%,為遙感圖像分類提供了一些新的思路。

Liu等[39]提出多任務CNN結構,實現同時預測路面、邊緣和中心線。利用三個全卷積網絡組成一個道路網系統,學習訓練多尺度和多層級的特征。

李文斌等[40]提出DC-DNN模型對遙感影像進行目標檢測。區域提取將FCN模型和DBSCAN算法融合,基于VGG-16模型提取特征,利用檢測抑制算法,在數據集上實驗獲得95.78%的精度。

(2) 基于回歸問題的檢測算法。常用算法有SSD系列、YOLO系列、RetinaNet等[41-43]。這類算法將檢測問題看作回歸問題,直接對輸入的遙感影像上不同位置、尺寸和邊框進行采樣和處理,從而檢測出目標的邊框位置和物理類別。

Etten等[44]提出一種基于YOLOv2的船舶檢測算法Yolt,對輸出特征尺寸進行修改,結果表明在稀疏的小目標場景下檢測效果良好。

戴偉聰等[45]基于YOLOv3提出一種實時的遙感影像飛機檢測算法。算法在YOLOv3基礎上采用密集連接模塊來融合多尺度特征且添加尺度檢測和最大池化,促進模塊間的特征傳遞,檢測效果達到96.26%。

姚群力等[46]基于SSD模型提出一種遙感影像的飛機目標檢測框架MultDet。算法采用端到端的多尺度特征融合,利用反卷積和跳躍連接得到多層次的融合特征。在UCAS-AOD數據集上取得94.8%的精度。

(3) 基于候選區域的檢測算法。常用算法有R-CNN、Faster R-CNN、FPN、Mask RCNN等[47-50]。算法思想是將目標檢測分為分類和回歸兩個步驟,在分類之前需要生成候選區域框并修正邊框位置。

Han等[51]基于Faster R-CNN提出一種遙感影像目標檢測算法。該算法在區域生成部分選用RPN全卷積網絡,Fast R-CNN用于檢測和定位,再通過交替優化實現特征融合,在NWPU VHR-10數據集獲得了76.50%的檢測準確度。

趙江洪等[52]對Faster R-CNN模型進行改進,實現對遙感影像艦船的目標檢測。該算法通過數據增強和將VGG模型換成ResNet模型,提高目標檢測的訓練速度和精確度,且有效處理背景復雜等問題。

Yang等[53]基于FPN模型,提出一種旋轉密集特征的金字塔網絡(R-DFPN)。R-DFPN通過多尺度旋轉的區域檢測算法和DenseNet的密集連接思想,有效檢測在不同場景下的船舶目標,特別是在密集船舶的檢測中表現優秀。

Nie等[54]提出一種基于Mask RCNN的駐港船舶檢測方法。算法將柔性非極大值抑制機制融入進來,由此提高魯棒性。

3.3 目標檢測算法對比

對上述介紹的遙感影像目標檢測研究成果進行算法對比,結果見表3?？梢钥闯?基于回歸問題的檢測算法在檢測準確率上高于另外兩類算法,隨著算法的改進,這類算法在檢測小目標和多目標上的效果不斷提高,能夠實現多尺度和高精度檢測,但檢測精度的提升會帶來檢測速度下降的問題。FCN網絡的優勢在于適應不用尺寸的圖像和運行速度快,但由于沒有考慮全局的上下文信息,獲得的結果不夠精細,限制了精度的提升?；诤蜻x區域的檢測算法的計算較為簡單,但由此出現類不均衡問題,所以檢測精度相對較低。這類目標檢測算法在不斷改進的過程中,檢測流程越來越簡單,檢測精度不斷提升,向著滿足更多樣化需求的方向發展,但算法模型規模大和檢測速度慢的問題始終沒有根本性的解決,導致精度無法進一步提升,且不能滿足實時檢測任務的要求。

表3 不同的遙感目標檢測算法對比

4 基于光學遙感影像的圖像檢索研究

圖像檢索分為基于文本的圖像檢索技術(TBIR)和基于內容的圖像檢索技術(CBIR)。其中遙感影像檢索屬于基于內容的圖像檢索中的一種,在氣象預報、環境檢測和軍事監測等方面具有廣泛的應用前景?；趦热莸膱D像檢索是檢索數據庫中內容相近的圖像,關鍵技術在于相關特征提取和特征相似性比較,圖像特征的描述能力決定了圖像檢索的性能。遙感影像檢索除了普通圖像檢索需注意的特征提取外,還需要考慮地理位置、不同傳感器參數和比例等信息與影像的關系。因此,遙感影像檢索在特征選取和相似性計算上有著其自身的特點。

4.1 數據集

由于遙感影像檢索和遙感場景分類及目標檢測一樣,有特征提取的過程,再利用提取的特征進行相似度比較,因此,遙感影像檢索研究常用到的數據集與遙感場景分類及目標檢測的數據集相同。

4.2 遙感影像檢索的發展

傳統的圖像檢索方法通過對低層次特征,如顏色、紋理等進行編碼,可以有效檢索小規模數據集,但識別性能非常有限,且需要人工設計特征,無法實現大數據的遙感影像檢索。CNN的優勢在于可以提取圖像的深度特征,這為圖像檢索提供了更多的技術支撐。Napoletano等[55]在檢索遙感圖像上,對低級手工方法和CNN方法進行評估。結論是無論什么檢索方案,CNN提取的特征表現與全局或局部的手工特征表現優異。目前,基于CNN的遙感影像檢索算法有以下幾個方向：

(1) 對CNN模型提取的特征進一步處理。張洪群等[56]基于CNN訓練圖像特征圖實現遙感圖像檢索,使用稀疏自動編碼對遙感圖像進行特征學習得到特征字典。彭晏飛等[57]基于GoogLeNet模型提出一種基于CNN和相關反饋支持向量機的遙感圖像檢索方法。該算法利用CNN提取特征,支持向量機作為分類器,最后融合相關反饋策略對其進行調整。

(2) 對CNN模型進行微調。葛蕓等[58]預訓練4種不同CNN模型用于遙感圖像檢索。算法對高層次特征進行高斯歸一化,利用歐氏距離計算圖像相似度進行圖像檢索。

(3) 多尺度特征融合。Ge等[59]通過將不同池化層的特征聚合,并進行特征壓縮。該算法對UCM數據集進行圖像檢索,雖然平均精度僅有65.98%,但為之后基于CNN的遙感影像檢索提供了新的思路。

(4) 卷積層與全連接層進行特征融合。楊珂等[60]提出一種跨層特征融合的遙感影像檢索算法。該算法將卷積層和全連接層的特征融合,充分利用局部信息和全局信息,提高遙感影像的檢索性能。

(5) 重排序。葉發茂等[61]利用CNN模型與重排列相結合的方法進行檢索圖像,以提高農業遙感圖像的檢索性能。算法從CNN訓練中獲得類別去權重和類別查準率并結合計算,對結果進行排序再對初始檢索輸出進行重排。

4.3 影像檢索算法對比

遙感影像檢索的評價指標有平均精確率的平均值(mean Average Precision,mAP)和平均歸一化調整的檢索之秩(Average Normalized Modified Retrieval Rate,ANMRR)。根據評價指標,基于UCM數據集對上述闡述的遙感影像檢索的研究成果進行算法對比。根據表4可以看出,同樣以GoogLeNet作為基礎網絡的條件下,融合反饋策略優于特征聚合和壓縮;僅僅對CNN的微調無法讓影像檢索精度有明顯的精度提升;ResNet-50加上重排序的算法獲得最高的mAP值和最低的ANMRR,檢索精度最高。重排序利用信息間的流形關系,對度量結果進行重新排序,從而得到更好的檢索結果。但重排序作為監督信號,在檢索過程中,它的質量會影響到重排序之后的效果,因此重排序對圖像噪聲處理提出了更高的要求。

表4 基于UCM數據集的遙感影像檢索算法對比

5 結 語

本文介紹了光學遙感影像的特點,對基于經典卷積神經網絡模型的光學遙感影像識別的研究實例進行了算法分析,從遙感影像的場景分類、目標檢測和圖像檢索三大任務出發,對常見的遙感影像數據集和研究進展進行了詳細綜述,未來的研究趨勢如下：

(1) 多源異構數據融合。在信息化的快速發展下,數據呈現多類型海量增長趨勢,可將傳感器、智能終端、社交網絡等收集到的多類型數據利用起來。在遙感圖像應用中,對同一目標的不同數據集進行圖像特征信息提取并融合,可以有效避免數據描述的客觀性,使得實驗結果更加可靠。

(2) 實時識別。實時數據更新是一個很熱的課題,如自動駕駛對環境目標進行實時檢測。由于遙感圖像識別時的網絡計算量大,許多基于遙感數據的識別研究效率不高,無法達到實時識別的要求。而一味追求網絡精度導致空間和速度問題的出現已不適用于高效的社會。在遙感圖像領域,便捷性和高效性的需求會不斷提高,但目前將輕量級網絡運用在遙感圖像領域的研究比較少。只有在保證精度的同時,有效減少網絡計算空間和成本,使得深度網絡朝便攜的移動端發展,才能更好將其用于實際應用中,進而實現遙感圖像的實時識別。

(3) 弱監督化。監督學習是圖像識別領域目前應用最廣泛的深度學習方法,但數據集的標簽需要人為添加。特別是遙感圖像中,有標注的數據非常有限,如果進行人工標注會浪費大量人力物力。近年剛興起的非監督學習和半監督學習可以解決監督學習的不足,其中包括[20]生成式對抗網絡和膠囊網絡[62-64]等,但它們在遙感影像識別領域的精確度與監督學習相比還有些差距,有待發展。

(4) 物理建模與神經網絡相結合。遙感圖像的成像方式和顯示方式都基于光反射和微波散射等物理原理,許多遙感圖像應用是基于物理機理建模進行研究,如果能結合神經網絡進行數據分析,必將有助于推動遙感圖像應用的發展。