VGG與DoG結合的光學遙感影像精確配準方法

王少杰 武文波 徐其志

VGG與DoG結合的光學遙感影像精確配準方法

王少杰1武文波*2徐其志3

（1北京化工大學，北京 100029）（2北京空間機電研究所，北京 100094）（3北京理工大學，北京 100081）

光學遙感成像分辨率高、幅寬大，相似地物多，在圖像配準中極易產生特征點誤匹配?，F有深度網絡配準方法直接將特征圖中的極大值點作為圖像配準的特征點，特征點提取與匹配的準確性差，導致圖像精度低。針對該問題，文章提出新方法，將高斯差分圖像（Difference of Gaussian，DoG）與Visual Geometry Group（VGG）網絡組合起來，構成一個新網絡，即Difference of Gaussian with VGG（DVGG）網絡；然后從高斯差分圖像中提取極大值點作為配準的特征點，將DVGG網絡提取的特征圖作為特征點的特征描述，用于計算兩幅圖像特征點匹配的相似度。最后，利用Google Earth軟件獲取的遙感影像，進行了實驗驗證，并與尺度不變特征變換（Scale Invariant Feature Transform，SIFT）和加速穩健特征（Speeded Up Robust Features，SURF）方法進行了對比。實驗結果表明：新方法的圖像配準精度高，優于對比方法。

圖像配準 深度學習 特征提取 光學遙感

0 引言

圖像配準技術是指將不同時間、不同視角和不同傳感器獲取的兩幅圖像進行匹配的過程，目前此技術已經廣泛應用到了遙感、醫學等領域[1]。其中遙感領域的圖像配準是許多遙感圖像處理過程中必不可少的一部分，例如目標檢測、圖像融合、語義分割等任務都需要在配準成功的前提下進行，因此光學遙感影像的配準技術成為了研究熱點[2]。

傳統的圖像配準方法主要分為基于灰度的方法和基于特征的方法[3-4]，其中基于特征的配準方法通過提取圖像的顯著特征來進行匹配，不易受到旋轉、尺度縮放等因素的干擾，在自然圖像的配準領域得到了廣泛應用[5-6],最具有代表性的是尺度不變特征變換（Scale Invariant Feature Transform，SIFT）方法[7-8]。該方法通過構建高斯差分金字塔來確定候選關鍵點，然后對候選關鍵點進行篩選和精確定位，最后生成對應的特征描述來進行關鍵點之間的匹配，在自然圖像的配準中得到了較好的效果。但是遙感圖像通常幅寬較大、相似地物更多，SIFT方法難以準確提取到遙感影像的深層特征，配準效果有待提高[9]。

近年來，深度學習技術飛速發展，卷積神經網絡（Convolutional Neural Network，CNN）在很多計算機視覺任務中取得了不錯的效果[10-12]。在圖像配準領域，學者們通過CNN提取更深層次的語義特征進行特征匹配[13]：文獻[14]提出的D2-Net網絡利用Visual Geometry Group（VGG）網絡生成的特征圖來直接計算關鍵點和特征描述；文獻[15]提出的MatchNet網絡用深度網絡來提取特征，然后用全連接層來度量對兩個特征描述子之間的相似性；文獻[16]介紹了一種深度學習框架，將特征點檢測、方向估計和描述符計算結合起來，并實現了端到端的訓練。相比于傳統的圖像配準方法，卷積神經網絡可以提取到圖像更深層次的特征，更好地抵抗圖像角度變換、亮度變化以及成像模式等因素帶來的干擾，使得配準效果更加精確[17-18]。但是目前基于深度學習的圖像配準方法主要應用于自然圖像，遙感圖像通常分辨率更高、尺寸更大，CNN提取的關鍵點數量少且準確性差。如圖1所示，對同一張光學遙感影像來說，D2-Net網絡檢測到的關鍵點數量較少而且代表性較差，在機場跑道邊緣或者建筑物邊緣等位置檢測出的關鍵點數量很少；而傳統的SIFT方法檢測出的關鍵點數量較多且準確性更好，且大都集中在地物邊緣，利用這些關鍵點進行圖像配準的效果通常會更好。

圖1 不同方法檢測出的關鍵點對比

針對上述問題，本文將高斯差分圖像（Difference of Gaussian，DoG）與VGG網絡組合起來，提出DVGG網絡，再用高斯差分圖像檢測出關鍵點，通過DVGG網絡獲取相對應的特征描述子進行遙感圖像配準，得到了更多正確的匹配點對，配準效果更加精確。

1 基于DVGG網絡的配準方法

對于幅寬較大、背景復雜的光學遙感影像來說，SIFT描述子難以對圖像的深層特征進行描述，從而導致出現誤匹配較多；VGG網絡可以提取到圖像的深層特征，同一地物經過網絡得到的特征向量基本相同。將這兩種特征向量相結合作為特征點的特征描述可以使得匹配效果更加精確，配準結果對光照、角度等因素的抗干擾能力更強，誤匹配點對更少。

本文提出的配準方法流程如圖2所示，首先構建輸入圖像的高斯差分金字塔，確定關鍵點的坐標及所在尺度，同時將圖像重新調整大小，輸入到預訓練過的VGG網絡中，得到不同尺寸的特征圖。將尺寸相同的高斯差分圖像和特征圖拼接起來，構成DVGG網絡，將DVGG網絡輸出的特征作為關鍵點的特征描述，計算關鍵點之間的相似度，得到匹配對。

圖2 本文方法流程

1.1 通過高斯差分圖像確定關鍵點

高斯差分圖像是SIFT配準方法中為了確定關鍵點而生成的圖像，這種方法檢測出來的關鍵點不僅可以克服角度變換、灰度差異帶來的干擾，還具有尺度不變性，對遙感圖像進行配準時取得了很好的效果。其計算過程主要包括以下兩個步驟：

1）通過高斯核函數構建高斯金字塔；將原始圖像上采樣一倍，然后用式（1）生成圖像的尺度空間，作為高斯金字塔的第一組圖像。

2）高斯金字塔中相鄰圖像做差得到高斯差分圖像。

高斯金字塔中所有組的相鄰圖像都相減之后，即可得到高斯差分金字塔。將高斯差分圖像中的每1個采樣點與其同層的8個相鄰點以及上下相鄰尺度相對應的9個點進行比較。如果該采樣點為極大值點，就保留該點為1個候選特征點。得到所有的候選特征點后，對這些點的坐標進行三維二次函數擬合，得到更精確的關鍵點坐標，最后去除掉低對比度的關鍵點和不穩定的邊緣響應點，即可確定關鍵點的位置。

1.2 通過DVGG網絡生成描述子

對VGG16網絡[19]進行修改，只保留前10層，并且刪去最后一層池化層，修改最后一個卷積層使得輸出的特征圖尺寸為原圖尺寸的四分之一，通道數為128。DVGG網絡為高斯差分金字塔與修改后的VGG16網絡拼接而成，用在模型的訓練和測試階段。訓練時通過高斯差分金字塔獲取特征點的位置，將特征點的位置作為真值對VGG網絡進行訓練，這樣進行的訓練可以使得生成的VGG特征更加適合進行光學遙感影像的配準；測試時，如圖3所示，為了與高斯差分金字塔中不同組別的圖像匹配，需要先將原始圖像重新調整大小，然后再輸入到預訓練過的VGG網絡中，得到不同尺寸大小的特征圖。將相同尺寸大小的特征圖和高斯差分圖像拼接起來，用來計算特征描述向量。

圖3 獲取VGG特征描述

將對應尺度的關鍵點坐標輸入DVGG網絡，網絡的輸出為SIFT特征描述子和feature map中的特征向量拼接起來的特征向量，將其作為關鍵點的特征描述。最后通過這些特征描述計算出關鍵點之間的相似度，得到匹配點對。

2 實驗與結果分析

2.1 實驗數據與評價指標

為了驗證算法的性能，本文使用從Google Earth軟件上獲取的三組圖像進行配準。

第一組圖像為巴西阿雷格里港附近的遙感圖像，其中待配準圖像于2021年1月2日拍攝，參考圖像于2021年1月24日拍攝，地面分辨率為1m，圖像尺寸為512像素×512像素；第二組圖像為以色列阿什杜德市的一處機場的遙感圖像，其中待配準圖像于2014年12月31日拍攝，參考圖像于2016年7月9日拍攝，地面分辨率為1m，圖像尺寸為512像素×512像素；第三組圖像為以色列雷霍沃特市市的一處機場的遙感圖像，其中待配準圖像于2014年12月31日拍攝，參考圖像于2016年7月9日拍攝，地面分辨率為1m，圖像尺寸為512像素×512像素。其中第一組和第二組圖像只有成像時間不同，主要是為了測試算法對于同一角度不同時相的光學衛星影像的配準能力；第三組圖像除了成像時間不同，待配準圖像和參考圖像的成像角度還存在已知變換，主要是為了測試算法對于不同角度不同時相的光學衛星影像的配準能力。

本文使用均方根誤差rms、正確匹配點數量兩個指標來評價圖像配準的結果[20]。因為本方法主要針對的是同一區域不同時相或者同一區域不同角度的光學遙感影像的配準，選取的測試圖像中的角度變換為已知的值，所以每一組圖像中的待配準圖像的特征點在參考圖像上都有對應的已知的真值點。當待配準圖像中的匹配點經過仿射變換后與對應的參考圖像上的真值點距離小于1.5個像素時[21]，判定該組匹配點對為正確匹配點對；均方根誤差的公式為

得到匹配點對后，用隨機抽樣一致算法（Random Sample Consensus，RANSAC）算法對其進行篩選并計算出轉換矩陣，然后利用轉換矩陣對配準圖像進行幾何變換得到配準后的圖像。利用配準后的圖像與參考圖像計算得到棋盤鑲嵌圖，通過棋盤鑲嵌圖即可直觀看出不同方法的配準效果差異。

2.2 實驗結果分析

將本文方法與SIFT方法以及加速穩健特征（Speeded Up Robust Features，SURF）方法進行比較，結果評估如表1所示，圖4為第一組圖像特征點匹配結果和棋盤鑲嵌圖，圖5為第二組圖像特征點匹配結果和棋盤鑲嵌圖，圖6為第三組圖像特征點匹配結果和棋盤鑲嵌圖。

表1 圖像配準結果評估

Tab.1 Evaluation of image registration results

注：*表示rms>4，圖像配準失敗

圖4 第一組圖像匹配結果對比

圖5 第二組圖像匹配結果對比

圖6 第三組圖像匹配結果對比

從表中數據可以看出，與SIFT方法和SURF方法相比，本文方法計算得到的rms值較低，說明用本文方法得到的配準后圖像和參考圖像更為接近，配準精度更高。分析三幅圖像的棋盤鑲嵌圖可得， SIFT方法和SURF方法在圖像的邊緣處出現很多偏差，如機場跑道、道路等明顯的地物一致性較差，而且受圖像角度變換影響較大，對第三組圖像進行配準后得到的棋盤鑲嵌圖出現了更大的偏差；本文方法計算得到的棋盤鑲嵌圖在圖像的邊緣區域可以精準重疊，同時對圖像角度等因素的抗干擾能力更強，在第三組圖像的配準中本文方法得到的棋盤鑲嵌圖效果依然穩定，機場跑道等地物的一致性較強，配準精度優于對比方法。

另外需要說明的是，與SIFT方法和SURF方法相比，盡管本文方法因為有大量的卷積操作導致更加耗時，但是有效減少了錯誤的匹配點對數量，對光照、角度等因素有更強的抗干擾能力，提升了配準精度，可以得到更好的配準效果。

3 結束語

本文提出了基于DVGG網絡的圖像配準方法，將高斯差分圖像與VGG網絡相結合，用高斯差分圖像檢測關鍵點，DVGG網絡生成關鍵點的特征描述，提高了光學遙感影像的配準精度。利用Google Earth軟件獲取的不同時相的遙感圖像進行實驗，結果表明：本文方法獲取了更多的正確匹配點對，得到了更高的配準精度。針對配準速度的問題，我們后續還會對方法進行優化，在保證配準效果的同時減少耗時。

[1] ZITOVA B, FLUSSER J. Image Registration Methods: a Survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[2] PAUL S, PATI U C. A Comprehensive Review on Remote Sensing Image Registration[J]. International Journal of Remote Sensing, 2021, 42(14): 5400-5436.

[3] SALVI J, MATABOSCH C, FOFI D, et al. A Review of Recent Range Image Registration Methods with Accuracy Evaluation[J]. Image and Vision Computing, 2006, 25(5): 578-596.

[4] LI Jiayuan, HU Qingwu, AI Mingyao. Robust Feature Matching for Remote Sensing Image Registration Based on L-q-Estimator[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12): 1989-1993.

[5] 張謙, 賈永紅, 胡忠文. 多源遙感影像配準中的SIFT特征匹配改進[J].武漢大學學報(信息科學版), 2013, 38(4): 455-459.

ZHANG Qian, JIA Yonghong, HU Zhongwen. An Improved SIFT Algorithm for Multi-source Remote Sensing Image Registration[J]. Geomatics and Information Science of Wuhan University, 2013, 38(4): 455-459.(in Chinese)

[6] 余先川, 呂中華, 胡丹. 遙感圖像配準技術綜述[J]. 光學精密工程, 2013, 21(11): 2960-2972.

YU Xianchuan, LYU Zhonghua, HU Dan. Review of Remote Sensing Image Registration Techniques[J]. Optics and Precision Engineering, 2013, 21(11): 2960-2972. (in Chinese)

[7] LOWE D G. Object Recognition from Local Scale-invariant Features[C]//1999 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 23-25, 1999, Fort Collins, CO, USA. IEEE, 1999.

[8] LOWE D G. Distinctive Image Features from Scale-invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[9] 胡明娣, 張中茂, 楊潔, 等. 一種基于融合特征的多源遙感圖像配準算法[J]. 西安郵電大學學報, 2020, 25(2): 7-14.

HU Mingdi, ZHANG Zhongmao, YANG Jie, et al. A Registration Algorithm for Multi-source Remote Sensing Images Using Features Fusion[J]. Journal of Xi’an University of Posts and Telecommunications, 2020, 25(2): 7-14. (in Chinese)

[10] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-time Object Detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 26-July1,2016, Las Vegas, USA. IEEE, 2016.

[11] HE K, ZHANG X, REN S, et al. Deep Residual Learning for Image Recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 26-July1,2016, Las Vegas, USA. IEEE, 2016.

[12] CHEN L C , PAPANDREOU G , KOKKINOS I , et al. Deeplab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[13] 許東麗, 胡忠正. 基于深度學習特征提取的遙感影像配準[J]. 航天返回與遙感, 2019, 40(6): 107-118.

XU Dongli, HU Zhongzheng. Remote Sensing Image Registration Based on Deep Learning Feature Extration[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(6): 107-118. (in Chinese)

[14] DUSMANU M , ROCCO I , PAJDLA T , et al. D2-Net: A Trainable CNN for Joint Description and Detection of Local Features[C]// 2019 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 16-20,2019, Long Beach, CA, USA. IEEE, 2019.

[15] HAN X , LEUNG T , JIA Y , et al. MatchNet: Unifying Feature and Metric Learning for Patch-based Matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),June 8-10,2015, Boston, USA. IEEE, 2015.

[16] YI K M, TRULLS E, LEPETIT V, et al. Lift: Learned Invariant Feature Transform[C]//2016 European Conference on Computer Vision(ECCV), October 8-16, 2016, Amsterdam, Netherlands.

[17] 葉發茂, 羅威, 蘇燕飛, 等. 卷積神經網絡特征在遙感圖像配準中的應用[J]. 國土資源遙感, 2019, 31(2): 32-37.

YE Famao, LUO Wei, SU Yanfei, et al. Application of Convolutional Neural Network Feature to Remote Sensing Image Registration[J]. Remote Sensing for Land and Resources, 2019, 31(2): 32-37. (in Chinese)

[18] WANG S, QUAN D, LIANG X, et al. A Deep Learning Framework for Remote Sensing Image Registration[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 145: 148-164.

[19] SIMONYAN K, ZISSERMAN A. Very Deep Convolutional Networks for Large Scale Image Recognition[EB/OL]. [2020-11-20]. https://arxiv.org/pdf/1409.1556.pdf.

[20] MIKOLAJCZYK K, SCHMID C. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[21] 張明祥, 王澤根, 白茹月, 等. 一種由粗到精的光學與SAR遙感圖像配準算法[J]. 地球信息科學學報, 2020, 22(11): 2238-2246.

ZHANG Mingxiang, WANG Zegen, BAI Ruyue, et al. A Coarse-fine Optical and SAR Remote Sensing Image Registration Algorithm[J]. Journal of Geo-information Science, 2020, 22(11): 2238-2246. (in Chinese)

An Accurate Registration Method for Optical Remote Sensing Images Based on VGG and DoG

WANG Shaojie1WU Wenbo*2XU Qizhi3

（1 Beijing University of Chemical Technology, Beijing 100029, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Beijing Institute of Technology, Beijing 100081, China）

At present, optical remote sensing imaging has the characteristics of high resolution, large coverage width and many similar ground objects, so it is very easy to produce feature point mismatch in image registration. The existing deep network registration methods directly take the maximum points in the feature map as the feature points of image registration. The accuracy of feature points extraction and matching is poor, which leads to low image accuracy. To solve this problem, this paper proposes a new method combining the Difference of Gaussian（DoG）and Visual Geometry Group（VGG）network to form a new network, that is, the Difference of Gaussian with VGG（DVGG）network. The maximum points are extracted from the Gauss difference images as the registration feature points, and the feature map extracted from the DVGG network is used as the feature description of the feature points, which is used to calculate the similarity between the two image feature points.The remote sensing images obtained by the Google Earth software are experimentally verified and compared with scale invariant feature transform（SIFT）and accelerated up robust features（SURF）. The experimental results show that this new method has high accuracy and is superior to the contrast methods.

image registration；deep learning；feature extraction；optical remote sensing

TP751

A

1009-8518(2021)05-0076-09

10.3969/j.issn.1009-8518.2021.05.009

王少杰，男，1998年生，現在北京化工大學計算機科學與技術專業攻讀碩士學位。主要研究方向為遙感圖像配準、遙感圖像目標檢測。E-mail：2019200817@mail.buct.edu.cn。

徐其志，男，1983年生，2013年獲北京航空航天大學計算機學院計算機應用技術博士學位，副教授。主要研究方向為遙感圖像融合、目標識別、大數據分析。E-mail：qizhi@buaa.edu.cn。

武文波，男，1979年生，2007年獲武漢大學攝影測量與遙感專業博士學位，研究員。主要研究方向為遙感信息智能處理。E-mail：yimeng_whu@126.com。

2021-08-09

國家自然科學基金面上項目（61972021，61672076）

王少杰, 武文波, 徐其志. VGG與DoG結合的光學遙感影像精確配準方法[J]. 航天返回與遙感, 2021, 42(5): 76-84.

WANG Shaojie, WU Wenbo, XU Qizhi. An Accurate Registration Method for Optical Remote Sensing Images Based on VGG and DoG[J]. Spacecraft Recovery & Remote Sensing, 2021, 42(5): 76-84. (in Chinese)

（編輯：陳艷霞）