基于雙階段特征匹配的非同源SAR 船只跟蹤方法

王 炎，張 晰，孟俊敏，劉根旺，包 萌，曹成會

(1.山東科技大學 測繪與空間信息學院，山東 青島 266590;2.自然資源部 第一海洋研究所，山東 青島 266061)

星載合成孔徑雷達(Synthetic Aperture Radar，SAR)相比于其他光學、紅外等傳感器具有不受光照和云霧影響及可全天時、全天候工作的優勢，是海上船只目標監測的重要手段，已被廣泛應用于船只目標的檢測和分類識別[1-5]。除船只目標的檢測與識別之外，船只目標的跟蹤也是海上船只目標監測的重要內容，對維護海上交通安全、提升海上維權執法的預警能力等具有重要意義[6]。

近年 來，隨 著 星 載SAR 的 快 速 發 展，TerraSAR-X、COSMOS-Sky Med、RadarSat-2、Sentinel-1 和GaoFen-3等多顆衛星已能夠提供高分辨率、多時相的SAR 數據[7]，例如意大利的COSMO-Sky Med系統，由4個SAR 衛星構成星座，可在一天內對固定區域進行8次快速重訪[8]，從而使得海上船只目標跟蹤逐漸成為可能。

SAR船只利用多時相SAR 影像獲取船只目標位置信息，再對船只目標的特征進行提取與匹配，來實現船只目標跟蹤。這其中的關鍵是目標特征的提取與匹配。當前SAR 圖像特征匹配主要有全局特征匹配和局部特征匹配兩類方法。其中，全局特征匹配法通過提取目標的紋理和形狀等宏觀特征量，并結合特征的相似度度量技術實現同名目標的匹配[9-11]，如:李綺雪等[12]利用Hu不變矩形狀特征，結合最小歐氏距離測度和余弦相似度實現光學與SAR 影像村莊目標的匹配;黃勇等[13]對區域邊緣檢測和輪廓特征提取，并利用圖像區域不變矩來實現SAR 影像香港地區的圖像匹配。局部特征匹配法通過衡量目標的內部特征點間主方向和梯度關系等細節特征的相似度來實現匹配，典型方法包括SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)和ORB(Oriented FAST and Rotated BRIEF)[14-16]。這類算法具有目標旋轉、尺度縮放不變性的優勢，能夠較好地適應復雜場景的匹配。如:雷禹和何家峰[17]提出了融合恒虛警率(Constant False-Alarm Rate，CFAR)和SURF聯合的SAR 圖像目標匹配算法;黎懿等[18]利用多源SAR影像之間的空間信息實現了基于SIFT 目標特征點的匹配;陰俊愷等[19]聯合光學以及SAR 圖像使用Harris與SIFT 算法提取待匹配圖像，并通過神經網絡計算圖像間的特征向量匹配程度，從而實現目標的匹配。

以往關于SAR 目標匹配的研究均是針對建筑物等大型靜止目標開展的。然而，船只目標有別于陸地建筑物，其尺寸小且處于運動狀態，所以匹配難度遠大于陸地目標。近年來，國內外學者開始關注船只等運動目標的匹配跟蹤，特別關注船只目標SAR 匹配跟蹤方法，例如:陳建宏等[20]利用多尺度Harris算子提取船只目標的特征點，并結合歸一化相關系數度量來實現機載PicoSAR 圖像與仿真SAR 圖像的船只匹配。Li等[21]在遙感數據中從船只中提取特征向量并利用主成分分析方法降低特征向量的維數，然后再采用最近鄰算法進行特征點匹配。顧丹丹和許小劍[22]將TerraSAR-X 船只SAR 圖像逆投影至三維目標空間，再提取目標空間逆投影散射圖以表征船只目標強散射源的三維分布，進而實現船只目標匹配。此外，Niu 和Lang[23]采用基于孿生卷積神經網絡對TerraSAR-X、RadarSat-2以及Sentinel-1 SAR 圖像進行船只目標匹配。這些研究大都是基于同一衛星平臺(單一來源)SAR 數據開展的，但是單一來源SAR 數據重訪周期較長且船只目標機動性強，因此，較難通過單一源SAR 實現船只匹配跟蹤。當前，已有諸多在軌的高分辨率SAR衛星能夠彌補單一來源SAR 數據的缺陷。然而，將這些非同源SAR 應用于船只目標的匹配跟蹤，還需要克服因船只目標運動狀態各異、雷達參數不同所導致的船只目標形態幾何畸變的問題，只有克服這些問題，才能提高非同源SAR 船只目標的匹配跟蹤精度。為此，本文提出一種全局和局部雙階段特征匹配的非同源SAR 船只目標匹配跟蹤算法。該方法共分為2個階段:第一階段，首先從第一時相SAR 圖像中提取待匹配船只目標的形狀和紋理等宏觀特征，再利用歐式距離對第二時相SAR 圖像中的船只目標進行相似度計算，進而篩選出高度相似的船只目標;第二階段，提取待匹配船只目標的特征點間的方向和梯度關系等細節特征，并利用快速最近鄰逼近搜索函數(Fast Library for Approximate Nearest Neighbor Search，FLANN)計算第一階段選取的高度相似的船只目標與待匹配船只的相似度，從而實現精確的同名船只匹配。經測試，相較于其他經典船只目標匹配算法，該方法能夠兼顧船只多個層次特征，即使在非同源SAR 運動船只幾何畸變的影響下，也具有良好的匹配跟蹤精度。

1 SAR 船只匹配跟蹤方法

目標特征匹配主要有局部特征匹配和全局特征匹配兩類方法。局部特征匹配法強調對目標內部細節特征的描述，雖具有較強抗噪聲能力，但存在一些不足，如對目標形狀與紋理等宏觀特征描述能力不強以及因幾何畸變造成目標特征信息發生變化，這就導致僅利用局部特征匹配的方法不能對船只這類小目標的自身特征進行良好的描述。因此，需要挖掘并使用船只的全局特征以提高匹配跟蹤精度。當進行船只匹配跟蹤時，先在第一階段利用全局特征匹配的方法篩選出與待匹配船只在宏觀特征上具有高相似度的船只，以解決局部特征匹配法中的不足;再在第二階段利用局部特征匹配的方法進一步描述初步篩選后的船只內部細節特征信息，這樣可充分利用船只多層次特征。

在SAR 船只匹配跟蹤的第一階段中，選擇形狀和紋理等宏觀特征來描述船只目標十分關鍵。通常利用一種統計特性即不變矩描述船只目標形狀[9]，利用灰度共生矩陣(Gray Level Co-occurrence Matrix，GLCM)[11]計算和描述紋理特征。

Hu不變矩[9]是提取目標不變矩的常用計算方法，該方法利用二階、三階歸一化中心距構造的7個不變矩提取出描述船只形狀的特征向量。對于一幅大小為M×N的圖像f(x，y)，其p+q階矩陣、中心距μpq分別定義為:

在船只匹配跟蹤的第二階段中，選擇局部特征點等細節特征描述船只目標，并進行特征點間的匹配。SURF算法在SAR影像目標特征提取方面已相當成熟，該算法能夠從SAR 影像中提取描述船只目標內部細節特征的高維特征點描述子。但在對船只特征點進一步匹配過程中，傳統SURF算法采用的是基于最近鄰距離匹配算法，對于SURF算法提取的高維特征點描述子，多船只目標間特征點匹配算法復雜度較高，計算量繁重。因此，為提高匹配的效率與速度，并保證匹配的精度，將FLANN[24]最近鄰算法用于船只目標特征的匹配，計算待匹配船只和初步篩選后的高相似度船只特征點的相似度。FLANN 模型的特征空間通常是一個n維實向量空間，命名為R n，其核心是尋找基于歐式距離的相鄰點。歐氏距離(D)[25]的定義式為:

式中，X和Y為SURF算法提取到的特征點向量，D(X，Y)值越小，表示這些特征點對之間的距離越近，說明這些特征點相似程度越高。R n中的所有D(X，Y)都存儲在若干個基于KD(k-dimensional)樹部分的結構中。在整個KD 樹中搜索到接近查詢點的最小歐氏距離，從而可有效地搜索與待匹配船只目標最相似的船只。

本文算法的基本流程(圖1)主要包括5個步驟:數據預處理、提取船只紋理及形狀宏觀特征、相似性度量、利用Hessian矩陣檢測SAR 船只圖像中的極值點以及提取的船只目標局部特征點并匹配。

圖1 基于全局和局部雙階段特征匹配的非同源SAR 船只匹配跟蹤方法的流程Fig.1 Flow chart of the method for non-homologous SAR ship matching and tracking based on global and local two-stage feature matching

步驟1:數據預處理。采用恒虛警率算法提取兩景不同時相SAR 圖像中的船只目標，并利用形態學濾波處理減弱船只目標背景噪聲的影響。

步驟2:首先，提取出船只的形狀和紋理的宏觀特征，并構成整體特征向量。在船只目標特征提取中，基于Hu不變矩利用歸一化中心距提取出描述船只形狀的7個不變矩組，構造一組7維特征向量，用于表征船只的形狀特征。然后，利用灰度共生矩陣取船只目標的角二階矩(Asm)、熵(Ent)、對比度(Con)和紋理相關性(Corr)四種紋理特征，并分別計算它們的均值和標準差(σ)，構成一組8 維特征向量來表征船只的紋理特征。最后，將表征形狀的7個特征向量和表征紋理的8個特征向量組成15維的特征向量來表示SAR 船只目標的宏觀特征。

步驟3:利用歐式距離[26]篩選出高相似度的候選船只。以表示提取到待匹配船只圖像的特征向量，以表示第i個船只圖像的特征向量，進而計算二者間的歐式距離(dist)，計算公式為:

式中，歐式距離滿足dist(i)＞0，歐式距離的值越小，表明船只間相似程度越高。當歐氏距離閾值取值較大時，多船只目標間的匹配范圍也會隨之擴大，且局部特征中迭代匹配處理的計算量與誤差會增加;當歐式距離閾值取值過小時，幾何畸變等因素會對全局特征提取產生影響，造成錯誤地剔除正確的同名船只目標。因此，在本文中，結合式(4)及實驗測試，當歐式距離的閾值選為1時，能較準確地剔除與待匹配船只類型不同的船只，實現第一階段初步篩選高相似船只的目的，剔除掉的船只也能極大減少第二階段局部特征提取帶來的計算量與誤差，從而使得兩階段中全局和局部特征的提取性能達到平衡，保證匹配跟蹤的效率和精度。

步驟4:利用Hessian矩陣[15]檢測SAR 船只圖像中的極值點，用于提取待匹配船只和初步篩選后的高相似度船只目標的局部點特征。之后，通過擬合待匹配船只和初步篩選后的船只極值點鄰域內的離散點判定并選擇出穩定的極值點。利用4×4方塊的Harr小波響應確定特征點的主方向，生成64維的船只局部特征點的特征矢量。

步驟5:對于提取的64維船只目標局部特征點的匹配，利用FLANN 算法計算待匹配船只目標和初步篩選后的高相似度船只目標的特征點相似度，并形成特征點對，依據特征點對匹配數量多少為原則，從初篩的高相似度船只目標庫中，確定出同名船只目標，從而實現船只目標的匹配跟蹤。

2 數據與算法評估

2.1 數據和研究區域

本文利用2對TerraSAR-X 和RadarSat-2衛星數據開展同名運動船只目標的匹配跟蹤研究，所用的SAR 參數如表1所示。本文還同步獲取了SAR 成像前后30 min的AIS(Automatic Identification System)數據。利用AIS與SAR 融合匹配方法[27]，確定出2對SAR 影像中的同名船只目標，匹配的同名船只目標信息如表2所示。

表1 本文所用的TerraSAR-X和RadarSat-2的工作參數Table 1 The parameters of TerraSAR-X and RadarSat-2 used in the study

表2 根據AIS獲取的同名船只的類型及數量Table 2 The types and status of the ships with the same name obtained according to AIS

第一對數據采自馬六甲海峽海域(表2中1#)。在這對數據中，TerraSAR-X 和RadraSat-2數據的獲取時間差約為3 min，兩幅影像均為VV 極化。根據AIS數據及其海上船只移動通信業務標識碼(Maritime Mobile Service Identify，MMSI)，共確定出33對同名運動船只和210對同名靜止船只。其中，運動船只主要以集裝箱船、貨船等大型船只為主，靜止船只主要以油輪為主。

第二對數據采自舟山群島附近海域(表2中2#)。在這對數據中，TerraSAR-X 和RadarSat-2數據的獲取時間差約為40 min，兩幅影像為HH 極化。根據AIS數據及MMSI號，共確定出14對同名運動船只以及78對同名靜止船只。其中，運動船只中主要以集裝箱船為主，靜止船只主要以油輪為主。本文的研究區域如圖2所示。

圖2 馬六甲海域和舟山群島海域內同名船只主要活動區域Fig.2 The main activity areas of ships with the same name in the sea areas of Malacca and Zhoushan Islands

2.2 算法評估

本文采用船只目標的正確匹配數(Number of Correct Matches，NCM)和匹配精度(Matching Precision，MP)兩個指標來評估本方法的性能，其中，MP的計算方法為:

式中，NTM(Number of total matches)是算法計算的總匹配對數。由于船只目標跟蹤主要解決的是運動船只目標的跟蹤匹配問題，因此本文選用全部運動船只目標開展實驗，即分別在1#和2#數據中選取全部33對和14對(共計47對)同名運動船只目標進行實驗驗證。同時，利用本文方法與文獻[20]中的Harris算法、文獻[21]中的PCA-SIFT 算法和SURF算法所得的匹配精度(MP)進行對比實驗。其中，利用MATLAB R2017a對Harris算法、PCA-SIFT算法和SURF算法開展實驗，基于Python 3.7對本文提出的算法開展實驗。這些算法所得的船只目標匹配跟蹤結果如表3所示。由表3可知，在正確匹配數量和匹配跟蹤精度方面，本文算法所得結果都最大。其中，利用本文算法所得MP達83%，顯著高于其他算法。

表3 利用本文方法與Harris算法、PCA-SIFT算法和SURF算法所得船只目標正確匹配個數和匹配精度的比較Table 3 Comparison of the correct number and accuracy of the ship target matching obtained by using the method of this study and the algorithms of Harris，PCA-SIFT and SURF

不同船只類型(由AIS數據提供，包括油輪、集裝箱船、貨船、其他如漁船等小尺寸的船只，表2)對船只目標的匹配跟蹤影響結果如表4所示。由表4可知，本文方法對油輪、貨船和集裝箱船這三類尺寸較大船只目標的匹配跟蹤精度分別為87.5%、83.3%和93.3%，均超過80%;對漁船等尺寸較小船只目標的匹配跟蹤精度為66.7%。但是，Harris、PCA-SIFT 和SURF算法對油輪、貨船和集裝箱船三類船只目標的匹配跟蹤精度較低，除SURF算法對油輪匹配精度為62.5%外，其他算法對不同類型船只匹配精度均低于60%。對于漁船等小型船只目標，Harris、PCA-SIFT 和SURF算法的匹配跟蹤精度均低于20%。綜合結果表明，本文方法對不同類型船只的匹配跟蹤精度明顯高于Harris、PCA-SIFT 和SURF算法。

表4 4種算法對不同類型船只目標的跟蹤結果Table 4 Statistics of the tracking results of different ship targets obtained by using the 4 algorithms

3 幾何特征對運動船只匹配跟蹤的影響

即使是同名船只目標，在不同波段、極化SAR 影像中也會有明顯的特征差異，如X 波段相較于C 波段對目標細節特征描述能力更強，因此，相較于RadarSat-2影像，在TerraSAR-X 影像中，船只目標的邊緣和內部結構等細節特征表現更加顯著。此外，不同分辨率的SAR 影像中目標輪廓大小及紋理也存在差異。所以，本文在分析運動船只目標在非同源SAR 圖像中的幾何特征差異基礎上，評估本文算法與Harris、PCASFIT 和SURF算法在船只目標幾何特征變化較大時的適用性。

首先，利用最小外接矩[28]和Canny邊緣檢測，提取同名運動船只在TerraSAR-X 和RadarSat-2數據對中的船長和船寬;然后，利用得到的船長和船寬提取船只目標的周長及面積，計算同名運動船只在2種衛星下的船只幾何特征值變化率W，計算式為:

式中，TC和TX分別為RadarSat-2和TerraSAR-X 兩個波段的同名船只幾何特征量。將W分為W＜10%、10%≤W≤20%和W＞20%三種情況。W越大，表明船只目標的運動對SAR 圖像中的幾何特征估算的影響越大，也表示對算法匹配跟蹤性能影響越大，因此，本文將主要分析運動船只目標幾何特征變化對不同算法匹配精度的影響。

3.1 周長差異對匹配跟蹤的影響

根據式(6)計算可知，在不同波段SAR 數據中，同名運動船只周長變化率Wc＜10%的有12艘，10%≤Wc≤20%的有12艘，Wc＞20%的有23 艘，所以Wc≥10%的船只達到35 艘，這說明船只目標的運動對SAR 圖像中的周長估算有很大的影響。

在不同的運動船只周長變化率下，各個算法的匹配跟蹤精度結果如圖3所示。由圖3可知，本文算法在Wc≤20%時所得的MP沒有任何變化，均為75%;在Wc＞20%時所得MP提高至91.3%?？傮w來說，船只周長的變化對本文算法的影響較小，而PCA-SIFT 算法MP 在Wc≤20%時有明顯下降，從41.5%下降至16.7%，但在Wc＞20%時，PCA-SIFT 算法MP也僅為17.4%，所以MP并無顯著變化。在三類不同程度的Wc下，SURF算法MP先從50%下降至41.7%，最后降至26.1%。顯然，相較于PCA-SIFT 算法，SURF算法的MP隨Wc的增加而減小的趨勢更加明顯?？梢?，SURF算法匹配跟蹤精度在一定程度上受船只周長變化的影響較大。此外，Harris算法MP在不同Wc下變化較小，即16.7%≤Wc＜34.8%，表明Harris算法的MP隨Wc的變化幅度較小。

圖3 不同周長變化率(W c)下的船只目標匹配跟蹤精度(MP)分布Fig.3 The distribution of the accuracy of ship target matching and tracking at different perimeter change rates(W c)

3.2 面積差異對匹配跟蹤的影響

由式(6)計算可知，同名運動船只Wa＜10%的有22艘，10%≤Wa≤20%的有14艘，Wa＞20%的有11艘，相較于周長Wc，Wa≥10%的僅有25艘，可見船只目標的運動對SAR 圖像中的面積估算較周長估算的影響較小。在不同Wa下，各算法的匹配跟蹤精度(MP)結果如圖4所示。由圖4可知，本文算法的MP隨Wa的增加而減小，但整體上本文算法MP遠高于其他算法的MP。SURF算法和PCA-SIFT 算法的MP也均隨船只Wa的增加而減小，Harris算法MP變化幅度很小，主要集中在30%左右，說明Harris算法匹配跟蹤精度受面積變化幅度影響較小。

圖4 不同面積變化率(W a)下的船只目標匹配跟蹤精度(MP)分布Fig.4 The distribution of the accuracy of ship target matching and tracking at different area change rates(W a)

3.3 長寬比差異性對匹配跟蹤的影響

由式(6)計算可知，同名船只長寬比變化率Wl:w＜10%的有23 艘，10%≤Wl:w≤20%的有14 艘，Wl:w＞20%的有14艘，所以，Wl:w≥10%的船只有28艘，與Wa≥10%的船只數量相近，可見船只目標的運動對長寬比的估算與面積估算的影響相當。

在不同Wl:w下，各算法的匹配跟蹤精度(MP)結果如圖5所示。由圖5可知，在不同Wl:w下，本文方法的MP依次為82.6%、80%和85.7%，均高于80%，而其他3 種算法所得的MP 均較低，最高為60.9%(SURF算法，Wl:w＜10%)，最低為0(Harris算法、PCA-SIFT 算法，Wl:w＞10%)。當Wl:w＞10%時，Harris和PCA-SIFT 算法MP大大降低，分別從之前的56.5%和47.8%均降低至0，導致無法實現有效匹配跟蹤，說明Harris算法和PCA-SIFT 算法受船只目標的長寬比影響較大。

圖5 不同長寬比變化率W l:w下的船只目標匹配跟蹤精度分布Fig.5 The distribution of the accuracy of ship target matching and tracking at different aspect ratio change rates(W l:w)

在匹配跟蹤實驗中，Harris、PCA-SIFT 和SURF算法在部分同名船只中出現了誤配及失配的情況，為進一步解釋誤配和失配的原因，探尋不同方法匹配跟蹤性能，本文以一組SAR 同名船只(MMSI:248819000)為例開展分析。由于船只在運動過程中發生顯著幾何畸變，所以選用該船只能更好地反映船只真實運動狀態及檢驗本文算法的魯棒性。

本文從匹配關聯結果方面評價不同算法的匹配跟蹤性能。不同算法均基于匹配點對數確定目標，目標內部間匹配點對數越多，證明同名船只目標間的特征結構越相似，進而確定同一目標的概率也就越大。不同算法匹配關聯結果如圖6所示。由圖6a和圖6b可知，Harris算法得到的匹配點對數大都集中在目標背景中，均為無效匹配點對，因此，依據Harris算法生成的匹配點對數最終將導致船只目標發生誤配。由圖6c～圖6f可知，PCA-SIFT 和SURF算法在誤匹配目標和同名船只中均產生部分匹配點對，其中，PCA-SIFT 算法在誤匹配目標及同名船只目標中分別生成2組特征點對和1組特征點對，SURF算法在誤匹配目標及同名船只目標均生成2組特征點對，依據特征點對數，將導致PCA-SIFT 算法和SURF算法最終出現誤配和失配，這是由船只內部具有相似特征點和算法誤差等所致。本文算法能很好地解決上述問題，如圖6g，第一階段依據全局特征能將圖6a、圖6c和圖6e中Harris、PCA-SIFT 和SURF算法誤配和失配的目標剔除，結果如圖6h所示，第二階段再依據匹配點對數確定同名目標。最終，本文算法在匹配關聯結果中能保持較高的匹配跟蹤精度。

圖6 不同算法對SAR 船只影像匹配跟蹤結果Fig.6 Results of the ship matching and tracking in the SAR images obtained by different algorithms

4 結 論

本文針對當前利用SAR 衛星進行船只目標匹配跟蹤時，由于船只目標尺寸小且船只目標的運動會在SAR圖像中產生幾何畸變，導致船只目標在SAR 圖像中難以準確實現匹配跟蹤的問題，提出了基于全局和局部雙階段特征匹配的非同源SAR 船只目標匹配跟蹤方法。該方法首先從第一時相SAR 圖像中提取待匹配船只目標的形狀和紋理等宏觀特征，并利用歐式距離對第二時相SAR 圖像中的船只目標進行相似度計算，篩選出高度相似的船只目標?；诖?，通過提取待匹配船只目標的特征點間的方向和梯度等細節特征，并利用FLANN 計算第一階段選取的高度相似的船只目標與待匹配船只的相似度，從而實現精確的同名船只匹配。主要結論如下:

1)本文算法對于運動船只的匹配跟蹤精度(MP)為83%，相較于其他算法，本文算法能顯著提高運動船只目標匹配跟蹤精度。

2)本文對油輪、貨船、集裝箱船這三類尺寸較大的船只目標，其匹配跟蹤精度均在80%以上，對于其他類型船只如漁船等小型船只匹配精度為66.7%。而Harris算法和PCA-SIFT 算法對油輪、貨船、集裝箱船的匹配跟蹤精度均小于50%，特別對于其他船只，SURF算法、Harris算法和PCA-SIFT 算法匹配跟蹤精度均低于20%。相較于其他算法，本文算法對不同類型船只具有良好匹配跟蹤精度。

3)在非同源SAR 船只周長、面積和長寬比三個幾何特征變化率(Wc，Wa和Wl:w)中，本文算法匹配跟蹤精度與面積特征的變化有一定的相關性，在周長和長寬比變化中仍能保持75%以上的精度，特別在長寬比特征變化下，本文整體匹配精度超過80%。在其他算法中，長寬比變化對Harris算法、PCA-SIFT 和SURF算法影響最大，具有較強相關性。另外，SURF算法匹配跟蹤精度也與周長的變化有一定相關性。

綜合結果表明，本文的方法能夠實現TerraSAR-X 和RadarSat-2不同波段、不同平臺SAR 圖像的船只目標匹配跟蹤。目前，本文僅分析了RadarSat-2和TerraSAR-X 兩種衛星平臺的數據，并未在其他衛星平臺開展分析，后續將在其他更多平臺評估算法的性能。另外，本文中2對SAR 數據的分辨率很接近，未來將進一步評估分辨率對本文算法的影響。最后，本文數據拍攝時的海況為低海況條件，下一步將評估復雜海況下本文算法對運動船只匹配跟蹤的性能。