基于鄰域一致性的極化SAR圖像仿射配準

朱慶濤 殷君君 曾 亮* 楊 健*

①(清華大學電子工程系 北京 100084)

②(北京科技大學計算機與通信工程學院 北京 100083)

1 引言

合成孔徑雷達(Synthetic Aperture Radar,SAR)全天時、全天候、高分辨率成像的特點使得它在環境監測、資源探測、戰場感知等方面具有重要的戰略意義。近年來，多時相、多波段、多成像模式下的SAR圖像資源日益豐富。它們的融合處理對于遙感目標的檢測、識別等任務具有重要意義。而SAR圖像之間的配準則是上述融合處理的基礎，需要具有良好的精度與速度。當前的配準算法主要是基于極化SAR圖像的散射強度、極化特征等信息，結合相似性度量與參數迭代估計來實現。隨著深度學習的發展，基于深度神經網絡的極化SAR圖像配準算法也逐漸增加，但是主要還是結合圖像塊的特征匹配與圖像變換參數的迭代估計來實現[1,2]。目前尚未提出基于深度卷積神經網絡的端到端極化SAR圖像一步配準算法。

受到光學圖像處理領域中基于深度學習的端到端特征匹配算法的啟發，本文提出了一種無需對圖像進行切塊處理或參數迭代估計的端到端極化SAR圖像配準算法框架。首先，對輸入圖像對進行特征提取，并進行k近鄰特征匹配。之后，通過4D稀疏卷積網絡，基于鄰域一致性原則實現特征匹配的過濾。最后，根據輸出的匹配點對置信度，利用帶權最小二乘法進行仿射參數的一步回歸，實現圖像對的配準。

本文的結構組織如下：第2節對極化SAR圖像配準算法進行綜述。第3節討論本文提出的配準算法。第4節給出實驗結果與分析討論。第5節為結論。

2 極化SAR圖像配準方法

2.1 基于傳統方法的極化SAR圖像配準

傳統的圖像配準方法主要分為兩類，一類是基于區域的方法，另一類是基于特征的方法?；趨^域的方法主要是通過尋找與模板窗口具有較高相似性的圖像塊來求解最佳匹配參數。常見的有歸一化互相關法[3]，Kullback-Leibler散度法[4]，互信息法[5]，傅里葉變換域法[6]等；基于特征的方法則主要是通過檢測兩幅圖像中的顯著特征點，根據周圍像素點生成特征描述符后，基于歐氏距離等度量來進行匹配。之后通過隨機抽樣一致性(Random Sample Consensus,RANSAC)等迭代估計的方法獲取可靠匹配點對以確定變換參數。常見的有基于Harris[7],SIFT (Scale-Invariant Feature Transform)[8]等的配準算法。以基于SIFT的配準算法為例，首先構建高斯金字塔與差分高斯金字塔，在多尺度空間內進行極值點檢測；之后對關鍵點進行精細定位并分配方向，同時篩除不穩定的關鍵點；結合上述關鍵點位置、尺度與方向信息，得到關鍵點的128維特征描述向量后，設定最近鄰與次近鄰距離比閾值，篩除不顯著的匹配點對。最后使用RANSAC算法對匹配點對進行精細篩選，從匹配結果中選取幾對進行全局變換參數求解，實現圖像配準。相比于基于區域的配準，基于特征的配準方法具有更好的魯棒性，但是具有較高的計算復雜度。

上述圖像配準算法被廣泛應用于極化SAR圖像配準。在基于區域的配準方面，研究者結合極化SAR圖像的散射特性對相似性度量進行重新設計[9]；在基于特征的配準方面，提出了基于極化SAR圖像特性的改進SIFT配準算法SAR-SIFT[10],PSO-SIFT[11]等。SAR-SIFT算法中考慮到極化SAR相干斑噪聲的特點，結合SIFT與Harris關鍵點檢測算法的優勢，采用SAR-Harris空間代替高斯差分金字塔，使得Harris檢測算子具備尺度不變性。該算法能夠有效地對SAR圖像的角點特征進行提取，實現了針對SAR圖像的精細配準。

2.2 基于深度學習的極化SAR圖像配準

(1) 深度卷積神經網絡

近年來，隨著計算機存儲與計算能力的提升，深度學習在計算機圖像處理領域取得了較大的進展。深度卷積神經網絡通過權重共享的卷積層對圖像特征進行自動提取，具有良好的特征表達能力與泛化性能，被廣泛應用于圖像檢測、識別、分割等領域。2012年，AlexNet[12]獲得ImageNet競賽冠軍后，各種優秀的深度卷積神經網絡結構被不斷提出。隨后深度卷積神經網絡逐漸被運用于極化SAR圖像處理中。相比于傳統方法，深度學習在極化SAR圖像的各個應用領域中表現出較強的優越性，例如徐豐等人[13]利用深度卷積神經網絡進行極化SAR目標識別與地物分類，Jin等人[14]提出了一種基于深度學習的極化SAR艦船目標檢測算法。

(2) 基于深度學習的圖像配準

隨著深度學習的發展，卷積神經網絡逐漸被運用到圖像配準領域，算法主要分為3類。一類是利用深度卷積神經網絡替代人工特征提取，之后仍然通過RANSAC等迭代估計的方式完成變換參數求解與圖像配準。另一類是利用深度卷積神經網絡通過有監督學習的方式直接對變換參數進行回歸。例如DeTone等人[15]通過卷積神經網絡對生成的仿真圖像對進行有監督學習，實現單應性矩陣的直接回歸，從而實現圖像配準；Rocco等人[16]利用深度神經網絡來模擬傳統配準過程中的特征提取、匹配與參數回歸。首先，利用深度卷積神經網絡進行特征提取。之后，通過內積操作來得到特征圖的相關度信息。最后，通過全連接層進行參數的有監督回歸。但是由于特征圖分辨率較低，導致算法的配準精度不高。還有一類是利用深度卷積神經網絡對變換后的圖像與目標圖像的相似性進行優化，通過無監督學習的方式實現圖像的配準。例如Balakrishnan 等人[17]通過無監督學習的方式優化變換圖像與目標圖像的局部相關性與平滑性來實現醫學圖像的配準；在文獻[16]的基礎上，Rocco等人[18]利用無監督學習的方式來增加特征圖匹配點對的一致性，提出了基于局部鄰域一致性的密集4D卷積結構來篩選穩定的特征匹配點對。然而由于內存的限制，匹配的精度依舊較低。后續工作中，他們通過稀疏卷積神經網絡很大程度上節省了內存，使得高分辨率、高精度的圖像對的關鍵點匹配得以實現，不過未實現后續的圖像配準[19]。

(3) 基于深度學習的極化SAR圖像配準

基于深度學習的極化SAR圖像配準算法主要利用深度神經網絡直接預測圖像塊是否匹配或將深度卷積神經網絡作為特征自動提取器，之后仍然需要利用RANSAC等迭代算法進行變換參數求解。文獻[1]基于SIFT算法對圖像的關鍵點進行定位，提取關鍵點周圍的圖像塊，并通過自監督學習的方式訓練了一個能夠預測圖像塊是否匹配的深度神經網絡。最后基于粗匹配結果利用RANSAC對變換參數進行迭代估計；文獻[2]基于VGG16卷積神經網絡對遙感圖像進行特征提取，并基于歐氏距離對特征描述符進行預匹配。最后基于動態內點篩選算法對變換參數進行迭代估計?？傊?，現有的方法均考慮對大場景的SAR圖像進行切塊處理后，基于圖像塊進行獨立的粗匹配，未考慮塊間匹配的關聯性。因此往往需要進行參數迭代估計的后處理步驟來篩除錯誤的匹配，從而得到精確的變換參數。上述方法中預處理與后處理的引入使得配準流程較為煩瑣費時。目前尚未提出根據極化SAR待配準圖像對，基于深度卷積神經網絡的輸出結果直接實現一步配準的端到端算法框架。

本文借鑒了文獻[19]的思路，將鄰域一致性與稀疏卷積神經網絡應用于極化SAR圖像配準中，實現了一種采用弱監督學習的端到端極化SAR圖像一步配準的算法框架。該算法無需對輸入圖像對進行切塊預處理或是參數迭代估計，配準精度較高且速度較快。

3 基于鄰域一致性的SAR圖像配準

3.1 整體框架

該配準算法主要由特征提取、特征稀疏匹配、特征匹配過濾與參數估計4個部分組成。如圖1所示，特征提取模塊用于提取輸入圖像對{IA,IB}的特征信息{fA,fB}，采用的網絡結構借鑒了DenseNet網絡結構[20]。特征圖fA的坐標系為i-j，特征圖fB的坐標系為p-q。特征匹配模塊根據特征圖{fA,fB}，采用歸一化內積的方式(即余弦距離)對特征點對的相關度進行求解。為了保留更為顯著的特征對以及節省內存，特征匹配模塊對每個特征點僅保留k個相關度最高的匹配點，由此可以得到4D的特征粗匹配稀疏相關圖(Sparse Raw Correlation Map)SRAB。特征匹配過濾模塊中通過4D稀疏卷積網絡對SRAB中非零元素的鄰域進行卷積濾波操作，輸出過濾后的4D稀疏相關圖(Sparse Filtered Correlation Map)SFAB中的每個非零像素SFAB(in,jn,pn,qn)的值代表了特征匹配點對{(in,jn)}與{(pn,qn)}的匹配置信度，其中n為某一匹配點對的標號。變換參數回歸模塊根據置信度較高的N對匹配點對坐標{(in,jn)}{(pn,qn)}(n=1,2,···,N)以及它們的匹配置信度{sn}通過帶權最小二乘法回歸出仿射變換參數進行圖像配準。

3.2 特征提取模塊

文獻[19]中采用了ResNet網絡結構作為骨干網絡來提取輸入圖像對的特征。本文則采用Dense-Net結構對輸入圖像對{IA,IB}進行特征提取。為了便于特征圖的下采樣，DenseNet采用了多個DenseBlock連接的方式。每個DenseBlock內部通過特征級聯的方式建立了卷積層之間更加密集的連接。如圖2所示，DenseBlock模塊內的主要卷積單元為BN-ReLU-Conv的串聯，其中BN (Batch Normalization)為批歸一化層，ReLU (Rectified Linear Unit)為線性整流激活層，Conv為卷積層。由于特征級聯操作會改變特征圖尺寸，因此在每個卷積單元后面添加了1×1卷積層進行特征降維操作，將輸入卷積單元的特征圖通道數進行統一。在DenseBlock中，每個卷積單元的輸入特征圖為之前所有卷積單元的輸出特征圖的級聯，最后一個卷積單元的輸出特征圖作為Transition層(包含1×1卷積層以及2×2池化層)的輸入。

相應的數學表達如式(1)所示

式中，xt表示DenseBlock內第t個卷積單元的輸出特征圖，Ht表示1×1特征降維與第t個卷積單元對應的操作，它的輸入為前t個(0,1,···,t–1)卷積單元輸入特征圖x0,x1,···,xt?1的級聯。特征的充分復用使得網絡的特征表達能力十分出色，對于局部信息的描述更加細致。

對于常見的深度卷積神經網絡結構GoogleNet,ResNet,DenseNet等，深層特征圖的分辨率較小，代表著圖像較為抽象的語義特征，圖像邊緣、紋理等特征信息則較為模糊；而淺層特征圖的特征信息提取不夠充分。仿射配準任務并非目標識別或場景理解等高級別的任務，在利用深度卷積神經網絡進行特征提取時，需要盡可能保留較多的圖像邊緣、紋理信息，同時也需要較為充分的特征提取，因此特征提取網絡的結構深度應避免過深或過淺。本文將第3個DenseBlock的輸出特征圖作為特征提取模塊的輸出結果。以1200×1200×3的輸入尺寸為例，特征提取網絡與每層輸出的尺寸如表1所示。表中conv卷積單元包含了BN-ReLU-Conv。

圖1 基于鄰域一致性的SAR圖像配準算法框圖Fig.1 Flowchart of image registration based on neighborhood consensus

圖2 DenseBlock的網絡結構Fig.2 Structure of DenseBlock

3.3 k近鄰特征稀疏匹配模塊

記經過特征提取模塊得到的特征圖分別為fA和fB(fA,fB∈Rm×Rm)。對于特征圖fA的某一個坐標點(i,j)，計算該點與fB所有坐標點的特征值內積并進行歸一化來作為特征的相關系數(相當于采用余弦距離來替代歐氏距離)，僅保留k個與fA(i,j)的特征相關值最大的坐標點fB{(p1,q1),(p2,q2),···,(pk,qk)}。最終得到k×m×m個相關值，可理解為稀疏的單通道4D圖像SRA→B(該4D圖像的4個坐標值是fA的(i,j)和fB的(p,q)，像素值為歸一化的相關值)。記上述操作為特征圖A對特征圖B的單向k近鄰操作。由于上述操作并非全圖互相關操作，因此特征圖A對特征圖B進行單向k近鄰得到的圖像SRA→B與特征圖B對特征圖A進行單向k近鄰得到的圖像SRB→A并不一定相同。以k取2為例，設特征圖B中與特征圖A上點(i1,j1)的相關度最高的2個點分別為(pu,qu)和(pv,qv)，相關值分別為r1u和r1v。而特征圖A中與圖B上點(pu,qu)相關度最高的2個點中卻未必包含點(i1,j1)。為了進一步增強雙向均近鄰的匹配點對的相關性，抑制僅單向近鄰的匹配點對的相關性，將兩個4D的稀疏單向k近鄰相關圖進行疊加，得到稀疏的4D粗匹配相關圖SRAB作為特征匹配模塊的輸出結果。

3.4 特征匹配過濾模塊

本文涉及的鄰域一致性原則是指由于極化SAR圖像對應的自然場景具有較高的局部空間連續性，故穩定的顯著特征點對附近應該還存在一些匹配程度較高的點對，否則該點對的匹配置信度應大幅削減。通常的卷積神經網絡為密集卷積操作，給定卷積核，通過參數共享，對整幅圖像(或中間特征圖)進行滑動卷積操作，會遍歷圖中每一個像素。當圖像(或特征圖)為稀疏圖，即大部分像素值為零時，僅需要遍歷非零元素進行卷積操作即可。稀疏張量自動微分庫Minkowski Engine[21]實現了通用的稀疏卷積操作，在輸入稀疏圖非零元素的索引與像素值后，可以對非零元素進行遍歷并進行局部卷積操作。由于配準圖像訓練集較小，因此稀疏卷積網絡部分的層數設計得較小，僅為2層，第1層的輸出通道數為16，第2層的輸出通道數為1，卷積核大小均為3×3，即僅考察目標匹配點對周圍3×3的鄰域信息。

基于上述網絡結構，設計損失函數以驅動網絡學習對輸入的4D粗匹配相關圖SRAB進行鄰域濾波的能力。損失函數如式(2)所示

式中，函數F()代表深度卷積神經網絡，xpos代表了一對正樣本圖像(場景相關聯，可以進行配準的圖像對)，xneg代表了一對負樣本圖像(場景無關聯，無法進行配準的圖像對)。卷積神經網絡F()接收了一對圖像對之后，輸出結果為4D稀疏相關圖，圖上非零元素代表了特征圖匹配點對的置信度大小。代表了對4D稀疏相關圖的非零元素進行求和的操作。損失函數的值L設計為負樣本對的輸出置信度之和與正樣本對的輸出置信度之和的差。根據Loss的第2項，對于負樣本對輸入，理論上大多數匹配點對為不穩定點對，在Loss下降的過程中，網絡參數的優化方向是抑制所有輸出點對的置信度，因此網絡在這個過程中學習到了抑制不穩定匹配點對的能力；根據Loss的第1項?，對于正樣本對輸入，理論上存在許多匹配點對為穩定點對，在Loss下降的過程中，網絡能夠使得正樣本對的輸出置信度之和盡可能大，即學習到了增強穩定匹配點對的能力。二者相結合，構成的聯合Loss即為最終的損失函數。綜上所述，特征匹配過濾模塊能夠增強穩定匹配點對的置信度，抑制不穩定匹配點對的置信度。記濾波后的4D稀疏匹配相關圖為SFAB。

表1 特征提取模塊的結構Tab.1 Structure of the feature extraction module

3.5 基于帶權最小二乘法的參數回歸

由4D稀疏匹配相關圖SFAB可以得到圖像fA和fB的穩定匹配點對，之后按照網絡輸出的置信度{sn}的大小，選取前N個坐標點對進行仿射變換參數求解。由于當前的匹配點對本身具有較好的穩定性與一致性，因此無需進行類似RANSAC等算法的迭代參數估計，僅通過最小二乘法即可對變換參數實現準確估計。由于不同的點對具有不同的置信度，因此采用帶權最小二乘法進行仿射變換參數回歸。通用的帶權最小二乘回歸原理如式(3)所示

其中，θ為待定參數；(X,Y)為一對觀測量；W為每個觀測樣本的權重構成的對角矩陣。

在對本文的仿射變換參數進行回歸時，θ即為待求的仿射變換參數；(X,Y)為待配準圖像fA和參考圖像fB上置信度s最高的N對坐標點對；W可根據{sn}(n=1,2,···,N)進行設定。實際進行計算時，由于X和Y的每個元素均為二維坐標向量，難以直接按照式(3)進行計算，因此需要進行如下的變形處理。

如圖1所示，仿射矩陣共有6個參數待求，記θe=[A11;A12;A21;A22;A13;A23]。記X的第t個元素為Xt=(Xti,Xtj),Y的第t個元素為Yt=(Ytp,Ytq)。在不考慮權重矩陣W的情況下，仿射變換的關系式如式(4)所示。

將式(4)中等式左邊的第1個矩陣記為Xe，等式右邊的矩陣記為Ye。之后，定義權重矩陣We=diag(s1,s2,···,sN)，其中diag()代表對角陣。最終按照式(5)帶權最小二乘回歸，得到仿射變換中6個待求參數的值。

4 實驗與分析

4.1 實驗環境與數據集

由于可用于配準的公開SAR圖像數據集較為匱乏，且高分辨率的SAR圖像與光學圖像具有一定的相似性，故采用的訓練數據集是Indoor Venues Dataset。訓練方式為弱監督的方式，損失函數詳見第3節。使用的顯卡為單塊GeForce GTX 1080Ti，處理器為Intel(R) Core(TM) i9-7920X。

為了進行對比試驗，特征提取模塊分別采用ResNet和DenseNet的架構進行對比，此外為了提高模型的收斂效果，均采用了ImageNet預訓練模型進行微調。初步實驗中，將k近鄰稀疏匹配模塊的參數k設置為10。后續討論中考察了參數k的取值對配準性能的影響。特征匹配過濾模塊采用兩層4D稀疏卷積層。取最大的N=200個匹配置信度對應的點對作為穩定特征匹配點對。最后經過帶權最小二乘法對仿射參數進行回歸。將上述稀疏匹配與基于鄰域一致性的過濾模塊合起來記為Sparse Neighborhood Consensus Network (SNCNet)。實驗中一共對比了5種不同的算法，分別是采用SIFT+RANSAC,SAR-SIFT+RANSAC,ResNet+SNCNet,DenseNet+SNCNet以及DenseNet+RANSAC。

圖3 Wallerfing農田數據Fig.3 Wallerfing farmland data

圖4 舟山港口數據Fig.4 Zhou Shan port data

用于測試的極化SAR待配準圖像對如圖3和圖4所示。圖3(a)和圖3(b)分別為RADARSAT-2衛星于2014年5月28日和2014年6月10日獲取的德國Wallerfing地區的農田圖像，原始尺寸均為3000×3000，極化方式為HH,VV,HV和VH，采用精細全極化成像模式，中心頻率為5.4 GHz(C波段)，像元大小為4.7 m×5.1 m，距離向分辨率為5.2 m，方位向分辨率為7.7 m，入射角為40.2°。圖3(a)為升軌數據，圖3(b)為降軌數據。將它們記為Wallerfing數據。圖4(a)和圖4(b)分別為PAZ衛星于2019年12月3日和2019年11月12日獲取的中國舟山地區的港口圖像，原始尺寸均為4000×4000，極化方式為HH,VV極化，分別采用聚束和條帶成像模式，中心頻率為9.7 GHz(X波段)，像元大小分別為1.5 m×1.5 m和2.75 m×2.75 m，距離向分辨率分別為3.1 m和6.0 m，方位向分辨率分別為3.5 m和6.1 m，入射角為51.1°。圖4(a)為降軌數據，圖4(b)為升軌數據。將它們記為舟山數據。在實驗中，將用于測試的極化SAR圖像對通過雙線性插值縮放為1200×1200的大小。

4.2 評價指標

對待配準圖像的仿射變換圖像與參考圖像按照不同的色彩通道進行疊加，可以得到配準疊加圖，便于對配準算法進行直觀評價。量化的評價指標則主要采用PCK (Average Probability of Correct Keypoints)[22]和APE (Average Pixel Error)，如式(6)和式(7)所示。設待配準圖像A和參考圖像B上已標注的N個點對為{PA,PB}i,i=1,2,···,N,wrap為仿射變換操作(所使用的仿射變換參數為第3.5節中得到的θe),d()代表兩個二維坐標點之間的歐氏距離。閾值Lth=α·max(h,w)，其中α為人為設定的比例系數，h和w為待配準圖像對的高與寬。

4.3 配準疊加圖

首先從直觀的角度對配準結果進行評價。采用本文的DenseNet+SNCNet算法，Wallerfing和舟山數據的仿射變換圖像與目標圖像的疊加圖分別如圖5(a)和圖5(b)所示，兩幅圖中綠色的前景通道為待配準圖像仿射變換的結果，紫紅色的背景通道為目標圖像。采用SAR-SIFT的實驗結果如圖6(a)和圖6(b)所示。由圖5和圖6可以看到采用本文算法和SAR-SIFT算法，前景和背景的河流與海岸線等區域均能較好地重合，整體配準精度均較高。

4.4 量化指標結果分析

Wallerfing和舟山數據的APE如表2所示，采用不同配準算法的PCK曲線如圖7(a)和圖7(b)所示。

(1) 極化信息對配準效果的提升

由表2中Wallerfing數據的Pauli圖像與Span圖像的APE指標對比可知，極化特征的引入有助于提升配準精度。Wallerfing數據的Pauli圖像如圖3所示，對應的Span功率圖如圖8所示。Wallerfing數據中包含了種類豐富的農作物區域以及山地區域，同時還包含河流與湖泊區域。湖泊與河流等水域的后向散射強度較弱，在Pauli圖像與Span圖像中均呈現為穩定的黑色區域，而不同種類的農作物則具有各自獨特的極化特性，后向散射強度分布比較復雜。

圖5 DenseNet+SNCNet算法下，Wallerfing和舟山數據配準疊加圖Fig.5 Overlay map of Wallerfing and Zhou Shan data by DenseNet+SNCNet

圖6 SAR-SIFT+RANSAC算法下，Wallerfing和舟山數據配準疊加圖Fig.6 Overlay map of Wallerfing and Zhou Shan data by SAR-SIFT+RANSAC

表2 各種配準算法的APE值Tab.2 APE of different registration algorithms

圖7 不同算法下，Wallerfing和舟山數據配準的PCK曲線Fig.7 PCK of Wallerfing and Zhou Shan image registration with different algorithms

圖8 Wallerfing農田數據Span圖Fig.8 Span image of Wallerfing farmland data

在Pauli圖中，不同農田區域具有明顯的紋理特征，邊緣信息較為明顯，而在Span圖像中，部分紋理與邊緣信息缺失，對比度較弱。從APE指標可知，本文算法能夠結合Pauli圖像3個極化分解通道的極化信息，更好地利用極化SAR圖像中的紋理、邊緣等結構信息來實現圖像的穩定匹配，相比于Span圖像具有更加精確、穩定的配準效果。

(2) DenseNet特征提取的優勢

由圖7中Wallerfing與舟山數據配準結果的PCK值隨α的變化曲線可知，本文所提算法相比ResNet-SNCNet具有一定的效果提升，配準精度與傳統的SIFT+RANSAC與SAR-SIFT+RANSAC算法可以相媲美。

由表2中DenseNet-SNCNet與其他方法的APE指標對比可知，采用DenseNet特征提取結構的稀疏匹配效果優于ResNet，與傳統的SIFT和SARSIFT算法精度相近，驗證了DenseNet出色的特征表達能力。在1200×1200的分辨率條件下，Wallerfing數據和舟山數據的平均像素誤差距離僅為6.175和2.553，平均像素誤差距離與邊長之比僅為6.175/1200=0.515%和2.553/1200=0.213%。

從網絡結構的角度分析，DenseNet的DenseBlock中的特征密集連接與特征復用是它相比于ResNet的優勢。ResNet的shortcut操作能夠學習到網絡的殘差，在網絡的層數較深時能夠保證網絡參數的學習更加流暢，有利于深層信息的傳遞與特征表達的學習。然而當前由于配準任務是較低層次的幾何任務，因此特征提取的深度較淺，在該情況下，筆者認為ResNet的密集連接并未能夠完全凸顯其優勢，而DenseNet的密集連接則能夠更加充分地對圖像低層次的特征進行表達，有助于后續匹配任務的進行。

為了進一步佐證DenseNet的顯著特征提取能力，將輸入圖像對的分辨率修改為600×600，考察配準結果。如圖9(a)和圖9(b)所示，將輸入的Wallerfing圖像縮放為600×600時，DenseNet-SNCNet依然具有良好的配準結果，而ResNet-SNCNet出現明顯的配準偏差，體現了DenseNet特征提取能力的優越性。

(3) 參數k對配準性能的影響

對于Wallerfing和舟山數據，采用DenseNet+SNCNet算法，在k值不同時，配準結果的APE和基于GPU的運算時間分別如表3和表4所示。

Wallerfing圖像中存在具有一定重復性的農田紋理，且地形較為復雜，配準難度較高；而舟山港口圖像中海域紋理比較單調，海岸線較為明顯，故配準難度相對較低。由表3可知，對于復雜的配準圖像，當k較大(例如16)時，4D稀疏匹配相關圖的冗余信息較多，由于當前訓練樣本較少以及稀疏匹配網絡結構設計較為簡單，網絡的配準性能相比于k較小時有明顯下降；對于配準難度較低的圖像對，k的選取對最終的配準性能沒有太大的影響。

圖9 600×600分辨率下，DenseNet-SNCNet和ResNet-SNCNet的配準結果Fig.9 Registration result of DenseNet-SNCNet and ResNet-SNCNet at 600×600 resolution

表3 k取不同值時，DenseNet+SNCNet配準結果的APE值Tab.3 APE of registration result by DenseNet+SNCNet with different k

表4 k取不同值時，基于GPU的DenseNet+SNCNet運算時間Tab.4 Time consuming of registration based on GPU by DenseNet+SNCNet with different k

由第3.3節對k近鄰特征稀疏匹配模塊的分析可知，單向近鄰相關圖存在k×m×m個非零相關值。理論上，由單向近鄰相關圖疊加后得到的4D粗匹配相關圖SRAB中的非零元素個數一般會隨著k的增加而增加。因此，稀疏匹配模塊的參數量會隨著k值的增大而增加，從而導致運算時間增加。由表4可知，k取16時的網絡前向推斷時間增加為k取2時的兩倍左右。為了減少算法前向推斷的時間，應盡量避免選擇過大的k。

綜上所述，為了提高算法的泛化性能，同時提高算法的運行速度，應盡量避免k取值過大，k的取值在2～10附近均較為合適。

(4) 特征匹配與過濾模塊的有效性

DenseNet+RANSAC是用于驗證特征匹配與過濾模塊有效性的對照實驗。從表2的APE值可以看到，利用DenseNet提取密集特征圖并按傳統方法基于歐氏距離度量進行次近鄰粗篩后，利用RANSAC迭代算法進行仿射參數求解的效果劣于前述方法?？赡艿脑蛟谟贒enseNet進行特征提取后得到的是特征圖的分辨率較低，利用傳統的后處理方法，僅根據最近鄰與次近鄰的距離比進行粗篩，難以取得較好的粗匹配效果，因此即使進行RANSAC迭代估計，最終的匹配效果也較差。

圖10 稀疏特征匹配過濾模塊的有效性Fig.10 Effectiveness of the sparse filter module

為了進一步直觀地體現特征匹配過濾模塊的有效性，對輸入特征匹配過濾模塊前后的特征點對匹配以及顯著特征點進行可視化。如圖10所示，經過特征粗匹配得到的連線較為雜亂(僅選取了一部分匹配點對進行可視化)，而經過稀疏卷積過濾后的置信度較高的特征點對匹配具有較好的全局一致性。如圖11所示，將特征匹配過濾模塊輸出的具有較高置信度的點對在圖中標出。亮度越高的地方代表匹配置信度越高。該結果驗證了本文算法能夠有效地提取出河流、河岸與海岸線等在極化SAR圖像配準任務中比較穩定的特征。

圖11 顯著特征點對的分布Fig.11 Distribution of salient feature pairs

(5) 算法時間分析

未進行算法并行化加速的SIFT類算法具有明顯的時間劣勢。傳統的SIFT與SAR-SIFT算法的流程是構建高斯差分金字塔與SAR-Harris金字塔，進行關鍵點精細搜索，構建關鍵點特征描述向量，對特征進行次近鄰篩選以及基于隨機抽樣一致性進行參數迭代估計。以SAR-SIFT為例，對于1200×1200的Wallerfing圖像，構建SAR-Harris空間耗費的時間為3.27 s，關鍵點搜索的時間為1.45 s，若限制輸入后續環節的關鍵點數目為500以下，則特征向量的生成時間為9.61 s，次近鄰篩選時間與RANSAC時間為5.46 s，最終得到的穩定匹配點對為28對，共耗時19.8 s。然而當關鍵點數目達到5000時，特征向量的生成以及匹配篩選的時間分別長達100.41 s與26.76 s，穩定匹配點對為90對，算法總體耗時為131.9 s。文中進行對比的SAR-SIFT算法所采用的關鍵點數目為500。

許多學者針對SIFT類算法在CPU上運算時間的劣勢，提出了基于GPU或多核DSP的加速算法，能夠獲得幾十的加速比，使得SIFT類算法的實時性得到了很大提升[23]。由此推算，即使在關鍵點數目較多的情況下，SAR-SIFT并行加速算法的速度也可降低至幾秒甚至一秒以內。

本文的算法采用了深度卷積神經網絡架構，計算過程具有較高的可并行性，因此在實際部署時若采用GPU則會大幅提高其運算速度。對于1200×1200大小的Wallerfing圖像，基于CPU的前向推斷的運算時間為27.09 s，而基于GPU的運算時間僅為0.9943 s。因此本文的算法即使在大場景條件下也具備較快的執行速度。此外，由于網絡的輸出結果為經過濾波后的所有匹配點對的置信度，篩選前N個穩定匹配點對的時間復雜度僅為O(N)，故本文算法增加穩定匹配點對的額外時間開銷較小。本文并未針對網絡結構進行模型壓縮，當前關于深度卷積神經網絡在移動端部署的研究也較為豐富，后續可以考慮利用模型蒸餾或參數壓縮等方法對網絡進行壓縮，從而實現網絡前向推斷速度的加快以及輕量級平臺上的部署。

總之，在用于匹配的特征點數適中的情況下，經過并行加速后的SIFT類算法相比于本文算法在理論上具有一定的時間優勢，但是本文算法也同樣具備較高的實時性以及潛在的算法加速的可能性，且增加匹配點對的額外時間開銷較小。

(6) 本文算法的適用條件

本文的算法適用于高分辨率且尺寸適中的圖像。極化SAR圖像成像分辨率較低時，訓練集與測試集的數據分布會具有較大差異性，配準性能可能下降；極化SAR圖像尺寸過小(例如500×500以下)時，16倍降采樣特征圖所包含的特征點過少，配準會失效。后續研究中，可以針對小場景圖像，重新設計網絡結構，提高輸出特征圖的分辨率，實現高分辨率下的特征匹配過濾，完成小圖像的配準。

本文的算法僅適用于全局仿射配準，不適用于更加精細、配準模型自由度更高的全局極化SAR圖像配準。本文的端到端極化SAR圖像仿射配準算法利用了稀疏卷積來降低網絡參數量，使得輸入圖像的尺寸可達1000×1000以上，在仿射配準的精度與速度上均與當前被廣泛采用的SAR-SIFT算法相近。然而仿射配準模型的全局自由度僅為6，對于極化SAR圖像配準任務而言，建模仍較為粗糙。本文算法基于16倍降采樣的特征圖進行特征稀疏匹配與過濾，映射至高分辨原圖的單點位置精度較低，而SAR-SIFT算法則對關鍵點進行精細插值定位?？梢灶A見，當配準模型較為復雜時，本文方法的精度相比于傳統的SAR-SIFT等算法具有一定劣勢。隨著顯卡的更新換代，未來可以嘗試通過對網絡結構進行改進，實現高分辨率圖像下的點對匹配，以完善上述缺陷。

5 結論

針對目前基于深度學習的極化SAR圖像配準算法需要對圖像進行手動切塊處理與參數迭代估計，致使流程較為煩瑣的問題，本文提出一種端到端的基于深度卷積神經網絡的極化SAR圖像仿射配準算法。該算法將特征提取與特征匹配過濾模塊整合在同一神經網絡框架中，基于弱監督學習實現了基于鄰域一致性的特征精細匹配。結合網絡輸出結果與帶權最小二乘法即可實現仿射變換參數的一步求解，無需參數的迭代估計，流程簡潔。實驗結果表明，該算法能夠有效地利用多通道的極化信息提取穩定的特征匹配點對；算法采用DenseNet作為特征提取結構，整體配準精度與傳統算法相近，在1200×1200的分辨率下，配準后的平均像素誤差距離低至2.5～6.2，全局平均像素誤差距離與邊長之比低至0.2%～0.5%；速度上，本文的算法能夠滿足海量數據的實際應用需求。此外，實驗利用了升軌和降軌、不同成像模式、不同極化方式、不同分辨率的SAR數據進行驗證，結果表明本文提出的方法在不同數據上具有良好的泛化性能。