基于自適應混合多項式變換的圖像配準

閔超波

河海大學常州校區 物聯網工程學院，江蘇 常州 213000

1 引言

近年來，紅外與可見光圖像融合在機器視覺[1]、輔助駕駛[2]與夜視偵查[3]等領域得到了廣泛的應用。而圖像融合中首要前提為圖像配準。配準的目的在于精確估計出待配準圖像之間的空間變換模型，以使圖像所有像素對齊。如果沒有高精度圖像配準，多模圖像融合無法實現。但是，多模圖像采集相機參數的不同以及圖像灰度分布的差異，大大增加了圖像配準的難度，因此多模圖像配準一直是研究的熱點。本文主要研究紅外與可見光圖像配準。

圖像配準可以等價為數據擬合問題。待配準圖像之間對應特征是已知數據點，空間變換模型為擬合函數，待配準圖像之間的距離度量為擬合準則。在已知數據點的基礎上，只要尋找可以使距離度量達到最小值的擬合函數參數，即可估計出最優變換模型，實現配準。因此，圖像配準主要有兩個關鍵點：（1）距離度量準則；（2）空間變換模型。

距離度量準則用于測量待配準圖像之間的距離，本質上是無先驗知識地量化配準精度?；バ畔ⅲ∕utual Information，MI）[4]是一種常用的度量準則。但是，由于基于MI的度量準則所依賴的假設是待配準圖像具有相似的灰度統計概率分布，因此使得MI 準則無法在具有很大灰度分布差異的紅外與可見光圖像上獲得良好的度量精度。為克服上述缺陷，出現許多基于特征的度量準則，例如2 范數損失準則[5]、最小2 范數估計準則（L2E）[6]和正則高斯場準則（RGF）[7]。這些度量準則需要提取圖像中點、線或面作為匹配特征，以測量圖像之間距離[8]。因此，紅外與可見光圖像中匹配點提取的準確性直接決定了特征度量精度。

空間變換模型其本質是坐標映射函數，主要用于表示待配準圖像之間形變模式。仿射變換[9]是典型的線性模型，但無法處理實際應用中圖像之間形變的各向異性問題。所以學者們提出了許多非線性變換模型，例如B樣條（B-spline）模型[8]、薄板樣條（Thin-Plate Spline，TPS）模型[10]以及基于再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）的變換模型[7]。這些模型可以利用控制點局部特征描述非線性形變的模式，但是缺點在于過分依賴控制點的選擇，導致性能不夠穩定，模型泛化能力不強[11]。

針對上述問題，本文主要工作分為兩個方面。首先，提出了一種多模圖像之間相似性的特征表達——高斯加權形狀上下文（Gaussian Weighted Shape Context，GWSC），旨在提升多模圖像之間點匹配精度。其次，提出了自適應混合多項式變換（Adaptive Polynomial Mixture Transformation，APMT），用于描述紅外與可見光圖像之間非線性形變的全局規律性，降低非線性空間變換對控制點的依賴，增強變換效果的穩定性。本文所提出的配準方法（GWSC-APMT）其核心思路為：從由GWSC提取出的紅外與可見光圖像之間匹配點集中，估計出最優的APMT模型參數，實現圖像全局配準。實驗表明：相比于同類配準方法，GWSC-APMT 在配準精度與速度上都具有一定優勢和競爭力。因此，可以有效提升圖像融合系統的可靠性。

2 基于GWSC的匹配點提取

2.1 配準問題描述

空間變換模型表示為φc，c是相應的變換參數向量。配準目的是從匹配點集F中估計出最優的變換參數c，而這一過程可以看成是解優化問題，因此建立能夠在無先驗知識情況下量化配準精度的目標函數非常重要。

由于高斯場模型始終連續可微，并且可以較快地收斂于全局最優解。因此，利用高斯場來構建如下目標函數：

其中，(rk,sk)∈F，‖ ? ‖ 表示2范數，σe是目標函數尺度參數，S(c)是用于控制空間變換幅度的穩定項，λ∈? 是歸一化權重系數，用于調節目標函數中第二項的比重。

2.2 GWSC

從式（1）可以看出，匹配點集的精度決定了目標函數的性能，錯誤的點匹配會增加目標函數度量待配準圖像之間距離的誤差。紅外與可見光圖像之間灰度分布差異與特征的不對應性也會大大增加點匹配的難度，因此針對以上問題，提出一種可以用于描述多模圖像之間結果相似性的特征——GWSC。

傳統的基于形狀上下文（Shape Context，SC）特征[12]的相似度定義如下：

其中，q和bi都表示同一幅圖像中的邊界點，q,bi∈?2×1。Cs實質是可以表示紅外與可見光圖像邊界點之間對應關系的屬性矩陣，其中元素值越低，則表示相應的紅外與可見光邊界點越相似。

SC 在紅外與可見光圖像之間點匹配上經常失效，究其原因在于紅外與可見光圖像之間存在畸變或者丟失的邊界，如圖1所示?？梢姽鈭D像中邊界點A的實際匹配點為C，但是利用SC卻錯誤地將B點認作A點的匹配點。從圖1中A、B和C點的局部放大圖中可以看出原因：與點A鄰域中邊界結構相比，點C周圍的兩條邊界間距更寬，出現了明顯的形變；而與點C相比，點B鄰域的邊界結構與A點更為相似。在SC計算半徑為10個像素的情況下，點A與B之間的SC相似度為0.241 2，而點A與C之間的SC相似度為0.270 9。因此，認為SC度量的結構相似性是符合點的局部特征的。但正是由于其只關注點的局部特征，導致了圖1中出現的誤匹配。

圖1 利用SC在紅外與可見光邊界圖中進行點匹配

要解決上述問題，就要進一步增加具有一定相似度但不是真正匹配的點對（類似圖1 中的點A與點B的情況）之間差異。有兩種解決方法：（1）擴大SC 特征的度量范圍，但是如果提高SC 特征計算半徑會增加很多計算量；（2）在SC 相似性度量中加入全局特征，避免局部特征的局限性。

因此，在SC的基礎上，定義了新的結構相似性特征GWSC的屬性矩陣：

其中，Wr、Wv和Wrv稱為歸一化高斯加權矩陣，其定義如下：

其中，i,l∈ {1,2,…,I} ，j,u∈ {1,2,…,J} ，εs,εrv∈ ?+分別是控制鄰域大小的尺度系數，ωr、ωv和ωrv分別為三個高斯加權矩陣的歸一化系數：

Dr=分別為Wr和Wv的對角度矩陣。?表示矩陣哈達瑪積（Hadamard product）。

式（4）括號項用于計算紅外與可見光圖像中多有邊界點對鄰域之間的平均SC相似度，在不增加SC計算半徑的情況下，利用高斯模型擴大SC 特征的度量范圍。Wrv表征了所有的邊界點對之間的相對距離，其作用是引入假設：紅外與可見光圖像中實際匹配的兩點相距不會太遠。而在實際應用中，只需粗略地調整紅外與可見光相機的光軸使其盡量平行并靠近，就可以使上述假設成立。因此Wrv目的是在結構相似性度量中引入全局特征，避免只考慮局部特征所導致的誤匹配。Cg為反映邊界點對應性的屬性矩陣，Cgij越低，表示兩個邊界點和越相似。

2.3 匹配點集的提取

對于點匹配算法而言，將屬性矩陣抽象為二部圖，就可以利用二部圖匹配算法（如匈牙利算法）來確定點集之間最大匹配。但是，傳統的點匹配不適用于圖像配準。首先，實際圖像中邊界點數量很大，會使二部圖匹配算法計算量大大增加。其次，圖像配準也不需要紅外圖像中所有邊界點都找到其對應的可見光邊界點，只需提取其中一部分匹配點對，使目標函數可以準確度量配準精度即可?；谝陨戏治?，設計了一種利用GWSC的點集快速匹配算法，如算法1所示。

算法1基于GWSC的點集快速匹配

輸入：待配準的紅外與可見光圖像，參數εs和εrv

輸出：匹配點集F

1.利用Canny 邊緣檢測器提取紅外與可見光圖像中邊界，生成邊界點集；

3.找出Cg每一行最小值，將對應下標放入集合Mv，進而生成初步匹配點集；

4.找出Cg每一列最小值，將對應下標放入集合Mr，進而生成初步匹配點集；

算法1結構簡單，提取相似度相對最高的點作為匹配點對，可以有效降低誤匹配出現的概率。另外，算法1中從屬性矩陣中提取匹配點（即步驟3～5）的時間復雜度為O(IJ)，而較為高效的匈牙利算法時間復雜度為O((I+J)IJ)。

3 APMT模型估計

3.1 APMT模型

平行光軸是目前紅外與可見光圖像融合系統最常用的光機結構。因此，造成紅外與可見光圖像之間形變的可能原因包括：相機之間的相對距離、紅外與可見光鏡頭參數差異、探測器參數不同等。事實上，上述這些因素都具有規律性，即服從某種規律模式。所以，假設待配準紅外與可見光圖像之間形變模型是由多個規律模式混合而成。

令rk=[x,y]T表示匹配點集中紅外邊界點的二維坐標，表示rk經過空間變換的映射坐標，APMT模型可以寫為如下形式：

其中，αi,j，βi,j∈? 為變換系數，n∈?+表示APMT模型的階數。所有的αi,j和βi,j分別組成np×1(np=n(n+3) 2)維的系數向量α(n)和β(n)。

由式（7）可以看出，APMT 模型由多個多項式變換混合而成，因此可以在不使用控制點的情況下有效表征圖像形變復雜的非線性規律模式。并且將多項式的階數進行參數化，使APMT模型可以根據圖像形變非線性程度的不同進行調整，以表征多樣的形變模式，提高變換模型的魯棒性和泛化能力。

APMT模型變換方程的矩陣形式如下：

將式（8）代入目標函數（1）中，就得到目標函數最終形式：

其中，tr(?)表示矩陣的跡。式（10）中穩定項可以描述變換系數變化幅度，當幅度過大時，對目標函數給予懲罰，以此防止變換模型出現突變。

3.2 優化

很明顯，基于高斯場的目標函數（10）關于變換系數是連續可微的，因此可以寫出對應的導數：

利用目標函數的一階導數，目標函數的解優化就可以通過擬牛頓法來實現。同時，希望APMT模型的階數也可以通過循環優化而確定。因此，一種分段優化策略被用于模型參數的估計，具體流程如算法2所示。

算法2APMT模型估計

輸入：匹配點集F，參數σe和λ

輸出：最優階數n，最優變換系數矩陣c(n)

1.初始化n=1，c(n)=0；

2.對F中構建混合多項式向量集合；

3.以c(n)為初值，利用擬牛頓法對目標函數(10)解優化，解出現階段最優參數向量cs；

4.令n=n+1，并利用cs初始化c(n)；

5.重復步驟2至5，直到目標函數值開始上升為止；

6.當前階數n就是最優階數，當前cs即為最優變換系數矩陣c(n)。

由于圖像配準可以被看成為數據擬合問題，因此算法2 本質就是近似逼近的過程。由于APMT 模型實質是多個不同階數多項式的自由組合，如果直接使用高階的APMT 模型進行優化，則有可能出現龍格現象，即擬合出的高階變換模型出現很大偏差。出現龍格現象的原因在于高階APMT模型會放大初始誤差，導致由目標函數導數（11）所確定的優化方向產生較大偏差。但是，低階的APMT 模型常常無法準確表征待配準圖像之間復雜的非線性形變規律。

算法2 可以很好地解決上述問題。根據APMT 模型的階數將整個優化過程分段，先使用低階模型對目標函數進行擬牛頓法的優化，然后逐步提高模型階數，令低階模型優化所得的變換參數作為下一階段高階模型優化的初值，這樣就降低了高階模型優化時的初始誤差，可以減弱龍格現象的影響。上述過程不斷迭代優化，直到目標函數值開始上升，則表明此時的APMT 模型階數已到達最佳值，如果再增加就會使模型出現較大偏差，因此終止優化過程。所以針對不同的待配準圖像，利用算法2可以解出最適合表征其形變非線性程度的階數，同時確定最優的變換系數。

為了得到紅外圖像中所有像素的變換映射坐標，需要首先對所有像素計算其對應的混合多項式向量，組成向量集（U為紅外圖像像素總數）。然后將和算法2 所得的最優變換系數矩陣代入式（8），就得到圖像全局變換的結果。另外，由于變換圖像中可能會出現一些空白區域，因此還需使用圖像插值算法（例如雙線性插值）進行填補，以獲得最佳的變換圖像。

3.3 計算復雜度分析

從目標函數（10）與其對應導數（11）可知，其時間復雜度為O(Knp)，利用擬牛頓法解2×np維系數矩陣c(n)的時間復雜度為，因此APMT模型估計總的時間復雜度為由于在計算時需要存儲和c(n)，因此空間復雜度為O(Knp+np)。

4 實驗與分析

4.1 數據集

本文使用真實的紅外與可見光圖像對方法進行測試。這些圖像選自CVC 數據庫[13]。從后續定性實驗中可以看出，本文使用的紅外與可見光測試圖像具有很大的灰度分布差異，這增加了匹配點對提取的難度。并且，為了測試配準性能，還增加了紅外與可見光圖像之間非線性形變的程度。因此，使用本文中的測試圖像可以充分評估GWSC-APMT 的效果。另外，本文所使用數據集圖像平均分辨率為424×384。

圖2 利用SC、RISC和GWSC進行點匹配的定性結果

4.2 參數設置

本文所提出GWSC-APMT 方法共包含4 個設置參數：εs、εrv、σe和λ。εs和εrv是GWSC中控制鄰域大小的尺度系數。εs用于調節平均SC 相似度作用范圍，而εrv可以控制紅外與可見光邊界點之間相對距離對相似度計算的影響程度。σe用于調節目標函數中距離度量的尺度，λ用于控制穩定項在目標函數中所占比重。經過反復實驗，確定了最佳參數配置：εs=80，εrv=300，σe=6和λ=0.02。這組參數配置在本文實驗中保持不變。

另外，本文實驗是在具備4核CPU（3.9 GHz）、4 GB內存的計算機上運行，且所有方法都使用Matlab 實現。需要特別指出的是，參與對比的其他方法的源代碼由其作者提供，相應參數設置與原論文中一致。

4.3 GWSC點匹配測試

為了評估GWSC的有效性，將其用于紅外與可見光圖像中點匹配，并與原始SC 和旋轉不變SC（Rotation Invariant SC，RISC）[14]進行對比。手動選取21組紅外與可見光圖像之間的匹配點，構建真實匹配點集，在此基礎上使用不同方法對其進行點匹配。另外，為了更準確地測試相似性特征的性能，對SC、RISC 和GWSC 所生成的屬性矩陣，統一使用匈牙利算法進行二部圖匹配。需要指出的是本文中SC特征的計算半徑為10個像素。

部分點匹配的定性實驗結果如圖2 所示。由于在真實匹配點集上進行點匹配，因此可以將點匹配結果的召回率作為定量評價準則，如圖3 所示，其中SC、RISC和GWSC 分別表示三種特征+匈牙利算法的點匹配方法?？梢钥闯?，SC、RISC 和GWSC 平均召回率分別為0.541 1、0.404 6 和 0.871 4，GWSC 具有最高的召回率，這與定性實驗結果非常吻合。實驗說明了GWSC 的有效性，相比于SC，GWSC可以提升約61%的匹配精度。

圖3 利用SC、RISC和GWSC進行點匹配的定量結果

也測試了三種特征進行點匹配的運算時間。在本文數據集上，SC和RISC的平均運算時間分別為2.33 min和2.68 min，而GWSC 的運算時間為0.47 min。這說明了相比于SC和RISC，GWSC屬性矩陣所對應二部圖中增廣路徑的數量最小，從而使匈牙利算法的運行時間最短。增廣路徑數量少代表GWSC 屬性矩陣中不同點對之間相似度差異大，證明了GWSC可以增大不匹配點對和匹配點對之間的區別。

另外，還將GWSC+匈牙利算法的點匹配召回率與GWSC+快速匹配算法（即算法1，GWSC-fast）的結果進行對比。從圖3可以看出，快速匹配算法非常接近匈牙利算法的點匹配精度，平均召回率為0.870 1，且快速匹配算法平均運算時間僅為0.061 1 min。因此可以說明與匈牙利算法相比，快速匹配算法可以在保證匹配精度的同時，大大降低運算時間。

圖4 展示了使用算法1 從邊界點中提取匹配的實例，可以看出所提取出的匹配中絕大部分是符合真實情況的。因此利用算法1 所提取的匹配點集可以保證目標函數量化配準效果的準確性。

圖4 利用算法1提取匹配點集的實例

4.4 圖像配準對比測試

為了評估GWSC-APMT 配準方法的性能，在真實的紅外與可見光圖像上進行配準測試，并且與目前公認效果較好的基于特征的配準方法進行對比，包括CPD[15]、MR-RPM[14]、RGF[7]、RPM-L2E[6]和 SC-TPS[12]。需要特別指出的是，上述方法都是采用基于控制點的空間變換模型。為了公平，所有方法都是在由算法1提取出的匹配點集上進行模型參數的估計。定性配準效果如圖5 所示，其中為了更好地展現圖像配準效果，每組配準結果第一行為邊緣配準圖，藍色為紅外邊界，紅色為可見光邊界，第二行為經算法配準之后的紅外與可見光圖像的融合圖。

另外，為每組待配準紅外與可見光圖像手動建立了真實匹配集，計算配準結果的召回率，實現量化評價?？紤]一個真實匹配(rt,st)，邊界rt經空間變換之后映射點為r?t。如果歐拉距離小于設置的精度閾值（例如4個像素），則認為邊界點rt與st被正確配準。因此，召回率其實質是被正確配準的真實匹配數量與真實匹配總數之比。定量對比結果如圖6所示。

圖5 圖像配準定性對比結果

圖6 圖像配準定量對比結果

首先，因為所有配準都是基于算法1 所提取的點集，所以定性實驗結果說明算法1可以提取出足夠的特征來實現準確的圖像配準，同時也再次證明了GWSC的有效性。

其次，從定性對比實驗結果可以明顯看出，相比于其他方法的配準效果，GWSC-APMT的配準中畸變與誤差都明顯減少，并且配準的整體精度更高，這些與定量實驗的結果非常一致。從圖6 可以看出，多數情況下，本文方法召回率曲線都在其余方法之上，總平均誤差為2.56像素，而SC-TPS、RPM-L2E、RGF、MR-RPM 和CPD的平均誤差分別為10.08、6.22、3.91、12.13、5.55 像素。本文方法具有較高配準精度的原因在4.6節中詳細討論。

在數據集中測試了本文方法所需的4 個配置參數對配準精度的影響，結果如圖7所示。對其進行分析可知：當GWSC的尺度系數εs和εrv較小時，由于SC的作用范圍沒有得到明顯擴大，點集之間相對距離對GWSC特征的影響也很小，因此導致配準精度不高；而當SC作用范圍過大，或點集相對距離的影響過度時，也會增加相似性度量的干擾，降低GWSC 的精度，進而影響配準效果。從圖中可以看出，εs=80、εrv=300、σe=6 和λ=0.02 的參數配置可以使圖像配準精度達到最優。

4.5 算法運行時間測試

首先，測試利用GWSC提取匹配點的計算時間。對于分別包含1 000 個點的兩個點集，利用GWSC 與匈牙利算法的組合從中提取匹配點需要約10 min，而同樣條件下，使用算法1 則只需1.31 min，結果與2.3 節中兩種方法時間復雜度分析是吻合的。這說明了與匈牙利算法相比，本文所設計的快速匹配方法可以降低86.9%的點匹配運算時間。顯然，正因為GWSC 特征足夠精確，所以使用較為簡單快速的算法就可以實現高精度的點匹配。

圖7 不同參數配置對圖像配準精度的影響

其次，比較RGF 和本文方法的模型估計時間。在本文數據集上，RGF 中模型估計平均時間為36.81 s，本文方法中APMT模型估計時間為5.91 s。RGF中模型估計的時間復雜度為O(K2N0)[7]，其中N0為控制點數量，一般N0=15。根據3.3 節，APMT 模型估計時間復雜度為O(Knp+)，從本文實驗結果來看，所解出的最高階數為3，因此np最大取值為9。所以，運行時間測試結果與時間復雜度分析一致。并且從中可知，RGF中使用所有的邊界點對去定義目標函數，而本文方法使用匹配點對來建立目標函數，因此大大降低了目標函數的計算量。

在本文數據集上，本文方法配準分辨率424×384圖像需要約1.44 min的運算時間。

4.6 分析與討論

從定性與定量實驗結果可以看出，所提出APMT模型與目前常用的非線性變換模型最大區別為：APMT模型可以在不使用控制點的情況下，精確地描述圖像之間非線性形變規律?，F有的基于控制點的非線性模型（如TPS模型、B-spline模型和基于RKHS模型等）是利用分布在圖像不同區域的控制點來描述待配準圖像之間復雜的非線性形變模式，因此其變換參數是在各個控制點鄰域內部進行優化，對于圖像中遠離控制點的像素來說，相應的配準效果可能出現退化，所以控制點的數量與分布都會影響這些變換模型的配準精度。針對不同圖像場景，最優控制點的選擇也可能不同，這種不確定性會限制這些模型的魯棒性與泛化能力。本文所提出的APMT模型不需要使用控制點，其變換參數是在圖像全局范圍內進行優化，因此具有更高的魯棒性與泛化能力。同時，APMT模型其本質為多種非線性模型的自由組合，因此能夠表征圖像之間非線性形變的整體規律，并且應對不同程度的非線性形變。

其次，低階多項式可能無法表征復雜的非線性形變模式，高階多項式也有可能導致龍格現象的出現。而APMT模型與分段優化策略配合，可以針對不同圖像形變程度解出最優的多項式階數，避免了多項式階數過低或過高的情況，這也大大提高了所提出方法配準效果的穩定性。

另外，本文提出方法缺陷在于對邊界特征的依賴，對于邊界紋理很少的場景配準效果可能會退化。因此下一步研究方向為尋找更加魯棒的匹配特征，以提高算法適用范圍。

5 結論

本文針對紅外與可見光圖像配準，提出了GWSCAPMT 方法。首先針對SC 的缺陷，設計了一種可以度量多模圖像之間結構相似性的特征GWSC。其次，建立APMT 模型以準確描述圖像之間非線性形變的規律模式。最后，利用分段優化策略，從由GWSC 提取出的紅外與可見光圖像之間匹配點集中，估計出最優的APMT模型。各項實驗表明，與同類配準方法相比，所提出方法能使配準精度提高34.5%，并降低83.9%的運行時間。