基于二維局域波和角點匹配的多模態圖像配準

王小平，靜大海

（河海大學 計算機與信息學院，江蘇 南京 211110）

圖像配準目前一直是圖像處理和計算機視覺領域中的一個基本問題，如何度量兩幅圖像是否真正配準是圖像配準的一個核心問題，直接決定了是否可以進行全自動配準。

由于圖像是來自多種成像設備，所以多模態圖像的結構信息比單模態圖像更加豐富和全面[1]。但是在各種因素的影響下，使得精確配準多模態圖像變得十分困難。近年來，一些學者利用互信息方法把小波分解后剩余圖像進行配準，得到了較好的效果[2-4]。局域波分解是基于信號局部特征的分解，與小波分解相比局域波分解有更優的分解能力。另外角點是圖像中像素灰度值在各個方向變化非常高的點[5]，它是描述圖像的一個重要點特征。因此角點檢測是多模態圖像配準的優越算法，本文利用局域波分解后的剩余圖像，并以角點檢測作為圖像配準的測度，提出一種基于剩余圖像和角點檢測的自動點匹配的多模態圖像配準方法。以下將首先要描述角點檢測理論，二維局域波分解方法，然后將二者結合起來產生多模態圖像配準的新方法。

1 多模態圖像配準方法

1.1 基于角點檢測的自動點配準方法

圖像進行角點匹配首先要利用Harris算子進行檢測。Harris[5]算子是Harris C和Stephens M J提出的一種基于信號的點特征提取算子，是一種有效的點特征提取算子，在圖像處理中它對圖像旋轉、灰度變化、噪聲影響和視點變換不敏感，因此它也是比較穩定的一種點特征提取算子。

利用Harris算子對兩幅圖像進行檢測，檢測結果為2個角點集合，這兩個集合角點之間是多對多匹配的。這是一個初始匹配點集。利用互相關的方法來度量圖像A中角點p和圖像B中角點q的相似程度，其表達式為：

式中，μ1（μ2）是圖像 A（B）在點 p（q）附近的局部均值；δ1（δ2）是圖像 A（B）在點 p（q）附近的方差，r為角點鄰域半徑。IA與IB分別為圖像A與B的亮度函數。

為保證計算精確度的同時提高搜索速度，圖像A中的角點p取以p為中心，以為半徑的圓域為鄰域。在圖像B中找到一矩形搜索區域，該搜索區域的中心與A中p點具有相同坐標值。尺寸為2du×2dv。如圖1所示。利用式（5）計算矩形搜索區中每一角點q與圖像A中角點p的相似度。

圖1 互相關匹配中兩圖搜索區域Fig.1 Searching area of two pictures in cross-correlation

1.2 二維局域波分解

局域波分解[6]是把信號進行平穩化處理，產生了一系列具有不同特征尺度的數據序列——內稟模式函數（Intrinsic Mode Function，IMF）和一個剩余量，目前一維局域波分解方法包含了小波變換的多分辨率的優勢，同時又克服了小波變換需要選取小波基的困難，從信號本身的尺度特征出發對信號進行分解。鑒于一維局域波分解的成功應用，文中將它推廣到二維，提出了二維局域波分解并把它用于圖像處理中。

假設待處理的圖像為 F（x，y），對其進行局域波分解，首先利用形態學的方法對圖像進行濾波重建[7]，用連通結構元對圖像進行腐蝕，對那些沒有被完全腐蝕掉的部分進行重建恢復，對圖像進行求極值處理，然后將圖像兩個極值利用徑向基函數進行插值，生成極大包絡曲面和極小包絡曲面，對極大包絡曲面和極小包絡曲面求代數均值m（x，y），從圖像中減去極大極小包絡的代數均值，得到它們的差值，即：

但由于包絡均值這樣的近似，這一過程可被重復多次，第二次篩選是需要以h1（x，y）作為待處理數據：

當進行到第 k 次，于是:h1（k-1）（x，y）-m1k（x，y）=h1k（x，y）=D1（x，y）。

式中D1（x，y）就是從原始信號中獲得的第一個局域波分量。如果 2 個連續分解向量 h1k（x，y）與 h1（k-1）（x，y）之差小于一定閾值則可停止分解:

總的來說，D1（x，y）中應包含原始信號中最短的周期分量，即信號尺度最小的部分。把從原始圖像信號F（x，y）中分離出的信號R1（x，y）作為新數據進行處理，其中:

顯然，R1（x，y）中包含信號中較大尺度的部分，依次繼續篩選下去

這時就有

式中：Di（x，y）是第 i個 IMF（細節圖像），Rn（x，y）是 n 次分解后所得的剩余圖像。Di（x，y）是尺度分離后得到的尺度由小到大的較小尺度細節信息，Rn（x，y）則包含了原圖像的輪廓部分，它表達了圖像的基本結構、基本變化趨勢部分。

1.3 基于局域波和角點檢測的配準方法

1.3.1 算法的理論解析和論證

文中首先得到兩幅圖像的初始匹配點對，用（pAi，qBj）表示這些匹配點，其中pAi表示A圖像上的第i角點，qBj表示B圖像的第j角點，接著，以點pAi和qBj為中心，R為半徑，定義2個鄰域 N（pAi）和 N（qBj）。 如果匹配點對（pAi，qBj）是正確并且唯一的。 那么就有更多的匹配點對（nˉAk，nˉBl）出現在這兩個鄰域中，其中nˉAk∈N（pAi），nˉBl∈N（qBj），且點nˉAk與點 pAi的位置關系應相似于點nˉBl和 qBj點的位置關系；如果（pAi，qBj）不匹配，那么領域 N（pAi）和點 N（qBj）只有很少的匹配點存在，甚至沒有。根據以上的匹配理論，為了得到精確的匹配結果，本文用支持強度來描述匹配過程，其表達式為：

式中 cij為匹配點對（pAi，qBj）相關匹配值，ckl為（nˉAk，nˉBl）相關匹配值。利用式（1）計算出相關匹配系數，用dist定義這2個點對的平均距離：

式中 d（p，nˉ）是在歐式空間下點 p 與nˉ的距離。 式中 ρ的表達式為：

εγ為距離偏差閾值的相對值，利用式（6）可將任意一個初始匹配點的匹配強度計算出來。但是，這種方法會有一個強度不對稱的問題出現，即 sup（pAi，qBj）≠sup（qBj，pAi）。 比如，在領域N（pAi）存在多個角點與領域 N（qBj）內的某一個角點匹配，則不對稱問題就會出現，因此要采用雙向匹配以提高配準精度。

式中γ是2個點的距離偏差相對值，其表達式為

1.3.2 算法的流程

利用上面所述方法，對兩幅圖像初始匹配點對的匹配強度進行計算。具體方法及實現步驟為：1）定義兩個變量currentnum和next-num來判斷循環條件；2）先設current-num=nextnum；3）定義一個結構類數組match-array，這個結構類中包括索引index和值value 2個變量。再定義一個變量first-maxsum，把初始匹配點集中的索引值和first-maxsum保存在結構數組match-array中；4）定義另一個變量second-maxsum，令

把sum-second值和這時的索引值保存在一個與matcharray一樣的數組unam-match的value中；5）如果first-maxsum的值大于0，則轉向步驟3）和4）執行，此時，最大強度匹配點必須從初始匹配點集中分離出來。6）此時，數組array-match和unam-match就包含了圖像的匹配點對的索引和匹配強度。數組array-match中的value值是從小到大的順序排列的，但數組unam-match不是這樣，因此必須對它進行從新排列，按從大到小的順序；7）截取數組array-match和unammatch得到新的數組。匹配這兩個新數組，如果發現在arraymatch中的某個索引在與unam-match中的索引相等的情況一次，在數組believe-match中保存該索引對應的初始匹配點，并將current-num值加1；8）比較next-num與current-num，如果next-num小于current-num，則轉向步驟2）～7）。通過以上計算，最終可以將一一對應的匹配點對從初始匹配點中提取出來。

2 實驗結果

為了驗證文中所提出的配準方法，對典型的多模態圖像進行了實驗。以下給出實驗示例。

實驗1：圖2是紅外圖像與可見光圖像的配準實驗。圖2（a）是可見光圖像，其尺寸為300×300，即圖像每行有300個像素點，共有 300行；圖 2（b）是紅外圖像，其尺寸為 233×233；（a）、（b）之間的變換參數是已知的，旋轉參數是 20°，縮放參數是0.6。以圖2（b）為參考圖像進行配準，得到的配準結果如圖 2（c）所示。

表1 各階段角點數目表Tab.1 Number of corner points at every stage

圖2 紅外與可見光圖像的配準實驗Fig.2 Matching experiment of infrared and visible light picture

3 結 論

文中利用局域波圖像分解后的剩余圖像，提出了一種基于剩余圖像和角點檢測的自動點匹配的多模態配準方法，在整個點匹配算法中不同階段采取不同策略，縮短運行時間，保證計算精度。算法充分利用了剩余圖像的灰度信息和角點位置信息，但沒有利用到形狀等區域信息和光譜信息，因此，存在大范圍噪聲的圖像對本文的計算有一定的干擾，會增加計算量。在以后的工作中需要改進以進一步提高運算速度和準確率。

[1]倪國強，劉瓊.多源圖像配準技術分析與展望[J].光電工程，2004，31（9）:1-6.

NI Guo-qiang，LIU Qiong.Analysis and prospect of multisource image registration techniques[J].Opto-Electronic Engineering，2004，31（9）:1-6.

[2]Quddus A，Basir O.Wavelet-based medical image registration for retrieval applications[J].Proceeding of IEEE International Conference on BioMedical Engineering and Informatics，2008，2（5）:301-305.

[3]劉丁，劉涵，王飛.基于最小二乘支持向量機的圖像配準研究[J].儀器儀表學報，2008，29（1）:124-129.LIU Ding，LIU Han，WANG Fei.Image registration based on least square support vector machine[J].Chinese Journal of Scientific Instrument，2008，29（1）:124-129.

[4]姜曉彤，羅立民，趙正旭.一種改進的基于互信息和梯度特征的圖像配準方法的研究[J].儀器儀表學報，2006，27（9）:1141-1146.

JIANG Xiao-tong，LUO Li-min，ZHAO Zheng-xu.Improved image registration by combining mutual information and gradient information[J].Chinese Journal of Scientific Instrument，2006，27（9）:1141-1146.

[5]Harris C，Stephens M.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference，1988:147-151.

[6]ZHAO Jun-long，MA Xiao-jiang，BIE Feng-feng.Fault early diagnosis of rolling element bearing based on local wave method and cyclostationarity analysis[C]//7th International Symposium on Test and Measurement，2007:3922-3925.

[7]辜小花，龔衛國，楊利平，等.核保局鑒別人臉識別算法[J].儀器儀表學報，2010，31（9）：2016-2021.

GU Xiao-hua，GONG Wei-guo，YANG Li-ping，et al.Kernel locality preserving discrim inant analysis for face recognition[J].Chinese Journal of Scientific Instrument，2010，31 （9）:2016-2021.

[8]Kern J，Pattichis M.Robust multispectral image registration using mutual information models[J].IEEE Transactions on Geoscience and Remote Sensing，2007，45（5）:1494-1505.

[9]王富治，黃大貴.基于圖像差分的精密畸變校正研究[J].儀器儀表學報，2010，31（2）：377-382.

WANG Fu-zhi，HUANG Da-gui.Accurate distortion correction studybaseondifferentialimages[J].ChineseJournalofScientificInstrument，2010，31（2）:377-382.