基于改進SIFT的視頻超分辨率重建快速配準算法研究

郭 黎，廖 宇,陳為龍

(1.湖北民族學院 信息工程學院，湖北 恩施 445000;2.四川大學 電子信息學院圖像信息研究所，四川 成都 610065)

近年來，隨著視頻通信、圖像處理、模式識別以及計算機視覺等多學科的迅速發展，人們獲得的圖像信息呈爆炸式的增長.為了更好地利用圖像信息為人類提供服務，人們對提高圖像分辨率、改善圖像質量的要求越來越高.從多幀具有相似性的低分辨率圖像序列中，獲取因相對位移而形成的互補信息，恢復出圖像在成像過程中丟失的高頻細節，并最終重建出具有更高時空分辨率圖像的技術統稱為超分辨率重建技術.目前，超分辨率重建技術在航拍、醫療、公共安全等領域已得到了廣泛的應用.

圖1 圖像降質模型

1 低分辨率圖像觀察模型

造成圖像降質的原因很多，且原理復雜，通常情況下，用f(ε,η)和g(x,y)分別表示真實場景及其對應的降質圖像，近似地描述線性系統降質模型如圖1.其中h(x,y,ε,η)代表成像系統的點擴展函數(pointspreadfunction,PSF)，也就是通常所說的系統二維沖擊響應函數；n(x,y)為退化過程中的干擾噪聲.以相加的方式進入系統的噪聲，稱之為加性噪聲；以相乘的形式出現，則稱之為乘性噪聲.

I代表真實場景空間，將圖1用數學表達式表示為：

(1)

若成像系統的點擴展函數h(x,y,ε,η)與真實場景中各點位置無關，只與真實場景和降質圖像之間的相對位置有關，則式(1)可進一步寫為：

(2)

此時的h(x,y,ε,η)稱為位移不變點擴展函數，與之對應的圖像降質模型則稱為線性空間平移不變退化模型.圖像重建的目的即是在盡可能準確地對h(x,y,ε,η)及n(x,y)進行盲估計的前提下，由已知的低分辨率圖像g(x,y)，根據f(ε,η)的先驗信息，對原始高分辨率圖像做出最近似的恢復.

2 像配準的基本原理

實現圖像超分辨率重建算法的前提是對圖像序列之間的運動進行估計，即圖像序列的配準.運動估計準確與否直接影響重建圖像的效果，因此圖像配準問題是超分辨率重建技術的基礎.

假設I1(x,y)、I2(x,y)分別表示待配準圖像和參考圖像在(x,y)處的灰度值，則圖像I1、I2之間的配準關系可表示為：

I2(x,y)=f2(I1(f1(x,y)))

(3)

其中，f1代表二維的幾何變換函數，f2表示一維的灰度變換函數.

配準的主要任務即是求解最佳的空間變換關系f1與灰度變換關系f2，使兩幅圖像對準.由于空間變換是灰度變換的前提，且在一些情況下灰度變換關系并不是被關注的重點，因此尋找空間幾何變換關系f1便成為了配準的關鍵所在，圖像I1和I2的配準關系被簡化為：

I2(x,y)=I1(f1(x,y))

(4)

3 像配準方法的分類

圖像配準是超分辨率重建技術的基礎，在圖像處理的其它領域也受到了廣泛的關注，如視頻壓縮編碼、圖像拼接等.迄今為止，在國內外圖像處理研究領域中，已經有不少的圖像配準算法，它們具有各自的特點，并適用于某類特定場景.圖像配準方法的分類標準有很多，可以按圖像空間維數分類、按配準過程中的交互性分類、按空間變換模型分類等.下面分別介紹圖像配準方法中的空間變換模型和變換域模型.

3.1 空間變換模型

兩幅圖像之間的空間幾何變換函數f可用空間變換模型進行描述.空間變換模型主要分為相似變換、仿射變換、投影變換和非線性變換四類.在圖像應用中，非線性變換是最符合實際的理想模型，但由于其變換復雜、實現代價大，目前對于非線性變換的相關研究還比較少.相似變換、仿射變換和投影變換又統稱為線性變換.針對圖像之間不同的變換方式，需要選取合適的參數模型加以描述.

假設I1和I2是相關聯的兩幅圖像，即圖像I1可以經過運動變換到圖像I2，(xi,yi)和(ui,vi)分別為圖像I1和I2中相對應的像素點位置，則這兩幅圖像之間的運動關系可表示為：

(ui,vi)=f2(p,xi,yi)

(5)

其中p為運動模型的參數集，f1和f2是參數模型表達式.

3.2 變換域模型

3.2.1 頻域法 頻域運動配準方法是利用圖像頻譜相位差進行運動估算，包括傅立葉變換域方法和離散余弦變換域方法等.基于傅立葉變換域方法的空間局域性較差，可以采用空頻域方法進行從粗到細的運動估計，如基于小波的運動模型、空時域連續小波變換以及復小波變換方法等，這類方法也被稱為空頻域法.

3.2.2 空域法 空域配準方法主要包括基于特征的運動配準方法、基于光流的運動配準方法、基于塊匹配的運動配準方法、基于最大后驗概率的運動配準方法以及基于泰勒級數展開的運動配準方法.

為了克服泰勒級數展開時對于旋轉角度的范圍限制，使得配準算法在大角度運動情況下仍能獲得較好的配準，因此通常沒有將旋轉角度參數直接引入到運動變換模型中.

4 一種用于視頻的改進快速SIFT配準算法

相鄰幀之間的運動配準是單視頻超分辨率重建算法中的一個至關重要的步驟，運動配準算法的準確性將會直接影響到超分辨率重建視頻的質量，而運動配準算法的速度則將會對超分辨率重建算法的實時性能產生影響.

從以前的實驗中發現，采用傳統SIFT進行運動配準時間花銷很大，無法實現實時性的要求，而其中最大的計算開銷就在SIFT中128維的特征描述子向量的計算上.并且，在多對一的歧義消除中，還發現利用特征描述子的歐式距離的消除法出現了錯誤選擇.因此，要想對算法的效率進行大的優化，就必須從特征描述子進行改進.

目前圖像的配準主要有四個步驟:SIFT特征點檢測，初始配對，歧義誤匹配消除和變換參數矩陣計算.其中，除了變換參數矩陣計算之外，其余的都用到了SIFT算法的特征描述子.

特征描述子是一個128維的歸一化向量，能夠表達豐富的圖像梯度信息，總共包含了特征點周圍16個4×4鄰域內的8個方向的梯度變化，這對于特征點的特征描述是非常有用的.然而特征描述子的提出是為了試圖解決所有的配準變換情況，比如圖像大幅度運動的圖像拼接，圖像大幅度旋轉縮放的衛星圖片等.然而在單視頻重建中，一秒鐘大概有30幀的圖像信息，而每一幀之間或者相鄰幾幀之間不會有大的變換，也就是說每個特征點的坐標不會發生太大的變化，歧義匹配和誤匹配甚至可以通過x，y軸坐標這樣的平面坐標信息來進行排除.本文提出一種改進的SIFT配準算法，放棄對128維特征描述子的計算，采用特征點之間的灰度相關系數和平面坐標歐氏距離代替特征描述子，并隨后通過試驗證明提出算法的可行性.

4.1 改進的SIFT初始匹配

當SIFT特征點檢測放棄了對特征點128維描述子的計算以后，遇到的第一個問題就是特征點的初始匹配.傳統的方式是通過128維特征描述子的歐氏距離來進行距離運算，然后選擇距離優勢較明顯的為初始匹配對.現在由于沒有128維的特征描述子，所以選取了特征點之間的灰度相關系數作為初始匹配的依據.相關系數閾值T(通常為0.95)選擇合適的時候能很好地剔除誤匹配.假設有一個特征點Pi，要在待匹配圖中找一個特征點來和Pi進行初始匹配.步驟如下：

Step 1：選擇待匹配圖中和Pi的平面坐標歐氏距離小于r的特征點作為候選.

Step 2：在候選特征點中，分別計算和Pi的灰度相關系數.

Step 3：選取其中灰度相關系數最高的一點，假設為Pj.

Step 4：如果Pj>T(通常選為0.95)，則Pi和Pj是一對初始匹配.

在實際的使用中，要根據圖像的長寬像素尺寸來決定r的取值，一般可以取50或者寬度像素的1/8.

4.2 改進的匹配關聯度和歧義誤匹配剔除

通過以前的工作發現，匹配關聯度是幾種方法中唯一能同時有效消除多對一歧義匹配和誤匹配的方法，本文實驗將采用這種方法來進行歧義和誤匹配的剔除.在一對匹配點的匹配關聯度計算中，多次計算了兩點之間的距離，而之前這個距離用的是128維特征描述子的歐氏距離來進行表示.現在由于已經拋棄了特征描述子，因此必須用其他的值來代替.

在匹配關聯度中，這個距離主要是為了計算多個匹配之間的相互關系，也就是多組匹配在原圖中的特征點關系和在待匹配圖中的特征點關系是否相似.由于特征點在單視頻超分辨率重建的配準過程中，鄰近幀間位移不大，因此，幾何上的位置關系也可以很好地表示他們之間的相似性.

因此，在改進算法中，將采用平面坐標系的歐氏距離來代替它們在128維特征描述子向量空間中的歐氏距離.

4.3 改進配準算法和標準SIFT配準算法的流程對比

和標準SIFT配準算法一樣，改進的SIFT配準算法也分為特征點提取，初始匹配，歧義誤匹配剔除和計算變換矩陣四個步驟.本文中，在計算變換矩陣這個步驟中，標準算法和改進算法都采用了最小二乘法，兩個算法的區別主要體現在特征點提取，初始匹配和歧義誤匹配剔除上.現用表1詳細對比兩種算法的不同.

表1 改進快速配準算法和標準SIFT配準算法的步驟對比

4.4 改進SIFT的快速配準算法驗證實驗

抽取一段真實彩色視頻中的第59幀和第81幀圖像，為了更好地驗證所提出改進算法的性能，將第81幀圖像又進行了一定程度的水平平移與垂直平移，如圖2中的(a)和(b)所示.接著分別采用標準SIFT特征匹配算法與本文中改進的快速配準方法進行配準；最后分別將兩種方法配準后的灰度圖與目標灰度圖相減，若配準前后兩幅圖像完全重合，則相減后的圖像像素值應該全部為0，以此來判斷配準的準確程度.

(a)左圖(原圖) (b)右圖(目標圖) (c)快速配準結果 (d)改進快速配準和目標圖的差值

(e)標準SIFT配準的結果 (f)標準SIFT配準和目標圖的差值 (g)未剔除歧義及誤匹配點對的配準結果 (h)與目標灰度圖的差值

通過圖2實驗結果可以看到，經改進后的快速配準算法得到的配準結果比較理想，雖然耗時大大減少，但是配準質量沒有下降.證明改進SIFT的快速配準算法是切實可行的.

從表2可以看出，改進的算法在初始匹配和歧義誤匹配剔除方面差距不大，但是在時間消耗上有明顯差別.改進后的算法由于不用對每個特征點計算128維特征描述子向量，因此時間開銷只有標準SIFT配準算法的1/3左右.

表2 改進快速配準算法和標準SIFT配準算法性能比較

5 結束語

本文提出了一種基于SIFT的改進快速運動配準算法，根據單視頻配準的特點，拋棄了對128維特征描述子的計算，而采用灰度相關系數和平面坐標系的歐氏距離來進行初始匹配和歧義誤匹配剔除，這樣可以大大降低計算時間的開銷.通過實驗證明，本文提出的新方法是可行的，且完全達到了預期的效果.總之，提高算法的自動化程度、對噪聲的魯棒性和運算速度是圖像配準技術的發展方向.

[1]Elad M,Feure A.Super-resolution reconstruction of image sequences[J].IEEE Trans Pattern Analysis and Machine Intelligence,1999,21(9):817-834.

[2]馬金福，薛弘曄.基于Fourier-Mellin變換的圖像配準算法與性能研究[J].計算機與數學工程，2008,36(11):134-136.

[3]許錄平，姚靜.一種圖像快速超分辨率復原方法[J].西安電子科技大學學報：自然科學版，2007,6(3):382-385.

[4]朱利成，姚明海.基于sift算法的目標匹配和識別[J].機電工程,2009,12(12):73-81.

[5]鄧傳斌, 郭雷, 李維.基于sift的遙感圖像配準方法[J].傳感技術學報,2009,12(12):1 742-1 747.

[6]Tom B C,Barnard A K,Galasanoos N P.Reconstruction of a high resolution image from registration and low resolution images[C]//Proceedings of the IEEE International Conference on Image processing,TX,1994,553-557.

[7]方壯.一種基于SUSAN算子和相位相關實現圖像配準的算法[J].湖北民族學院學報:自然科學版， 2010,28(1):49-52.