一種快速魯棒性的視差圖像拼接方法

張望成，楊建永，胡 炎，2*

(1.中國電子科技集團公司第五十四研究所，河北 石家莊 050081；2.北京航空航天大學 自動化科學與電氣工程學院，北京 100083)

0 引言

圖像拼接[1]是計算機視覺領域的一項基礎研究,其將從不同位置和方向捕獲的多個圖像組合成一個具有更廣視野的全景圖。這項技術被廣泛應用于輔助駕駛、增強現實、視頻監控[2]、移動娛樂以及其他實際應用中。目前基于全局單應性的拼接算法已經相對成熟,相關的商業產品也應運而生,如Adobe Photoshop PhotoMerge、Microsoft Image Composite Editor、PTGUI和AutoStitch[3]。圖像拼接的一般過程包括以下幾個步驟:首先進行特征點檢測和匹配,使用尺度不變特征轉換(Scale-Invariant Feature Transform,SIFT)[4]或加速穩健特征(Speeded-Up Robust Features,SURF)[5]等特征點檢測器提取參考圖和目標圖的特征點集,通過最近鄰匹配方法完成特征點的配準,并使用RANSAC方法過濾錯誤匹配,得到提純后的特征點匹配對;其次進行投影關系估計,采用直接線性變換(Direct Linear Transformation,DLT)算法[6]估計匹配點對之間的投影關系,并將目標圖像投影到參考圖像坐標系下,獲得投影圖;最后進行無縫融合,通常采用加權融合方法對參考圖和投影圖進行無縫融合。加權融合方法根據像素在重疊區域中的重要性進行像素值的加權平均,以獲得自然、無縫的拼接結果。

然而,在實際拼接場景中,由于相機抖動、短基線、相機的相對運動、光照變化和光學畸變等因素的影響,拼接場景往往不是平面的。當場景中的物體深度差異較大時,基于全局單應性的扭曲模型可能導致全景圖中出現偽影。因此,實現一個沒有偽影的自然全景圖在實踐中是一個具有挑戰性的任務。用于克服偽影問題的方法可分為以下3類。

第1類是基于多波段融合的方法,將圖像分成多個頻段,每個頻段使用不同融合權重。由Brown等[3]提出的AutoStitch是最經典的一種圖像拼接算法,利用SIFT特征匹配關系計算圖像的初始變換參數,并使用光照補償和多波段融合實現無縫拼接。該算法要求待拼接圖像的內容近似處于一個平面,否則會產生偽影,因此具有一定的局限性。Gao等[7]在AutoStitch框架的基礎上,將圖像內容分為前景和背景并分別計算投影矩陣,通過加權融合得到了具有一定的視差處理能力的改進算法。然而,當圖像無法進行前景和背景劃分時,該方法會失效。

第2類方法是在圖像融合之前選擇最佳的拼接縫,通常與多頻帶融合方法或局部單應性方法相結合。Gao等[8]提出了一種拼接縫損失的衡量方法,用于評估變形圖像與參考圖像之間的不連續性。使用RANSAC估計多個單應性矩陣,并選擇具有最小拼接縫損失的單應性矩陣來縫合變形圖像和參考圖像。Zhang等[9]提出了估計局部單應性矩陣的方法,僅對圖像的特定區域進行對齊,并應用內容保持變形來進一步改善對齊。Lin等[10]改進了拼接性能,通過使用迭代變形和拼接縫估計的方法?；谧罴哑唇涌p的方法通常僅對特定局部圖像區域進行對齊,以提供視覺上令人滿意的拼接結果,但可能在整個圖像區域上沒有幾何上的準確性。

第3類是基于局部自適應變形的方法,利用整個目標圖像上的平滑拼接場來進行更精細的調整。Zaragoza等[11]提出了APAP算法,通過移動直線變換(Moving Direct Linear Transformation,MDLT)方法求解平滑投影場,并被廣泛應用[12-17]。Lin等[12]提出了AANAP(Adaptive As-Natural-As-Possible),使用局部單應性和全局相似性變換的組合,通過線性化單應性并慢慢將其更改為全局相似性來減輕非重疊區域中的透視失真。Lee等[13]首先估計多個單應性,然后找到2個圖像之間的內在特征匹配,利用形變殘差評估每個特征匹配,并對輸入圖像進行超像素劃分,通過最小化由形變殘差加權的特征匹配誤差自適應地形變每個超像素以減輕視差偽影。Herrmann等[14]提出將重疊區域劃分成多個子區域,分別進行局部形變建模。趙光遠[15]提出了一種改進MDLT的圖像配準和最佳縫合線融合的新方法,通過引入特征點聚類方式對圖像內的特征點進行聚類分析,并改進了基于圖割的最佳縫合線搜索算法中能量函數所包含的參數項,提高了局部形變的拼接質量。崔志遠[16]通過SIFT和LSD算法檢測匹配點和直線段,對圖像劃分規則網格,基于薄板樣條估計網格的最終形變位置,提高局部形變拼接算法的直線保持能力。Li等[18]提出了健壯視差容忍圖像拼接算法REW,采用貝葉斯特征細化模型自適應去除不正確的局部匹配,并構造解析變形函數消除視差錯誤。然而,大多數局部變形拼接模型存在計算效率不高的問題,比如AANAP使用CPU拼接2幅800 pixel×600 pixel的圖像通常需要20～30 s。

為了解決當前局部形變拼接方法效率低的問題,提出了一種新穎的快速魯棒性的視差圖像拼接方法,可通過GPU并行計算框架大幅度提高計算效率,同時確保重疊區域到非重疊區域過渡的平滑性和自然性。

1 MDLT方法回顧

DLT用于估計圖像IM×N和JM×N之間的K個匹配特征點對之間的最優全局扭曲變換H的矩陣參數。如果存在匹配點對x=[x,y, 1]T∈I,x′= [x′,y′, 1]T∈J,則有:

(1)

由x′與Hx之間叉積為0,可得:

(2)

式中:h=[h0h1h2h3h4h5h6h7h8]T。根據式(2)可得優化目標:

(3)

基于DLT的全局扭曲變換與基于MDLT的“網格化”局部扭曲變換如圖1所示。

“網格化”形變場建模是一種經典的局部自適應形變方法,利用稠密投影來構建視差圖像之間的幾何關系,并采用MDLT方法來求解每個小網格的投影矩陣參數。MDLT方法將平面劃分成密集網格,以i個網格左上角點為中心點Oi,計算所有特征點p到Oi的空間距離作為權重,并對式(3)進行適應性改造,得到:

(4)

式中:

(5)

wi,k為Oi與第k個特征點之間的距離權重,σ為距離方差,γ為常數,表示最小取值。由式(4)和式(5)可以看出,MDLT在構建超定方程時考慮了所有特征點貢獻的大小,距離網格頂點越近,特征點的貢獻越大;反之亦然。

2 提出的方法

針對當前局部變形拼接計算效率低的問題,提出一種快速魯棒性的視差圖像拼接算法,算法框架如圖2所示。所提出的算法包括匹配對獲取、局部形變場建模和圖像融合拼接3個環節。

2.1 匹配對提取

SURF是一種快速且具有魯棒性的特征點檢測和描述算法,2006年由Bay等[5]提出,是一種對尺度和旋轉變化具有不變性的特征點算法,在實時或大規模圖像處理中具有較高的效率。RANSAC是一種基于隨機采樣的迭代算法,用于擬合數據中的模型并過濾掉外點[17]。RANSAC能夠有效處理帶有噪聲和異常值的數據集,廣泛應用于計算機視覺、幾何估計和數據擬合等領域。當小型旋翼無人機在超低空飛行時,由于相機視點過低,導致3D場景中物體的投影不再符合同一2D投影模型,從不同位置和不同視角拍攝的2幅圖像中會存在多種投影關系,稱為多幾何結構。由于RANSAC擬合的模型為全局投影模型,因此在處理多幾何結構場景時會失效。

針對超低空場景圖像存在多幾何結構問題,文獻[19]已經進行了深入研究,并提出了一種適用于多幾何結構圖像的深度稠密投影(Deep Dense Projection, Deep-DP)估計器。Deep-DP是基于仿射變換構建,由23個級聯層組成,包括13個降采樣隨機抽樣層、7個隨機/半隨機抽樣層、1個異常匹配過濾層和2個結構視差抑制層。為配合級聯估計器的高效執行需求,設計了一個GPU并行計算框架,確保Deep-DP在魯棒性、準確性、實時性和故障率方面實現更出色的表現,如圖3所示。

在匹配對提取環節主要采用SURF檢測器進行特征點提取,然后采用Deep-DP獲取提純點對。相關算法流程,本文不再贅述。下面將重點闡述基于Deep-DP的局部形變場建模和基于局部形變場的圖像融合拼接。

2.2 局部形變場建模

(6)

式(6)為代入法求解仿射變換的參數表達式,其本質上是由3對點求得局部仿射變換模型的一個特殊解。由于特征點對中存在噪聲和視差,特解會使形變場不光滑,甚至產生較大的畸變。針對上述問題,提出一種半隨機抽樣一致性(Semi-RANSAC)方法來克服形變場不光滑的問題。借鑒MDLT工作原理,一方面,采用目標點周圍16鄰域點,而非全部特征點。MDLT與提出算法構造距離權值的原理如圖4所示。

圖4 MDLT與提出算法構造距離權值的原理Fig.4 Principles of constructing distance weights of MDLT and the proposed method

MDLT構造的距離權值矩陣是采用指數函數構造,當距離較遠時,特征點的貢獻很小。又因特征點是稀疏分布的,16鄰域以外的特征點對計算目標點處的形變參數貢獻已非常小。因此,采用目標周圍16鄰域點對計算局部投影參數的精度損失很小,可以有效加速計算。另一方面,采取半隨機抽樣計算目標點處的形變模型參數,具體描述如下。

令pk表示目標點,C16(pk)表示pk的16鄰域。每次選定pk作為固定點,然后從C16(pk)中隨機抽取2個點,帶入式(6)得到一個特殊解hl。重復L次半隨機抽樣,可以得到一組候選模型解集φ(pk)={hl|l=1,2,3,…,L}。在φ(pk)中每一個hl都滿足式(1),但仍可能存在噪聲,需要對φ(pk)集合進行去噪處理。令hG表示全局估計模型,hG可以利用式(3)求得。定義模型偏差:

(7)

如果ξ(hl) >σ,則表示hl為噪聲。其中,σ表示模型偏差閾值,ξ(hl)表示旋轉縮放參數的偏差,σ根據經驗可以取3。濾除噪聲后,φ(pk)元素數量記為C,可以得到pk點處的局部平滑解h*(pk),表達式如下:

(8)

令xi表示圖像I中任意一個像素點,構建距離權值函數wik,表示第i個像素點到第k個特征點之間的距離權重:

(9)

則圖像I的形變場表示為:

(10)

式(8)中,h*(pk)是建立在解集φ(pk)上的計算結果,因此,h*(pk)可以保持精確性;另一方面采用加權計算可以保持h*(pk)的平滑性。式(10)在計算投影場時,也采用了局部加權平滑策略,由此可以確保最終投影場的平滑性,如圖5所示。

圖5 形變場示意Fig.5 Schematic diagram of warp field

此外,式(6)～式(8)的計算過程對每個特征點是完全獨立的,式(9)和式(10)的計算過程對每個像素點是也完全獨立的。因此,在設計GPU并行計算框架時,可以取K×R個GPU線程執行式(6)～式(8)的計算,R表示半隨機抽樣的次數;同理,可以取M×N個GPU線程執行式(9)、式(10)的計算過程。獲取圖像形變場后,利用形變場逐像素對原圖進行坐標轉換,獲得轉換圖像后再與底圖進行融合以獲得最終的拼接圖。

圖5將每個像素點處的變換矩陣的旋轉參數hl2以熱力圖形式展現出來,可以反映出大視差場景下“旋轉”的漸變情況?？梢钥闯?遠處立體建筑和鐵路線鋪設區域出現了明顯的分區,說明局部投影場準確地擬合了圖像立體內容和平面內容,克服了傳統全局投影在非平面場景下失效的缺陷;重疊區域內部顏色變化波動較大,說明局部投影場建模精度高,對細節擬合準確;重疊區域邊緣顏色呈漸變過渡,說明局部投影場形變過渡平滑。

2.3 圖像融合

首先將目標圖像素按照投影場進行逐像素投影,得到:

(11)

3 實驗和分析

本文算法與AutoStitching算法拼接效果對比試驗如圖6所示。在火車站場景中,2幅圖像存在拍攝角度差異、圖像遠近分辨率變化、圖像細節復雜。采用當前手機等移動設備廣泛使用的AutoStitching算法進行對比測試?？梢钥闯?圖中紅色框內AutoStitching算法出現了嚴重的畸變失真,而本文算法實現了精準無縫拼接。

圖6 本文算法與AutoStitching算法拼接效果對比試驗Fig 6 Comparative experiment of the stitching effect between the proposed algorithm and the Auto- Stitching algorithm

此外,采用結構相似性(Structural Similarity Index Measure,SSIM)[18]指標進行了圖像對齊的定量比較,如圖7所示。SSIM是一種用于評估圖像質量的指標,它測量了2幅圖像在結構上的相似性。SSIM指標的取值為0～1,數值越大表示結構相似度越高。APAP[11]、AANAP[12]和REW(Robust Elastic Warp)[21]是近期較為先進的3種局部投影拼接方法。數據集來自文獻[11-12,18],共計27對,分辨率從500 pixel×375 pixel到2 160 pixel×1 440 pixel的升序排列。

(a)SSIM

(b)運行時間

從圖7(a)可以看出,REW、APAP和AANAP的平均SSIM分別為0.727、0.678和0.671。所提出的算法的平均SSIM得分為0.667,但該得分與APAP和AANAP非常接近。圖7(b)顯示了4種算法的主循環消耗的時間,從特征匹配后立即開始,直到圖像融合之前結束。REW、APAP、AANAP的平均運行時間分別為1.187、1.367、2.660 s。然而,所提出的算法實現了最低的平均運行時間0.203 s,顯著優于其他算法。

4 結束語

本文提出了一種適用于GPU高效計算的平滑形變場計算框架,極大地提高了平滑形變場建模的計算效率。使用半隨機抽樣策略結合加權平均來估計局部最優模型,可以兼顧投影場的平滑度和局部形變模型的精度。由于本文的去噪策略采用的是常數閾值模型,自適應能力較弱。由SSIM對比實驗可以看出,該方法在對齊精度方面有一定的提高空間。此外,當圖像中出現較大的結構視差時,比如靜態物體因視角變化出現視覺錯位,在圖像融合時必須借助拼接縫來隱藏偽影。在未來的研究中,將繼續開展優化工作,在GPU高效計算框架中融合自適應濾波模塊、拼接縫查找模塊,進一步提高算法的實時性和拼接質量。