基于雙目單視面迭代算法

李 熙, 徐 曉

(華南理工大學 物理與光電學院,廣東 廣州 510640)

0 引 言

本文進行了基于雙目單視面(horopter)的三維重建[1,2],即利用雙目單視面的理論,擴展Vieth-Muller圓到三維空間,得到horopter面[3,4],利用horopter面上的角度約束以及灰度相關性進行匹配。同時將結構光和雙目單視面相結合,可達到提高復原精度的目的。但由于相機在拍照時因遮擋、光線、噪聲等影響得到的兩幅圖像存在相似差異性,對應匹配點灰度也存在差異,增大匹配擬合誤差。因此,本文利用迭代算法[5～8],多次匹配,以期得到更好的結果。

在醫學CT領域,為了獲得斷層圖像數據,學者們提出了眾多圖像重建的迭代算法,包括利用投影線存在的幾何對稱結構,引入圖像重建的對稱塊迭代算法[9],迭代重建再投影的外插算法[10],代數迭代重建算法(ART)[11],從積分方程角度提出的圖像重建迭代算法[6],利用FBPR算法將反投影算法和Richardson算法結合,通過卷積和迭代方法達到圖像重建的目的[12]。通過參考以上圖像重建的迭代思想,解決由于相機視野、遮擋等因素帶來的兩幅圖像相似差異所造成的匹配粗糙的問題,本文提出了一種基于雙目單視面迭代算法,即經初匹配得到的三維復原物體,投影到左右相機得到的投影圖像與原始圖像進行校正,校正后的圖像作為三維重建的原始圖,依次迭代。實驗結果表明該算法可以有效改善三維復原結果。

1 雙目三維重建系統

采用交叉放置的等效左相機L和右相機R[13]。根據雙目單視面的原理,將圖像坐標轉換為角度坐標。如圖1。具體的角度定義、角度坐標轉換、特征匹配及三維復原的運算,參照文獻[1,2,14]。

圖1 坐標轉換示意

2 迭代方法

2.1 三維物體投影到相機

原始左右圖像經坐標轉換以后,通過α,β將其網格化,即像素角度坐標都是等間隔；如圖2(a)所示,系統采用角度坐標αL,αR,β將三維空間分割成P,Q,M,N等各個小的方塊區域[13]。每個小的方塊區域投影到相機對應的一個像素點,即坐落在每個小的方塊區域的所有三維物體的點投影到相機對應的角度坐標是一致的。以P區域為例,如圖2(b)所示,區域內所有點用P來表示,P、左相機L、右相機R在三維空間形成一個horopter,P對于左相機L的投影可以用αLP,β表示,對于右相機R的投影可以用αRP,β表示。如圖2(d),P點在右相機R上的投影角度坐標對應的原始右圖像灰度記為GRO,P點在左相機L對應投影角度坐標的像素灰度記為GL,令GL=GRO,即右圖像的左投影。則點P在左圖像的一個投影像素點就可以通過對應的角度坐標和灰度來表示。同理,左圖像的右投影,可得到點P在右圖像的對應角度坐標與灰度。

如圖2(c),已知點P(xW,yW,zW)的空間三維坐標,則可以求得點P在左右圖的投影角度坐標。幾何換算可得

(1)

(2)

(3)

(4)

式中LR為基線長度,OW為基線中點。

圖2 三維物體投影到相機過程

2.2 迭代過程

如圖3所示,迭代順序按照三維復原—左投影校正—三維復原—右投影校正的過程依次迭代,保留最初原始左右圖像數據,第一次三維重建用原始左右圖像數據,復原、擬合后先投影到左相機L,與原始左圖像校正以后,生成校正后左圖,再與原始右圖作為三維重建的輸入左右圖像,得到第二次的三維復原結果經擬合投影到右相機。得到的右圖像投影與原始右圖像校正,得到新的右圖,與原始左圖作為三維復原的輸入左右圖像,依次迭代。達到預定的迭代停止條件,停止迭代,將最終三維復原結果作為本文結果。

圖3 迭代流程

2.3 圖像校正以及迭代停止條件

圖4為圖像同一行的部分灰度值,通過投影圖像校正原始圖,原始圖像ab段與投影圖cd段間隔,則通過合理的平移使ab段與cd段重合,達到校正原始圖部分像素點位置的目的。由于匹配算法通過提取峰值及峰值左右側的各兩個像素點作為待匹配點,且投影圖像的波峰的位置與原始圖像對應波峰位置基本最靠近。通過以下算法校正原始圖像：

1)提取原始圖像j行波峰位置U={m1,m2,…,mk}j波峰灰度Go={go1,go2,…,gok}j；

2)提取投影圖像j行波峰位置V={n1,n2,…,nk};波峰灰度G={g1,g2,…,gk}j；

3)遍歷j行投影圖波峰位置,使每一個ni總能在U中找到最近的mu,若|ni-mu|≤σ(給定閾值)且|gi-gou|≤ω(給定閾值)則將投影圖像峰值及左右兩點對應的α角度坐標賦給原始圖對應峰值區域,達到校正原始圖像的目的。不在給定閾值條件內,不校正。

4)校正后再匹配得到的新的三維復原點云,對點云進行擬合,間接地修正了原始圖像不在峰值區域的像素點。

圖4 校正過程

為了方便判斷迭代過程,定義圖像相似差異度為

(5)

式中G(i,j)為投影圖像灰度,Go(i,j)為原始圖像灰度。每迭代一次,計算一次η,保持不變時達到停止條件。

2.4 遮擋處理

在投影過程中會遇到遮擋問題,如圖5所示,空間點A,B,C在左相機上具有相同的αL,β,而對于右相機的投影具有不同的αR,把距離L最近的點A作為投影點,剔除掉B,C被遮擋的點。

圖5 遮擋區域

3 結果與討論

采用3D繪圖軟件Cinema 4D模擬左右相機拍攝約翰·沃爾夫岡·馮歌德頭像雕塑,得到兩幅理想的1 600×1 200原始左右圖像,如圖6所示。其中,基線長度LR=24 cm,左右相機光軸與基線的夾角αL=αR=83°,目標物體離基線距離100 cm,理想相機的焦距為16 mm。為了實現投影迭代,在圖像坐標轉換成角度坐標后α,β要網格化。β取值范圍[0°,11°],間隔0.03°步長,根據轉換后的圖像α坐標,α取值范圍[99.80°,66.60°],間隔0.020 76°,使其與圖像寬度1 600相等。圖6(c)、圖6(d)為坐標轉換,α,β網格化后的圖像。

圖6 原始圖像與坐標轉換后圖像

3.1 三維復原投影

利用灰度值、灰度值的一、二階導數以及灰度相關性進行特征匹配,得到最初三維復原以及擬合后的結果如圖7所示。采用MATLAB工具箱fspecial函數生成6×6窗口 高斯濾波器對其平滑處理,得到三維復原結果如圖7(d)。

經過擬合得到稠密三維復原的頭像經過第一次左投影,得到的投影圖像如圖8(a)所示。取原始左圖和投影左圖第200行灰度分析,如圖8(b)所示。通過投影圖像不斷修正原始圖角度,得到新的左圖與原始右圖繼續三維重建,繼續投影到右圖,如圖8(b)所示。

3.2 迭代停止分析即最終三維復原結果

每迭代1次計算對應的灰度相似差異度η,迭代到第3次時η基本保持在|Δη|=0.02 %范圍內收斂,經4次迭代最終三維復原結果如圖9(a),經高斯平滑后如圖9(b)。

為了更好地展現迭代方法的效果,從不同角度比較迭代前后三維復原結果。如圖10所示。

圖7 初始三維復原結果

圖8 投影結果

圖9 最終三維復原

圖10 迭代前后三維復原結果比較

4 結 論

本文針對已有基于雙目單視面三維復原存在未充分利用數據,導致匹配粗糙的問題,提出了基于雙目單視面迭代算法,通過后驗證方式來校正原始圖像的相似差異性,提高匹配精度。實驗結果表明：迭代到第三次的時候,圖像灰度相似差異度 基本保持在 內收斂,三維復原結果達到改善。