隨機梯度下降的交互式VR影像拼接均勻性校正

吳海靜

(六安職業技術學院 幼兒教育與旅游管理學院,安徽 六安 237158)

隨著社會不斷發展,交互式VR技術也日新月異。在汽車、房地產、城市規劃、影視動畫以及醫院等行業都可以看到交互式VR技術的身影[1],人們可以在交互式VR技術下盡情享受前所未有的科技體驗感,豐富人們生活的同時也給人們的生活帶來很大便捷。VR前期的拍攝固然重要,但后期的拼接工作同樣不可或缺,VR影像拼接均勻性越高,影像的質量也越高,這會帶給人們更加強烈、真實且直觀的VR交互體驗[2],但目前對交互式VR影像的拼接均勻校正方法仍不完善,依舊存在諸多漏洞,急需有效的影像拼接均勻性校正方法,提升交互式VR影像的視覺效果。

為此眾多學者對交互式VR影像拼接均勻校正進行大量研究,王士偉等提出自適應移動窗口的COMS拼接均勻性校正方法[3],以工程為切入點,通過移動窗口對影像實施分塊處理并對同窗口下的多影像進行同一組參量校正,結合COMS傳感器最終實現交互式VR影像拼接均勻性校正,該方法可以使用較少的影像校正參數,但影像校正后的質量無明顯改善;牟新剛基于全卷積神經網絡影像均勻性校正方法,通過設定好的子網絡實現影像的噪聲輸入,其次輸出級別估量圖,最終在主校正網絡下完成交互式VR影像拼接均勻性校正,該方法避免影像邊緣模糊的狀態的同時,校正后的影像仍然存在不均衡缺點[4]。

隨機梯度下降算法具備較高的誤差校正功能,該算法可以不斷對誤差進行迭代,不斷優化誤差,直至誤差最小[5-7]。因此本文提出基于隨機梯度下降的交互式VR影像拼接均勻性校正方法,該方法不僅可以實現交互式VR影像拼接均勻性校正,而且校正后的影像均勻性高、質量更佳。

1 交互式VR影像拼接均勻性校正

1.1 確定交互式VR影像重疊區域

拼接后的交互式VR影像會在一定程度上存在重疊區域[8],重疊區域越大,表示兩個拼接影像之間的關聯性越大。也就是說用于拼接的兩個影像之間的關聯隨重疊區的增大而增大,所以可通過將重疊率轉換成用于拼接圖像的關聯參數從而獲取交互式VR影像重疊區域。

關聯參數屬于標準的協方差函數,通過兩個信號的方差與協方差相除獲得關聯參數。若探尋交互式VR影像和目標影像二者之間的灰度出現線性變形,相似化水準依舊可被關聯參數表示?？色@取兩個交互式VR影像灰度矩陣的關聯參數,如式(1)所示。

(1)

式(1)中,關聯參數用g表示。參量DI1、DI2以及DI1I2的計算如式(2)所示。

(2)

式(2)中,灰度矩陣的總行數、總列數、灰度矩陣灰度均值用m、n和E(I)描述;用I(i,j)表示灰度矩陣i行j列的灰度值。

在式(1)和式(2)的融合下可得關聯參數的計算如式(3)所示。

(3)

由式(3)可知,兩個交互式VR影像的灰度矩陣計算其實就是關聯參數的計算。在計算機上的交互式VR影像灰度矩陣可直觀看出,所以無需進行重疊率的特點提取以及影像配對,運算量降低的同時,處理數據的效率明顯提升。

用于拼接的影像之間存在非重疊區域,所以在交互式VR影像處理流程中直接對用于拼接的兩個影像展開關聯運算,由于非重疊區域的干擾,最終結果的正確性將大大降低。本文以用于拼接的兩個交互式VR影像的關聯區為處理目標,改進優化后的式(1)如式(4)所示。

(4)

(5)

將式(2)代入式(4)中,如式(6)所示。

(6)

由于式(6)中只利用影像重疊區域進行計算,使得計算效率得以提升[9],此外沒有非重疊區的干擾,使得通過關聯參數確定交互式VR影像重疊區域的準確率大大提高。

1.2 交互式VR影像拼接均勻性調整

根據1.1小節確定的交互式VR影像重疊區域為基礎,并在此基礎上完成交互式VR影像拼接產生重疊區域的均勻性調整,詳細步驟為。

(1)確立鏡頭畸變參數:畸變系數、畸變中心以及交互式VR影像中對角線的長短分別用k1、(u0,v0)和D表示,那么可變焦距鏡頭畸變系數滿足-1/D2≤k1≤1/D2。將得到的畸變參數組合u與式(7)結合獲得調整后的交互式VR邊緣影像。

(7)

畸變像素點相應的物理坐標和畸變像素點相應的像素坐標分別是(xd,yd)及(ud,vd)。計算調整后的邊緣像素點相關梯度,如式(8)所示。

(8)

式(8)中,用(Gu,Gv)描述調整后邊緣影像亮度值在(un,vn)相關的一階偏導數;交互式VR影像相應亮度值、調整后邊緣像素點的梯度方向以及坐標分別用B、α(un,vn)和(un,vn)表示。

(2)使原有交互式VR影像重疊區域4個焦點a(u21,v21)、b(u22,v22)、c(u23,v23)、d(u24,v24)坐標投射在地圖坐標系,如式(9)所示。

(9)

VR攝像機內的位置元素、徑向畸變系數和交互式VR影像中畸變中心與畸變像點間的歐氏距離分別是A0、k1和rd;畸變像點t相應的物理坐標和物點t′相應的地圖坐標分別用(xd,yd)以及(xm,ym)描述。

以上文所用式得到的地圖坐標a′(xm1,ym1)、b′(xm2,ym2)、c′(xm3,ym3)、d′(xm4,ym4)為基礎并在該基礎上采用xm、ym坐標組形式對所得地圖坐標展開分組,最后得出最大值(xmax,ymax)和最小值(xmin,ymin)。

(3)對地面網格實施分區處理,用dxm、dym描述每個像素點在輸出交互式VR影像中的地面大小,對交互式VR影像的全部列數col以及全部行數row進行計算,如式(10)所示。

(10)

式(10)中,取整函數為fix。

(4)對每個像素點坐標(u′,v′)在調整后交互式VR影像相關的地圖坐標(xm,ym),如式(11)所示。

(11)

u′=1,2,…,col,v′=1,2,…,row

(5)以地圖坐標(xm,ym)為基礎,使用以下流程計算像素點在交互式VR影像的相關坐標(ud,vd)。

以一個參量模型為基礎通過對變焦鏡頭畸變的運算實現交互式VR影像拼接均勻性調整,如式(12)所示。

(12)

(13)

當k1>0時,交互式VR影像為枕形畸變;當k1<0時,交互式VR影像為桶形畸變。

處理rd并對畸變影像中物點t′(xm,ym)相關的像素坐標(ud,vd)進行計算,如式(14)所示。

(14)

(6)交互式VR影像拼接均勻性的調整方法是以原有交互式VR影像中的像素點坐標u為前提條件并對該坐標的相關灰度值采用雙線性差值算法,從而在計算后的調整交互式VR影像像素點幅值。

(7)最終不停使用(4)-(6)步驟對標準影像的像素點灰度值調整并計算,實現交互式VR影像拼接均勻性調整。

但以上過程影像拼接均勻性誤差不可避免[10],因此本文結合隨機梯度算法更好地實現交互式VR影像拼接均勻性誤差校正。

1.3 基于SPGD的交互式VR影像拼接均勻性誤差校正

拼接均勻性誤差越大,拼縫處越分散,所以根據拼縫處可分析出拼接均勻性誤差大小,從而隨時指引拼接均勻性誤差的校正[11-12]。目前校正誤差的算法主要包括隨機梯度下降算法(SPGD)、爬山法以及遺傳算法等。此中由于SPGD算法具有較大的誤差校正實力且收斂速率迅速,所以本文采用SPGD算法實現交互式VR影像拼接均勻性誤差校正。

在使用SPGD算法實際計量拼縫處過程中,需對拼縫處實施隨機干擾再進行迭代,通過干擾下的拼縫處的變化情況獲取優化指標并對其進行運算[13],從而得出優化指標梯度,指引下次迭代優化向指標的梯度方位進行[14-15],迭代結束標準為:實現優化指標最大化即拼接均勻性誤差最小化。SPGD對交互式VR影像拼接均勻性誤差校正過程,如圖1所示。

圖1 SPGD校正拼接均勻性過程圖

完成SPGD對交互式VR影像拼接均勻性誤差校正,如式(15)-式(17)所示。

α(k+1)=α(k)γ+Δα(k)ΔJ(k)

(15)

(16)

(17)

計算當k=1、α(1)=0時的拼接影像原有的均勻性誤差向量β,如式(18)所示。

β=[b1,b2,…,b20]

(18)

式(18)中,拼接的交互式VR影像中,第i個影像繞x軸和y軸的歪斜誤差、第i個影像向x軸、y軸的移動誤差和第i個影像(i=1,2,3,4)的原有移動誤差分別用b5i-1和b5i、b5i-3和b5i-2以及b5i-4表示。

第k次迭代下影像拼接的誤差,如式(19)所示。

(19)

SPGD算法[16]的收斂精準度與速率和優化指標的選擇密不可分。本文選擇式(20)-式(23)作為SPGD的優化水平評估函數并以此得到水平較高的優化指標。

(20)

(21)

(22)

(23)

2 實驗分析

本文選取某商場交互式VR體驗中心的200組后臺影像,其中包括110組建筑影像、50組插畫影像以及40組風景影像,一組有100張影像。隨機從一組影像中抽取兩張影像進行拼接,對拼接結果應用本文方法進行拼接均勻性校正,探究本文方法的可行性。應用本文方法校正前后的影像效果展示,如圖2所示。

(a)抽取的第1張VR影像

(b)抽取的第2張VR影像

(c)未校正拼接均勻性的VR影像

(d)校正拼接均勻性后的VR影像

由圖2可知,校正前的影像圖片不僅拼接處模糊,而且拼接不連貫、不均衡,通過本文方法校正之后,基本看不出拼接痕跡且拼縫處更加平滑、均勻,說明本文方法可以實現交互式VR影像拼接均勻性校正。

采用結構相似度評分(SSIM)為交互式VR影像拼接均勻性校正效果測試指標,SSIM越大,即交互式VR影像均勻性校正效果越好。SSIM結果主要有三大要素,分別是組成相似度、對比度相似度以及亮度相似度,其計算如式(24)所示。

(24)

式(24)中,組成、對比度以及亮度對比函數分別用s(x,y)、c(x,y)和l(x,y)表示;常數是C1、C2和C3;兩個交互式VR影像間的相互關聯參量、交互式VR影像的平均強弱以及基準差分別是σxσy、μx與μy、σx與σy。

采用邊緣差分譜評分(DoEM)以及變形度(Twist)為交互式VR影像拼接均勻性校正效果測試指標,DoEM越大,即交互式VR影像均勻性校正后的質量越佳;Twist越低,說明均勻性校正后的交互式VR影像總誤差越小。兩者的計算公式如式(25)和式(26)所示。

(25)

twist=max{slopes(i,j)}i,j∈resultpoint

(26)

式(25)和式(26)中,交互式VR影像過渡區相關的方差、均值以及邊緣區均值分別是σ2、μa和μe;鄰近坐標間的傾斜率以及交互式VR影像變換過程后組成的中央坐標集合分別用slopes(i,j)和resultpoint描述。

分別對上文所提未校正拼接均勻性的VR影像使用本文方法、文獻[3]基于自適應移動窗口的COMS拼接均勻性校正方法和文獻[4]基于全卷積神經網絡影像均勻性校正方法,對比分析以上方法的SSIM、DoEM以及Twist,如表1和圖3所示。

表1 結構相似度評分和邊緣差分譜評分

圖3 變形度測試結果

通過表1分析,本文方法應用后交互式VR圖像的SSIM和DoEM均比文獻方法高,因為本文方法先確定交互式VR影像的拼接后的重疊區域,以此為基礎,進行針對性的拼接均勻性校正,而并非對大范圍的拼接后VR影像進行全局處理,可使拼接處的細節處理效果更好,使校正后影像的質量明顯提升;由圖3可知,本文方法校正后影像的Twist均在20%以下,比文獻方法低10%左右,較低的Twist表明應用本文方法校正后的影響拼接均勻性總誤差較小。

綜上所述,說明本文方法不僅可以實現交互式VR影像拼接均勻性的校正,而且校正后的影像具有較高質量,此外拼縫處的均勻性程度較高且拼接均勻總體誤差較小。

3 結論

以結構相似度評分(SSIM)、邊緣差分譜評分(DoEM)以及變形度(Twist)為測試指標衡量本文方法的應用效果,數據表明本文方法擁有較高的SSIM、DoEM以及較低的Twist,說明本文方法實現交互式VR影像拼接均勻性校正的同時,又能使校正后的影像拼縫處更加平滑、均勻,從而得到更高質量的影像;此外本文方法下的影像拼縫處的拼接均勻性程度高且拼接均勻性的總誤差較小,校正的效果更加顯著。在不久將來希望本文方法可對交互式VR影像領域實現更高的應用價值。