基于雙目圖像三維重構的橋梁表觀缺陷智能測量

宋祖廣,國璟,陳志豪,王高新

(1.宿遷市公路事業發展中心,江蘇 宿遷 650041;2.中交二航局第三工程有限公司,江蘇 鎮江 212000;3.中國礦業大學,江蘇 徐州 221116 )

鋼筋混凝土是橋梁結構的常用材料,但在長期使用過程中會受到復雜環境和人為因素影響,出現混凝土破損、剝落等不同種類的坑洞病害[1-3]。這些病害已經威脅橋梁結構安全性、穩定性及耐久性,嚴重影響交通質量。目前主要測量方法是利用雙目圖像特征點對坑洞缺陷進行測量,但是該方法存在諸多問題,為此,本文擬利用高清全彩三維重構算法對坑洞缺陷進行全域三維重構,不再局限于有限稀疏特征點重構,可得到坑洞缺陷的三維空間全貌模型,進一步利用智能測量算法,從三維空間全貌模型中自動提取坑洞缺陷參數信息,實現橋梁坑洞缺陷的智能化、自動化測量。

1 基于雙目成像的橋梁表觀缺陷高清全彩三維重構方法

利用雙目相機從不同位置獲取被測物體的兩幅圖像,通過極線矯正和立體匹配算法獲取視差圖像[4-5],利用視差圖像生成被測物體的三維密集點云并賦予色彩,完成被測物體三維重構。主要包含四個步驟[6]：代價計算、代價聚合、視差計算和視差優化,其重要計算公式分別如式(1)～(6)所示：

C(u,v,d)=f(pl(u,v),pr(u-d,v))

(1)

(2)

(3)

dmin=minS(p,d)

(4)

(5)

(6)

式(1)中,pl,pr為矯正后左右圖像中的兩個像素點;d為視差,C(u,v,d)為點pl在d處的代價;f為匹配代價計算函數,可以為AD、SAD、BT、NCC、Census-Hamming、HMI等。式(2)(3)中,p點上某個鄰域方向的代價聚合值分為三項,第一項是當前點的匹配代價C,第二項是min(當前鄰域方向上p-r這個像素點的當前視差代價聚合值,p-r點的視差差值為1的代價聚合值+P1,p-r點的視差差值大于1的最小代價聚合值+P2),第三項是p-r點的視差插值大于1的最小代價聚合值。式(4)中dmin表示代價聚合后的最小視差;式(5)(6)為視差優化的子像素擬合和左右一致性檢驗,其中c0表示視差為dmin的代價;c1、c2為視差dmin左右兩側的代價;dsub為子像素擬合后的代價;Dlp、Drq為左圖與右圖上的對應點p、q所對應的視差;erq為右圖同名點計算函數。

然而,上述算法尚未考慮雙目圖像中非重疊影像以及遮擋區域帶來的視差無效問題,只考慮同名點的匹配進而計算視差,但是非重疊區域與遮擋區的圖像并不存在同名點,導致立體匹配得到的視差圖存在大面積的無效區域,求得的三維模型與實際不符。為此提出基于“無效-保留”判別的雙目圖像三維重構算法。具體是在視差填充前,先設置一個連通判定閾值θ,通過區域跟蹤算法將待填充視差區域標記為塊Si,然后判斷各個塊Si是否大于閾值θ,如果是,將該塊區域視為無效視差區域,對該塊區域標記為1(記MSi=1),此區域予以舍棄;如果否,將該塊區域視為有效視差區域(記MSi=0),此區域予以保留填充。判別方法如式(7)。

(7)

式中,Si為第i個無效視差連通區域的像素面積。

2 基于三維重構模型的橋梁表觀缺陷智能測量方法

提出一種基于閉合輪廓線的表觀缺陷信息智能測量方法,根據三維點云的形狀特征分離缺陷區域,將其投影至像素平面內識別閉合輪廓線,再將閉合輪廓線投影回三維模型中,利用平面投影像素轉化法計算閉合輪廓線所包圍的缺陷面積,利用點面距離法計算閉合輪廓線區域內的最大缺陷深度。

2.1 分離缺陷區域的三維點云

借助三維點云數據,利用最小二乘法擬合平整區域的平面方程M：Ax+By+Cz+D=0。平面M與三維點云模型相交,且存在以下關系：理論上,如果此三維點云模型無缺陷,則三維點云均落在平面方程M上;反之,則三維點云落在平面方程M之外。因此,引入距離閾值λ分離三維點云模型中的缺陷部分,即距離平面M超過λ的三維點云判定為缺陷部分Pq：

(8)

Pq=P{DMP>λ}

(9)

式中,DMP為三維點云P(x,y,z)點到平面M的距離。

2.2 識別缺陷區域的閉合輪廓線

利用三維點云Pq求解閉合輪廓線,具體通過坐標轉換將Pq逆向計算至平面圖像上,得到Pq(Xq,Yq,Zq)在平面圖像上的像素坐標Pe(u,v),計算公式如式(10)所示。

(10)

式中：s為尺度因子,P3×4為投影矩陣,由相機標定參數得到。

利用Sobel邊緣檢測算法識別Pq在平面圖像上的外圍邊界,即閉合輪廓線L2D。根據式(10)逆運算將L2D投影回三維模型中,得到閉合輪廓線的三維形狀L3D。

2.3 計算缺陷面積

缺陷面積是指L3D在構件平面上的外包投影面積平面。由于閉合輪廓線的投影形狀邊緣不規則,較難通過積分求解面積,因此提出一種平面投影像素轉換的缺陷面積快速求解方法,具體如下：

先將L3D投影至世界坐標系XOY平面得到平面輪廓L3DXY,在L3DXY外包一個正方形,如圖1所示。正方形邊長a按式(11)計算：

圖1 輪廓投影

a=max(max(x)-min(x),max(y)-

min(y))+a0

(11)

式中：x為L3DXY的X坐標;y為L3DXY的Y坐標;a0是一個附加項,建議取值5～10 cm,保證正方形能外包L3DXY。

XOY面上正方形面積為As。然后,按照實際尺寸與像素大小1∶100的轉換關系(即用1個像素代替XOY平面中的0.1 mm),將XOY平面尺寸圖轉化為像素圖I,通過區域跟蹤算法分別計算L3DXY和正方形在像素圖I中的像素面積A3DXY-I、As-I。由于兩者等比例轉換關系,L3DXY與正方形的實際面積之比等于像素面積之比,基于此比例關系得到L3DXY的實際面積A3DXY如下：

(12)

式中：n為實際尺寸與像素大小比例1∶100。

由于缺陷面積定義為構件平面上的投影面積,因此需要進一步將XOY平面上的投影面積A3DXY轉化為構件平面上的投影面積A3D：

A3D=A3DXY×secα

(13)

式中：α為平面M與平面XOY的夾角。

2.4 計算缺陷深度

缺陷最大深度是指缺陷距離構件平面的最大垂直距離,按構件表面缺陷的個數對缺陷三維點Pq分塊,分別標記為Ki(i=1,2,…)。利用式(8),得到第i個缺陷Ki的最大深度maxDi,根據式(14)可求：

maxDi=maxDMP{DMP|Pq∈Ki}

(14)

3 實驗驗證

3.1 三維重構效果驗證

實驗對象是一塊帶坑洞缺陷的橋梁板構件,如圖2所示。利用式(1)—(9),驗證所提“無效-保留”判別方法的三維重構效果。式中參數d=205,P1=10,P2=100。式(7)中,連通判定閾值θ的取值直接關系三維重構效果。θ取值與無效視差來源有關,即非重疊區域無效視差大小s1、遮擋區域無效視差大小s2、算法誤匹配無效視差大小s3。根據先驗知識可知,關系為：s1>s2>s3。因此,θ的取值分為4種情況進行討論：①當θ≥s1時,對整個視差區域進行填充,視差填充及三維重構效果如圖3(a)所示,可以看出非重疊區的視差填充導致三維模型出現斷層現象,與實際情況不相符合。②當θ=s2時,對遮擋區域和算法誤匹配區域進行視差填充,視差填充及三維重構效果如圖3(b)所示,可以看出坑洞管道的視差填充區域是平面而不是弧形,與實際情況不符合。③當θ=s3時,只對算法誤匹配區域進行視差填充,視差填充及三維重構效果如圖3(c)所示,可以看出整體效果良好。④當θ=0時,對所有區域均不進行視差填充,三維重構效果如圖3(d)所示,可以看出重構結果呈現出不切實際的蜂窩狀孔洞,重構效果差。由此可得,θ=s3時的視差填充及重構效果較好。

在確定θ取值后,利用 “無效-保留”判定法,舍棄無效視差區域,保留待填充的有效視差區域,對有效視差區域進行填充,最終三維重構模型如圖4所示,可以看出基于“無效-保留”判定的三維重構模型更能真實反映實際缺陷的三維形狀和色彩特征。

圖2 雙目橋面板坑洞

圖3 不同閾值填充模型

圖4 高清全彩三維空間全貌模型

3.2 智能測量效果驗證

基于高清全彩三維重構模型,進一步測量坑洞面積和坑洞深度,并與真實值對比驗證,其中真實值可由設計圖紙準確求出。將橋面板表面視為一個平面,選取λ=0.5 mm,分離橋面板平面部分與缺陷部分,分別如圖5(a)、(b)所示。進而利用式(10)—(14),計算得到坑洞面積為228.31 cm2,坑洞深度為7.4 cm。根據該坑洞的設計圖紙,得到坑洞面積、坑洞深度的真實值分別為230.52 cm2和7.5 cm,可知智能測量結果與真實值之間的最大誤差僅為1.3%,說明基于三維重構模型的智能測量方法可滿足缺陷尺寸的測量精度要求。

圖5 三維輪廓標記示意

4 結論

1)提出了基于“無效-保留”判別的坑洞缺陷高清全彩三維重構方法,在此算法中引入連通判定閾值θ,可較好剔除無效視差區域及保留待填充的有效視差區域,實現較好的視差填充及高清全彩三維重構效果。

2)提出一種基于閉合輪廓線的坑洞缺陷信息智能測量方法,利用平面投影像素轉化法計算閉合輪廓線所包圍的缺陷面積,利用點面距離法計算閉合輪廓線區域內的最大缺陷深度,可自動測量坑洞缺陷的坑洞面積和坑洞深度。

3)實驗驗證結果表明,基于“無效-保留”判定的坑洞缺陷三維重構模型能夠真實反映實際缺陷的三維形狀和色彩特征,基于三維重構模型的坑洞缺陷智能測量方法可滿足測量精度要求,最大誤差僅為1.3%。