水下平行雙目成像測距關鍵技術研究

鄭 冬,劉向宇,李萍萍,李雨坤,馬 萱

(1.重慶電力高等?？茖W校,重慶 400053;2.中國電子科技集團公司第四十四研究所,重慶 400061)

計算機視覺領域的興起,進一步加快了人類科技的發展,雙目視覺技術在陸上已得以充分的利用,很多研究者們又紛紛把該技術投向海洋。海洋擁有豐富的礦產、化學等資源,但都蘊藏于深海中,直接潛入深?？辈齑嬖谝欢ǖ奈ｋU,利用水下機器人或相應探測設備代替人類進行海洋勘察變得至關重要[1]。

水下探測主要以聲學探測和視覺探測為主。聲音在水中具有很強的穿透力,聲吶探測在海洋探測中也發揮了一定的作用。聲吶探測以信號接收為主,存在信號干擾,僅適用于大范圍、大距離、大規模的水下探測,探測到的信息不夠全面,因而存在一定的局限性[2]。相比聲吶探測,視覺探測具備近距離、高精度、強直觀性的優點,可以精確探測海洋信息。

視覺探測分為主動式和被動式探測。主動式探測通常含有激光探測,成本較為昂貴。被動式探測分為單目、雙目、多目。單目無法恢復深度信息,多目需要耗費多的相機,雙目不僅可以恢復深度信息,獲得物體的三維姿態,且成本可控[3-6]。因此,水下雙目視覺技術在海洋勘察中發揮著重要的作用。

同一目標物在水下和陸上,其光線在進入透鏡過程中的折射程度不同。在國外,Lavest J M等[7]就通過高階畸變補償的方法來減小水下折射變化帶來的影響,即從徑向畸變和切向畸變進行修正。Ferreira R等[8]利用等效焦距的方法來等效水下折射的影響,減少水下折射帶來的誤差影響。Gedge J等[9]對折射進行了分析,建立出水下成像的幾何方程,但是忽略了隔水玻璃厚度對折射的影響。Agrawal A等[10]對折射成像進行了建模,并使用五點算法求解折射率。由于模型過于復雜,計算起來存在一定的困難,因此沒有得到推廣運用。

水下成像與陸上成像本質差別還是光路。王玲玲等[11]討論了水下相機的焦點置于水的不同位置的成像過程,在入射角度較小的情況下,引入徑向、切向畸變來補償,但未分析光路的二次折射,因此做相應的實驗驗證其合理性。高新浩等[12]對相機的折射過程進行了建模分析,將陸上畸變引入折射,用折射畸變方式抵消水下成像誤差,但效果不是很明顯。陳少佳[13]對水下二次折射進行了建模,利用粒子群優化算法實現了相機參數的求解,但沒有在二次折射中對相機焦點置于水中的位置進行討論。

綜上所述,無論是國內,還是國外,對于水下雙目視覺成像技術的研究或多或少存在不足。本文針對是否考慮隔水玻璃厚度分別進行了光路分析,對相機焦點所處的位置情況進行闡述,建立對應的模型。本實驗平臺需要考慮隔水玻璃的厚度,對水下平行雙目成像進行光線折射分析,建立了水下折射處理模型。利用水下圖像等效為空氣圖像的算法,以及在小視場中對折射處理模型進行近似化的算法開展水下測距實驗,均取得了不錯的效果。

1 水下成像原理

水下平行雙目視覺成像與在陸上不同,光線傳播介質發生了改變。水下成像主要包含是否考慮隔水玻璃厚度、相機置于水體中還是水體外、相機焦點所處的位置等情況,在不同情況下需要進行對應分析[14-15]。建立如圖1所示的同一物點在兩介質中的光路傳播圖進行分析。

圖1 兩介質光線傳播路徑

在陸上,光線傳播路徑為空氣→相機,在水下,光線傳播路徑為水→玻璃→空氣→相機。同一物點,水下介質成像相比空氣介質成像,像點更大,因此陸上的標定、測距模型不能直接運用于水下。

對比水下和陸上的光線傳播路徑可知,最后傳播路徑均為空氣→相機。針對同一物點,若能把水下像點全部等效到陸上,即把水下圖像等效為對應的空氣圖像,就可套用陸上標定、測距模型。從像點分析,同一物點在水下的像距大于在陸上,因而可以從像距變化上建立對應的關系。本文對相機置于水體中、置于水體外的情況分別進行分析,具體如下所示。

2 相機置于水體中

相機置于水體中時,取世界坐標系中的一個物點Pw(xw,0,zw),此時相機的焦點就處于水中。如圖2所示,相對空氣介質來講,同一物點在水介質中進入相機時的像點Pwater(xwater,0)和在空氣介質中的像點Pair(xair,0)重合,即透視變化過程之前的光線傳播均相同。

圖2 水下折射光路

空氣中的相機成像在透視關系中本身就是非線性變化模型,相機置于水體中時,僅畸變與空氣不同,因此可以直接套用空氣中成像模型進行水下測距。

3 相機置于水體外

3.1 忽略隔水玻璃厚度

3.1.1 相機焦點置于空氣與水交界處

不考慮隔水玻璃的厚度,當相機置于水體外時,成像過程為水→空氣→透鏡。相機成像時,事物光線會聚于相機焦點,再成像到相機CCD。為了能夠通過一幅水下圖像得到其等效空氣圖像,需要將隔水玻璃與空氣的交界設置于相機焦點處。

建立如圖3所示的水下光線傳播示意圖,取世界坐標系中的一個物點Pw(xw,0,zw),通過空氣介質傳播到Pair(xair,0),通過水下介質傳播到Pwater(xwater,0),分析有水與無水的光線傳播成像點是否存在對應關系。建立兩介質針對同一物點進入透鏡時的對應關系,先以深度值為切入點,置于XOZ平面進行研究,建立關系方程式為

(1)

圖3 相機焦點置于介質交界處

式中:xair為物點xw在空氣介質中的像點;xwater為物點xw在水介質中的像點;θ1為入射角,θ2為折射角;f為相機焦距;nwater為水介質的折射率,nair為空氣介質的折射率。

忽略隔水玻璃厚度時,求解同一物點水下與陸上的成像對應關系為

(2)

3.1.2 相機焦點未置于空氣與水交界處

在實際運用中,相機的焦點并非完全處于水與空氣的交界處,焦點可能處于交界處之上或之下。對于式(2)能否運用于此情況需要做進一步的分析,為了不失一般性,這里以焦點處于水與空氣交界處之下為例,建立如圖4所示的光線分析圖。

圖4 相機焦點未置于介質交界處

取世界坐標系中的任意點Pw(xw,0,zw),作一條點Pw的平行光線過點PD(xD,0,zD),且過外焦點。結合三角形相似原理,建立關系方程為

(3)

變換式(3)得:

(4)

當物距較大,滿足z?f或z?|d-f|時,式(4)等效為

xair≈xd

(5)

同理,當焦點處于水與空氣交界處之上,即d

不考慮隔水玻璃的厚度,相機焦點置于交界處,物距不論大小,均可以把水下圖像等效為空氣中的圖像。相機焦點不置于交界處,當物距較大時,水中成像點與空氣中的成像點也可以近似存在一一對應關系,即直接近似為焦點處于交界處。

3.2 考慮隔水玻璃厚度

在很多實驗過程中,隔水玻璃的厚度都不能忽略。若忽略隔水玻璃厚度,且相機焦點也未置于交界處,將會造成更大的水下測距誤差。為保證水下測距的準確,需要對隔水玻璃材質的厚度進行考慮,并對水下成像的二次光線折射進行建模。

3.2.1 相機焦點置于隔水玻璃與水的交界處

考慮隔水玻璃的厚度時,成像過程就變為水→玻璃→空氣→透鏡。先以相機焦點處于隔水玻璃與水的交界處為例進行分析,物點水下傳播的光線在水介質中的成像點為Pwater(xwater,0),空氣介質中為Pair(xair,0)。

圖5為水下光線傳播示意圖,先分析物點在空氣介質中的傳播光線、物點到像點的光線。建立方程式為

圖5 相機焦點置于水與玻璃交界處

(6)

式中:nglass為隔水玻璃折射率;θ5為空氣介質中入射光線到隔水板介質的折射角度(與θ6等值);θ7為空氣介質中隔水板介質到空氣介質的折射角度(與θ1等值);T為隔水玻璃介質的厚度。

由式(6)推導得:

+(f-T)×tan(θ1)

(7)

再分析物點在水介質中的傳播光線,建立方程式為

(8)

式中:θ4為水介質中入射光線到隔水玻璃介質的折射角度(與θ2等值);θ3為水介質中隔水玻璃介質到空氣介質的折射角度。

變換式(8)得:

(9)

此時聯立式(7)和式(9)得水下成像點與空氣成像點關系,式(9)可以通過水下已知的某一點xwater反求對應θ1值,回代式(7)即可與xair實現一一對應關系。

3.2.2 相機焦點置于隔水玻璃與空氣交界處

相機焦點處于隔水玻璃與空氣的交界處時,如圖6所示?？諝饨橘|中物點與水介質中的物點經過透鏡折射,會聚于相機焦點成像于相機中的兩點。

圖6 相機焦點置于空氣與玻璃交界處

同理,分析空氣介質中的物點,建立光線折射方程式為

(10)

變換式(10)為

xair=f×tan(θ1)

(11)

再分析水介質中的物點Pw(xw,0,zw),建立方程式為

(12)

聯立式(11)、式(12)求解得:

(13)

由式(13)可知,利用水介質中的像點轉換得到的空氣介質等效光線為圖6所示的虛線光線,但實際需要求解的是與水介質中入射光線等同的空氣介質光線。由圖6可得,兩光線距離相差為d,若空氣介質光線(圖6中的虛線)往左邊移動間隔d,那么對應到像素成像點,也需要移動等距,即:

(14)

其中,

d=T×[tan(θ2)-tan(θ5)]

(15)

由式(10)、式(12)解出

(16)

(17)

當相機焦點置于隔水玻璃與空氣的交界處時,聯立式(14)至式(17),即可求解水下像素坐標點與空氣中的像素坐標點之間的對應關系模型。

3.2.3 相機焦點未置于介質交界處

相機焦點未置于交界處時,會出現3種情況。先分析相機焦點置于隔水玻璃與水交界處之上、置于隔水玻璃與水交界處之下2種情況。兩種光線折射傳播如圖7、圖8所示。

圖7 相機焦點置于玻璃與水交界處之上

圖8 相機焦點置于玻璃與水交界處之下

分析圖4所示的水下光線折射可以得到,物距較大時,圖7、圖8的模型可分別近似為圖5、圖6所對應的模型。當相機焦點置于隔水玻璃中時,光線折射分析示意圖如圖9所示。

圖9 相機焦點置于隔水玻璃中

聯立圖6對應的水下光線折射模型,針對同一物點,分析圖9對應的空氣介質光線:

(18)

顯然,Δd很小時,等價式(14)。分析如圖8所示的光路,在水介質中有:

(19)

同理:

d=T×[tan(θ2)-tan(θ5)]

(20)

聯立式(18)至式(20)得:

xair=(f-Δd)×tan(θ1)

(21)

其中:

(22)

因此,在Δd已知的情況下,利用式(21)和式(22),可以建立起水下成像點與空氣成像點之間的對應關系。

4 相機置于水體外小視場近似化

把水下圖像等效為空氣的圖像時,不需要考慮視場角度的大小,當視場縮小時,可進一步分析水下成像點與空氣中的成像點的關系模型。

4.1 忽略隔水玻璃厚度

忽略隔水玻璃厚度時,分析水下光線折射,可以得知測距時水下光線與空氣光線存在一一對應關系,物距較大時,在實際水下測距中,均滿足式(2)。水下成像的情況下,當視場較小時,函數值就近似為角度值,則式(2)就轉換為

(23)

4.2 考慮隔水玻璃厚度

若考慮隔水玻璃的厚度。相機焦點處于隔水玻璃與水的交界處時,在小視場中,轉換式(9)得:

(24)

分析式(7)得:

(25)

將式(23)代入(24)得:

(26)

焦點處于隔水玻璃與空氣的交界處時,在小視場中,聯立式(15)至式(17)得:

(27)

代入式(13)得

(28)

焦點處于隔水玻璃中時,在小視場中,聯立式(21)與式(22)得:

(29)

(30)

把式(30)代入式(29)得

(31)

5 實驗分析

本文搭建的水下平行雙目測距實驗平臺如的水缸尺寸比例l×w×h為800 mm×50 mm×30 mm,隔水玻璃厚度為4 mm,水缸材質為亞克力板,折射率約為1.49。采用的相機為高幀率USB3.0雙目視覺相機,相機的焦距為3.41 mm,像素尺寸為3.75 μm。由于本實驗平臺隔水玻璃厚度相對較大,不能忽略,需要利用考慮隔水玻璃厚度的水下光線折射模型進行水下測距。

水下平行雙目測距實驗平臺中,把相機盡可能地貼近隔水玻璃。由于相機焦點所處的具體位置未知,則需要考慮多種模型。

本文將利用水下二次折射模型,把水下圖像等效為對應的空氣圖像測距,利用小視場滿足線性變化關系,采用等效焦距的算法進行水下測距實驗。水下測距實驗平臺見圖10。

圖10 前向映射原理圖

本文的水下平行雙目測距流程如下。

1)在水缸中,雙目相機由遠到近分別貼有標簽1～3,利用型號為DL4168的得力激光測距儀進行測距,得出標簽間隔均為202.500 mm。

2)利用水下光線折射模型,把水下圖像等效為對應的空氣圖像,然后進行標定、測距,求解對應的標簽間距。再利用小視場中對應的等效模型,把折射影響等效為焦距的變化,求解相機內外參數,進行水下測距,求解標簽間距。

3)分析2種水下折射處理算法測距實驗,進行對比、分析。

5.1 等效空氣圖像水下測距

在平行雙目視覺成像中,陸上光線傳播路徑為空氣→相機;水下傳播路徑為水→隔水玻璃→空氣→相機。若把同一物點對應的水下成像點等效為空氣介質成像點,在理想情況下,相機標定的內外參數應與空氣介質一樣。

先假設相機焦點置于隔水玻璃與水、隔水玻璃與空氣的交界處,利用對應的水下二次折射對水下圖像進行等效。利用折射模型等效后,像點都為非整數,需要進行灰度插值運算。

灰度插值主要包括前向映射和后向映射。前向映射原理圖如圖11所示。假設輸入圖像的某一整數坐標為(x,y),變換到輸出圖像上的非整數坐標為(x′,y′),輸入圖像坐標(x,y)上的像素值就會按權重分配到輸出圖像坐標(x′,y′)的4個鄰近位置。輸出圖像上的整數坐標位置,是由輸入圖像的很多個像素值分配而疊加,最終形成輸出圖像整數坐標上的像素值。

圖11 前向映射原理圖

前向映射中,某一點的像素值需要遍歷輸入圖像的所有像素值,才能得到輸出圖像各像素點的像素值。所以算法復雜度較大,運行速度也相對較慢。

后向映射不同于前向映射,原理圖如圖12所示。取輸出圖像上整數點坐標為(x′,y′),假設在變換前,輸入圖像上的坐標為(x,y),一般來說坐標(x,y)是個非整數點。利用其周圍整數點坐標(x′,y′)的輸入圖像像素值進行插值,就得到了該點的像素值。后向映射相對前向映射來講,則是遍歷輸出對象,經過坐標變換到對應輸入圖像的像素點,速度優于前向映射。

圖12 后向映射原理圖

因此,本文將采用后向映射的算法進行灰度插值運算?；叶炔逯挡捎秒p線性插值,相比最鄰近插值精度較高,相比三次插值更簡單。

雙線性插值原理圖如圖13所示。當輸出圖像的整數坐標(x′,y′)對應到輸入圖像的像素值為f(x,y),則f(x,y)由輸入圖像上4點像素值疊加而成。即:

圖13 雙線性內插值原理圖

f(x,y)=(1-x)(1-y)×f(0,0)+(1-x)y

×f(0,1)+x(1-y)×f(1,0)+xy×f(1,1)

(32)

因此,對水下圖像進行處理時,先假設本實驗平臺的雙目相機焦點置于隔水玻璃與水的交界處、隔水玻璃與空氣交界處,套用對應的水下折射模型,對水下圖像進行等效。效果如圖14所示。

(a)水下圖像

把水下圖像等效為空氣圖像。相對于水下圖像,水中成像的物距縮短,有效焦距增大,水中的視場角減少。分析等效的空氣圖像,無法判定相機焦點所處的位置。針對2種假設情況,求解出如表1所示的相機標定參數值。

表1 相機焦點定于不同位置的參數值

由表1可得,引入隔水玻璃厚度,焦點定于隔水玻璃與水交界處,相機參數過大;焦點定于隔水玻璃與空氣交界處,相機參數過小。因此,本文的相機焦點處于隔水玻璃中,建立目標函數:

z=[(|flax-flwx|2+|flay-fwy|2

+(|frax-frwx|2+|fray-frwy|2]

(33)

式中:flax、flay,flwx、flwy分別為左相機在空氣、水中對應的橫、縱有效焦距;frax、fray,frwx、frwy分別為右相機在空氣、水中對應的橫、縱有效焦距。

套用相機焦點在隔水玻璃中的水下折射模型。解算過程如下:

1)先求解Δd=0時的相機有效焦距值。將其代入目標函數z中,并把z賦值給zmin。

2)Δd=0時,依次增加步長0.01,采用對應式(21)、式(22)求相機參數,解z值,使zmin>z。滿足條件時,就把z賦值給zmin,直到Δd=0等于4 mm。

3)迭代出最后的zmin,反解對應的Δd=0值。

采用上述步驟,求解到本實驗平臺的相機焦距置于隔水玻璃與空氣交界處之上0.96 mm。圖15為標簽3水下原圖。將水下圖像對應的左、右相機像素點坐標等效到空氣圖像坐標如表2所示,等效后的圖像(標簽3為例)如圖16所示。

表2 水下圖像等效空氣圖像的像素坐標對應表

圖15 標簽3水下原圖

圖16 標簽3等效的空氣圖像

把水下圖像等效為空氣圖像后,水下成像點就對應到陸上成像點中,可適用陸上的相機標定、測距模型。對等效之后的雙目相機圖像再次進行標定,求解的左右相機內、外參數分別對應,如表3所示。

表3 雙目相機焦距值

接著進行水下測距實驗。為保證標簽測距的準確性,在對標簽進行測距時,取多組測距實驗均值作為一組標簽的測距值。

水下圖像等效為空氣圖像進行測距(見表4),標簽1、標簽2、標簽3對應的測距均值分別為311.996 mm、513.652 mm、716.796 mm。則對應的標簽1、標簽2間距為201.656 mm,標簽2、標簽3間距為203.144 mm,實際標簽之間的間隔均為202.500 mm,則對應的標簽1、標簽2和標簽2、標簽3的測距誤差分別為

表4 等效空氣圖像測距值 mm

(34)

(35)

水下圖像等效空氣圖像后,求解出來的標簽1、標簽2和標簽2、標簽3間距誤差分別為0.42%和0.32%,平均誤差為0.37%,在可接受范圍內。在實驗誤差允許的范圍內,采用把水下圖像等效為空氣圖像的算法進行水下測距是切合實際的。

5.2 等效有效焦距水下測距

采用等效轉換的算法進行水下測距。由水下折射模型得到小視場中線性變化的關系,可以等效到焦距的改變。在本文考慮隔水玻璃的厚度的情況下,其中:f=3.41;Δd=0.96;nglass=1.49;T=4。代入式(31)有

(36)

將此放大倍數等效到對應的有效焦距上,則此模型的等效焦距是等效為空氣圖像中的相機焦距值的1.475 5倍,如表5所示。

等效焦距法在小視場測距中成立,采取同上的進行水下測距,同樣取目標物上的8組數據,用間隔做差法來判斷測距的效果。在實際測距的過程中,盡可能選擇小視場中的參數值,建立如表6所示的測距值。

標簽1、標簽2、標簽3對應的測距均值分別為331.117 mm、525.792 mm、720.870 mm,則對應的標簽1、標簽2間距為194.675 mm、標簽2、標簽3間距為195.078 mm。而實際標簽之間的間隔均為202.500 mm,則等效焦距法下對應標簽1、標簽2和標簽2、標簽3的測距誤差分別為

(37)

(38)

僅從間隔誤差分析,等效焦距法測距的平均誤差為3.77%,在允許的范圍內,測距結果成立。其相比等效空氣圖像法的誤差要大,說明等效空氣圖像法更優于等效焦距法。在本平臺的測距過程中,水缸長度不夠,而等效焦距法需要物距較大才適用,這使得等效空氣圖像效果優于等效焦距法。

如圖17所示,等效焦距法測距時,當物距較大時,測距值逐漸趨于重合,與等效空氣圖像法測距相同。若實驗平臺處于理想情況下,等效空氣圖像法和等效焦距法均可作為水下測距的選擇。其次,等效焦距法還受視場的影響,同一目標物,距離越遠,在相機中呈現的視場就越小,反之就越大。針對同一目標物測距,物距越大,越容易滿足小視場條件,反之則不容易滿足。

綜上,物距越大,越容易滿足等效焦距法成立的條件。在實際運用中,其等效焦距條件很容易滿足。在本平臺的實驗中,只能近似滿足等效焦距法的條件,這使得等效空氣圖像法則不需要條件限制,因此在本實驗平臺更優于等效焦距法。

6 結論

本文從相機置于水體外,以及水體中出發進行分析。相機置于水體中時,光線進入相機之前的路徑一樣,由于相機標定測距模型,在透視變換過程本身就是非線性變換,則該情況可以直接套用陸上模型。相機置于水體中時,需要分析是否考慮隔水玻璃的厚度。若隔水玻璃厚度很小,或玻璃介質與水介質折射率一樣時,可直接忽略不計,從相機焦點所處的位置即可建立對應的水下折射模型。若隔水玻璃厚度較大,或玻璃介質與水介質折射率不相等時,則須建立二次折射模型,對相機焦點所處位置情況進行分析,同樣建立出對應的水下二次折射模型。

在小視場中對模型進行了近似化,水下與陸上成像點存在線性對應關系。本文實驗平臺需要考慮隔水玻璃厚度,利用把水下圖像等效為空氣圖像的算法進行水下測距實驗。同時也利用線性對應關系的算法,把水下折射影響等效到有效焦距的變化,在小視場中進行測距實驗。實驗結果表明,測距誤差在可接受范圍內,等效空氣圖像和等效有效焦距的算法均可解決水下平行雙目視覺成像。