全景泊車輔助系統的關鍵技術

錢 峰，李 勇，文淑容

(1 湖北工業大學機械工程學院現代制造質量工程湖北省重點實驗室，湖北 武漢 430068；2 湖北省產品質量監督檢驗研究院，湖北 鄂州 436070)

隨著車載電子技術的快速發展，人們對乘用車安全駕駛的要求越來越高，傳統的車載輔助駕駛系統只在車尾安裝攝像頭，只能覆蓋車尾的小部分區域，而車輛兩側后視鏡無法捕捉的區域和車頭左右立柱遮擋的區域，無疑會形成視野盲區，增加駕駛的風險，在狹窄的街道和停車場容易出現擦碰事故。為消除視野盲區，提高駕駛的安全性，就必須讓駕駛員能夠實時查看車輛周圍的環境，這就需要多個魚眼攝像頭共同采集車輛周圍的圖像，然后通過主控處理單元進行拼接，形成一幅覆蓋車輛周圍的全景環視圖像。

全景泊車輔助系統包含兩大核心技術：一是魚眼攝像頭標定及魚眼圖像畸變矯正技術，二是全景圖像拼接技術。魚眼鏡頭焦距小，視場大，采集的圖像有嚴重的畸變問題?；兊拇嬖诓粌H使人眼觀察的效果差，也不利于圖像的進一步處理，需要對其進行矯正。目前，國內外學者對魚眼圖像的畸變矯正已經進行了大量研究。其中，比較有代表性的有球面透視投影模型校正法[1]、等距模型校正法[2]、橢圓模型校正法[3]。這些方法不需要標定模板，校正過程比較簡單，但都存在校正圖像邊緣信息缺失、圖像寬大，畸變校正不徹底等問題。在系統完成魚眼圖像的畸變矯正后，為形成一幅覆蓋車輛周圍的全景圖像，需要進一步將矯正后的圖像進行拼接。目前，關于圖像拼接的方法主要有基于特征點的圖像拼接法[4-5]和基于區域的圖像拼接法[6-7]。這兩種方法都能夠較快地實現圖像的拼接，但拼接后的全景圖像都不同程度地存在殘留拼接縫隙、偽影、變形大等問題。

本文在現有全景泊車輔助系統[8-10]的基礎上，對魚眼圖像畸變矯正技術和全景圖像拼接技術進行了研究，設計了一種新的全景泊車輔助系統。該新系統比較完整地保留了魚眼圖像畸變矯正后的信息，消除了圖像拼接后的殘留縫隙，并有效解決了全景圖像變形大、偽影等問題。

1 眼攝像頭標定及魚眼圖像畸變矯正

1.1 魚眼攝像頭標定

為了對魚眼攝像頭所采集的圖像進行畸變校正，需要對魚眼攝像頭進行標定來獲取內外參數,找到圖像坐標系和世界坐標系的對應關系，從而建立畸變圖像和矯正后圖像的映射關系。本文的標定過程是通過將魚眼攝像頭固定在一個位置，在距攝像頭f處(即魚眼攝像頭的焦距處)放一個黑白棋盤格，通過旋轉棋盤，每次旋轉36°，直至旋轉360°，使攝像頭和黑白棋盤格的相對視角不同，采集10張黑白棋盤格圖像，通過算法來計算攝像頭的內外參數(圖1)。

圖1 車載魚眼攝像頭標定示意圖

1.2 魚眼圖像畸變矯正

為了解決傳統魚眼圖像畸變矯正方法中存在的矯正圖像邊緣信息缺失、圖像寬大、畸變矯正不徹底等問題。本文提出了基于線性特征的兩步式魚眼圖像畸變矯正方法。第一步先結合傳統的線性魚眼圖像畸變矯正算法的優勢對魚眼圖像進行初步矯正；第二步加入多項式變換算法，對矯正后的魚眼圖像作進一步的修正，使矯正后的圖像盡可能多的保留原圖像的信息。

假設(u,v)為圖像坐標系中的任意點，(u0,v0)為坐標系的原點，u軸,v軸的單位為像素。(Xc,Yc,Zc)為攝像頭坐標系點，(X0,Y0,Z0)為坐標系原點，Xc軸，Yc軸，Zc軸的單位為mm。圖像坐標點和攝像頭坐標系點之間的關系[9]如

(1)

式中：k，l為單位像素的大??；f為魚眼攝像頭的焦距；θ為魚眼攝像頭的安裝角度，在安裝精度要求不高的情況下，θ為90°。因此，方程[9](1)又可表示為

(2)

a,b,u0,v0為魚眼攝像頭的內參數，由魚眼攝像頭本身決定。由于魚眼攝像頭在生產和安裝的過程中存在誤差，即使同一生產線制造的魚眼攝像頭，其參數也可能存在較大差異?？紤]到魚眼攝像頭的徑向畸變和切向畸變，為了獲取更加準確的標定參數，圖像坐標點和世界坐標點的關系如圖2所示，可表示為[11]

(3)

(4)

(5)

(6)

式中：R3×3為旋轉矩陣，t3×1為平移矩陣，r3×1為旋轉矢量。(x′,y′)是理想圖像坐標點，(x,y)為畸變圖像坐標點。k1,k2,k3為徑向畸變系數，p1,p2為切向畸變系數，r為畸變半徑，r2=x2+y2。

1-世界坐標系;2-入射光線;3-單位球面;4-攝像頭坐標系;5-像素坐標系;6-圖像平面;7-圖像坐標系圖2 魚眼攝像頭成像過程

考慮到魚眼攝像頭為非線性結構，結合上文所建立的魚眼攝像頭坐標點與世界坐標點以及圖像坐標點之間的關系，可以推導出世界坐標系點與圖像坐標系的關系:

(7)

由式(7)可知，f(abu0v0r3×1t3×1k1k2k3p1p2)為魚眼攝像頭的內外參數。當世界坐標系中的點[Xw,Yw,Zw,1]T和f確定時，像素坐標系中的點[u,v,1]T也即唯一確定。在同一圖像中，圖像坐標系中的點(u,v)的灰度值g(u,v)唯一確定。通過這種唯一確定關系，可以實現魚眼圖像的畸變矯正。f(abu0v0r3×1t3×1k1k2k3p1p2)中的參數包含魚眼攝像頭的所有特征，可以通過實驗值f′(abu0v0r3×1t3×1k1k2k3p1p2)獲取。由于實驗值f和真實f′之間有誤差，因此，矯正圖像中從f′值中獲取的g′值與畸變圖像中從f值中獲取的g值之間也有差異。為了最大限度的將魚眼畸變圖像矯正為正常視野的圖像，上述問題又可被等效為尋找g和g′之間的最小差異[9]，其數學關系

(8)

其中：n×m為矯正后的圖像尺寸。g1表示的畸變的魚眼圖像的灰度值，g2為矯正后的圖像的灰度值，魚眼圖像矯正的效果如圖3所示，像素誤差為0.5 pix。

圖3 魚眼圖像畸變矯正效果圖

2 全景圖像拼接

在完成魚眼圖像的畸變矯正后，為形成一幅覆蓋車輛周圍的全景圖像，需要進一步將矯正后的圖像進行拼接。根據圖像拼接的特點、配準方式、應用場景的不同，全景圖像拼接主要分為兩類：一類是基于特征點的全景圖像拼接法，另一類是基于區域的全景圖像拼接法。為了減少圖像拼接過程中的計算量、噪聲的影響，提高精度，本文選擇基于特征點的全景圖像拼接法對圖像進行拼接。

2.1 俯視投影變換

在全景泊車輔助系統中，4個魚眼攝像頭以不同的角度安裝在車輛的前、后、左、右，其光軸與地面不全是垂直關系。因此，魚眼攝像頭采集的圖像中的地面與水平面不全平行，且四個魚眼攝像頭采集的圖像中的地面相互之間也不平行。這導致采集的圖像不能進行拼接，也無法形成鳥瞰圖像。為了使系統能最終獲取一幅環視的全景鳥瞰圖，就必須對矯正后的魚眼圖像進行俯視投影變換。

本文采用基于圖像的單應性矩陣DLT算法來對矯正后的魚眼圖像進行俯視投影變換。該算法不需要測量魚眼攝像頭的安裝角度和安裝位置等參數，俯視變換圖像更加精確，安全，可靠?；趫D像的單應性矩陣DLT算法的俯視投影變換計算公式

(9)

其中：s為比例因子；L1，L2，L4，L5，L6，L8，L9，L10為矩陣H中的未知參數；(u,v)為像素坐標點，(Xw,Yw,Zw)為世界坐標點，Zw=0。為了求解這些未知數，并進一步求解出俯視投影變換過程中的單應性矩陣H，選擇黑白棋盤格的4個頂點作為世界坐標點，并與相應的像素坐標點建立映射關系，組成8組方程。魚眼攝像頭采集的圖像經畸變矯正后與俯視投影變換圖像的對應點的坐標關系

(10)

圖3b中的魚眼圖像畸變矯正效果圖,通過基于圖像的單應性矩陣DLT算法的俯視投影變換效果如圖4所示。

圖4 俯視投影變換效果

2.2 基于SIFI特征點匹配的全景圖像拼接

在完成對魚眼圖像的畸變矯正、俯視投影變換等預處理后，可通過對相鄰魚眼攝像頭采集圖像的重疊部分的特征點進行提取和匹配，進而實現全景泊車輔助系統的全景圖像拼接?；赟IFI(尺度不變特征轉換，ScaleInvariant Feature Transform)特征點匹配是對兩幅圖像重疊部分的特征點進行相關性計算，得到一組互相關系數。然后根據需要設定閾值，對滿足閾值的特征點進行保留并配對。假設兩幅待配準圖像分別以函數D1(x,y)和D2(x,y)表示，則在特征點中心為(0,0),S∈(0

(11)

3 系統實驗和結果

魚眼圖像的畸變矯正和圖像拼接是全景泊車輔助系統中的關鍵步驟，其結果不僅需要在PC仿真中進行測試，還需要在實際場景中安裝在嵌入式開發板上進行測試。

3.1 魚眼圖像畸變矯正的實驗結果

本文中所陳述的魚眼圖像畸變矯正,采用的是兩步法和多項式坐標變換法,通過多個角度采集黑白棋盤格圖像，使魚眼攝像頭標定的更加精確，矯正的效果更好。魚眼圖像矯正效果如圖5所示。

圖5 魚眼圖像畸變矯正效果圖

3.2 全景圖像拼接實驗結果

本文通過基于SIFI特征點的圖像拼接法對矯正后的魚眼圖像進行了拼接，消除了縫隙處的拼接線,實現了圖像的平滑過渡，拼接后的全景圖像視覺效果較好。如圖6所示，黑色矩形框為模擬平臺(車輛)所處位置?；谔卣鼽c的全景圖像拼接法所需的時間與基于區域的全景圖像拼接法時間進行對比(表1)。

圖6 拼接后的全景圖像

表1 基于特征點與基于區域的全景圖拼接法的耗時對比

從表1可知，基于特征點的全景圖像拼接法處理各個視圖的部分區域圖像的時間均小于基于區域的全景圖像拼接法的時間，且時間的提升率均在35%以上,這對于實時性要求很高的車載系統有較高應用價值。

4 結論

本文對全景泊車輔助系統的關鍵技術進行了研究，提出了一種新的魚眼圖像畸變矯正方法，有效地改善了矯正圖像寬大、局部信息缺失、矯正不徹底的問題。通過SIFI特征點匹配的方法對矯正后的圖像進行了拼接，實現了相鄰圖像在拼接處的平滑過渡和無縫拼接。通過模擬平臺進行仿真和測試表明：該系統成本低廉，耗時低，魯棒性強，最后形成的全景圖像效果良好，能夠輔助駕駛員泊車。