動態圖像逆透視映射方法在路面圖像拼接中的應用*

曹 毓，馮 瑩，魏立安，雷 兵，王彥輝

(國防科技大學光電科學與工程學院，長沙 410073)

相機拍攝到的圖像是世界坐標系下的3維景物在2維像平面上的投影，該過程在數學上是一個透視映射過程，其逆過程稱為逆透視映射(Inverse Perspective Mapping，IPM)。IPM技術廣泛應用于車輛自主駕駛、自動泊車、機器人導航及路面信息勘測等領域［1－15］。但是現有的IPM方法均假定相機姿態是恒定的。車輛行進中的顛簸難免使得相機姿態發生變化，由此導致現有方法在此情況下獲得的路面俯視圖存在著較大誤差。

本文針對相機動態條件下的IPM問題展開研究。介紹了使用姿態傳感器實時測量相機姿態的方法，利用相機姿態角數據計算出相機相對路面的逆透視映射關系矩陣，從而獲得了高精度路面俯視圖。室內靜態實驗證明:在相機任意姿態下該方法均可獲得較高的IPM精度。隨后的動態實驗驗證了相機的姿態變化對圖像IPM結果的影響，并給出了路面圖像的拼接結果。本文提出的方法可在存在一定顛簸的路面上獲取高精度的大范圍路面圖像信息，可應用于機場跑道的異物檢測及公路路面病害快速勘測等領域。

1 基于相機姿態實時測量的IPM算法

由攝像測量學基本原理［16］，可以建立世界坐標系中一物點Q(Xw，Yw，Zw)坐標與其像點q(u，v)像素坐標的關系如下:

式中:u0，v0為圖像的中心點像素坐標，ZC為歸一化系數，dx，dy分別為傳感器水平和垂直方向的像元物理尺寸，f為鏡頭焦距，ax=f/dx，ay=f/dy，0T=(0，0，0)為零矢量。矢量t給出了像機坐標系與世界坐標系原點間的相對位置關系，矩陣R給出了像機坐標系與世界坐標系坐標軸間的姿態關系，稱為相機旋轉矩陣。MI稱為內參數矩陣。MO稱為像機外部參數矩陣。M稱為投影矩陣。

相機一旦給定其內參數矩陣MI便已確定。不妨將像機坐標系與世界坐標系原點重合，則外參數矩陣MO中只需考慮旋轉矩陣R的影響。本文采用的姿態傳感器坐標軸定義如圖1所示，約定歐拉角旋轉次序為X－Y－Z。

圖1 姿態傳感器及其坐標系約定

令世界坐標系為XG，相機坐標系為XS，有XG=RGSXS，則有:

其中:

其中的三個角φ，θ，ψ分別被定義為相機的橫滾角、俯仰角和航向角。

傳統的IPM方法均假設RGS是固定的，這樣做雖可以簡化算法，但是車輛行駛過程中相機姿態難免會發生變化，由此導致現有IPM算法此時出現較大誤差。為此，我們采用了姿態傳感器監控相機姿態，實時解算出對應時刻下的RGS矩陣并用于圖像的IPM變換中。

在獲得投影矩陣M后，可按下述步驟實施圖像的IPM變換:

(1)確定世界坐標系下路面的待變換區域A并指定分辨率，將區域A按照分辨率劃分成若干正方形網格，如圖2所示。例如選擇路面上1 m×1 m的區域實施IPM變換，指定分辨率為1 cm，則該區域被劃分為100×100的網格，在世界坐標系下一個網格對應的路面面積為1 cm2，而每個正方形網格對應IPM變換后圖像中一個像素，IPM變換后圖像分辨率為100像素×100像素。

圖2 路面點與像平面點映射關系示意圖

(2)對世界坐標系下每一個正方形網格的中心點坐標P(Xw，Yw，－h)，利用式(1)計算出對應圖像坐標系下的圖像坐標p(u，v)。

(3)依據圖像坐標值p(u，v)對IPM變換后的圖像逐像素賦予灰度值。獲取的圖像像素坐標p(u，v)可能并非為整數，甚至可能為負值。對于坐標計算結果超出圖像平面像素范圍的，說明對應的路面網格不在相機視場內，如圖2中的點Q所示，應對IPM變換后的圖像中該網格點對應位置賦予灰度值0，即黑色。對于圖像坐標值計算結果為小數的，可采取臨近插值法或雙線性插值法獲得其灰度值。雙線性插值法精度稍高，但臨近插值法耗時更少，實際應用中二者可權衡采用。

在實施以上三個步驟后即可得到路面俯視圖。

2 實驗驗證

2.1 靜態實驗驗證IPM精度

將相機和姿態傳感器固定在同一平臺并傾斜向下架設，如圖3所示。

圖3 實驗裝置圖

準確測量出相機的架設高度、姿態角等參數。在地面鋪設邊長96 cm的點陣模板，對相機拍攝到的包含透視效果的模板圖像，根據姿態傳感器測得的相機姿態角，使用本文方法實施IPM變換;通過測量IPM變換后圖像中的模板變形量來定量驗證本文IPM方法的精度。實驗選用Point Grey公司的Flea2－14S3相機來獲取圖像，相機鏡頭視場角為69.4°×52.05°，焦距為4.8 mm。選用Xsens公司的MTI姿態參考系統來測量相機的姿態角，其靜態測角精度為0.3°。由于使用了廣角鏡頭，在實施IPM變換前，需要對圖像實施畸變校正。圖4給出了相機姿態角不同的兩組實驗的IPM前后圖像對比結果。圖像1和2為相機拍攝的原始圖像，3和4為對應的IPM結果。選擇地面上2 m×2 m的逆透視映射范圍，分辨率設定為4 mm，因此IPM變換后的圖像分辨率為500像素×500像素，模板在圖像中的尺寸應為240像素×240像素。

圖4 實施IPM變換前后的圖像對比

為定量檢驗逆透視映射結果的精度，我們利用National Instrument公司的視覺助手(Vision Assistant)軟件，分別測量了圖像3和4中正方形網格模板ABCD的四個邊長和四角的角度值，兩組實驗的詳細結果數據如表1所示。由旋轉矩陣RGS的表達式發現，相機航向角的變化只會影響IPM變換結果圖像的整體旋轉量。在圖像拼接應用中，圖像的旋轉是可以很容易校正的，不會對最終拼圖結果造成影響，因此表中并未給出航向角的值。

表1 IPM變換后模板參數測量結果

表1中可見，在兩組實驗得到的映射圖像中，正方形ABCD的四個邊長與實際長度相比，最大誤差0.8%;模板四個角的角度最大誤差為0.5°。因此，在相機不同姿態的情況下，本文算法的IPM精度均較高。產生誤差的原因主要有三點:一是姿態傳感器本身有測角誤差;二是對相機高度等參數的測量有誤差;三是在圖像中人工量取方式獲得的模板尺寸數據引入了誤差。

2.2 動態實驗驗證圖像拼接效果

為進一步驗證本文IPM算法在實際應用中的表現，選擇了一塊約20 m×80 m范圍的平坦場地進行實驗，為了模擬車輛顛簸的情況，人為的在路面設置了若干障礙物，如圖5所示。使用星網宇達公司的姿態測量系統(型號:ADU7600)實時監測相機姿態變化，其動態測量精度為0.2°，坐標系約定與MTI相同。為拍攝到大范圍的路面場景，相機架設高度3.6 m。圖6給出了傳感器聯合架設示意圖。圖中姿態測量系統水平放置，相機為了拍攝路面，相對于姿態測量系統有固定的35°俯角偏置。圖7為相機實驗中拍攝的其中一幅路面透視圖像。車輛靜止時，記錄下由姿態傳感器讀出的傳感器安裝平臺傾角為:俯仰0.45°，橫滾－1.31°。車輛行進時，相機以6幀/s的幀頻采集圖像，同時姿態傳感器實時同步記錄相機姿態數據，圖8給出了由姿態傳感器記錄到的傳感器平臺實時傾角變化曲線。從圖中發現，由于車輛顛簸的影響，俯仰角和橫滾角均經歷了幅度約3°的波動。

圖5 實驗場景圖

圖6 傳感器聯合架設示意圖

圖7 相機拍攝的一幅路面圖像

圖8 傳感器平臺實時傾角變化曲線

首先不考慮相機姿態變化，使用車輛靜止時的相機初始姿態角對所有圖像實施了IPM變換。圖9為圖7經未施加姿態校正的IPM變換后的結果。隨后，根據相機在獲得每幅圖像時由姿態傳感器同步獲取的相機姿態信息再次對圖像進行了IPM變換。為了準確獲得相機拍攝時刻對應的姿態信息，需要相機和姿態傳感器實現精確的同步。圖10為圖7經施加姿態校正的IPM變換后的結果，從地面磚縫的平行度容易判斷，其IPM校正效果明顯好于圖9。

圖9 施加角度校正前的圖像IPM結果

圖10 施加角度校正后的圖像IPM結果

圖11給出了由未施加相機姿態校正的IPM變換后圖像拼接得到的實驗場地全局圖，圖像拼接使用Microsoft公司開發的現有成熟商業軟件Image Composite Editor(ICE)完成。從圖中可見，原本直線度良好的路面磚塊條紋出現了扭曲變形，這是由IPM變換誤差導致的。圖12給出了由施加了相機姿態校正的IPM變換后圖像拼接得到的實驗場地全局圖。從圖中可見，原本成直線的路面磚塊條紋信息得到了真實準確的還原。

圖11 未考慮相機姿態變化的圖像拼接結果

圖12 考慮了相機姿態變化后的圖像拼接結果

3 結論

本文分析了一種應用于路面圖像拼接的動態圖像IPM方法。實驗結果表明，在車輛出現顛簸的情況下，實施相機姿態校正后獲得的圖像IPM結果明顯優于未施加姿態校正的IPM結果。由本文方法獲得的路面俯視圖拼接出的路面圖像準確恢復出了實際的道路特征。該方法實施簡便，環境適應性強，圖像拼接質量高且失真小，可用于自主泊車、機場跑道異物檢測及公路路面病害勘測等領域。

［1］鄭榜貴，田炳香，段建民.基于Kalman預測及逆投影的車道識別技術［J］.計算機工程與設計，2009，30(6):1548－1554.

［2］袁啟平，宋金澤，吳濤.基于逆透視映射的圖像拼接方法［J］.微計算機信息，2010，26(7－3):208－210.

［3］Massimo Bertozzi，Alberto Broggi，GOLD:A Parallel Real-Time Stereo Vision System for Generic Obstacle and Lane Detection［J］.IEEE Transactions on Image Processing，1998，7(1):62－81.

［4］Massimo Bertozzi，Alberto Broggi，Alessandra Fascioli.Stereo Inverse Perspective Mapping:Theory and Applications［J］.Image and Vision Computing，1998，16:585－590.

［5］高德芝，鄭榜貴，段建民.基于逆透視變換的智能車輛定位技術［J］.計算機測量與控制，2009，17(9):1810－1812.

［6］付夢印，李博，王美玲.一種基于逆投影變換的智能車道路識別方法［J］.光學技術，2008，34(3):368－371.

［7］曹毓，馮瑩，楊云濤，等.基于滅點查找的姿態角測量方法在路面三維重建中的應用［J］.傳感技術學報，2011，24(7):1081－1086.

［8］江澤民，楊毅，付夢印.基于平行線的室內視覺導航［J］.機器人，2007，29(2):128－132.

［9］戴斌，裘偉.逆透視投影下車道偏離時間的在線估計［J］.計算機工程與應用，2007，43(16):235－238.

［10］郭磊，徐友春，李克強，等.基于單目視覺的實時測距方法研究［J］.中國圖像圖形學報，2006，11(1):74－81.

［11］郭磊.基于定向二維插值的逆投影變換方法［J］.清華大學學報(自然科學版)，2006，46(5):712－715.

［12］Sovira Tan，Jason L.Dale，Andrew Anderson，et al.Inverse Perspective Mapping and Optic Flow:A Calibration Method and a Quantitative A-nalysis［J］.Image and Vision Computing，2006，(24):153－165.

［13］SHU Y，Tan A.Vision Based Lane Detection in Autonomous Vehicle［J］.Proceedings of the 5th world Congress on Intelligent Control and Automation.2004，Hangzhou，P.R.China.

［14］鄧劍文，安向京，賀漢根.基于道路結構特征的自主車視覺導航［J］.吉林大學學報，2004，22(4):415－419.

［15］徐友春.基于機器視覺的汽車主動安全技術的研究［D］.北京:清華大學，2003.

［16］于起峰，尚洋.攝像測量學原理與應用研究［M］.科學出版社，2009，25－34.