基于場景模型的雙目相機動態檢校方法

李正寧， 劉 春， 吳杭彬

(同濟大學 測繪與地理信息學院，上海 200092)

雙目相機系統由2臺相互位置固定并同步曝光的相機組成,因其對周圍環境信息的感知能力以及對三維場景的重建能力，近年來被廣泛應用于機器人、深空探測器、無人駕駛車等平臺[1-2].為得到準確的感知信息和三維場景模型，使用之前需對雙目相機系統進行檢校，隨后獲取精確的相機內、外方位元素.

傳統的雙目相機檢校方法需要特定的檢校器材和專門的操作人員，如被廣泛使用的基于棋盤格的檢校方法[3].該方法要求棋盤格板平整，并且要求相機系統以不同的姿態對棋盤格進行多次拍攝.為了減少拍攝數量，Geiger等[4]在場景中布設多塊不同姿態的棋盤格板通過一次拍攝進行檢校，該方法雖然簡化了傳統棋盤格檢校方法，但仍需要檢校器材和檢校場地.Carrera等[5]提出了基于即時定位和地圖構建(SLAM)的相機動態檢校方法.通過環境中特征點識別來建立環境三維模型，并以此為基準計算相機位置，從而檢校雙目相機系統.然而，該方法僅檢校了相機的外方位元素，未能更新相機的內方位元素和尺度信息，因此得到的內、外方位元素的精度較低.為此，Heng等[6]引入里程計來恢復尺度信息，并聯合優化相機的內、外方位元素，但該方法仍需要額外的檢校器材即里程計輔助，并且尺度估計的精度由里程計的精度決定，為獲取較高的精度需配合價格高昂的高精度里程計.

本文改進了基于SLAM的動態檢校方法，提出了基于場景模型的雙目相機內、外方位元素動態檢校方法.對于相機檢校參數未知并且場景模型缺失的情況，通過建立具有絕對尺度的場景三維模型，初步解算內、外方位元素，并采用聯合優化對相機系統進行初始檢校.若相機在某場景已經完成初始檢校，則利用已經建立的場景模型，恢復三維點與二維影像的特征關聯，通過聯合優化相機檢校參數對相機系統進行更新檢校.

1 雙目相機檢校原理

本文檢校方法針對的雙目相機模型是由2個基于中心投影的單目相機模型組成.雙目相機檢校即對2個單目相機各自的相機參數(內方位元素)以及2個相機之間相互的位置與姿態(外方位元素)進行檢校.各項參數及其相對關系如圖1所示.

圖1 雙目相機內、外方位元素示意圖Fig.1 Intrinsic and extrinsic parameters of stereo-camera

1.1 內方位元素初步估計

通過中心投影的相機模型[7]建立了場景三維點與像平面點之間的關系，如下所示：

x=PX

(1)

(2)

式中：f為相機焦距；(u0,v0)為像主點坐標；s為相機畸變參數.假設第p個三維場景點Xp被n張影像觀測到，其對應影像上的二維特征點xnp，并且假設三維場景點和影像的相對位置和姿態即[Rn|tn]是已知的.因此，相機的內方位元素為

(3)

式中：K[Rn|tn]Xp代表了三維場景點在n張影像上的投影，其對應的影像同名二維特征點為xnp.理論上三維場景點的投影與同名二維特征點的誤差為零，但是由于三維場景點和影像的位置和姿態存在誤差，因此借助梯度下降算法優化內方位元素矩陣K，使得投影誤差最小.在優化過程中，內方位元素的初始焦距可以從相片的exif信息中獲取，初始相主點坐標取影像的中心，通過梯度下降法優化式(3)，最后得到的最優K矩陣為內方位元素的初步估計值.

1.2 外方位元素初步估計

雙目相機所需檢校的外方位元素是指右相機相對于左相機的位置和姿態即[RE|tE]并且

TLn=RETRn+tE

(4)

式：(TLn，TRn)為第n個像對中左右相機的位置和姿態，TLn=[RLn|tLn]，TRn=[RRn|tRn].假設(TLn，TRn)已知，則外方位元素[RE|tE]可以由第n個像對中左右像片的位置和姿態求得，如下所示：

(5)

(6)

1.3 內、外方位元素聯合優化

由于在現有解算雙目相機內、外方位元素的過程中，分別計算并優化了內、外方位元素，未考慮其相互影響，因此本文基于重投影誤差最小化建立了目標方程，對相機的內、外方位元素進行聯合優化.雙目相機的內、外方位元素的檢校所要解決的聯合優化問題可以表示為

(7)

2 基于場景模型的雙目相機檢校流程

基于場景模型的雙目相機檢?？梢苑譃?種情況：初始檢校和更新檢校.初始檢校是指在某未知場景中對未檢校的雙目相機進行檢校，檢校過程中場景的全局模型以及相機內、外方位元素未知；更新檢校是指在某已知場景中對已經檢校的雙目相機進行檢校，檢校過程中相機系統的歷史檢校參數和全局場景模型均為已知.若選定某一場景作為相機檢校場地，則第1次檢校對應初始檢校，而其后定期的檢校對應更新檢校.圖2給出了2種情況下動態檢校系統的具體工作流程.

2.1 基于場景模型的初始檢校

由于初始檢校時場景模型未知，因此在檢校前需要根據待檢校的雙目相機獲取場景的影像數據，利用SFM技術獲取全局場景三維模型[10].因雙目相機的檢校參數未知，本文在建模階段將雙目相機視為2個單目相機模型，相機的初始焦距從相片的exif信息中獲取或由所用鏡頭的焦距和傳感器像元大小估算，初始相主點坐標取影像的中心.本文遵循SFM技術的標準流程：影像特征提取匹配、模型重建初始化、影像配準和光束法平差.根據2個單目相機獲得的影像重建場景局部三維模型，同時根據式(3)估計內方位元素初值.此外,為保證建模精度以及長時間內模型與現實場景的一致性，在選擇場景時首選靜態剛性結果的場景，如地下車庫環境、室內環境等.同時，為了減少建模的累積誤差，在數據采集時以軌跡閉合的方式進行，并在構建模型的過程中以環閉的方式去修正建模的累積誤差.

圖2 雙目相機動態檢校流程Fig.2 Calibration process of stereo-camera

本文對2個單目相機在局部模型坐標系分別進行建模，因此建模結果的模型坐標系不統一，并且基于單目視覺的三維重建無法恢復模型的絕對尺度信息，導致所獲得的三維結構不具有可量測性.為獲取統一的場景模型并且恢復尺度信息，本文在檢校場景中布設了視覺標志點，利用全站儀布設觀測網來測量三維坐標，為通過單目視覺建立的三維模型提供全局坐標參考和絕對尺度信息.

在識別出影像中視覺標志點后，通過標志點點號查詢獲取標志點在三維模型中的坐標和由全站儀測量的坐標，采用七參數法[11]進行坐標轉換，將2個由單目相機建立的三維模型轉換到統一坐標系并恢復尺度信息.考慮到局部三維模型之間存在重疊，為了減少全局場景中重復的三維點，同時降低建模的誤差，將統一模型中的三維點投影至二維影像平面，得到影像中關聯的二維特征點.若2個三維點之間的二維特征相似度大于一定閾值，則認為空間中的三維點為同一點，且該點的三維坐標為原始2個三維點坐標的平均值.

在SFM技術實施過程中，恢復了各時刻單目相機的位置與姿態，并且在坐標轉換過程中將其轉換為統一的全局模型坐標系，因此可根據第1.2節估算雙目相機外方位元素初值.最后，根據式(7)聯合優化內、外方位元素.

2.2 基于場景模型的更新檢校

在實際使用過程中，雙目相機的檢校參數可能會隨著環境的改變、器材的磨損或形變等發生變化，因此在進行初始檢校后，需定期對雙目相機進行更新檢校，以確保雙目相機的檢校參數能夠更加客觀和真實地描述相機系統的幾何關系.

當雙目相機在某個場景中已經完成了初始檢校時，則當前場景的全局模型已經建立，并且相機的內、外方位元素已知.在更新檢校過程中，無需再進行三維建模，僅需建立影像中二維特征點與場景模型中三維點的關聯.本文場景模型中的三維點是由影像中二維特征點估算的，因此三維點的屬性不僅包含三維坐標信息，還包含了對應影像二維點的特征描述子信息.以此作為關聯，利用詞袋(BoW)法[12]建立模型中三維點與影像同名二維特征點的關聯.考慮到關聯中可能存在的誤匹配，利用N點透視(PnP)算法[13]并結合隨機抽樣一致性算法(RANSAC)[14]剔除誤匹配，估計相機的位置和姿態信息.將相機的位置和姿態以及上一次檢校得到的相機參數作為初值代入式(7)，以重投影誤差最小化為目標進行聯合優化，對相機檢校參數進行更新.

更新檢校是以初始檢校為基礎，其檢校流程更加簡便，無需人工參與，且不依賴于檢校設備.

2.3 本文方法與現有檢校方法對比

從檢校流程角度來看，本文方法與基于SLAM的檢校方法[5]較為接近，但本文方法增加了內方位元素檢校、視覺標志點測量過程和聯合優化過程.因此，本文的檢校方法相比于基于SLAM的檢校方法能夠更加完整地檢校相機系統的內、外方位元素.

本文方法與傳統棋盤格檢校方法在檢校流程上有較大的差異，因此將檢校過程中人工參與程度和檢校對于特定設備和場地的依賴程度進行對比.首先，對比2種檢校方法中人工參與程度.本文提出的基于場景的相機檢校方法，為了建立坐標統一且具有絕對尺度參考的場景模型，僅需在初始檢校過程中進行人工地布設以及場景中視覺標志點測量，后續更新檢校則不需進行重復人工檢校，并且其他雙目相機也可利用相同場景進行檢校而無需重復人工測量.對于傳統棋盤格檢校方法，不同雙目相機在不同時間的檢校均需要人工參與，并且檢校人員操作的規范程度直接影響了檢校的精度.然后，對比2種檢校方法的檢校流程.本文方法在對雙目相機進行多次檢校時所需的人工參與較少，就檢校的自動化程度而言要優于傳統棋盤格檢校方法.最后，從檢校所需的設備和場地對2種檢校方法進行對比.由于本文方法借助于場景模型進行檢校，因此要求場景為靜態剛性結構，這類場景中地物多為靜態且相互位置關系穩定，能為檢校提供良好的觀測數據；傳統棋盤格檢校方法則需要以棋盤格板作為檢校設備，從中提取棋盤格的角點作為觀測數據.本文檢校方法中用于檢校的場景模型為檢校提供更多的觀測數據，并且觀測數據在三維空間中和二維影像平面中的分布更加均勻，而傳統棋盤格檢校方法提供的觀測數據有限，并且受限于棋盤格的大小，很難同時覆蓋雙目相機中左右2幀影像.

3 實驗與分析

3.1 實驗數據準備

為驗證本文方法，選用1臺無人駕駛車作為實驗平臺，在地下車庫環境進行了實驗.無人駕駛車平臺搭載1組雙目相機、數據采集存儲系統和輔助照明系統，如圖3所示.其中，雙目相機由2個位置關系固定且同步觸發的工業相機組成，工業相機的型號為FLIR Blackfly 2.3 MP.考慮到傳輸帶寬和數據采集存儲系統的寫入速度，采集過程中設置的相機觸發頻率為2 Hz.數據采集存儲系統同步接收拍攝的影像，并根據時序對其進行編號存儲.輔助照明系統為光線不足的地下環境提供額外的照明，確保獲取影像的質量.實驗場地長約35 m，寬約25 m，并且首尾相連為一個環形.實驗場景內共布設了90處視覺標志點(見圖4)，利用全站儀測量其坐標.為驗證本文的初始檢校方法，控制無人車在場地中運行了3圈，數據采集時間約為10 min，共采集約600對有效相片.為驗證更新檢校方法，控制無人車在場地中運行了1圈，共采集200對有效相片.

實驗中，對同一雙目相機分別利用基于場景模型的檢校方法、基于SLAM的檢校方法[5]和傳統棋盤格檢校方法[3]進行檢校，并對檢校結果進行對比.對于傳統棋盤格檢校方法，通過拍攝60張不同角度、位置的棋盤格影像進行檢校.對于基于SLAM的檢校方法，利用600對影像進行檢校.對于本文基于場景模型的初始檢校方法利用600對影像建立場景的三維模型并進行檢校，對于本文基于場景模型的更新檢校方法，利用200對影像進行檢校.幾次實驗在同一時間段內完成，以確保雙目相機的內、外方位元素沒有發生較大變化.

圖3 實驗平臺Fig.3 Experiment platform

圖4 實驗環境與視覺標志點Fig.4 Experiment environment and visual marks

3.2 檢校實驗結果分析

4種檢校方法得到的雙目相機外方位元素比較如表1所示，內方位元素比較如表2所示.

表1 外方位元素比較Tab.1 Extrinsic parameter comparison

注:α、β、γ為外方位元素角度，X、Y、Z為外方位元素位置.

表2 內方位元素數值比較Tab.2 Intrinsic parameter comparison

基于SLAM的檢校方法和本文檢校方法設定的相機內方位元素初值為：f=1 450，u0=960，v0=600，s=0.由于基于SLAM的檢校方法僅針對外方位元素進行了檢校，因此其檢校結果中的內方位元素仍為初值，與本文檢校方法和傳統棋盤格檢校方法相比精度較低.在外方位元素估計中，基于SLAM的檢校方法無法恢復絕對尺度信息，其估計得到的外方位元素中平移參數僅表示為單位向量的形式而不具有單位；本文檢校方法和傳統棋盤格檢校方法則均能恢復絕對尺度信息，因此平移參數具有單位.由分析結果可知，基于SLAM的檢校方法不能對相機的內、外方位元素進行全面檢校，在實際應用中尚需結合其他檢校方法以恢復內方位元素以及絕對尺度.

對于本文提出的初始檢校方法和更新檢校方法，兩者實驗結果較為接近，說明2次實驗期間相機的內、外方位元素未發生變化，與實際情況相符，這也證明了本文初始檢校方法和更新檢校方法的一致性與可靠性.

對于本文檢校方法與傳統棋盤格檢校方法，兩者均能對相機系統進行全面檢校并恢復絕對尺度.本文檢校方法在聯合優化后的平均重投影誤差為0.68像素，傳統棋盤格檢校方法得到的重投影誤差為0.59像素，兩者較為接近.這表明本文檢校方法構建的場景模型精度與傳統棋盤格檢校方法估計角點的精度相當，均符合檢校的需求.比較2種方法得到的內、外方位元素.外方位元素旋轉角的差值約為0.03°，平移的差值約為5 mm；內方位元素的差值約為10～20像素.雖然這2種方法得到的檢校結果接近，但是仍存在一定的差值.由于2種方法求得的都是內、外方位元素的估計值，內、外方位元素的真實值未知，因此無法僅從參數角度分析和評價2種方法所得結果的精度.為了進一步比較結果精度，本文將這2種方法得到的檢校參數應用于雙目影像校正、雙目視覺定位算法.

(1)雙目影像校正結果驗證

雙目影像校正即利用雙目相機的內、外方位元素校正雙目影像的畸變和光軸位置，最終得到無畸變并且光軸平行的雙目影像.理論上經過雙目影像校正后的雙目影像同名點的縱坐標值相等[15]，但是由于檢校參數中的誤差，校正后的同名點縱坐標存在差值，同名點縱坐標的差值越小說明檢校參數的精度越高.本文實驗利用待檢校的雙目相機拍攝了50對雙目影像作為測試影像(未參與檢校).分別利用2種方法得到的檢校參數對測試影像進行雙目校正，比較左右相片中同名點縱坐標的差值結果，如圖5所示.

圖5 雙目影像校正結果Fig.5 Results of stereo rectification

如圖5所示，傳統棋盤格檢校方法對應的左右影像縱坐標平均差值為1.70像素，而本文檢校方法的平均差值為1.53像素.比較校正后影像同名點縱坐標的平均差值可知，利用本文檢校方法得到的檢校結果進行雙目校正時，可以得到更加精確的雙目校正結果，這也證明了本文檢校方法得到的檢校結果精度優于傳統棋盤格檢校方法.

(2)雙目視覺定位結果驗證

雙目視覺定位是雙目相機的一個重要應用，雙目檢校的精度也很大程度上決定了雙目定位的精度[16].因此，本文實驗將2種方法得到的檢校結果應用于雙目定位算法，并設定定位算法的其他參數相同，最后通過評估雙目視覺定位的精度來評價檢校結果，如圖6所示.圖6中，X、Y表示定位在二維平面上的橫縱坐標.

本文實驗的位置真實值由全站儀測量場景特征點坐標反算自身位置獲取.對比圖6中雙目定位結果可以看出，基于場景模型的檢校方法對應的雙目視覺定位的精度優于傳統棋盤格檢校方法參數對應的定位結果.傳統棋盤格檢校方法對應的定位誤差為0.87 m,相對定位誤差為1.30%；基于場景模型的檢校方法對應的定位誤差為0.53 m，相對定位誤差為0.08%.進一步分析2種方法對應的定位累積誤差，如圖7所示.雙目視覺定位算法的定位誤差隨著解算的像對數量增加而累積，通過提高每一幀影像的定位精度本文檢校方法可以有效減少0.05%的累積誤差.通過比較雙目視覺定位算法的精度，驗證了本文檢校方法得到的檢校結果精度優于傳統棋盤格檢校方法得到的檢校結果精度.

圖6 雙目視覺定位結果Fig.6 Results of stereo visual odometry

圖7 雙目視覺定位累積誤差對比Fig.7 Accumulated error comparison of stereo visual odometry

4 結語

本文針對雙目相機提出了基于場景模型的檢校方法.該檢校方法通過預先建立場景模型，并利用場景模型對雙目相機的內、外方位元素進行檢校.根據不同檢校需求，本文檢校方法可分為初始檢校和更新檢校，初始檢校針對場景和檢校參數未知的情況，更新檢校針對場景和檢校參數已知但需更新的情況.從檢校流程角度分析，本文檢校方法的自動化程度優于傳統棋盤格檢校方法，并且為檢校提供了數據更多、分布更均勻的三維點.通過在地下車庫環境中的實驗，驗證了本文方法檢校的完整性優于基于SLAM的檢校方法，檢校精度優于傳統棋盤格檢校方法.