基于自編碼LCD棋盤格的數碼相機標定方法

李嘉欣，張芳菲，趙紫為

(1．渤海大學 信息科學與技術學院，遼寧 錦州121013；2．中電太極(集團)有限公司，北京100083)

0 引言

隨著計算機視覺、數字攝影測量理論的發展，各類攝像機經嚴格標定后，已經用于三維重構、視覺測量、機器人導航、遙感測繪等領域[1-27]．基于靶標的攝像機標定是廣泛應用的標定方法，與三維靶標相比，平面靶標制作簡單，研究者們通常使用棋盤格、圓形、星點、格網等構成的二維標定場進行攝像機標定．攝像機標定旨在通過建立標志場圖像坐標系和空間坐標系的變換關系，求解相機的內參、外參以及畸變系數．因此，攝像機標定精度很大程度取決于標定板的精度，大量標志點識別的自動化程度決定了攝像機標定的效率．

張正友提出的棋盤格相機標定法[11]，標定精度可以滿足普通相機的需求，且可以實現標定過程的自動化，但對于標定板的平面度要求較高，其制作成本較高．Opencv[12]提供了角點排序的方法，但在攝像機偏轉角度大或者棋盤格的長寬數目相同的情況下，獲得的影像角點排序是混亂的，降低了標定的效率．趙斌等[13]人提出了一種改進棋盤的角點自動檢測與排序方法，確定角點原點和長、短軸，并通過距離對角點進行排序，具有旋轉不變性，但該方法僅適用于畸變較小的圖像．張維忠等[14]人提出了一種繞光軸旋轉拍攝LCD上平面靶標的方式進行相機標定，利用LCD屏具有可視角度和極高平面等特性，通過較少圖像即可得到較高的標定精度，但對于角點排序沒有涉及．因此設計出一種低成本、高精度的標定板與排序算法是相機標定的關鍵．

LCD[1-5]具有較高的純平面性和幾何精度，其成本較低，所以本文設計了一種附有編碼標志的LCD平面棋盤格，建立了棋盤格角點自動編碼方法，以實現其像點與物點編號的自動對應；最后，基于該平面棋盤格實現了攝像機的自動高精度標定．

1 相機標定模型

假設空間中存在一點P，其對應像點為p；P的物方坐標為(xw，yw，zw)，對于平面標定板，zw=0；p的像素坐標為p(u，v)，則P點的物方空間坐標與其像平面的像素坐標的轉換關系如式(1)所示：

(1)

其中：zF為比例因子；B1為內參數矩陣，如式(2)所示：

(2)

其中：f為焦距；dx、dy為像素的物理尺寸；(u0，v0)為圖像主點坐標．B2為外參數矩陣，如式(3)所示：

(3)

其中：R代表旋轉矩陣；T代表平移向量；Xw為物方齊次坐標向量，Xw=[xwywzw1]T，B為投影矩陣．

然而，相機的透鏡加工、組裝過程等產生的誤差會帶來不同程度的系統畸變，主要包括徑向畸變和切向畸變，模型分別如式(4)、式(5)所示：

(4)

(5)

進而求得校正后的像點：

(6)

OpenCV庫中的標定算法采用的是張氏標定法，即利用平面棋盤格作為標定板，標定攝像機內外參數和徑向、切向畸變參數.

本文以LCD平面棋盤格替代精密棋盤格對攝像機進行標定.為求解最優參數，建立重投影誤差為最小的目標函數，如式(7)所示.將式(1)求解的理想情況下的內參、外參以及利用最小二乘法求解的畸變系數作為初始值，通過Levenberg-Marquardt迭代算法使其最小化，優化求解相機內、外參數和畸變參數.

(7)

式中，n為拍攝的標定板圖像數目，m為每張圖像的角點數目，hij為第i幅圖像第j個角點的實際坐標，Q為重投影方程，D為鏡頭畸變參數，Ri為第i幅圖像從世界坐標系到相機坐標系的旋轉矩陣，Ti為第i幅圖像從世界坐標系到相機坐標系的平移向量，Sj為第j個角點的物方坐標.

2 基于LCD的棋盤格靶標設計與自動編碼

傳統的標定方法需要利用平面標定板等特定標定物，需要較高精度的加工工藝進行加工，若標定板平面度的誤差達到1%時，都會導致較高的標定誤差，而制作高精度的標定板非常困難并且成本較高．目前，LCD的使用越來越廣泛，其制造工藝可以達到較高的幾何精度，其平面度已經達到工業級水平．因此，本文設計一種顯示于LCD上的棋盤格靶標.首先，根據LCD屏幕尺寸與分辨率，生成單元棋盤格邊長為14．34 mm的棋盤格靶標；其次，為了實現自動編碼，設計由三個紅色圓組成的編碼定位標志，如圖1(a)～(b)所示．最后，根據設計的靶標，提取棋盤格特征點，并實現自動編碼，用于攝像機標定．

圖1 (a)附有標志圓的LCD 平面棋盤格標定板?(b)附有標志圓的LCD 平面棋盤格標定板(編碼)

2．1 棋盤格角點的高精度提取

Harris角點檢測[26]是常用的角點檢測方法，其算子具有旋轉不變性、尺度不變性等優點．令圖像I以點(x，y)為中心的窗口為w(x，y)，(u，v)為該窗口內的點，I(u，v)為其灰度值；將該圖像窗口平移，使其中心平移至(u+Δx，v+Δy)，I(u+Δx，v+Δy)為其灰度，將該窗口灰度的整體變化設為c(Δx，Δy)，如式(8)所示：

(8)

其中，

ΔI(Δx，Δy)=I(u，v)-I(u+Δx，v+Δy)

(9)

根據鄰域灰度連續性，如式(10)所示：

I(u+Δx，v+Δy)=I(u，v)+Ix(u，v)Δx+Iy(u，v)Δy+O(Δx2，Δy2)

(10)

其中，Ix，Iy是I(x，y)的偏導數，也就是圖像在x和y方向的梯度；將式(10)帶入式(8)，對于局部微小的移動量(Δx，Δy)，可近似為：

(11)

其中，

(12)

Harris角點響應函數則定義為：

R=detM-α(traceM)2

(13)

其中，detM=λ1λ2是M的行列式，traceM=λ1+λ2是M的跡，λ1、λ2是M的特征值，α是經驗常數，R>t檢測出的是角點，t為設定的閾值．顯然，Harris角點檢測的穩定性和α值有關，α不容易取得最佳值．

Shi-Tomasi角點檢測算法[27]是對Harris角點檢測算法的改進，該算法將角點響應函數即式(13)改進為R=min(λ1，λ2)，若該函數大于設定的閾值，則該點是角點．

以上述Shi-Tomasi法檢測的棋盤角點(對應像素級精度的角點)為初值，檢測亞像素角點坐標，其原理如下[12]：

(14)

(15)

求解角點的亞像素精確位置即可轉換成求解誤差和S最小的問題．可通過迭代法求解得到亞像素點最優解．

2．2 棋盤格角點自動編碼算法

為了實現相機的自動標定，本文提出了一種棋盤格角點自動編碼方法，即通過自動識別3個紅色定位圓對影像區域進行分割，從而對提取的每個棋盤格角點進行自動編碼，實現角點和物方點編號的自動匹配.如圖2所示，自動編碼的原理如下：

圖2 棋盤格角點自動編碼流程圖

(16)

5)分別計算V＿left＿up、V＿right＿up、V＿left＿down三個集合內的點P到O1的距離：

(17)

分別找到三個集合中距離O1最遠的點A0(xa0，ya0)、A22(xa22，ya22)、M0(xm0，ym0)，即確定棋盤格的左上角點、右上角點和左下角點；

6)將棋盤格的左上角點，即A0，存入行角點集合rowi(i=1，2，…，r)中，同時，將其存入起始點角點集合origin＿node中，將A0從總集合V中剔除；

9)以row＿head[0]，即B0為起始點進行搜索，循環執行步驟6)7)8)，直至排完第r-1行，停止執行；

10)將上述排完序的r-1行角點剔除后，剩余點即為第r行角點，計算角點距lA0M0的距離d，按照距離升序排序，并存入rowr中，排序結束.

3 實驗分析

分別利用精密棋盤標定板和本文所述LCD棋盤標定板，結合OpenCV開源標定庫函數，標定一款小蟻運動相機的內參、外參和畸變系數．

首先，準備好兩個標定物，其一為精度達到0.01 mm的高精度棋盤格標定板，正方形小格邊長為 12 mm；其二為顯示在LCD液晶顯示器上的棋盤格，正方形小格的邊長為14.34 mm.將以高精度棋盤格為靶標的傳統標定法作為方法A，將本文所述的基于LCD棋盤格標定法作為方法B.為評定兩種方法的標定精度，分別以方法A、B進行標定實驗，從不同角度和距離對精密棋盤格和LCD棋盤格分別攝取 24張影像，如圖3～4所示，方法A選取均勻分布的224個特征點用于標定，48個特征點作為檢查點；方法B選取均勻分布的260個特征點用于標定，39個特征點作為檢查點(為避免檢測特征點檢測粗差對標定的影響，兩種方法均采用Levenberg-Marquardt迭代計算逐步剔除粗差的方法)，標定結果如表1所示.利用實驗求解的攝像機內、外參數和畸變參數，計算各影像檢查點的反投影均方根誤差.如表2所示，方法A中，x軸方向的均方根誤差dx＿RMSE的平均值為0.544pixel，y方向的均方根誤差 dy＿RMSE的平均值為0.491pixel；方法B中，x軸方向均方根誤差dx＿RMSE的平均值為 0.569pixel，y方向的均方根誤差dy＿RMSE的平均值為0.543pixel，不考慮粗差的影響，方法B的標定精度與方法A相近.

此外，本文設計的標定板具有旋轉不變性，如圖4(a)～(d)所示，對于0～360度內旋轉拍攝出的有畸變影像，本文提出的編碼算法都可以唯一確定棋盤格角點的編號，有利于實現攝像機標定的自動化.

表1 標定結果

表2 標定精度

圖3 精密棋盤格標定影像(部分)

圖4 LCD棋盤格標定影像與角點編碼(部分)

4 結論

傳統棋盤格模板制作成本較高，制作工藝較復雜，LCD具有較高的純平面性和幾何精度，所以本文將棋盤格顯示在LCD上作為攝像機標定的靶標，并在其附上三個定位圓，提出了一種適用于大畸變、大旋轉影像的編碼方法.實驗表明，以LCD棋盤格為模板標定攝像機的精度接近于以精密棋盤格為模板的標定精度，精度較高；提出的棋盤格角點編碼方法簡單、實用且具有旋轉不變性、魯棒性強.