相機畸變的混合模型迭代檢校法

汪佳麗，王煒杰，馬振玲

(上海海洋大學海洋科學學院，上海 201306)

相機檢校是攝影測量[1-2]和計算機視覺界長期關注的問題，至今為止國內外提出了很多檢校方法，但仍然很難找到一個既能方便地適用于各種場景，又能得到很高精度的相機檢校方法[3]。傳統的畸變校正方法主要是利用棋盤格網等檢校板，根據檢校模型計算畸變系數和影像的內外方位元素，從而進行影像校正[4]。對于相機的畸變校正，文獻[5]提出了Australis模型，并認為其為最優經驗模型，但是缺乏對模型適應性的定量性分析。文獻[6]表明對于大多數計算機視覺的應用，可以忽略切向畸變，但是對于一些短焦距大視角的鏡頭畸變，其切向畸變和平面內畸變都偏大，因此大多數情況下并不適用。文獻[7]在傳統畸變模型和文獻[8]模型的基礎上提出了新的畸變模型，能夠將數碼相機的整體檢校精度降低到0.5像素以下。但是其建立的模型復雜程度較高，未知數個數較多，不利于實現，穩健性較低。文獻[9]在現有相機的檢校模型基礎上提出了迭代的相機檢校思路，發現模型的迭代檢校法能夠進一步提高檢校精度。綜上所述，目前的非線性畸變檢校模型主要是針對相機中存在的徑向、偏心和平面內畸變，由于CCD成像平面存在不規則和不平性，往往并不能簡單地通過模型檢校系數進行校正[3]，而且畸變模型的檢校精度還有待提高。

本文首先通過理論證明了考慮徑向、偏心和平面內3種畸變的檢校模型優于考慮其中一種或兩種畸變的檢校模型；其次針對相機成像平面的不平性等問題，在考慮3種畸變的物理檢校模型的基礎上引入了數學檢校模型(切比雪夫多項式[10-11])，并通過試驗驗證了兩個模型交替混合迭代，能更好地提高檢校精度；最后對運動相機GoPro Hero 5 Black的線性模式進行了檢校試驗，結果顯示本文提出的物理檢校模型和數學檢校模型的混合迭代檢校法能夠更好地提高檢校精度。

1 相機檢校模型

1.1 物理檢校模型

一般來說，非線性光學畸變主要有徑向畸變，偏心畸變及平面內畸變[12-13]。經典的相機平面校正模型(物理檢校模型)為

(1)

式中，k1、k2、k3為徑向畸變系數；p1、p2為偏心畸變系數；b1、b2為像元大小不均勻的情況下x方向的比例因子和非正交性(線性畸變)的畸變系數；x、y為像點坐標；x0、y0為主點坐標；r為實際像點的徑向距離。

為了仔細分析各種畸變的影響，本文定義了幾種物理模型。〇號模型：不估算任何畸變系數；二號模型：只估算偏心畸變系數p1、p2；三號模型：只估算徑向畸變系數k1、k2、k3；五號模型：同時估算徑向畸變系數k1、k2、k3和偏心畸變系數p1、p2；七號模型：同時估算徑向畸變系數k1、k2、k3，偏心畸變系數p1、p2，平面內畸變系數b1、b2。

1.2 數學檢校模型

除了應用物理模型，本文嘗試采用兩維切比雪夫正交多項式，作為數學檢校模型來進行檢校。切比雪夫多項式具有收斂性、正交性和對稱性的特點。正交的特點保證系數間不相關，理論上任何模型都可以用一組n階正交多項式來無限逼近[14]。根據魏爾施特拉斯逼近定理，閉區間的任何連續函數都可以用多項式級數逼近，本文采用一組第1類切比雪夫多項式來逼近影像畸變模型。切比雪夫多項式由式(2)的遞推關系確定

T0(x)=cos 0=1，T1(x)=x，Tn+1(x)=2xTn(x)-Tn-1(x)

(2)

式中最高次xn項的系數為2n-1。式(2)為一維形式的切比雪夫多項式，兩維形式的切比雪夫多項式檢校模型為

(3)

正交多項式的階數決定需要估算的系數個數，如采用3階(M=N=3)，即各用9個系數(am,n，bm,n)來描述x與y方向的畸變，本文切比雪夫多項式檢校模型簡稱CHEBY模型。

2 相機檢校試驗及結果分析

2.1 考慮不同畸變系數的檢校模型比較

針對物理檢校模型是否應該考慮徑向、偏心和平面內3種畸變還是考慮其中的一種或兩種畸變的理論證明，本文模擬4張理想的棋盤影像，理想影像除去了噪聲、光線等環境誤差及控制點的量測等誤差。此時理想影像的像方中誤差和控制點空間坐標中誤差都為0，通過模擬4組不同的畸變系數，對理想影像重采樣得到4組具有不同畸變的模擬影像。4組畸變系數見表1。

針對4組模擬影像，分別使用不同的物理檢校模型進行檢校，檢校精度如圖1所示。

圖1 不同物理檢校模型對模擬影像的檢校結果比較

從圖1可以看出，對應于4組具有不同畸變的模擬影像，考慮徑向、偏心和平面內3種畸變的7號模型檢校精度最高。

2.2 模擬影像的混合模型迭代檢校試驗

文獻[15]提出對于相機表面存在的不平性等制造誤差可以通過徑向畸變和有限元內插畸變兩部分進行消除。本文在先前提出的迭代檢校法基礎上引入了數學檢校模型，在迭代過程中交替使用物理檢校模型和數學檢校模型，從而形成混合模型的相機迭代檢校法。

首先利用表1中的第1組畸變系數獲取的4張畸變模擬影像試驗，針對混合模型迭代檢校是先采用物理檢校模型(七號模型)還是先采用數學檢校模型的問題進行了探討。假設模擬影像的外方位元素未知，分別對該4張模擬影像進行七號模型檢校和CHEBY模型檢校，檢校結果發現CHEBY模型檢校得到的外方位元素偏離真值較大，而七號模型檢校的結果接近真實值，因此在外方位元素未知的情況下，混合模型迭代檢校法先采用七號模型進行檢校。

根據檢校迭代思路，本文設計了兩種迭代途徑：迭代途徑1是先采用七號模型迭代檢校，當檢校穩定后，固定外方位元素再采用CHEBY模型迭代檢校；迭代途徑2是先采用七號模型檢校，固定外方位元素采用CHEBY模型檢校，然后再采用七號模型檢校，固定外方位元素后再次采用CHEBY模型檢校，依次類推交錯迭代檢校，直至穩定。迭代途徑一和迭代途徑二得到的結果分別見表2和表3。

表2 迭代途徑1檢校結果

表3 迭代途徑2檢校結果

表中07表示七號模型一次迭代檢校；07-07表示七號模型的二次迭代檢校；07-C表示先采用七號模型檢校，然后固定外方位元素數進行CHEBY模型檢校；07-C-07表示采用七號模型和CHEBY模型檢校后再采用七號模型檢校；(07-C)X4表示4次七號模型和CHEBY模型檢?；旌辖诲e迭代。其他檢校迭代標號表達以此類推。

比較兩種迭代檢校途徑結果可以發現，迭代途徑2小于迭代途徑1，即交替采用七號模型與CHEBY模型的混合模型迭代檢校途徑優于先采用七號模型迭代檢校再采用CHEBY模型迭代檢校的混合模型迭代檢校途徑。

2.3 GoPro Hero 5 Black運動相機的混合模型迭代檢校試驗

本文利用GoPro Hero 5 Black相機的線性模式進行了混合模型的迭代檢校試驗。該款相機拍攝的影像具有1200萬像素分辨率，傳感器尺寸為1/2.3英寸，焦距約為3.4 mm。選用具有規則幾何形狀且磚塊紋路清晰的建筑物墻面作為檢校場，在距離墻面約1.1 m處拍攝7張影像，設置了71個控制點，利用全站儀獲取的控制點量測精度約為2 mm，影像的像素分辨率約為0.46 mm。通過七號模型和CHEBY模型進行混合迭代檢校7次后控制點空間坐標中誤差和像方中誤差趨于穩定，此時像方中誤差約為1.91像素(相當于平面0.88 mm)，物方空間坐標中誤差約為2.00 mm，檢校精度見表4。

表4 GoPro Hero 5 Black相機混合模型迭代檢校精度

3 結 語

本文首先通過模擬影像引入各種畸變，然后對其進行畸變恢復檢校試驗，試驗證明考慮徑向、偏心和平面內3種畸變的物理檢校模型比只考慮一種或兩種畸變的物理檢校模型能更好地對影像進行畸變檢校。針對現有物理檢校模型不能完全消除影像殘余畸變的情況，本文引入了數學檢校模型(切比雪夫多項式檢校模型)，并通過模擬的畸變影像驗證了交替采用物理檢校模型和數學檢校模型的混合迭代檢校能獲得更優的檢校效果。最后對運動相機獲取的真實影像進行進一步試驗，結果表明基于混合模型的迭代檢校法能進一步提高檢校精度。今后將進行把主距主點作為檢校參數納入相機檢校模型的研究。