基于網格圖像自動檢測的鏡頭畸變校正

許 璐，陳文藝，楊 輝

(西安郵電大學 a. 電子工程學院；b.物聯網與兩化融合研究院，陜西 西安 710061)

基于網格圖像自動檢測的鏡頭畸變校正

許 璐a，陳文藝b，楊 輝a

(西安郵電大學 a. 電子工程學院；b.物聯網與兩化融合研究院，陜西 西安 710061)

針對廣角鏡頭所采集圖像存在的畸變問題，提出了一種基于模板匹配和質心檢測的高精度控制點檢測法，并采用基于除法模型和正交相干相位檢測的兩步校正算法對畸變網格圖像進行了高精度校正。實驗結果表明，該鏡頭畸變校正算法能克服光照等不定因素，對畸變的網格圖像交叉控制點進行高精度自動提取，并自動計算畸變圖像中每一點的校正參數，實現了鏡頭畸變的高精度、全自動校正。

圖像處理；畸變校正；大視場；控制點提取

在成像測量、機器視覺等領域中，為了獲取大視野的圖像，經常采用廣角鏡頭進行拍攝。由于通過廣角鏡頭獲取的圖像存在嚴重的幾何畸變，需要對其進行高精度的校正。且在畸變校正工作中，控制點的選取也將影響到畸變校正的精度。目前已有的校正算法[1-2]對廣角鏡頭畸變的校正效果較差、精度低。并且其控制點坐標大多采用人工選取，工作量大且不準確；而最為常用的控制點自動提取算法是模板匹配法，即先對畸變網格圖像進行形態學圖像處理后，在利用若干個模板與細化圖像進行匹配，從而識別出網格交叉點[3-4]。但針對本文所用的廣角鏡頭，該自動提取方法的提取精度不高，且在控制點的排序上較為復雜，不便于之后的校正工作。

本文通過對廣角鏡頭和大畸變圖像的分析，將模板匹配與質心檢測相結合，提出一種精確的控制點自動生成算法。該方法對控制點進行兩步提?。旱谝徊?，用若干模板與處理后的細化圖像進行匹配，初步定位出控制點；第二步，在處理后的灰度圖像中利用初步定位的控制點進行區域質心檢測，精確定位出畸變網格圖像中的交叉點，即為控制點。最后，本文結合基于除法模型的校正方法[5]和正交相干相位檢測法[6]，對廣角畸變圖像進行高精度兩步校正。實驗結果表明：該控制點自動生成算法以及兩步校正算法校正的精度高， 適用于成像測量過程中的廣角鏡頭畸變圖像的高精度校正。

1 畸變圖像控制點的自動提取

廣角鏡頭畸變校正時需用到若干控制點坐標，本文主要提出一種控制點自動生成算法，該算法分為4部分，首先對采集到的畸變網格圖像其進行形態學處理，得到細化圖像。然后用模板匹配法對細化圖像中的交叉控制點進行初步提取。再對初步提取的控制點坐標進行排序。最后利用初步提取出的控制點坐標在灰度圖中進行逐片區域的質心檢測，從而得到精確的交叉控制點坐標。

1.1 畸變網格圖像的形態學處理

本文選取了黑白線條寬度比例為1:3的網格標定板與視場角為110°的廣角車載攝像頭進行圖像采集，獲取的畸變圖像如圖1所示。為獲取畸變網格圖中的交叉控制點，首先需要對畸變網格圖像進行二值化、細化處理，得到如圖2所示的細化網格圖像。

圖1 畸變網格圖像

圖2 細化網格圖像

1.2 基于模板匹配的控制點初步提取

本文首先采用模板匹配法對細化網格圖像的交叉控制點進行初步提取。針對細化圖像中網格交叉點出現的多種不規則情況，共設計出3類6個模板，如圖3所示。其中0、1表示灰度值。

圖3 設計的6個模板

第一類模板1，用于識別規則的交叉控制點。

第二類模板2和3，用于識別畸變較大的四周斜線交叉點，當R為1時用于識別交叉點連續的情況；當R為0時識別交叉控制點為斷點的情況。

第三類模板4～6，用于識別畸變較小時的交叉控制點，當R為1時用于識別交叉點連續的情況；當R為0時識別交叉控制點為斷點的情況。其中R1與R2不能同時為1。

將細化圖像與以上6個模板進行相關系數運算，定位出最為匹配的區域與該區域中響應最大的點即為初步定位的交叉控制點。

1.3 控制點排序

由于初步提取的交叉控制點是按行列坐標值的大小進行散亂排序，因此在進行下一步精準提取和畸變校正之前需先對初步提取的交叉控制點進行排序。本文針對細化圖像提出一種使交叉控制點沿畸變網格圖像中的水平曲線進行排序的算法，步驟如下：

1)在細化圖像上標注初步提取的交叉控制點。由于細化圖像中各個像素點的灰度值為1或0，增加細化網格圖像中初步提取的交叉控制點的灰度值，使其大于1。

2)檢測細化圖像中的水平細化曲線。從中間像素列由上向下逐行檢測，當檢測到灰度為1的點時記錄，則表示檢測到一條水平細化曲線，假設有N條水平細化曲線。

3)檢測每條水平細化曲線上的控制點。對于第i(i=1，2，…，N)條水平細化曲線，分別沿該曲線向左右檢測，由于細化后圖像中的曲線為連續的，因此可沿著水平細化曲線即灰度為1的點檢測到整條水平細化曲線上的灰度值大于1的交叉控制點并記錄其行列坐標。

1.4 基于質心檢測的控制點精準提取

由于廣角鏡頭采集的原始畸變圖像中會因光照等不定因素的影響，使得初步提取的控制點精確度較低，穩定性差，因此，本文在經過模板匹配法進行初步提取后再返回灰度圖像中通過質心檢測[7]進行進一步的精準提取，使交叉控制點的提取具有一定的魯棒性。方法如下：

以初步提取的交叉控制點坐標為中心，在灰度圖像中截取15×15的窗口進行質心檢測，對一幅連續圖像f(x,y)(灰度值≥0)， 質心坐標公式為

(1)

式中：N為窗口的大小即15，(ic,jc)為質心坐標。由式(1)即可逐個求得以初步提取的交叉控制點為中心的15×15窗口的質心坐標，即為精確提取的交叉控制點坐標。

2 畸變校正

得到精確提取出的畸變網格圖像交叉控制點坐標后，即可進行下一步高精度的畸變校正工作。本文采用基于除法模型和正交相干相位檢測法對畸變圖像進行高精度校正，方法如下：

首先采用除法模型進行初步校正，如式(1)所示

(2)

對于標準網格模板中的控制點，在理想透視投影模型下，所成像為一條直線，而在單參數除法模型下所成的像都是圓弧[5]，如式(2)所示

(3)

將除法模型代入可得

(4)

根據最小二乘圓弧擬合，代入畸變網格圖像中若干交叉控制點坐標即可估算出圓弧參數A,B,C以及畸變中心(x0,y0)，從而計算出除法模型參數λ與坐標映射關系，完成初步校正。

由于廣角鏡頭存在的畸變較大，初步校正后還會殘留畸變。為了提高校正的精度，再對初步校正后的網格圖像進行精確校正。首先從初步校正結果中提取出殘留畸變網格圖像中的橫豎條紋，再采用正交相干解調法[6]計算出橫豎條紋的殘留畸變相位分布。

以豎條紋的條紋方向為y方向，與其垂直方向為x方向，則豎條紋的光強分布可表示為

(5)

式中：An(x,y)為傅里葉級數振幅；ωx為畸變縱條紋的基頻；φx(x,y)為豎條紋的相位分布。

用sin(ωxx)和cos(ωxx)分別乘以豎條紋圖像中的任意一行Ix(x,yc)，并通過低通濾波后可得

(6)

從而得到豎條紋的殘留畸變相位分布為

(7)

對橫條紋進行同樣處理，可得其殘留畸變相位分布

(8)

再根據其殘留畸變相位分布便可得x和y坐標殘留畸變量Δh(x,y)，Δv(x,y)

(9)

根據兩步校正得到的校正參數，再結合差值算法對灰度級進行重建，從而實現廣角鏡頭的高精度畸變校正。

3 實驗結果及分析

本文用視場角為110°的廣角攝像頭采集一幅黑白占空比為1:3的網格圖像，并用MATLAB進行算法仿真，精確提取出11×15條網格曲線的交叉控制點坐標，并標記于二值圖像中，如圖4所示。

圖4 精確提取的交叉控制點

精準提取出的交叉控制點與初步提取的控制點相比，穩定性較好，不受光照等外界因素影響，準確度高。同時采集到多幅不同光照、不同標定板的畸變網格圖像進行交叉控制點提取，如圖5所示，圖5a為不同光照畸變網格圖像，圖5b為不同占空比畸變網格圖像。實驗結果表明，該算法能夠自動提取到廣角鏡頭采集的畸變網格圖像的控制點，并不受光照等外界因素影響，穩定性強，準確度高，適用范圍廣。

圖5 交叉控制點提取實例

在精確提取出交叉控制點之后用兩步校正算法對一般圖像進行校正，如圖6所示。校正結果表明：本算法能夠對存在嚴重畸變的圖像進行高精度的校正，且校正過程實現了全自動化。

圖6 校正實例

4 結論

本文主要提出了一種準確提取交叉控制點的算法，該算法先用模板匹配法對畸變網格圖像進行交叉控制點的初步提取，后用質心檢測算法進行交叉控制點的精準提取，通過模板匹配對交叉控制點初步定位，再返回原始灰度圖像中進行質心檢測，克服光照等不定因素，提取出準確的交叉控制點，提高了控制點提取的準確性、自動性與適用性。然后根據提取出的交叉控制點用基于除法模型和正交相干相位檢測法對畸變網格圖像進行了兩步高精度校正。實驗結果表明，該畸變校正算法能夠對廣角鏡頭畸變圖像進行高精確校正，實現了廣角鏡頭畸變校正的全自動化。

[1] SMITH W E，VAKIL N，MAISLIN S A. Correction of distortion in endoscope images[J].IEEE Trans. Med. Imag.，1992(1)：117-122.

[2] HIDEAKI H，YUTAKA Y，YOICHI M. A new method for distortion correction of electronic endoscope images[J].IEEE Trans.Med. Imag.，1995(3)：548-555.

[3] 廖士中，董明，高培煥.工業攝像機幾何畸變校正控制點的自動生成[J].計算機應用研究，2001(10)： 30-32.

[4] 朱德榮，樊紅潮，張震.工件視覺定位圖像畸變校正控制點的自動生成[J].組合機床與自動化加工技術， 2011(7)：61-62.

[5] 朱云芳.攝像機徑向畸變校正和內參估計的單圖標定方法[J].光電工程，2012，39(9)：126-131.

[6] 陳文藝，楊輝.基于正交相干相位檢測的圖像畸變校正[J].西安郵電大學學報，2013，18(3)：101-103.

[7] 王冰，職秦川，張仲選，等.灰度圖像質心快速算法[J].計算機輔助設計與圖形學學報，2004，16(10)：1361-1365.

許 璐(1989— )，研究生，主研數字視頻圖像處理；

陳文藝(1964— )，教授，主要從事通信集成電路設計、視頻圖像實時處理及傳輸的研究；

楊 輝(1988— )，助理工程師，主研數字集成電路設計、數字視頻圖像處理。

責任編輯：時 雯

Lens Distortion Correction Based on Grid Image Automatic Detection

XU Lua，CHEN Wenyib，YANG Huia

(a.DepartmentofElectronicEngineering；b.InternetofThingsandIntegrationofITApplicationandIndustrializationInstitute，Xi’anUniversityofPostsandTelecommunications，Xi’an710061,China)

In order to correct a distorted image collected by the wide-angle lens， a method of precision control point detection based on pattern match and centroid detection is proposed， and using two-step correction based on least-squares fitting and orthogonal coherent phase detection to calibrate the distortion grid image with high precision. Experimental results show that the proposed method overcome the light and other uncertainties， be valid for high-precision automatic extraction of crossover distortion control point grid image， and automatic calculate correction parameters of each point in the distorted image， realize the high precision and fully automated of the lens distortion correction.

image processing；distortion correction；large field of view；control points extraction

陜西省科技廳工業攻關項目(Z013K06-14)

TN942.2

A

10.16280/j.videoe.2015.17.004

2015-01-09

【本文獻信息】許璐，陳文藝，楊輝.基于網格圖像自動檢測的鏡頭畸變校正[J].電視技術,2015，39(17).