一種對平行配置模式多視點采集系統的幾何校正方法

李偉，肖謐，王璨，郭瑤，郭曉曦

（天津大學電子信息工程學院，天津300072）

一種對平行配置模式多視點采集系統的幾何校正方法

李偉，肖謐，王璨，郭瑤，郭曉曦

（天津大學電子信息工程學院，天津300072）

提出了一種基于標定的多視點立體采集系統校正方法，該方法首先通過攝像機標定來獲得原始攝像機矩陣，然后對攝像機光軸和基線使用平均向量法、對光心使用極值平均法來得到理想攝像機矩陣，最后利用原始攝像機與理想攝像機矩陣的關系變換原始立體圖像到校正后的立體圖像.實驗結果表明：該方法可以有效降低多視點立體圖像的垂直視差，而且校正后立體圖像分辨率損失較小.

多視點；攝像機陣列；垂直視差；幾何校正

多視點自由立體電視為觀眾提供了在平板電視上觀看三維場景的功能，這種功能使得人們可以以更自然的方式觀看電視畫面.然而，多視點自由立體電視需要以多視點立體視頻作為節目的來源，這些節目可以由2個以上的攝像機組成的多視點立體采集系統同時拍攝同一場景獲得，攝像機的配置方式通常有平行配置和匯聚配置2種方式.但是，隨著攝像機數量的增加，多視點立體采集系統往往會產生一定的誤差，其中尤其是垂直視差將會嚴重影響多視點自由立體電視的顯示效果，需要對其進行校正才能夠滿足觀眾觀看的需要.本文提出了一種基于標定的所視點立體采集系統校正方法，所提出的方法主要是針對平行配置模式的多視點采集系統，該模式下的多視點采集系統拍攝得到的場景圖像不會存在梯形畸變，能夠方便地用于多視點自由立體顯示.

1 校正方法概述

1.1 已有的校正方法

在對立體采集系統校正的研究中，雙目攝像機系統的校正方法已趨于成熟，而多攝像機校正方法的研究相對較少.校正方法通?？煞譃閮深悾夯跀z像機標定的和基于攝像機無標定的.基于攝像機標定的校正算法需要使用原始攝像機的攝像機矩陣，再通過不同的算法構建理想攝像機矩陣，最后通過原始攝像機與理想攝像機矩陣的關系來將原始攝像機采集的圖像映射到理想攝像機采集的圖像，進而實現對多視點立體采集系統的校正.基于攝像機無標定的校正算法不需要原始攝像機矩陣的信息，只需要通過外極線幾何約束和圖像立體匹配約束，即可直接對采集的圖像對進行變換，實現對圖像對的校正.

陳華華等[1]在雙目攝像機系統的基礎上，提出了利用光心和基線構建三角形，將第3個攝像機中心投影到前2個攝像機光心連線構成的基線上，最終得到校正.該方法可推廣至攝像機數目多于3個的平行攝像機陣列中.劉立亮等[2]利用SIFT算法提取圖像特征點和多視點圖像公共點的匹配關系，選取唯一基準視點圖像平面計算各視點校正矩陣并對多視點圖像進行變換，使它們得到校正.上述這2種基于無標定的多視點校正算法中，算法的復雜度較高，無法應用在實時多視點立體采集系統中.韓國的YuN-Suk KaNg和Yo-SuNg Ho分別在2008年提出了利用線段中點擬合基線的多攝像機校正算法[3]和在2011年提出了對攝像機3個坐標軸求平均，找出差異最小的攝像機，以其坐標系作為理想坐標系的多攝像機校正算法[4].上述2種基于攝像機標定的算法中，前者的中點法使公共基線的選取可能嚴重偏離原有的幾個攝像機光心，而后者在處理攝像機陣列理想坐標系的選取時只簡單歸為原有的某一個攝像機，具有一定的偶然性.

1.2 本文提出的校正方法

在已有的基于標定的校正算法基礎上，本文在校正過程中采用了一種較新的方法，該方法采用計算復雜度較低的平均向量法獲得攝像機陣列理想的光軸和基線，同時又很好的消除了多視點圖像之間的垂直視差.另外，在光心位置的選取上，通過極值平均法避免了理想位置與原來位置過大的差異，很好的控制了多視點圖像公共區域信息的損失.該多視點立體采集系統校正方法的主要步驟為：①計算系統的理想光軸方向；②計算系統的理想基線方向；③計算系統的理想光心位置；④計算系統的理想內參數.

2 攝像機模型及校正理論

2.1 攝像機模型

攝像機模型，即攝像機的基本成像模型，如圖1所示，由三維空間到平面的中心投影變換所給出[5].

令空間點Oc是投影中心，它到平面π的距離為f.空間點Xc在平面π上的投影m是以點Oc為端點并經過Xc的射線與平面π的交點，如圖1所示.平面π稱為攝像機的像平面，點Oc稱為攝像機中心（或光心），f稱為攝像機的焦距，以點Oc為端點且垂直于像平面的射線稱為光軸，光軸與像平面的交點p稱為攝像機的主點.

圖1 攝像機模型Fig.1 Camera model

世界坐標系與攝像機坐標系之間的關系可以用公式（1）來描述，令空間點的世界坐標系與攝像機坐標系的齊次坐標分別為X=（x，y，z，1）T與Xc=（xc，yc，zc，1）T.

這樣，就得到了攝像機矩陣的一般形式：

式中：R為攝像機的旋轉矩陣，其3個列向量分別代表了攝像機3個坐標軸方向；K為攝像機內參數矩陣；C～表示攝像機中心在世界坐標系中的非齊次坐標.

2.2 校正依據

平行配置模式的多視點立體系統中，理想的各視點攝像機矩陣的旋轉矩陣和平移矢量需要滿足特定的關系，以下為所需要滿足的條件[5].

式中：Pn表示第n個攝像機的攝像機矩陣；rn2、rn1和rn3分別為旋轉矩陣的3個列向量.

任取2個攝像機矩陣Pm和Pl，假設在攝像機內參數一致的情況下，如果滿足：式中：cm和cl分別為Pm和Pl的光心；x為空間任意一點；d為攝像機間距.

因此，如何使攝像機陣列中N個攝像機矩陣滿足以上3個公式就成為校正時的參考依據.

3 平行攝像機陣列圖像校正

校正前，平行攝像機陣列的空間位置分布表現為其N個攝像機的光軸朝向不同，光心位置散亂，沒有一致的基線方向，如圖2（a）所示.校正后，應使攝像機陣列光軸朝向一致、光心等間距的位于公共基線方向上，如圖2（b）所示.

圖2 校正前后的攝像機分布Fig.2 Camera arrangement before and after rectification

3.1 確定理想的光軸方向

目前校正光軸的方法中，有些方法會導致攝像機校正過大，有的方法校正過程過于繁瑣，本文則采用平均向量法來校正光軸，具體如下：

3.2 確定理想公共基線方向

在此之前，先對N個攝像機光心之間的關系進行分析，如圖3.以世界參考坐標系為準，N個攝像機光心的空間位置不一致主要分為前后不一致、上下不一致和左右不一致.前后不一致性影響的是最終采集圖像的縮放，上下不一致影響最后圖像公共區域大小，左右不一致將在之后對光心的調整時進行分析.因此，可對前2個不一致采用不同的校正算法.

圖3 光心的投影Fig.3 Projection of camera centers

圖3中，在世界參考坐標系下，N個攝像機的光心坐標定義為：

則光心在的YOZ平面的投影坐標為：

取其中y軸最大的點記為cmax，最小的點記為cmin，它們的平均值所在的水平線即設為最終基線在XOY面上的投影線：

基于以上分析，對公共基線方向便有以下約束：

3.3 確定光心位置

由于在一般拍攝情況下，多視點采集系統朝向場景主體的正前方，因此，校正后的平行攝像機陣列相對于校正前攝像機陣列位置的偏移不宜相差過大.圖4描述了校正前后攝像機陣列的關系.圖4（a）中理想光心位置的選擇盡可能接近原來的光心位置，而圖4（b）中校正后光心的位置與原來的光心位置偏移很大.

具體校正方法如下：

圖4 理想光心位置的選取Fig.4 Determination of ideal camera centers

式中：cmin，x、cmax，x、cmin，z、cmax，z分別為公式（8）定義的N個光心點坐標中x分量的最小值和最大值及z分量的最小值和最大值；y為公式（7）中的分量.

因此，定義平行攝像機陣列中與Cnew，avg左端相鄰的攝像機光心的位置為：

最后，這里定義了新的攝像機旋轉矩陣Rideal，n，光心位置Cideal，n.另外由以下公式，就可以得到新的位移：

3.4 內參數校正

在攝像機的內參數中，主要對攝像機的焦距f和圖像主點p進行校正.

令fn，pn=（pn，x，pn，y），n=1，2，3，…，N分別為N個攝像機的焦距和主點坐標；favg為fn的平均值；δf為它們的標準差.取滿足式（13）的fn的平均值favg′.

即定義，favg′為攝像機陣列的理想焦距fideal.

同理可得，攝像機陣列理想主點坐標，pideal=（pideal，npideal，y）.

3.5 利用變換校正多視點圖像

通過以上的校正過程，得到了攝像機陣列N個理想攝像機的攝像機矩陣，如式（14）所示：

由二維平面射影變換，可通過式（14）定義一個變換矩陣Hn，對攝像機陣列采集得到的多視點圖像進行變換，進而得到校正后的多視點圖像.

式中：Pn是為校正過的攝像機矩陣，上標“+”表示矩陣廣義上的逆.圖5給出校正過程示意圖.

圖5 單應變換校正Fig.5 Homography rectification

4 實驗結果

為了驗證提出算法的可行性，本文采用了平行配置的多視點采集系統進行校正實驗.圖6顯示了采用的多視點采集系統，可以看到8個一組攝像機排列在支架云臺上.

圖6 攝像機陣列Fig.6 Camera array

為了方便，只取右邊4個攝像機進行校正，但該實驗同樣能夠適用于多于4個攝像機的情況.攝像機采集到的圖像的分辨率為1 032×776，攝像機陣列到前方背景的距離大約為4.5 m.圖7所示為右邊相鄰4個攝像機采集到的圖像序列.在程序校正之前，為了保證能夠取得很好的校正效果，首先對攝像機進行了手動校正.但是，限于攝像機陣列設備本身存在的誤差及手動校正引入的人為誤差，采集得到的圖像依然會存在垂直視差.圖8（a）顯示了這種誤差，圖為4幅采集到的圖像經過透明度改變后重疊在一起顯示的圖像.

圖7 校正前圖像序列Fig.7 Original images

圖8 校正前后的圖像視差Fig.8 Parallax of original and rectified images

開始程序校正之前，對這4個攝像機進行標定來得到它們的攝像機矩陣，而通過本文算法分別對它們的旋轉矩陣，平移向量，光心及內參數進行校正后，可得到理想的4個攝像機矩陣.最后，對攝像機采集到的原始圖像進行矩陣變換即可得到校正后的立體圖像，圖8（b）為校正后的圖像序列更改透明度后重疊在一幅圖像上.

從圖8（a）和（b）中的標記點可以直觀地看出校正前后圖像序列的垂直視差情況，本文提出的算法使圖像序列中的垂直視差得到了改善.

為了更準確地得到垂直視差校正的效果，本文使用特征點匹配的方法來驗證校正前后消除的垂直視差的匹配點對數，圖9顯示了校正后的4個圖像序列部分特征點的匹配情況.

圖9 校正后的圖像序列匹配Fig.9 Match of rectified images

用已有的SIFT算法對相鄰兩副圖像做了特征點匹配，圖10給出了校正前和校正后匹配點對中依然存在垂直視差的點對數量.通過比較，可以看出校正后的圖像序列中，匹配點對中存在垂直視差的點對數大幅度減少.

圖10 校正前后存在垂直視差的匹配點數比較Fig.1 0Vertical pixel mismatches of original and rectified images

公式（18）定義了一種不匹配度Um，表1及表2分別列出了校正前后圖像序列的不匹配度，通過不匹配度的計算可以更精細地看到校正前后的改善效果.

表1 原始圖像序列的不匹配度Tab.1 Mismatch degree of original images

表2 校正后的圖像序列的不匹配度Tab.2 Mismatch degree of rectified images

另外，圖11顯示了校正前后攝像機陣列各個攝像機光心在XOZ面（參考坐標系下）上的投影位置，從這些位置的分布可以看出，算法對攝像機陣列的相鄰間距也取得了較好的校正.

圖11 光心投影位置Fig.1 1Projection of camera centers

最后，表3列出了校正后，每個圖像的分辨率損失，式（19）定義了圖像損失比.

表3 圖像分辨率損失比Tab.3 Loss ratio of image resolution

從表3可以看出，圖像分辨率的最大損失比為0.065 8.所以，校正后的圖像序列的公共區域基本滿足合成最終視頻的分辨率要求.

5 結束語

本文提出了一種基于攝像機標定的多視點采集系統的幾何校正方法.該方法可以方便的通過攝像機矩陣變換對采集的原始圖像進行校正，很好地消除視點間圖像序列的垂直視差.同時，該方法也對相鄰攝像機間距的不一致進行了校正，校正后圖像序列的分辨率損失也較小.實驗證明，該方法能夠方便而有效的解決多視點采集系統的校正問題.

[1]陳華華，杜歆，李宏東.平行多基線立體視覺圖像校正[J].浙江大學學報，2004，38（7）：779-803.

[2]劉立亮，安平，王賀，等.基于公共點提取的多視圖像校正[J].信號處理，2011，27（6）：854-858.

[3]KANG Y S，HO Y S.Geometrical compensation for multi-view video in multiple camera array[C].ELMAR，2008.50th International Symposium.IEEE，2008，1：83-86.

[4]YHO Y A.An efficient image rectification method for parralle multi-camera arrangement[J].IEEE Transactions on Consumer Electronics，2011，57（3）：1041-1048.

[5]FUSIELLO A，TRUCCO E，VERRI A.A compact algorithm for rectification of stereo pairs[J].Machine Vision and Applications，2000，12（1）：16-22.

[6]ZISSERMAN A.Multiple View Geometry in Computer Vision [M].Cambridge：Cambridge University Press，2003.

A geometric correction method for multi-view 3D system with parallel configuration

LI Wei，XIAO Mi，WANG Can，GUO Yao，GUO Xiao-xi
（School of electronic Information Engineering，Tianjin University，Tianjin 300072，China）

A geometric correction method based on calibrated multi-view 3D system is provided.The method firstly compute the original camera matrix，then compute the ideal camera matrix by using average vector method to the camera optical axis and baseline and using extreme average method to the camera optical center，finally apply the relationship of the original camera matrix and ideal camera matrix to the transformation of the original multi-view images.The experimental results show that the method effectively reduces the vertical parallax of the multi-view image，and reduces the loss of image resolution.

multi-view；camera array；vertical parallax；geometric correction

TP391.41

A

1671－024X（2013）05－0051－06

2013-06-07

李偉（1989—），男，碩士研究生.

肖謐（1972—），男，博士，副教授，碩士生導師.E-mail：xiaomi@tju.edu.cn