基于柱面變換的圖像拼接技術

楊鎮豪

（四川大學計算機學院，成都 610065）

0 引言

伴隨著時代的進步和相關計算機技術的發展，現在的人越來越希望用更加便捷、生動的方式與計算機進行交互。虛擬現實技術（Virtual Reality，VR）由于其強大的沉浸感和自然的交互性逐漸成為計算機領域中一個新興的熱點[1]。圖像拼接技術是生成虛擬現實全景圖的一種關鍵技術和重要手段，其一般步驟是：將存在一定比例或一定重疊區域的一組或多個圖像在空間中進行匹配對準，再多次利用圖像融合算法形成全景圖。本文著重研究了全景圖拼接技術中的投影變換和圖像拼接融合等關鍵技術，分析對比了幾種全景圖投影變換方法，采用柱面投影算法，解決了全景圖像拼接后的視覺一致性的問題，接著使用SIFT特征[2]對圖像進行匹配，進行穩定的圖像匹配，最后使用利用漸入漸出加權平滑算法圖像進行拼接融合，有效地解決了常規加權平均算法中的圖像模糊和重影，去除了拼接過程可能產生的拼接痕跡，實現圖像的無縫拼接。

1 柱面投影變換

由于攝像機采集的多幅不同視角的圖像序列一般不在同一投影平面上，若直接對圖像的重疊區域進行拼接融合，會導致融合后的圖像場景失去視覺一致性。所以應該先對圖像序列進行投影變換之后再進行拼接融合。一般，較為常見的圖像投影模型有平面投影、柱面投影、球面投影以及立方體投影等。

平面投影是最簡單的投影模型，投影過程中，以圖像序列中一幅圖像為基準，將其余的圖像都投影變換到此坐標系下，由此可以拼接得到平面全景圖。但平面全景圖的缺點是不能反映空間中的任意方向的場景。球面投影[3]是通過模擬人類視覺特性，將圖像序列數據投影到類似眼球的球體上，進而拼接成球面全景圖，它可以反映空間中的任意方向的場景，如圖1（a）所示。立方體投影[4]與球面投影類似，但它解決了球面投影過程中數據存儲困難的問題，圖1（b）所示。柱面投影[5]是指建立一個以攝像機焦距為半徑的柱面，將圖像序列數據投影變換到在此柱面上，然后再經過圖像融合過程生成柱面全景圖。柱面全景圖去除了上方和下方兩部分，在水平360度方向為用戶提供環形視覺，因此柱面投影相比立方體和球面投影來說容易，又能滿足用戶的要求，所以被廣泛運用。

基于柱面投影變換的圖像拼接技術，首先將拍攝得到的原始圖像序列映射到一個統一的柱面坐標空間上，即圖像的柱面投影變換，然后對圖像序列進行圖像匹配，計算出兩幅圖像之間的單應矩陣H，最后根據單應矩陣H和相應的圖像融合算法拼接得到全景圖。

圖1 立方體投影與球面投影

投影變換公式是柱面投影變換中最核心的部分，如圖2（a）所示，其中原始圖像平面用I表示，柱面投影圖像使用J表示，K表示柱面投影空間，圓柱中心即投影中心作為坐標原點。如果在x-z平面中進行相機運動，并且光軸和圖像平面的交點是圖像中心點，現在我們要對原始圖像I進行投影變換，得到以O點為觀測原點的圖像I在投影空間K上的投影J。假設r表示柱面的半徑，θ表示投影角，W表示圖像寬度，H表示圖像的高度，那么可以得到柱面圖像寬度為2*r*sin（θ/2）。圖像上的像素位置用像素坐標來定義，其中原點為最左上角的像素位置[5]。

圖2 柱面投影變換示意圖

假設P為圖像I上的隨機一點，其坐標為（x,y），現在我們要計算出該點在柱面圖像J上所對應的點Q。如果Q點坐標為（x',y'），那么點P對應于y-z平面和x-z平面的橫截面分別如圖 2（c）和 2（b）所示，這個時候的柱面投影的變化公式為：

那么對于柱面全景圖中的任何一個像素點，該點在視線方向θ的反投影圖像中的對應點的函數關系可以由正投影方法公式得到，該函數關系如下所示：

2 圖像的拼接融合

2.1 平均值融合算法

平均值融合算法是一種簡單的線性圖像融合算法，它直接把兩幅圖像的重疊區域按照固定的比例線性累加，而其余不重疊區域不變。設需要融合的參考圖像、待配準圖像和融合后的圖像分別用I1（x,y）、I2（x,y）和I3（x,y）表示，那么實現平均值融合法如下：生成全景圖中的一個重要步驟之一就是圖像的拼接與融合。圖像的拼接是要以兩幅圖像之間有一定重疊區域為條件的。因為有重疊區域的時候我們才能利用算法去配準這兩幅圖像。另外，兩幅圖像之間是需要擁有視覺一致性的。這也是之前我們所說的要進行柱面投影或者運用其他投影模型的原因。目前，比較常用的圖像拼接融合算法主要有：平均值融合法、加權平均融合算法與漸入漸出融合算法，下面就分別對這三種算法進行簡要的介紹。

其中，R2為參考圖像和待配準圖像中的重疊區域，R1與R3為各自圖像中不重疊的區域。該算法使用的前提是兩幅待融合的圖像亮度變化不大，然后在圖像重疊區域應用不變的權值1/2來合并圖像像素值，使參考圖像能平滑過渡到待配準圖像。平均值融合算法原理簡單且易于實現，算法運行效率高；但算法融合效果不穩定且局限性很大，容易受到圖像亮度的影響，并且可以很清楚地看到融合后圖像的拼接縫隙。

2.2 加權平均融合算法

加權平均融合算法解決了平均值融合算法的缺點，在圖像重疊區域使用可變的加權函數來合并圖像像素值，使圖像的重疊區域融合更加平滑，可以實現像素的逐漸過渡。設待融合圖像的重疊區域為{x1，x2}，加權函數為W1（x）和W2（x），它們之間的關系如下：

其中，i的值域為{0，W}，W=x2-x1，因此融合后的圖像像素值為：

加權平均融合算法基本上消除了拼接時的模糊和鬼影現象，可以完成重疊區域內像素值之間的平滑過渡。該算法快速簡單，是一種比較常用的圖像融合算法。根據所使用加權函數的不同，我們可以將加權平均融合算法分為多種不同類別的算法，如帽子函數加權融合算法、漸入漸出融合法等。其中，帽子函數加權融合算法主要考慮了圖像中像素距離與權值之間的關系。該算法認為圖像像素點距離圖像中心越近，其貢獻程度越大，即它所對應的權重大，邊緣區域占較小的權重。權值函數中width和height兩個參數分別表示融合圖像的寬和高。在三維空間中，權值函數的函數圖類似帽子形狀，這也是叫帽子函數加權融合算法的原因。如（6）、（7）式所示:

2.3 漸入漸出融合算法

漸入漸出融合算法[6]是由Szeliski所提出來的，圖像重疊區域的權值d是根據該像素點到重疊邊界的距離計算出來的，它與像素點位置與邊界距離呈現線性關系，由此可以實現圖像重疊區域內的平滑過渡。算法的計算公式如（8）、（9）式所示，其中 j為像素點所在的列數，L、R為重疊區域的左、右邊界。

3 基于柱面變換的圖像拼接算法實現步驟

（1）對原始圖像序列進行圖像預處理和畸變矯正

在對圖像進行拼接之前，需要對原始圖像序列進行預處理操作，去除圖像中的高頻噪聲，如椒鹽噪聲、白噪聲、高斯噪聲等，一般采用各種類型的圖像濾波處理。而畸變是指由于攝像機鏡頭制造工藝、安裝、裝配等各種原因導致的圖像畸變效果，為了能夠提高攝像機拼接的效果和精度，需要對所有圖像序列進行畸變校正步驟。

（2）對原始圖像序列進行柱面投影變換

在經過圖像預處理和畸變矯正步驟后，接下來一步是對需要拼接的圖像序列進行柱面投影變換。正如第1節所討論的，柱面投影變換的目的是為了保持圖像重疊區域內景物的視覺一致特性。

（3）對圖像序列進行圖像匹配，計算兩幅圖像之間的單應矩陣H

由于SIFT[2,7]（Scale Invariant Feature Transform）特征具有良好的尺度不變性、旋轉不變性和亮度不變性，對環境適應性極佳，同時其生成的特征描述符能保證相當高的匹配正確率。因此本文采用SIFT匹配算法得到待拼接圖像的匹配對，然后再根據得到的匹配對利用DLT（Direct Linear Transformation，直接線性變換）計算出圖像之間的單應矩陣H。

（4）最后根據H矩陣信息利用相應的圖像融合算法對圖像進行拼接，生成全景圖像。

4 實驗結果

根據上述算法思路，用MATLAB進行實驗仿真，通過攝像機采集的多幅圖像，對其進行圖像拼接對比實驗。下面是其中一組圖像，首先圖3、4展現了投影角度取為45°的柱面投影圖。

圖3 原圖1及其柱面投影圖

圖4 原圖2及其柱面投影圖

接下來展示下平均值融合算法和漸入漸出算法的實驗效果，并且進行對比，如圖5、6所示。（用來拼接的圖像分別已經在上述的圖像投影變換中已經展示，都是進行過畸變校正后再進行柱面變換投影的圖像）

圖5 平均值融合算法示例圖

圖6 漸入漸出融合算法示例圖

我們從上面兩幅圖中可以明顯得看出平均值融合算法和漸入漸出融合算法的效果。我們可以看到圖5雖然圖像進行了融合，但均存在比較明顯的過渡帶，而且圖5中間融合的效果十分不好，非常模糊。再來觀察圖6，經過漸入漸出融合算法后，拼接的結果自然，圖像重疊區域過渡平滑，基本實現了無縫拼接。

5 結語

針對虛擬現實領域中生成全景圖的需求，本文利用柱面投影變換得到圖像序列的柱面投影圖，然后根據SIFT匹配算法得到待拼接圖像之間的匹配關系，采用漸入漸出融合算法對圖像進行拼接，得到了圖像拼接后的全景圖。經過實驗仿真證明，該算法能快速、魯棒的對圖像無縫拼接。

參考文獻：

[1]蘇建明，張續紅，胡慶夕.展望虛擬現實技術[J].計算機仿真，2004，21（1）：18-21.

[2]DG Lowe.Distinctive Image Features from Scale-Invariant Keypoints.International Journal of Computer Vision,2004,60（2）:91-110.

[3]楊燕，王雪瑞，戴青，付江柳.球面全景圖像生成技術的研究[J].計算機應用與軟件，2007，24(10）：164-165.

[4]韋群,高麗,龔雪晶.基于立方體全景圖的虛擬場景瀏覽技術研究及實現[J].中國圖象圖形學報,2003,8（9):1061-1066.

[5]楊艷偉，郭寶龍.柱面全景圖像自動拼接算法[J].計算機工程與應用，2009,45(9):171-173.

[6]盧斌，宋夫華.基于改進SIFT算法的視頻圖像序列自動拼接[J].測繪科學,2013,38(1):23-25.

[7]Szeliski R.Image Mosaicing for Telereality Applications.IEEE Computer Graphics and Applications，1994.