傾斜影像三維重建自動紋理映射技術

閆利，程君

（武漢大學測繪學院，武漢430079）

傾斜影像三維重建自動紋理映射技術

閆利，程君

（武漢大學測繪學院，武漢430079）

雖然傾斜攝影測量技術是國際測繪領域近年來倡導使用的一項高新技術，但在三維建模應用和效率方面還存在不足，為此，該文針對傳統三維城市建模紋理采集、粘貼耗時耗力的問題，提出了一種基于五鏡頭傾斜航攝儀獲取的傾斜影像數據進行三維重建自動紋理映射的方法。為了驗證方案的可行性，該文開發了傾斜影像管理平臺，并基于此平臺實現了幾何建模、紋理獲取、紋理優選、紋理遮擋檢測及自動紋理映射等功能。最后，利用陽江市的傾斜影像數據進行實驗。實驗結果表明：該平臺紋理映射過程自動化程度高，三維建模效果良好，提高了三維建模的工作效率。

傾斜影像；攝影覆蓋范圍；幾何建模；自動紋理映射；傾斜攝影；三維重建

1 引 言

傾斜攝影測量技術是國際測繪領域近年來倡導使用的一項高新技術，它顛覆了以往航攝儀只能從正射角度拍攝影像的局限，它通過在同一飛行器上搭載多臺傳感器，同時從1個正射、4個傾斜等5個不同的角度采集數據，將用戶引入了符合人眼視覺習慣的真實且直觀的世界［1－2］。利用傾斜攝影測量技術，可以快速建立城市三維模型。

原始航空拍攝大多是接近豎直角度，影像上的屋頂信息豐富而墻面不可見，建筑物稠密區域遮擋嚴重，使航片不能有效提供建筑物立面的紋理信息，而建筑物單純依靠人工幾何建模及紋理采集、粘貼等工作及其耗時耗力。傳統建立城市三維模型的方法是先將需要建立模型的區域劃分為若干個測區，采用外業人員手工拍照的方法，結合正射影像，得到建筑物的結構和紋理，然后，通過內業人員的處理，結合正射影像、測區平面矢量圖、屋頂矢量圖等數據，建立白模，通過拍攝的紋理分析模型的細部結構，最后將拍攝的紋理處理后貼在白模上［3］。傾斜攝影技術能夠真實反映地物情況，傾斜攝影技術的應用，使目前高昂的三維城市建模成本大幅降低，大大提高了三維城市建模的速度［4］。

作為2008年第21屆ISPRS大會的主要議題之一，傾斜攝影測量技術近幾年在攝影測量領域受到普遍關注。典型的五鏡頭傾斜航攝儀中間一臺垂直攝影，其余4臺進行傾斜攝影，其傾斜角在40°到45°之間，相機上方安置有慣性測量單元（Inertial measurement Unit，IMU）導航系統，同時集成GPS定位系統，可以在曝光瞬間準確獲取相機傾角及外方位元素［5］。本文提出了一種由五鏡頭傾斜航攝儀獲取的傾斜影像數據進行三維重建自動紋理映射的方法。

圖1 典型的傾斜數字航攝儀

2 基于傾斜影像的自動紋理映射流程

現有的普通航攝儀由于攝影姿態及飛行高度的限制，獲取的數據為垂直視角下的影像，僅能獲得建筑物屋頂的紋理，側面紋理不可知。而傾斜攝影技術是對傳統航空攝影測量的一種補充，獲取的傾斜影像能夠為城市三維建模提供豐富的側面紋理信息［6］。本文針對傳統三維城市建模紋理采集、粘貼耗時耗力的問題，提出了一種基于五鏡頭傾斜航攝儀三維重建自動紋理映射的方法，主要分為幾何建模和紋理映射兩個步驟，具體的流程如圖2所示。

2.1 幾何建模

本文通過計算影像覆蓋范圍，找到包含有目標建筑物的所有影像，然后刺點選擇建筑物的房角點，獲得其像點量測坐標，并轉成像平面坐標。然后通過前方交會計算獲得目標建筑物房屋角點物方坐標，再以此為初值，使用多基線前方交會精化房屋角點的物方坐標，并構建建筑物白模。

圖2 基于傾斜影像技術的自動紋理映射流程圖

本文以物方地理坐標為紐帶，通過計算每張影像的攝影覆蓋范圍（Footprint），建立各視影像間的空間關系，便于檢索，利用Footprint對影像進行組織與管理。

首先假設一張影像的4個角的像點量測坐標x′，y′分別為（0，0）、（width，0）、（0，height）、（width，height），如圖3所示。然后將像點量測坐標按式（1）轉化為像平面坐標x、y，對轉化得到的像平面坐標進行畸變差改正和像點改正，畸變差改正模型采用式（2）。

圖3 影像角點像點量測坐標

由此，引入畸變差和像點改正之后的共線方程的逆算式為：

這里，將Z設為一個常量，為當地的平均高程。那么，就可以得到每張影像的Footprint。對應于影像上的任何位置，通過獲得其像點量測坐標，就可以求出其對應的物方坐標（X，Y），再通過上述已經得到的Footprint就可以得到包含目標點的所有影像。這里采用矢量叉積法來判斷包含目標點的影像，即如果一個點在凸多邊形內，那么按照逆時針方向，該點一定會在每一條的左邊。所以按照逆時針方向遍歷凸多邊形的每一條邊的兩個頂點A（x1，y1）和B（x2，y2），然后判斷給定點是否在AB矢量左邊。對凸多邊形的每一條邊都如此判斷，如果每次都判斷出給定點在左邊，那么就說明這個點在凸多邊形內部。

搜索到包含有目標建筑物的所有影像之后，就可以計算房角點的物方坐標。相比于單基線攝影測量，多基線攝影測量方法有很明顯的優勢，它不僅有利于影像的自動匹配，而且可以改善交會精度。多基線前方交會一般有光束法前方交會和線性法前方交會兩種方法可以應用。本文采用的是光束法前方交會。

光束法前方交會是基于共線方程，根據已知內外方位元素的兩幅或兩幅以上的影像，把待定點的影像坐標作為觀測值，解求其或是值并逐點解求待定點物方空間坐標的過程［7］。

多基線前方交會的誤差方程式為：

根據n（n≥3）張像片上的同名點，列出2n個共線方程和2n個誤差方程式。用矩陣的形式表示為：

以此求出地面點坐標近似值的改正數ΔX、ΔY、ΔZ，當改正數小于某一特定的閾值即可停止迭代，最后求得地面點坐標的解為：

通過多基線前方交會可得到目標建筑物房角點的物方坐標，通過該坐標即可構建建筑物白模。

2.2 紋理映射

由于是不同視角下的多幅影像，導致建筑物模型上的每個墻面可能對應著其中的兩幅或多幅，因此要為每個墻面從多視傾斜影像中選出質量最好的影像作為紋理數據源［8］。本文定義的優選準則如下：

①同一墻面在兩幅或兩幅以上備選影像中均完全可視時，則選擇成像角度最好的影像；

②同一墻面僅有一幅影像可視時，則以該影像進行紋理采集；

③同一墻面在所有備選影像中都存在遮擋時，則以紋理區域遮擋面積最小的影像優先；

④當同一墻面沒有備選影像時，可通過相似墻面紋理或者地面近景攝影的方式補漏［9］。

在大量的傾斜影像序列中，同一建筑墻面往往在多幅影像上可見，并且墻面紋理的分辨率、成像角度以及受遮擋的情況都是不一樣的，必須選取質量最好，受遮擋最小的原始影像作為紋理數據源。

本文采用的優選方法是視角法，即該墻面的單位法向量與視點方向的夾角最小即視點最優。比較每幅紋理影像所求出的夾角，將夾角最小的紋理影像的下標賦給建筑物側面［10］。具體算法如下：

①計算該建筑物側面的法向量n→；

②計算該側面的視點方向N→；

③計算視點方向與法向量的夾角θ，并比較M幅圖像所求出的夾角，選擇夾角最小的圖像。

圖4 視角法

利用視角法優選出成像角度好的影像作為紋理數據源，但在城區遮擋較為嚴重，需要對其進行遮擋檢測，選擇遮擋較少的影像。本文遮擋檢測采用深度緩存算法，該算法基本思想是基于透視成像時離透視中心最近的地面點遮擋該光線上其他點。

完成上述步驟后，再將優選出的紋理影像進行幾何糾正。本文利用反解法數字微分糾正的方法進行處理。傳統的反解法是根據像片的內、外方位元素及高程，利用共線方程反求目標點在原始影像上的像點坐標，再經過灰度內插即可得到糾正后像元素的灰度值。與傳統反解法不同，進行紋理幾何糾正時，空間點信息不再是地面點，而是房屋矩形墻面上的采樣點，經過上述變換后即可得到最終的建筑物紋理影像。最后，基于開源圖形庫OSG開發了建筑模型可視化平臺，利用得到的模型數據和與其對應的紋理影像數據，對建筑物進行交互顯示。

3 實驗結果與分析

本文的實驗數據是廣東省陽江地區的傾斜影像，由國產傾斜相機SWDC－5拍攝獲取。該傾斜相機由5個相機組成，包括1個垂直拍攝的相機和4個不同朝向的相機。測區總共包含5條航帶，每條航帶77張影像，共1925張，平均飛行高度為830m，垂直影像的GSD為5cm。本文選取該測區內的一處簡單建筑物作為實驗對象進行建模。下圖為開發的傾斜影像管理平臺，能夠根據POS數據及內方位元素自動計算Footprint，同時搜索出包含有目標建筑物的所有影像。并采用五窗口聯動視圖的模式，與5個鏡頭關聯，可以概覽全局，如圖5、圖6所示。

圖5 五窗口聯動視圖

圖6 傾斜影像管理平臺

根據搜索出的影像，通過最小外包矩形截取出目標建筑物的所有紋理影像，圖7為部分目標建筑物的墻面紋理。對所獲得的所有紋理進行優選，并進行幾何糾正，結果如圖8所示。對每一墻面的所有紋理進行優選和幾何糾正之后，進行紋理映射，結果如圖9所示。最后，基于上述方法，本文以廣東省陽江地區某小區傾斜影像為示例數據進行了三維建模實驗。圖10、圖11所示分別為該小區若干建筑物的幾何建模及紋理映射后的三維模型效果圖。實驗結果表明：本文提出的方法紋理映射過程自動化程度高，三維建模模型效果良好。

圖7 部分目標建筑物的墻面紋理

圖8 經過優選和幾何糾正之后的墻面紋理

圖9 建筑物三維模型

圖10 若干建筑物幾何建模效果

4 結束語

針對傾斜影像的特點，并針對傳統三維城市建模紋理采集、粘貼耗時耗力的問題，本文提出了一種基于五鏡頭傾斜航攝儀獲取的傾斜影像數據進行三維重建自動紋理映射的方法，開發了傾斜影像管理平臺，并基于OSG開發了建筑模型可視化平臺。通過計算Footprint，進行影像的自動搜索，搜索出包含有目標建筑物的所有影像，再進行多基線前方交會計算房角點物方坐標以進行幾何建模。隨后對候選紋理數據源進行紋理優選、幾何糾正、遮擋檢測等，以選出質量最優的紋理，從而進行紋理映射。紋理映射過程自動化程度高，三維建模模型效果良好，提高了三維建模過程的工作效率。

圖11 若干建筑物紋理映射效果

［1］ 王偉，黃雯雯，鎮姣.Pictometry傾斜攝影技術及其在3維城市建模中的應用［J］.測繪與空間地理信息，2011，34（3）：181－183.

［2］ GRENZDORFFER G J，GURETZKI M，FRIEDLANDER I.Photogrammetric image acquisition and image analysis of oblique imagery［J］.The Photogrammetric Record，2008，23（124）：372－386.

［3］ 李鎮洲，張學之.基于傾斜攝影測量技術快速建立城市3維模型研究［J］.測繪與空間地理信息，2012，35（4）：117－119.

［4］ 丁全利.我測繪行業首次引進傾斜攝影技術［N］.中國國土資源報，2010－4－12（001）.

［5］ PRANDI F，ACHILLE C，BRUMANA R，et al.Lidar and pictometry images intergrated use for 3Dmodel generation［J］.The International Archives of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2008，XXXVII（Part B2）：763－769.

［6］ AHMED M.HAMRUNI.The use of oblique and vertical images for 3Durban modeling［D］.Nottingham：The University of Nottingham，2010.

［7］ 張劍清，胡安文.多基線攝影測量前方交會方法及精度分析［J］.武漢大學學報（信息科學版），2007，32（10）：847－851.

［8］ FRUEH C，SAMMON R，ZAKHOR A.Automated texture mapping of 3Dcity models with oblique aerial imagery［C］.Second International Symposium on 3DPVT，Thessaloniki，Greece，2004.

［9］ 桂德竹.基于組合寬角相機低空影像的城市建筑物三維模型構建研究［D］.北京：中國礦業大學，2010.

［10］ 吳軍.三維城市建模中的建筑墻面紋理快速重建研究［D］.武漢：武漢大學，2003.

Automatic Texture Mapping of 3DReconstruction Based on Oblique Imagery

YAN Li，CHENG Jun

（School of Geodesy and Geomatics，Wuhan University，Wuhan 430079）

This paper briefly introduced the oblique photogrammetry technology.For traditional texture collection and pasting of 3Dcity modeling，they were time－consuming.A method using oblique images obtained by five lens digital aerial oblique camera to complete texture mapping of 3Dreconstruction automatically was proposed.In order to validate the feasibility of this solution，an oblique image management platform was developed.Based on this platform，functions including geometry modeling，texture capturing，texture optimization，texture occlusion detection and automatic texture mapping were achieved.The experiment was conducted using the data of Yangjiang.Experiments prove that the process of texture mapping has a high degree of automation，the effect of 3Dbuilding model is good and it can improve the efficiency of 3Dreconstruction.

oblique photogrammetry；foot print；geometry modeling；automatic texture mapping；oblique photography；3Dreconstruction

10.3969／j.issn.1000－3177.2015.02.005

TP751

A

1000－3177（2015）138－0031－05

2014－04－28

2014－06－10

國家科技支撐計劃（2012BAJ23B03）。

閆利（1966～），男，博士，教授，主要研究方向為攝影測量與遙感及地面三維激光掃描。

E－mail：lyan＠sgg.whu.edu.cn