無地面控制的無人機影像全自動快速拼接

陳繼溢，孫杰，張力，許彪，唐曉霏

（1.中國測繪科學研究院，北京100830；2.湖北省測繪工程院，武漢430074）

無地面控制的無人機影像全自動快速拼接

陳繼溢1，孫杰1，張力1，許彪1，唐曉霏2

（1.中國測繪科學研究院，北京100830；2.湖北省測繪工程院，武漢430074）

為了滿足地理國情監測、災害應急保障需要快速響應和服務的應用需求，該文提出一種無地面控制的無人機影像全自動快速拼接方法。該方法利用尺寸不變特征匹配和相關系數匹配獲取分布均勻且高精度的像點觀測，通過自由網光束法平差獲取定向參數和加密點物方坐標，最后通過結合影像的色彩一致性處理和顧及重疊的面Voronoi圖接縫線網絡快速拼接獲取測區影像圖。實驗結果表明：所提出的方法可有效解決無人機影像的快速拼接問題，獲取的影像圖具有較高的拼接精度，同時色彩過渡自然。

無人機影像；SIFT匹配；自由網光束法平差；影像色彩一致性處理；快速拼接；無地面控制

1 引 言

無人機低空航測遙感具有機動快速響應、任務執行靈活、高精度影像獲取等特點，已被廣泛應用到地理國情監測、災害應急保障、地形圖測繪、農業、林業、電力等領域。隨著硬件系統的不斷發展與成熟，海量影像數據的快速獲取已成為可能，但如何有效解決無人機低空影像重疊度不規則、像幅小、旋偏角大、畸變明顯問題，快速獲取滿足業務部門各種應用需求的成果數據具有重要的現實意義，同時也是目前的研究熱點。

針對無人機影像的快速拼接問題，目前大多數處理方法都是采用不同的優化算法在像方空間做尺度不變特征匹配（Scale－invariant feature transform，SIFT），然后根據匹配的同名點進行全景拼接。劉民選［1］著重研究了無人機影像同名點匹配策略和基于GPU的加速方法；胡慶武等［2］采用基于SIFT特征的單應約束影像匹配算法，計算相鄰影像的最優變換矩陣，采取多分辨率融合拼接全景影像；宮阿都等［3］首先進行數據分塊，其次運用SIFT算子對分塊影像進行自動拼接，最后基于輔助數據對分塊拼接影像進行整體二次多項式糾正。上述方法本質上都是基于像方空間的拼接，對同名點匹配精度和分布的依賴性較高，另外，如果測區地形起伏較大可能會出現明顯的拼接錯位；劉春等［4］提出基于光束法平差的無人機影像快速拼接方法，并推導了相應的數學模型，但仍然依賴于稀少控制信息。

本文針對地理國情監測、災害應急保障等應用需求，提出一種無地面控制的無人機影像快速拼接方法。該方法通過結合SIFT特征匹配、相關系數匹配、分級多層金字塔影像匹配等策略獲取分布均勻且高精度的像點觀測；利用自由網光束法平差獲取影像的定向參數和加密點物方坐標；加密點三角構網并內插獲取數字高程模型DEM，利用數字微分糾正獲取單片正射影像；最后通過結合基于Wallis濾波器的整體勻色處理和顧及重疊的面Voronoi圖接縫線網絡［5］快速拼接獲取測區影像圖數據。

2 無人機影像全自動快速拼接

目前，無人機飛行作業時可獲取航攝影像及概略的導航POS數據，兩者和相機參數作為快速拼接的原始數據；其次，通過初始匹配和數據整理建立測區航帶列表；然后進行自動空三處理獲取影像的外方位元素和加密點的物方坐標；最后糾正拼接處理獲取測區影像圖數據。本文方法的總體流程如圖1所示。

圖1 快速拼接總體流程圖

2.1 初始匹配

（1）SIFT特征匹配

1999年，Lowe提出SIFT算法［6］，并于2004年進一步改進該算法，它是一種基于尺度空間的影像局部特征描述算子，對影像的旋轉、尺度縮放、仿射變換等保持一定程度的穩定性，可作為較理想的無人機影像初始匹配方法。

利用SIFT進行影像匹配主要分為特征點探測、特征點描述、特征點匹配、誤匹配點粗差剔除4個部分。實際應用中為了提高匹配速度，SIFT特征匹配在金字塔影像上進行，同時利用導航POS數據結合全球航天飛機雷達地形測繪使命（Shuttle Radar Topography Mission，SRTM）數據計算目標影像的鄰接關系以確定搜索影像。誤匹配點粗差剔除使用模型參數為透視變換的隨機抽樣一致性（Random Sample Consensus，RANSAC）方法［7］。

（2）相關系數匹配

盡管SIFT特征匹配具有很多優勢，但其特征點定位精度不高，特征分布存在不均勻的現象。為了提高匹配精度同時保證匹配點的均勻分布，本文基于SIFT特征匹配的結果，利用在影像上按規則格網提取的Harris特征點進行更高精度的相關匹配以獲取初始匹配像點觀測。

無人機影像存在旋轉、變形等問題，而在級別較高的金字塔影像上可認為其“視差”具有分段連續平滑的特點。因此，相關匹配時可利用透視變換重采樣搜索窗口的灰度數據，變換參數的計算基于目標點鄰近匹配成功的SIFT特征點。

通過SIFT特征匹配和相關系數匹配，可獲取點位分布和精度均較為理想的初始匹配點。一方面可用于自由網光束法平差的像點觀測數據，另一方面，可作為后續分級多層金字塔影像匹配的初值使用。

2.2 測區整理

無人機機載飛行控制系統的POS數據記錄了像片攝影時的概略外方位元素，測區整理時基于攝站的三維坐標（X，Y，Z），同時根據攝影曝光時間的先后順序排列影像。算法的基本原則為：航帶內相鄰像片的方向向量與航帶方向的向量積為正，如圖2（a）、圖2（b）所示。具體步驟如下：

（1）依次計算相鄰兩張像片攝影中心的方向向量并單位化，記為：

（3）對下一個攝站點，計算向量積s：

（4）根據s判斷攝站點的航帶歸屬：

s＞0，將該點加入到當前航帶，同時更新航帶方向向量

其中，→lnew為更新后的航帶方向向量，同時將其單位化，m為當前航帶內的像片數量。實質是將航帶內所有相鄰像片方向向量的加權值作為航帶的方向向量，進而增強航帶方向計算的穩健性和適用性；

s≤0，當前航帶創建完成，重復上述步驟（2）～步驟（4）創建下一航帶直至判斷完所有攝站點的航帶歸屬。

圖2 航帶排列

航帶創建完成后，根據其位置關系及初始匹配結果進一步判斷像片的旋轉方式以完整測區整理。圖3是某測區12條航帶共計1963張影像的自動整理結果，為顯示需要，圖中為攝站點抽稀顯示結果。

圖3 測區自動整理結果

2.3 自動空三

分布均勻、密集且高精度的像點觀測對于快速拼接目的而言具有重要意義，主要表現在兩方面：①提高自由網光束法平差的精度與可靠性，同時有利于像點觀測粗差的自動定位與剔除；②自由網加密點坐標通過三角構網及內插可獲取測區的DEM，其描述地形地貌的精細與否在一定程度上影響拼接影像圖的精度。因此，為了獲取高密度、高精度的像點觀測，本文采用分級多層的金字塔影像匹配策略。

（1）自由網光束法平差

光束法平差是空中三角測量中最嚴密的一步解法，可同時獲取影像的外方位元素和加密點的物方坐標。光束法平差中影像坐標觀測是未知數的非線性函數，因此，需反復迭代趨近直至收斂為止。

由于受到各種因素的影響（遮擋、重復紋理、陰影等），自動匹配獲取的像點觀測中不可避免的存在粗差，平差迭代計算過程中自動檢測并剔除粗差是保證平差結果精度與可靠性的關鍵。因此，本文選用從穩健估計法出發導出的丹麥法LD1權函數［8］，主要基于兩方面的考慮：①無需計算多余觀測分量，以節省計算時間；②大量密集且分布均勻的像點觀測使得平差系統的平均多余觀測分量很大（0.9以上）且分布均勻，從平差系統的可靠性理論來說，粗差能夠得到很好地監控。

（2）分級多層金字塔影像匹配

本文采用基于物方的鉛垂線軌跡法（Vertical Line Locus，VLL）［9］實現從粗到精的金字塔影像匹配策略，如圖4所示，其處理過程如下：

圖4 VLL法影像匹配

①確定待匹配目標點最低高程Zmin、最大高程Zmax及高程搜索步距ΔZ。最上級金字塔影像匹配時直接利用2.1節中的初始匹配結果，后續各級影像需重新提取均勻分布的Harris特征點；

②根據目標點平面坐標（X，Y）與可能的高程Z依次重采樣搜索影像并計算相關系數（ρ1，ρ2，…，ρn）；

③取相關系數最大值ρk對應的高程ZK及像點作為正確的匹配。

另外，多層分級金字塔影像匹配時可根據實際需求設置指定的金字塔匹配級數，提高自動空三的處理效率，進而減少快速拼接的整體處理時間。

2.4 快速拼接

快速拼接影像圖主要分為三步：首先，三角構網并內插自由網光束法平差的加密點物方坐標可獲取測區的DEM；其次，數字微分糾正獲取單片糾正影像；最后，單片糾正結果經色彩一致性處理后拼接獲取測區影像圖數據。

對于植被、建筑物較為密集的城區來說，為了避免單片糾正影像中地物地貌的扭曲變形，需要對空三加密點進行濾波處理，本文選用穩健性、適用性均較為理想的漸進加密三角網濾波算法［10］。

潘俊詳細研究了用于大范圍影像鑲嵌處理的接縫線網絡自動生成的顧及重疊的面Voronoi圖。顧及重疊的面Voronoi圖允許面之間具有重疊，是對重疊區域歸屬的重新劃分，且這種劃分是沒有冗余的、無縫的。具體的拼接線生成方法主要分為三步：①跟蹤單片糾正影像有效區域的外部輪廓多邊形；②計算重疊影像間的平分線；③根據與當前影像具有重疊的影像間的平分線，依次對其有效范圍進行劃分。拼接線自動生成過程如圖5所示，該方法整體考慮了拼接范圍內的所有影像，其處理結果與影像順序無關，適用于大范圍的影像自動拼接處理。

影像色彩一致性處理方面本文選用基于Wallis濾波器的整體勻色處理［11］，色調統計參數利用全測區所有影像，以最大程度上保證拼接影像圖的整體色彩一致性。另外，為保證拼接線附近色彩過渡自然，選用模版羽化［11］方法對拼接線附近的色差進行過渡處理以獲得最終的無縫拼接影像圖。

圖5 Voronoi多邊形生成示意圖［5］

3 實驗分析

為了驗證本文拼接方法的有效性和適用性，選取平坦地形和高山地兩個測區進行實驗分析，測區基本信息及快速拼接處理概況如表1所示。

圖6（a）和圖6（c）分別為兩個測區自由網加密點DSM暈渲顯示結果，圖6（b）和圖6（d）分別為三角構網并內插DEM的暈渲顯示結果。其中，測區I為城市地區，其DSM為利用漸進加密三角網濾波后的結果。從圖中可以看出，利用本文方法自動獲取的DSM和DEM能夠較為精細地描述測區的地形地貌信息，進而驗證了2.3節的自動空三策略能夠匹配出密集、分布均勻且高精度的像點觀測以及自由網平差的有效性。

表1 測區信息

圖6 DSM和DEM暈渲結果

圖7為經色彩一致性處理和顧及重疊的面Voronoi圖接縫線自動生成方法拼接的測區影像圖。從圖中可以看出，利用本文方法自動拼接的影像圖具有較高的拼接精度，主要地物無明顯拼接錯位，整體色彩一致性較好，由于拼接影像定向參數的解算是基于嚴格的共線條件方程，因此對各種地形地貌的測區具有一致的適用性。

4 結束語

本文提出一種無地面控制的無人機低空影像全自動快速拼接方法。通過采用SIFT特征匹配、分級多層金字塔影像匹配等策略，可獲取分布均勻、密集且高精度的像點觀測；影像外方位元素利用最為嚴格的光束法平差計算獲得，不僅能夠有效保證拼接精度，同時還適用于各種類型測區的拼接任務需求；通過結合影像的色彩一致性處理和顧及重疊的面Voronoi圖接縫線網絡自動生成方法，可獲取無縫、整體色彩一致的拼接影像圖。

通過具體的實驗分析，驗證了本文所述快速拼接方法的有效性和適用性。航帶自動整理算法目前不適用于帶構架航線或十字交叉飛行的測區，后續研究中需對其加以優化改進。另外，由于拼接線自動生成算法直接基于物方坐標信息，并未顧及影像的紋理及拼接線是否避開人工建筑物等問題，如何智能快速地選取拼接線以獲取更高精度的拼接影像圖是后續研究的重點。

圖7 拼接影像圖

［1］ 劉民選.無人機影像全自動快速拼接［D］.北京：中國測繪科學研究院，2012.

［2］ 胡慶武，艾明耀，殷萬玲，等.大旋角無人機影像全自動拼接方法研究［J］.計算機工程，2012，38（5）：152－154.

［3］ 宮阿都，何孝瑩，雷添杰，等.無控制點數據的無人機影像快速處理［J］.地球信息科學學報，2010，12（2）：254－260.

［4］ 劉春，李巍岳，雷偉剛，等.光束法自由網平差的無人機影像嚴格拼接［J］.同濟大學學報，2012，40（5）：757－762.

［5］ 潘俊.自動化的航空影像色彩一致性處理及接縫線網絡生成方法研究［D］.武漢：武漢大學，2008.

［6］ LOWE D.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［7］ HARTLEY R，ZISSERMAN A.Multiple view geometry in computer vision［M］.London Cambridge University Press，2000：219－243.

［8］ 李德仁，袁修孝.誤差處理與可靠性理論［M］.武漢：武漢大學出版社，2002.

［9］ 張劍清，潘勵，王樹根.攝影測量學［M］.武漢：武漢大學出版社，2010.

［10］ 管海燕.LiDAR與影像結合的地物分類機房屋重建研究［D］.武漢：武漢大學，2009.

［11］ 孫明偉.正射影像全自動快速制作關鍵技術研究［D］.武漢：武漢大學，2009.

Full－automatic and Fast Mosaicking of UAV Images Without Ground Control Data

CHEN Ji－yi1，SUN Jie1，ZHANG Li1，XU Biao1，TANG Xiao－fei2
（1.Chinese Academy of Surveying and Mapping，Beijing100830；2.Hubei Institute of Surveying and Mapping，Wuhan 430074）

For the demand of geographical conditions monitoring and disaster emergency security，this paper presents an automatic and fast method for mosaicking UAV images without ground control data.First，high density match points are obtained by SIFT matching and correlation coefficient matching.Then it acquires the orientation parameters of each image and three－dimensional coordinates of the match points using bundle adjustment.After the color consistency processing，it quickly mosaick the ortho－image of the whole zone based on the seamline network automatically generated using area Voronoi diagrams with overlap.Experiments of two different kinds regions which are mountainous area and flat area show that the given method can efficiently solve the problem of fast mosaicking of UAV images with good precision and nice color consistency.

UAV image；SIFT matching；bundle adjustment；color consistency process；fast mosaicking；without ground control

10.3969／j.issn.1000－3177.2015.02.004

TP751

A

1000－3177（2015）138－0026－05

2014－04－22

2014－07－01

國土資源部公益基金資助項目（201111010－6）。

陳繼溢（1990～），男，碩士，主要從事無人機影像快速拼接及正射影像智能鑲嵌研究。

E－mail：whulife＠gmail.com