基于智能手機的無人機低空傾斜攝影測量系統及其應用研究

畢衛華，趙星濤，楊化超，卞和方，張秋昭

(1.皖北煤電集團有限責任公司，宿州 234002；2.北京帝信科技有限公司，北京 100086；3.中國礦業大學環境與測繪學院，徐州 221116)

0 引言

近年來發展的無人機低空傾斜攝影測量技術通過多鏡頭、多視角攝影模式來獲取被攝目標的高空間分辨率影像，同常規的基于單鏡頭的豎直攝影測量模式相比，該技術在提高了常規數字測繪產品質量的同時，還可以獲得高精度的紋理細節較為豐富的實景三維模型，已被廣泛應用于不動產測繪、國土資源監測及智慧城市建設等領域[1-2]。無人機低空傾斜攝影測量系統的組成部分主要是無人機飛行平臺及其所搭載的任務載荷。目前的無人機飛行平臺多種多樣，但主要包括3種，即固定翼、多旋翼以及集成二者優點的復合翼無人機[3-4]。固定翼和復合翼無人機適合于大面積的航攝任務，而多旋翼無人機適合于小面積高精度的實際應用。無人機低空傾斜攝影測量系統多采用多目(一般為4目或5目)傾斜相機作為任務設備，但現有的多目傾斜攝影相機系統由于本身體積和質量較大，其用于搭載的飛行平臺多采用小型飛機或動力三角翼飛行器，甚至是大型運輸機作為搭載平臺。而目前廣泛使用的適用于低空無人機搭載的傾斜相機多基于質量相對較輕的消費級數碼相機進行改裝集成，以適合實際的應用。促進無人機低空攝影測量系統的低成本和小型化對于普通用戶而言具有實際意義。為此有研究者基于智能手機開展了相關研究應用。隨著微機電系統(micro-electro-mechanical system，MEMS)技術的發展，智能手機中已經植入了多種MEMS傳感器，如互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)相機傳感器、加速度傳感器(accelerometer)、陀螺儀(gyroscope)以及我們所熟知的用于定位和導航等用途的全球導航定位系統(global positioning system，GPS)等[5-9]。文獻[10]將智能手機作為固定翼低空無人機的任務載荷來實現攝影測量應用，系統通過藍牙連接的GPS及手機中的慣性測量單元(inertial measurement unit，IMU)來提供影像的定位定向系統(positioning and orientation system，POS)信息，分析了智能手機相機內方位元素的穩定性及其對空三精度的影響并以地面三維激光掃描獲取的數據為基準評價了數字高程模型(digital elevation model，DEM)精度。

綜合以上的分析可知，同常規無人機低空傾斜攝影系統相比，基于智能手機構建低成本、輕小型的類似系統對于促進傾斜攝影測量實用化具有重要意義。雖然文獻[10]對基于智能手機的攝影測量應用進行了初步研究，但仍然存在如下問題：①選擇何種智能相機并進行合理改裝構建具有自動連續拍照功能的多相機成像系統；②對于普通消費型智能相機而言，如何面向攝影測量應用對其成像質量和成像模式進行改進和優化；③對構建的基于智能手機的無人機低空傾斜攝影測量系統需從應用的角度對其獲得的數字產品質量進行評價，從而為實際應用提供參考。本研究綜合考慮上述問題，構建基于四旋翼輕小型無人機低空飛行平臺和智能手機的無人機低空傾斜攝影測量系統并進行應用評價，旨在為無人機低空傾斜攝影測量系統應用提供一種方便、快捷的新方法。

1 系統構建

提出的基于智能手機的無人機低空傾斜攝影測量系統主要由無人機飛行平臺子系統和多相機成像子系統組成，其中各子系統又包含有多個功能模塊，具體如圖1所示。

圖1 基于智能手機的無人及低空傾斜攝影測量系統結構圖Fig.1 Structural diagram of the UAV based low altitude oblique photogrammetry with smartphones

1.1 低空無人機飛行平臺子系統

研究選用精靈4系列四旋翼無人機DJI Phantom 4(圖1)。該無人機主要由飛行器、云臺相機、飛行控制系統及地面監控系統等多個模塊組成。飛行平臺攜帶的10 000 mAh 4S 智能電池使得最大平飛速度為20 m/s，單塊電池最大續航時間約為28 min；Phantom 4同時接受GPS及GLONASS定位衛星信號，可獲得5 m精度的影像定位信息。圖1所示的飛控系統模塊集成于飛行器內部，可同步記錄航拍時對應影像的POS信息。地面監控系統與飛控系統通過地面便攜式計算機中安裝的監控軟件實現雙向通訊，地面監控系統可向飛控系統發送飛行任務指令，并可對飛控系統傳回的飛行狀態參數進行可視化的監控。本研究沿用了Phantom 4的飛行器和動力系統及其飛控和地面監控系統，移除了云臺相機相關部件，以利于后文闡述的多相機成像系統的加載。

1.2 基于智能手機的多相機成像子系統

本研究構建的基于智能手機的多相機成像子系統需主要考慮如下3個方面：①選擇傳感器尺寸相對較大的智能手機以適合實際的改裝；②對智能手機的成像質量和成像模式進行改進和優化以適合攝影測量的實際應用；③多相機成像系統應具有自動連續拍照及POS數據記錄與存儲功能。如圖1所示，其主要組成模塊包括：多成像傳感器模塊、POS及飛行控制模塊、數據存儲及傳輸模塊和電源模塊。

1.2.1 智能手機選擇

2012年，諾基亞公司發布了基于純景(Pure View)技術的Nokia 808 PureView(以下簡稱N808)智能手機，相對于其他類型的智能手機，N808搭配大尺寸CMOS圖像傳感器和卡爾·蔡司鏡頭以及采用的無損數碼變焦技術提高了成像質量，同時，以犧牲手機質量(169 g)來換取更高的成像質量。N808配置了1.33 GHz的ARM11微處理器、512 MB內存、16 GB內置存儲。N808有兩種常用的攝像模式(詳細參數見表1)。本研究選擇該款智能手機來構造用于傾斜攝影測量的多相機成像系統。

表1 Nokia 808 PureView 內置相機圖像傳感器和鏡頭參數Tab.1 Sensor and lens specifications for built-in camera of Nokia 808 PureView

①1英寸=2.54 cm。

1.2.2 面向攝影測量應用的成像質量及成像模式優化

1)固定相機焦距。消費型智能手機為了提高攝影成像質量，多具備自動對焦和防抖功能，在攝像過程中會使焦距產生變化，而攝影測量一般要求相機焦距是一個固定值的已知值。為此在拆解相機鏡頭前通過手機的操作系統去除相機鏡頭的自動對焦和防抖功能。

2)防止影像過曝現象?，F實中的物體由于材質和光照等因素的影響會產生較高的光反射表面，繼而造成所拍影像產生過曝現象，極大地影響了成像質量和后續影像匹配的難度。為此，在相機鏡頭中添加中灰密度(neutral density，ND)濾鏡來消除這一現象。ND鏡通過調整相機的光圈和快門來防止影像的過曝,僅降低光線的強度，不會對攝物體的顏色和反差產生任何的影響，也不會影響到相機的白平衡和自動曝光(圖2給出了使用ND鏡前后的成像結果對比)。

(a)使用前 (b)使用后

3)成像模式優化選擇。CMOS決定了手機攝像頭的圖像分辨率和像素大小。一般而言，在傳感器尺寸一定時，圖像分辨率越高，像素就越小，成像也越清晰。如表1所示，在N808的兩種成像模式中，傳感器尺寸均為1/1.2英寸，但成像模式1(分辨率為4 100萬像素)和成像模式2(分辨率為1 200萬像素)對應的像素大小卻分別為1.4 μm和2.6 μm。相應的單張相片所需存儲容量也不同，分別約為12 MB和3 MB。圖3給出了采用兩種攝影模式對同一地物的三維重建結果及其相應的局部細節圖。由圖3可以看出，成像模式1的三維重建結果在局部細節上要好于成像模式2，但其較小的像素尺寸造成了重建結果中的地物“扭曲”現象(如圖3中紅色圈部分)。綜合考慮到重建效果和影像的存儲負擔，本研究構建的多相機成像系統選用N808的第2種成像模式。

(a)成像模式1 (b)成像模式2

1.2.3 多成像傳感器模塊

為構建基于五相機的輕小型低空傾斜攝影測量系統，需要N808手機5部，如僅對5部相機進行簡單的拼湊將會導致過重的任務載荷。因此需對其進行改裝、增配及優化組合并進行模塊化設計?？紤]到本研究主要利用N808手機的攝像和存儲功能，因此，為減小任務載重，對N808智能手機進行拆解，去除與攝像功能無關的部分(如手機的外殼、金屬骨架、SIM卡插口和SD卡卡槽等)。拆解后形成了以手機主板、CMOS和相機鏡頭為主體的5個獨立的攝像功能體。拆解后的各主板通過層疊的方式進行疊加集成以節省空間(如圖1紅色虛線框中右圖和圖4(d)中紅色框所示)。為了對各相機鏡頭進行合理布局以構造多目傾斜攝影相機，進一步拆解并分離各相機鏡頭(圖1中紅色框中左圖)并進行合理布局。如圖4中綠色框所示，分離后的各相機鏡頭固定在相機外殼體平行于主板平面的下表面上，為了達到多角度傾斜攝影的目的，5個鏡頭的空間布局為：以中間鏡頭為中心大致對稱分布成一邊長約為50 mm的正方形框，其中中間鏡頭攝影主光軸鉛垂朝下，其余4個鏡頭的主光軸與外殼體下表面呈30°角。上述相機鏡頭的布局方式最大限度地保證了在同一個攝影站獲得1張下視和4張側視共5張不同角度的多視角數字影像。各相機鏡頭和其相應的主板間通過排線相連接。

(a)系統透視圖1 (b)系統透視圖2

1.2.4 POS及飛行控制模塊

通過手機植入的MEMS傳感器(如陀螺儀和GPS)可以獲得其位置及姿態信息，其與傳統無人機航空攝影測量系統中搭載的POS系統提供的功能類似。然而，無人機飛行時智能手機的相機搭載在飛行器底部，信號的遮擋會導致GPS定位信息的不準確。此外，雖然利用內置的陀螺儀估算姿態可實現基于智能手機的慣性導航系統，但測量噪聲會導致姿態無限漂移，使得基于智能手機的慣性導航系統具有很大的局限性[8-9]。為此，系統在飛行平臺上通過增加外置GPS傳感器(圖4(a))及內置于飛控系統內的IMU來獲得可靠的POS信息(圖1中橙色虛線框)。

由于Phantom 4的飛控系統缺乏多余的接口，無法通過原有的飛控系統來控制多相機傳感器自動拍照，因此本研究基于開源飛控系統PIXHAWK[11]研發了一套獨立的飛行控制系統以實現相機的自動拍照(如圖1中橙色框和圖4(d)中黃色框所示)。其主要功能為：①飛控系統中集成了獨立的電子同步快門觸發器來減小快門觸發延時時長，可將多個鏡頭的曝光間隔誤差控制在μs級別，以保證同一攝影站5個鏡頭影像的同步獲??；②飛控系統向多傳感器成像模塊發出拍照指令，控制該模塊按指定的時間間隔(本研究設置為4 s)進行定時拍照并同步記錄影像的POS信息；③飛行系統通過集成在其上的拍照開關按鈕來觸發(圖4(c))。

1.2.5 數據存儲及傳輸模塊

同步記錄的影像POS數據存儲在飛控系統的內置存儲器內，存儲容量為8 GB。多視角影像數據存儲在其相應主板的內置存儲器內(存儲容量均為16 GB)。如圖1和圖4(c)所示，飛行任務結束后，用USB數據線分別連接各主板接口，將每個主板存儲器上存儲的照片傳輸至本地計算機；用串口線連接飛控系統接口，下載位置信息文件至本地計算機。

1.2.6 電源模塊

采用可拆卸的外接電池取代原來的手機電池為各個模塊提供穩定的工作電壓。所選用的電池為鋰電池，容量為3 000 mAh，電壓為3.7 V，電量為11.1 Wh。

1.3 系統集成及工作流程

多相機成像系統通過減震球與碳板固定安置在無人低空飛行器底部，集成后的系統如圖4(a)和圖4(b)所示。圖5給出了所提系統的工作流程。結合圖4和圖5，系統用于外業數字影像采集時一個架次(飛行器一個起落)的主要工作流程如下：

圖5 系統工作流程Fig.5 Work flow of the system

1)飛行任務規劃。利用Phantom 4的地面監控系統軟件進行航線規劃和飛行參數設置并上傳至飛行控制系統。飛行器處于準備起飛狀態。

2)相機待拍照。通過“相機開機”按鈕觸發多傳感器成像模塊，使相機處于待拍照狀態。

3)相機拍照。通過“拍照”按鈕觸發飛行控制模塊并向多傳感器成像模塊發送定時拍照指令。定時拍照開啟。飛行器起飛并按預定規劃參數執行航拍任務。獲得的影像數據及同步記錄的POS數據分別存儲在手機主板和飛控系統的內置存儲器中。

4)數據下載。飛行任務結束后，關閉相機拍照功能。用USB數據連接各手機主板的影像數據傳輸接口，下載影像數據至本地計算機；采用串口通信線連接飛控系統的POS數據傳輸接口，下載POS數據至本地計算機。

如飛行任務需多個架次，則重復上述步驟。

2 應用及分析

2.1 研究區選擇與外業數據采集

研究區1為一農村居民地，面積約為0.06 km2，該區域房屋密集，地勢平坦，地面高程約為34.5 m，研究目的是驗證并分析所提系統用于農村地籍及不動產測量的可行性。研究區2為地形較平坦的校園區域，地面平均高程約為42.35 m，面積約為1.89 km2，區域內分布著較為密集的高大建筑物，研究目的是驗證系統用于城市建筑物三維重建的可行性。研究區3為一露天采礦場(鋁土礦)，面積約為0.13 km2。該地區地形起伏較大，地面高程最小為237.83 m，最大為333.80 m，最大高差為95.97 m，研究目的是測試系統對于地形起伏較大地區的適應情況及其用于露天礦開采監測的可行性。

對各區域進行了外業航空攝影、像控點和檢查點測量工作。像控點測量采用GPS RTK(1+1)的方式進行，測量精度約為2～5 cm。對研究區1，考慮到其應用目的，除常規的檢查點外，還采用全站儀施測了一定數量的房角檢查點用于檢核碎步特征點的成圖精度。采用GPS靜態測量方法為圖根控制測量提供基礎控制點，GPS網平差的平面和高程精度分別約為5 mm和11 mm，隨后的全站儀圖根導線控制測量的精度約為1/24 200，碎步測量的平面精度約10 mm。對研究區3，還采用GPS RTK的方法額外測量了一定數量的高程檢查點用于檢核地形圖的高程精度。各研究區范圍、像控點和檢查點數量及分布(包括房角平面檢查點和地形高程檢查點)以及攝影參數(影像重疊度及地面分辨率等)見圖6和表2。

(a)研究區1 (b)研究區2 (c)研究區3

表2 各研究區攝影參數及像控點和檢查點數量Tab.2 Photogrammetric parameters and the amount of GCPs and CPs

由圖6和表2可以看出，在不同的天氣狀況、不同的地形條件和不同的飛行參數條件下，系統可以持續、穩定工作，如對研究區2，系統共在3 d內連續飛行19個架次，獲得研究區共53 214張多視影像。說明構建的系統具有較好的穩定性。

2.2 數據處理及結果分析

近年來，源于計算機視覺界的傾斜立體影像匹配及基于多視幾何的結構恢復運動(structure from motion，SfM)算法[12]得到了快速的發展并形成了一些商業化的適用于傾斜攝影測量數據處理的軟件系統。如Bentley公司的Context Capture(CC)、Astrium公司的Street Factory等。相比于傳統的攝影測量解析處理軟件，這些軟件更適合于處理旋偏角大、影像透視畸變較為嚴重的無人機多視傾斜立體影像。本研究選用CC進行影像解析空三處理及實景三維模型構建，采用航天遠景公司的MapMatrix軟件基于實景三維模型進行地籍、地形圖的矢量數據采集。

圖7給出了各研究區的實景三維模型及局部細節圖?？梢钥闯?，系統獲得的傾斜多視立體影像適用于主流軟件的數據處理，可以全自動化生成高精度的實景三維模型，生成的模型場景真實、紋理逼真且整體性較好。

(a)研究區1 (b)研究區2 (c)研究區3

圖8分別給出了研究區1和研究區3的地籍、地形圖?；趯崪y的外業檢查點，分別從相應的數據模型上進行坐標量測(高程檢查點基于地形圖等高線通過線性內插的方式得到)并統計其與外業實測坐標的偏差ΔXi，ΔYi和ΔZi，進一步地按式(1)和式(2)統計平面中誤差mXY和高程中誤差mZ，并將精度統計結果列于表3。

表3 各研究區精度統計Tab.3 Precision statistics for each research region (cm)

(1)

(2)

式中：n為檢查點的個數；ΔXi，ΔYi和ΔZi為檢查點的外業實測坐標和內業量測坐標的差值。

(a)研究區1的地籍圖 (b)研究區3的地形圖

由表3可知，采用1.2 cm，2.3 cm和3.1 cm這3個不同的地面影像分辨率(表2)獲得的模型平面精度分別為3.2 cm，6.6 cm和8.1 cm，高程精度分別為4.2 cm，7.1 cm和10.7 cm。精度較高。同時，系統獲得的矢量數據產品精度滿足相應領域的應用要求。如研究區1的房角點統計中誤差為3.9 cm，滿足地籍和不動產測量中中誤差小于5 cm的精度要求；對于研究區3，統計得到的地形圖的高程中誤差為12.6 cm，基本滿足山區地形圖1∶500的高程精度要求，從而為礦區開采監測及后續的治理恢復提供了基礎資料。

3 結論

通過融合DJI Phantom 4四旋翼輕小型無人機低空飛行平臺和N808型智能手機構建了一套基于智能手機的低成本、輕小型無人機低空傾斜攝影測量系統并將其成功應用于不動產測量、露天礦開采監測及城市建筑物三維重建等領域。得到的主要結論如下：

1)基于智能手機改裝構建的多相機成像系統各模塊間能夠持續、穩定的工作并可獲得同一目標5個視角的高空間分辨率多視影像。

2)對智能手機相機經過成像質量改進和成像模式優化后，其生成的實景三維模型具有較高的紋理細節質量。

3)在本研究的試驗條件下，基于該系統獲得的數字測繪產品(如實景三維模型、地形圖及地籍圖等)均可達厘米級的定位精度，可以滿足相應領域的應用需求。

4)本研究目前構建的飛控系統獨立于原有無人機平臺的飛控系統，如何設計并開發合適的接口以實現二者的同步是下一步的研究方向。