基于機載單目視覺的無人機移動目標實時跟蹤?

孫鑄劉永

（南京理工大學計算機科學與工程學院 南京 210094）

1 引言

近年來，隨著微小傳感器、嵌入式微處理器、新型控制理論等相關技術的發展，許多世界軍事強國在研發作戰式無人機和大型長航時無人機的同時，也在集中科研力量研究微小型無人機，其在軍事方面無人機可以搭載多種設備完成多種軍事任務，如通訊中繼、信號干擾、精確打擊、隱秘偵查、目標定位、地形勘探等，同時在氣象探測、抗災搶險、農業植保、交通監控、環境測繪、航拍攝影等民用領域市場應用也很廣泛，前景廣闊［1～5］。而以上很多場景中都離不開無人機的自主跟蹤操作。

目前國內外對無人機自主跟蹤移動目標的問題中典型應用包括目標搜索定位、空中移動目標跟蹤，地面移動目標跟蹤等。其中文獻［8］中較早地對空中的飛行平臺目標定位做了研究，文中利用飛艇自帶圖像傳感器估算地面車輛的位置，解決城市中GPS信號不準接受不良等問題，實驗中假設飛艇懸停高度固定，且圖像中有多個已知的標志點。而文獻［9］中是利用固定翼無人機已知的三維位置，姿態以及圖像傳感器的姿態角，后識別目標在圖像中的像素位置，之后通過兩者之間的坐標變換，得到地面目標的位置。無人機移動目標跟蹤場景中，平臺和目標都是時刻移動的，被跟蹤目標往往是機動目標，且目標會受到各種因素的干擾，在這樣的情況下，無人機要高精度地跟蹤目標，就必須要研究無人機對運動目標進行狀態估計及自身的控制方法問題。

2 系統建模與總體設計

2.1 系統坐標系定義

本文世界坐標系定義采用北東地（NED）坐標系，OWXW軸指向北方，OWYW軸指向東方，OWZW軸指向重力方向，如圖1中所示世界坐標系FW=OW，｛XW，YW，ZW｝，OW為坐標系原點?？罩袡C器人定義機體坐標系，FR=OR，｛XR，YR，ZR｝，OR為無人機的質心，四個電機的對角交叉線構成的平面垂直向下方向為ZR方向，1、2電機的角平分線方向為XR，2、3電機的角平分線方向為 YR，定義RR∈R3×3為機體坐標系相對于世界坐標系的旋轉變換。在視覺處理過程中，圖像平面坐標系至關重要，定義像平面的左上角為原點OI，橫軸為u軸，縱軸為v軸，即FI=OI，｛u，v｝，與光軸的交點為圓點O，平行于縱軸v向下為Y軸，平行于橫軸u的為X軸，F=O，｛X，Y｝。定義攝像機坐標系，以光心為圓點OC，對應的光軸為ZC，另 XC、YC坐標軸與圖像物理坐標系平行，FC=OC，｛XC，YC，ZC｝。釋義圖如圖1所示。

圖1 坐標系定義

2.2 四旋翼無人機動力學模型

為了更好地對四旋翼進行動力學分析，首先需要做一下假設需要對其建立數學模型：

1）四旋翼是一個質量分布均勻，整體結構完全對稱的剛體。

2）重力加速度為常數g。

3）忽略空氣擾動和阻力，槳葉產生的升力與其轉速平方成正比。

令ε=(x y z)T為無人機在世界坐標系下相對于原點運動位移向量，η=(φ θ ψ)T為繞世界坐標系的旋轉向量。定義Uz，Uφ，Uθ，Uψ分別表示四個電機的總升力和三個姿態角度的控制量。在“+”模式下，他們與四個電機的升力的關系可以如式（1）所示，其中l為槳葉的質心到機體質心之間的距離，d為旋轉阻力系數。動力學方程如式（1）所示。

其中，Jr為旋翼的轉動慣量，Ωr=Ω2+Ω4-Ω1-分別是四個旋翼的角速度。

以上等式顯示了各個狀態量與輸入控制量Uz，Uφ，Uθ，Uψ之間的關系，方便后續設計控制器時的理論分析。

3 基于圖像的目標檢測與跟蹤

在純圖像的目標檢測與跟蹤中本文先計算場景全局運動，之后取仿射變換后的兩幀差值，獲取移動目標的位置，將獲取的目標選框交給TLD［7］目標跟蹤算法完成實時跟蹤。為了減少全局運動補償時計算量，采用ORB［6］特征點的方式，提取目標特征，該算法具有局部不變性且運算速度是SIFT［13］的100倍，SURF［14］的10倍。相機的全局運動參數模型有很多，可根據參數多少分為十二參數，八參數，六參數等模型，由于相機旋轉角度較大時，六參數模型不能較好地表示相機運動模型，八參數模型表示了相機可能的旋轉、平移、縮放、不規則伸展等運動，且參數量相比十二參數較少，本文使用相機的八參數模型，如式（2）。該模型下定義參數矩陣矢量：

要求解m0～m7的值可以根據上面的ORB特征中的匹配點，每對匹配點有兩個方程，ORB可以提供三對以上的特征匹配點，之后通過最小二程求解方程組。

上述得到的參數值，是在ORB的特征匹配點中誤匹配點沒有去除的情況下得到的，如果其中的誤匹配點較多，最小二乘所得到的值是不準確的，因此須去除誤匹配點后再進行估計?？紤]本文中的系統嵌入式平臺資源寶貴，應盡量減少計算時間，本文采用改進的RANSAC方法，RANSAC［15］中初始的匹配點是隨機的，不考慮匹配點的差異性，增加去除誤匹配的時間。而PROSAC［11］方法，該算法將點初始集匹配的結果作為排序的依據，使得在采樣時根據匹配結果由高到低的得分進行排序。利用式（2）將圖像由于相機自身運動導致的誤差補償掉，背景做差后消除大部分的背景圖像，中值濾波和自適應閾值分割幀，去除一些噪點，之后設置檢索連通域，使用形態學濾波的膨脹腐蝕，得到處理后的目標圖像。

之后將獲取到的目標選框傳遞給TLD目標跟蹤算法，本文在使用TLD目標跟蹤算法時結合硬件平臺的特性，追求運行的實時性，將跟蹤模塊部分的Forward-Backward跟蹤部分做并行優化，使得充分利用硬件多核特性，提升了系統的實時性。

4 基于IBVS視覺伺服移動目標跟蹤控制

將純視覺跟蹤取得的二維位置如何應用在視覺伺服控制中，本文推導出改進的圖像視覺伺服控制，引入了新的伺服圖像特征，基于新特征推導出的圖像雅克比矩陣可以直接利用純圖像目標跟蹤算法中得到的目標選框。IBVS［10］無人機跟蹤控制的流程圖如圖2所示。

圖2 IBVS跟蹤控制流程圖

下面我們主要研究視覺伺服控制器中的關鍵部分圖像雅克比矩陣以及整個跟蹤控制器的設計。根據攝像機成像過程中的坐標變換關系，以及機器人末端執行器的運動原理，可得到如下等式：

此時已經得到圖像二維像素位置特征與相機運動速度之間的關系，但是移動目標視覺跟蹤算法中還有一個特征沒有使用，即目標框的面積。這里假設圖像中的目標框的面積為Sc，目標的實際面積為Sw，其為常量，則根據相機透視投影模型，可得到如下公式：

兩邊求導并對結合式（2），可得：

視覺伺服控制器需要知道圖像特征變化率s?與相機運動速度VC之間的關系s?=LsVc，結合分析可得如下關系，其中Ls為所求的圖像雅克比矩陣。由于在視覺跟蹤移動目標過程中，算法不對目標的姿態變化做檢測，因此也可以假設相機相對目標的旋轉運動完全是由相機自身運動產生的。同時無人機自身內置的IMU傳感器可以實時檢測自身的姿態變化，旋轉角速度，因為相機相對于無人機是固定的，則該角速度就是相機的角速度，那么可以得出wx，wy，wz為IMU測量角速度值的負值，是可以直接得到的。

以上的伺服控制器需要結合飛行器底層位姿控制器，考慮到系統的穩定性和抗干擾性，本文將速度控制器設計為PI控制，而姿態控制器使用串級PID［12］控制，使系統的姿態控制更加穩定，其整個跟蹤控制結構圖如圖3所示。

圖3 視覺伺服跟蹤控制系統

5 實驗

在實驗中我們主要分為兩個部分，一是視覺部分的實驗，二是跟蹤著陸部分的仿真實驗和在系統平臺上的跟蹤實驗。

5.1 跟蹤仿真實驗

使用Matlab Simulink環境下進行仿真，仿真模型如圖4所示。

其中，仿真系統中使用的參數取值如表1所示。

圖4 跟蹤系統仿真圖

表1 仿真模型中的參數取值

這里，我們使目標先做橫向二次函數軌跡運動，之后保持靜止，使用視覺伺服控制無人機跟蹤目標，觀察無人機與目標的軌跡關系，如圖5所示，控制器能夠較好地跟蹤上目標的軌跡，以及在跟蹤過程中伺服控制器，其值在零處來回震蕩，最終完成跟蹤控制。

圖5 目標軌跡與無人機的變化與伺服的速度輸出

5.2 動態場景下的目標識別跟蹤

實驗環境：實驗使用mvbluefox-200wc相機，捕捉圖像，處理平臺是Ubuntu14.04。

1）動態場景移動目標識別與跟蹤

ORB特征點匹配，PROSAC精匹配，如圖6所示。

圖6 orb特征點匹配

前景運動補償后的前景運動區域，形態學濾波后的目標，目標檢測結果如圖7所示。

圖7 經過前景運動補償濾波后的移動目標和識別

識別到目標框后，使用TLD進行后續的跟蹤，跟蹤速度每幀50ms，20Hz的頻率，實驗結果如圖8所示。

圖8 跟蹤中的目標物體

5.3 四旋翼平臺跟蹤實驗

實驗飛行器如圖9所示。

圖9 無人機平臺

實驗過程中我們控制移動小車讓無人機已指定高度飛行在移動小車上方，為了驗證跟蹤效果，通過室內固定的雙目視覺相機立體定位無人機的位置，圖10是跟蹤過程中兩者的位置變化關系。

圖10 跟蹤過程中的位置變化

從圖10中可以看出基本的跟蹤可以實現，但是在拐角的時候有跟蹤滯后效應，這也是在使用視覺伺服輸出直接作為期望速度偏差量時容易產生的影響，實際伺服速度輸出如圖11所示。

圖11 伺服輸出的速度偏差

上面兩幅圖反應了視覺伺服輸出的期望速度偏差值隨時間的變化，x軸最大輸出值60cm/s，y軸最大輸出值55cm/s，整個過程在零值上下震蕩，實驗證明視覺伺服控制器能基本滿足跟蹤要求。

6 結語

本文使用無標記點的跟蹤方式，使用快速有效的ORB特征點提取結合全局運動補償的方法，可以快速識別動態場景下的移動目標，同時使用并行的TLD目標跟蹤算法能夠高效準確跟蹤目標，跟蹤算法只能輸出圖像平面內的二維坐標。最后引入新的圖像面積特征點，并計算基于此特征點，推導計算出IBVS中的圖像雅克比矩陣和它的偽逆并做了仿真和實驗驗證。