基于特征的無人機載視頻運動目標快速檢測方法

譚熊，王晶磊，孫一帆

(戰略支援部隊信息工程大學，鄭州 450001)

0 引言

無人機載視頻運動目標檢測跟蹤是計算機視覺領域的重要研究內容之一，已廣泛應用于戰場動態監測、目標偵察與打擊、智能交通、災害預警以及城市調查等軍事和民用領域。無人機在獲取地面目標的過程中往往存在抖動現象，同時無人機自身也在快速運動，這些因素導致了無人機視頻中地面背景的不斷變化，從而增加了運動目標檢測跟蹤的難度。

無人機視頻運動目標檢測跟蹤是一種動態場景下的運動目標檢測跟蹤，是計算機視覺領域的研究重點和難點。針對動態場景下的運動目標檢測跟蹤，眾多研究學者展開了大量的研究工作，如簡單的兩幀差分及其改進方法(如三幀差分)[1-2]，基于區域匹配的方法[3]，基于光流技術的方法[4-6]以及基于快速區域卷積神經網絡(faster region-based convolutional neural networks，Faster R-CNN)[7]、SSD(single shot multibox detector,SSD)[8]、YOLO(you only look once,YOLO)[9]等深度學習方法。在這些方法中，幀差法及其改進方法計算效率較高，但精度較低；基于區域匹配的方法往往需要目標的先驗知識；基于光流技術的方法計算效率較低；基于深度學習的方法需要大量的樣本來訓練模型，精度較高但效率較低。在無人機視頻運動目標檢測跟蹤方面，國內外學者也開展了大量的研究工作，任霞[10]提出了改進核相關濾波跟蹤方法和改進LK光流進行無人機視頻運動目標跟蹤；針對目標變形和遮擋問題，陳挺[11]提出了基于動態稀疏投影與目標外觀模型、目標外觀概率模型優化以及多層數據關聯目標跟蹤方法；針對目標檢測跟蹤實時性的問題，董晶等[12]提出了基于特征匹配的運動目標檢測法。在無人機視頻運動目標檢測跟蹤的廣泛應用中，運動目標檢測的準確性和實時性是非常重要的一個因素，如在戰場目標動態監測過程中，戰場態勢稍縱即逝，如不能及時發現、跟蹤目標，很可能將失去戰斗的意義。因此，對于在線實時的無人機視頻運動目標檢測跟蹤，還有待更進一步的研究和完善。

針對無人機載視頻運動目標檢測準確性和實時性的問題，本文提出了一種基于特征的無人機載視頻運動目標快速檢測方法，采用ORB特征提取(oriented fast and rotated BRIEF，ORB)和漸進一致采樣(progressive sample consensus，PROSAC)精匹配算法進行全局運動估計和運動補償，然后采用幀差法和自適應形態學操作進行運動目標檢測，檢測精度和效率較高，能夠滿足實時處理需求。

1 研究方法

本文所提方法的基本思路是：首先，對獲取的視頻序列影像進行直方圖均衡化等亮度歸一化預處理，并利用ORB算法進行特征提取，在常用匹配方法的基礎上采用PROSAC精匹配剔除錯誤匹配；然后，采用六參數模型根據最小二乘原理進行全局運動估計與運動補償，將補償后的序列影像采用幀差法進行運動目標初檢測；最后，通過形態學操作等后處理實現最終的運動目標檢測。本文所提方法的處理流程如圖1所示。

圖1 本文方法的處理流程Fig.1 Processing flowchart of processed method

1.1 ORB特征提取與匹配

ORB[13]特征檢測算法采用改進的FAST關鍵特征點檢測和改進的BRIEF特征描述子進行關鍵特征檢測，具有尺度和旋轉不變性，且檢測效率優于傳統的Harris，SIFT(scale-invariant feature transform，SIFT)以及SURF(speeded up robust features,SURF)等特征檢測方法，可應用于實時特征檢測場景中。

1.1.1 FAST關鍵特征點檢測

FAST關鍵特征點檢測[14]的基本思路是以影像中某一像素點(候選特征點)為基準，計算該候選特征點與其周圍像素點(一般為16個點)的圖像灰度差值，如果周圍鄰域內有足夠多的像點滿足下式的閾值要求，則認為該候選特征點為一個特征點，即

(1)

式中：I(x)為周圍鄰域圓周上任意一點的灰度值；I(p)為候選特征點的灰度值；εd為灰度閾值。如果N>εd，且數量大于周圍像素點的3/4時，則p為關鍵特征點。FAST關鍵特征點檢測示意圖如圖2所示。在ORB方法中，為了提高特征提取效率，通常采用周圍9個點進行計算，即FAST-9。在計算出關鍵特征點后，采用非極大值抑制法消除局部較密集特征點。另外，FAST關鍵特征點檢測本身不具有尺度不變和旋轉不變性。在ORB方法中，采用圖像金字塔形式實現特征點的尺度不變性；采用灰度質心法來計算關鍵特征點的特征方向以實現特征點的旋轉不變性?；叶荣|心法的基本思路是：首先在鄰域范圍內計算每個像素以灰度值為權重的灰度質心，然后連接關鍵特征點與灰度質心，所構成的方向即為該關鍵特征點的特征方向。

圖2 FAST關鍵特征點檢測示意圖Fig.2 Schematic diagram of FAST key feature point detection

1.1.2 BRIEF特征描述符

BRIEF特征描述符[15]是一種二進制描述符，其核心思想是從關鍵點p周圍隨機選取N個點對(一般為128個點對)，然后計算每個點對中前一個點與后一個點的灰度差值，如果大于0，則取值為1，如果小于等于0，則取值為0。其公式為:

(2)

式中：P(p1,p2)表示一個由(p1,p2)2個關鍵特征點組成的點對；Ip1為p1點的灰度值。

當計算完所有點對的T值后，生成一個128維的二進制編碼，該編碼即為該特征點的特征描述符。在得到特征描述符后，可用簡單的漢明距離實現特征匹配。然而，常用的BRIEF特征描述符在進行特征匹配時不具備旋轉不變性，造成了大量的誤匹配，針對該問題，ORB方法采用具有旋轉不變性的改進方法——rBRIEF特征描述符。

1.1.3 特征匹配

特征匹配的方法很多，最簡單的是距離匹配法，包括漢明距離和暴力匹配器。

漢明距離匹配法是計算2個特征點特征描述符(二進制編碼字符串)對應位置不同的字符個數，若相差個數越少，則距離越近，即為特征匹配點。暴力匹配器是計算某一個特征點描述符與其他所有特征點描述符之間的距離，取距離最小的特征點作為匹配點。漢明距離法和暴力匹配器方法簡單，計算效率高，但是往往存在大量的錯誤匹配，因此需要采用一定的方法消除錯誤匹配。

1.2 PROSAC特征精匹配

在特征精匹配方法中，隨機抽樣一致算法(random sample consensus，RANSAC)算法[16]是一種常用的魯棒方法，但由于其高度隨機采樣數據的特點導致了計算量較大，處理精度和效率較低。針對該問題，本文采用RANSAC改進方法——PROSAC法[17]來剔除誤匹配，實現特征精匹配。PROSAC算法首先在初始匹配結果中計算最小距離和次小距離的比值，通過質量因子衡量匹配的質量；然后對數據質量按照由高到底的順序進行排序；最后根據高質量的匹配子集數據進行單應矩陣模型參數估計。質量因子的計算公式為：

(3)

(4)

式中β為最小距離dmin與次小距離dmin2的比值。

1.3 全局運動估計與運動補償

無人機搭載的視頻傳感器的運動引起了視頻序列影像的全局背景位移，視頻傳感器的位置和姿態的變化可以分解為傳感器的平移和旋轉。相應地在二維圖像平面上，圖像上的任一像素點p(x,y)經過時間Δt后，運動到另一點p′(x′,y′)，該運動可以用旋轉加平移來表示為：

(5)

(6)

式(5)稱為運動估計的六參數模型。在完成特征提取和匹配后，利用至少3個特征點對根據最小二乘原理進行模型參數解算，當解算出參數模型中的6個參數(a1,a2,a3,a4,a5,a6)后，就可以根據六參數模型對當前幀進行重采樣，進而得到補償后的圖像，實現全局運動估計和全局運動補償。

1.4 運動目標的檢測

經過全局運動補償后，消除了無人機視頻序列影像背景的位移，直接采用幀差法進行運動目標的檢測。設In(x,y)和In+1(x,y)為連續2幀影像在(x,y)處的灰度值，幀差法的計算公式為：

(7)

Dn(x,y)=In+1(x,y)-In(x,y)，

(8)

式中：Pn(x,y)為二值化圖像；Dn(x,y)為灰度差值；T為閾值。

在實際情況下，由于受光照、風以及噪聲等外界因素的干擾，幀差法所得結果并不能完全消除序列影像的背景位移，往往存在背景噪聲等影響。為了消除該影響，本文采用形態學濾波操作，對運動目標初始檢測結果進行后處理，進而得到最終的運動目標。

2 實驗與分析

采用2組真實無人機載視頻數據進行實驗，實驗內容包括運動目標檢測結果和計算效率2部分內容，計算效率實驗未采用圖形處理器(graphics processing unit,GPU)進行加速計算。實驗硬件環境為16 G內存，i9處理器，64位操作系統，軟件環境為Python3.6和OpenCV3.4.2。

2.1 實驗數據

實驗采用2組數據：數據一為大疆御2商用無人機獲取的地面車輛運動目標視頻，視頻圖像大小為3 840像素×2 160像素，幀率為30幀/s，視場中樹木較多，容易受光照和噪聲等影響。采用連續2幀影像(圖3)進行運動估計和運動目標檢測實驗。

(a)第k幀影像 (b)第k+1幀影像

數據二為某型無人飛艇獲取的地面車輛目標視頻序列影像，圖像大小為305像素×245像素，幀率為25幀/s。由于飛行高度較高，視場范圍較大，運動目標較小，給運動目標檢測帶來一定的困難。其連續2幀原始視頻序列影像如圖4所示。

(a)第k幀影像 (b)第k+1幀影像

2.2 運動目標檢測實驗結果與分析

按照圖1所示的處理流程分別對2組視頻序列影像進行直方圖均衡化預處理、特征提取與匹配、運動估計與運動補償、幀差法運動目標檢測。直方圖均衡化預處理的目的是消除光照、噪聲等變化引起的同一目標灰度值變化較大的影響。在實驗參數設置方面，主要有幀差法二值化閾值、形態學形狀及其核大小2個參數：①幀差法二值化閾值T的選?。涸O閾值范圍為10～200，每間隔5進行一次幀差法二值化實驗，得到最佳的二值化分割閾值為50；②形態學模板及其核大小的選擇：采用3×3，5×5和7×7等不同核大小的矩形模板進行形態學開運算，選取效果最好的5×5矩形模板進行形態學處理，得到數據一的實驗結果如圖5—圖9所示。

圖5 數據一粗匹配結果Fig.5 Result of coarse matching of data 1

圖6 數據一精匹配結果Fig.6 Result of fine matching of data 1

(a)第k幀影像 (b)運動補償后影像

(a)直接差分法初始檢測結果 (b)形態學處理后運動目標檢測結果

(a)初始檢測結果 (b)形態學處理后運動目標檢測結果

數據二實驗參數設置的方法與數據一相類似，具體參數為：幀差法二值化閾值T設為30，采用核大小為3×3的矩形模板進行形態學腐蝕運算后處理，實驗結果如圖10—圖14所示。

圖10 數據二粗匹配結果Fig.10 Result of coarse matching of data 2

圖11 數據二精匹配結果Fig.11 Result of fine matching of data 2

(a)第k幀影像 (b)運動補償后影像

(a)直接差分法初始檢測結果 (b)形態學處理后運動目標檢測結果

(a)初始檢測結果 (b)形態學處理后運動目標檢測結果

分析以上2組實驗結果，可以得出如下結論：

1)圖5—圖6以及圖10—圖11的結果表明，采用傳統的漢明距離進行特征匹配，存在較多的錯誤匹配；而采用PROSAC精匹配方法能夠全部消除錯誤匹配，得到較高精度的匹配結果。

2)從圖8和圖13的實驗結果可以看出，采用直接差分法并不能檢測出動態場景下的運動目標。

3)從圖9和圖14的實驗結果可以看出，不管視頻場景中運動目標大小如何，采用本文所提方法均能較好地檢測出運動目標，通用性較好，在此基礎上可進一步實現運動目標的跟蹤。

2.3 運動目標檢測效率實驗與分析

由于SIFT和SURF算法特征檢測精度較高而得到廣泛應用，因此本節主要將基于ORB特征提取的運動目標檢測與基于SIFT和SURF特征提取的運動目標檢測計算效率進行對比分析，2組數據的實驗結果如表1所示，表中數據為運行10次的平均值。

表1 運動目標檢測效率Tab.1 Moving target detection efficiency (″)

分析表1的實驗結果，可以得出如下結論：

1)運動目標檢測的效率與視頻序列影像大小有一定關系，通常情況下：影像尺寸越大，計算時間越長，效率越低；影像尺寸越小，計算時間越短，效率越高。

2)基于SIFT和SURF特征提取的運動目標檢測計算時間明顯高于基于ORB特征提取運動目標檢測方法。

3)對于幀率為30幀/s的數據一，ORB基本能夠實現實時處理需求；對于幀率為25幀/s的數據二，ORB能夠較好滿足實時處理需求。

綜合上述實驗結果，可以得出：本文所提基于ORB特征的無人機載視頻運動目標檢測方法的運動目標檢測效果較好，計算效率較高，通用性較強，能夠滿足實時處理需求。

3 結論

本文針對動態場景下無人機載視頻序列影像檢測精度不高、計算效率較低的問題，提出了基于ORB特征的無人機載視頻運動目標檢測方法。該方法首先采用直方圖均衡化進行亮度歸一化預處理，在此基礎上采用ORB特征提取和PROSAC精匹配方法進行前后兩幀影像匹配，再采用六參數模型進行視頻序列影像背景的全局運動估計和運動補償，最后采用幀差法和形態學操作進行運動目標檢測。通過2組不同無人機載視頻傳感器獲取的地面運動車輛數據進行實驗，實驗結果表明：

1)利用ORB特征提取后再進行PROSAC精匹配的方法，可實現相鄰兩幀無人機視頻序列影像高精度配準。

2)本文所提方法能夠實現動態場景下不同尺寸運動目標的檢測，檢測效果較好，算法通用性較強。

3)本文所提方法計算效率優于基于SIFT和SURF特征提取的運動目標檢測方法，且計算時間基本滿足無人機視頻實時處理需求。

同時在本文研究過程中還存在一定不足之處：一是未采用GPU并行計算來處理更大尺寸的無人機視頻數據；二是沒有考慮運動目標的遮擋。這些問題是無人機視頻運動目標檢測跟蹤的重點和難點內容，有待進一步研究。