不同光照和姿態下的航拍車輛檢測方法

毛 征，劉松松，張 輝，孟 燦，羅子安

（北京工業大學電子信息與控制學院，北京 100124）

不同光照和姿態下的航拍車輛檢測方法

毛 征，劉松松，張 輝，孟 燦，羅子安

（北京工業大學電子信息與控制學院，北京 100124）

為了解決在不同光照和姿態下的航拍車輛檢測準確度低的問題，基于Fourier-HOG算法提出了一種航拍車輛檢測方法.該方法是基于滑動窗口的檢測方法.首先，在處理過程中引入圖像預處理，可以將背景區域進行有選擇的剔除，大大節省檢測時間和降低虛警率；其次，提取航拍圖像基于局部敏感直方圖的光照不變性特征；然后，再提取旋轉不變的Fourier-HOG特征.將此特征在線性支持向量機中對車輛目標與非車輛目標進行分類.在后續處理階段，引入非極大值抑制來降低誤檢目標.實驗結果表明:所提出的車輛檢測方法在谷歌地圖數據集上進行測試，其檢測準確度較高，且時間消耗低于原始的Fourier-HOG檢測方法，該方法是一種較為有效的航拍車輛檢測方法.

車輛檢測；局部敏感直方圖；Fourier-HOG特征；支持向量機；非極大值抑制

nonmaximum suppression

近年來，針對來源于航拍視頻的分析已經發展成了一個很重要的課題［1］.該項技術的應用范圍非常廣泛，比如在軍事偵查、交通管控、空中警察等領域都起著十分重要的作用［2］.與傳統的地面監控系統相比，空中監測系統在檢測地面快速移動目標和廣闊區域監控方面擁有巨大優勢，因此航拍監測系統成為當今最重要的監測系統之一［3］.1997年美國國防高級研究項目署（DARPA）資助的薩爾諾夫戴維研究中心針對航拍視頻圖像研發出了檢測和跟蹤地面目標的處理技術［4］.2005年美國中央佛羅里達大學開發了一套COCOA系統，該系統是針對無人機航拍圖像進行地面目標檢測與跟蹤［5］.針對地面車輛的檢測已成為航拍視頻分析的一個重要方面.盡管衛星和空中監測平臺的分辨率和可靠性不斷提高，但是針對不同光照不同姿態下的航拍地面車輛檢測仍然是一個十分具有挑戰性的問題.

首先，航拍過程中面臨的一個難題就是光照變化對目標外觀的影響.研究發現，同一個物體在姿態相同卻處于不同光照環境時，不能唯一地識別為同一個目標［6］.為了解決這個難題，大量的基于光照不變性特征的方法被提出［7］.早期的研究是基于光照恒定的條件下對目標輪廓進行檢測［8］.最近，Harr-like特征和在線子空間模型算法被用于復雜光照條件下的目標檢測中［9］.

其次，航拍過程中檢測車輛的姿態變化也是面臨的一大挑戰.Hinz等［10］提出使用分層模型來描述車輛層次特征，由于沒有確切的車輛假設模型，因此該方法具有較高的靈活性.然而此方法在背景與車輛目標區分度較低或有陰影情況時容易漏檢.方向梯度直方圖（histogram of oriented gradient，HOG）是Dalal等［11］在2005年的CVPR上提出的.HOG特征在車輛特征提取方面具重要的應用，然而HOG特征卻不具有旋轉不變性，對發生旋轉的車輛不能準確檢測.當同一個目標在不同姿態下出現時旋轉不變性變得非常重要，機器視覺中傳統的處理旋轉不變性的方法一種是基于姿態歸一化方法，如文獻［12］提出的SIFT描述子在檢測到的感興趣點上通過將局部坐標系調整到占主導地位的梯度方向上，從而得到旋轉不變特性.另一種是基于學習算法，文獻［13-14］分別采用隨機蕨和結構化SVM進行學習分類.

本文為了解決不同光照條件下不同姿態車輛的檢測問題，首先，采用基于局部敏感直方圖的光照不變性特征處理航拍圖像.通過光照不變性特征提取過程將光照較亮的區域降低亮度，較暗的區域增強亮度，并且同一區域在不同光照下的光照不變性特征不會因光照不同而改變.然后，采用基于Fourier變換的旋轉不變性HOG特征來處理檢測過程中面臨的姿態變化問題.通過提取光照特征和Fourier-HOG特征提取能夠高效地檢測出不同光照條件下不同姿態的航拍目標.

1　航拍目標檢測

本文采用的航拍目標檢測基于先驗知識的分類、判斷.首先，使用線性支持向量機對特征進行分類處理來提取先驗模型；然后，對航拍圖像進行預處理、特征提取、分類、后續處理進而得到檢測結果.

1.1光照不變性特征

傳統的圖像直方圖是一個一維數組，反映特定事件發生頻率的強度值通常是一個整數.I代表一幅圖像，與之相對應的圖像直方圖［15］為

式中:Iq為像素q點處的灰度值；W為目標模板總像素數；B為總的灰度級個數.Q（Iq，b）的定義為

計算每個像素點處的局部敏感直方圖，每個像素點的亮度值乘以一個權重后累加，權重隨著距離該像素點距離以指數方式下降.因此，中心像素點周圍的像素點的亮度值信息都被考慮在內，但遠離中心像素點的像素點亮度信息可以被忽略［16］.像素點p處的局部敏感直方圖包括像素點左側和右側兩部分的信息，計算完整的像素點p處的局部敏感直方圖為

式中:q為像素點位置；α∈（0，1），為權重，本文取0.5.

在實踐中，為了降低計算的復雜度本文采用歸一化的直方圖.歸一化因子的計算為

通過式（5）可以得到歸一化因子的計算與灰度級B無關.依據式（5）可得每個像素點處的歸一化因子計算復雜度為O（1）.此外，歸一化因子獨立于圖像內容之外，因此可以預先計算進一步降低計算的復雜度.

通過計算像素點的局部敏感直方圖，建立了光照不變性特征

式中:p點的灰度級為bp，整個目標模板的灰度級個數為B； rp=kIP，其中k為常系數，本文取0.1，Ip是目標模版的平均亮度，平均亮度值越大，權重值越小.仿真結果表明，在劇烈光照變化下，式（6）中的Γp值基本不變，所以將此作為光照不變性特征.圖1（b）所示為經過光照不變性特征提取后的圖像.從圖像（b）中可以清晰地看到原來處于強烈光照下的車輛變暗了，處于陰影部分的車輛變亮了.通過光照處理凸顯了陰影部分的特征信息.是HEp（b）的權重；

為了提高目標檢測效率，減少檢測時間和降低虛警率，本文在光照特征提取完成后再進行基于梯度信息和灰度信息的背景濾除.在圖1（b）圖像基礎上，采用滑動窗口檢測方法將包含汽車可能性極低的檢測窗口剔除.本文提出一個基于梯度信息的預處理方法.

首先將航拍圖像灰度化，在滑動檢測窗口上計算一個梯度矩陣，只保留水平Gx和垂直Gy梯度分量，計算梯度模值M，只有最大模值的梯度被保留而其余部分被濾除.梯度模值高于閾值T的檢測窗口信息被保留，低于閾值T的部分被濾除.閾值低的部分說明該區域內沒有包含足夠的梯度信息，很可能屬于平坦區域，比如空的路面等.通過此預處理，使得在計算圖像描述符時運算量大大降低，提高了檢測的效率.

其次，對圖像進行直方圖統計處理［17］.一個包含車輛目標的檢測窗口內一定會有一個雙模強度直方圖.其中一個模代表車輛本身的灰度信息，另一個模代表占主導地位的目標周圍背景信息.文中將灰度化的圖像量化成M個灰度級.檢測窗口含有單模強度時將被濾除，因為其出現概率較高的區域很可能是道路、植被區域或者建筑物屋頂.

通過預處理，可以減少特征提取的區域，從而減少處理時間.對于圖1（a）的原始圖像，背景濾除后的結果如圖2所示，其中大部分道路和植被被濾除而車輛信息被保留，為了直觀將濾除部分用陰影代替.應用此預處理技術在谷歌地圖數據集上進行濾除操作，統計結果表明，每幅圖像濾除率都能在25%～40%，所以本文算法較原始的Fourier-HOG算法在特征提取階段減少了至少25%的計算量，因此本文算法消耗時間較原始Fourier-HOG算法大大減低.

1.2Fourier-HOG特征

針對HOG特征對旋轉不變性的缺陷，Liu等［18］提出了基于Fourier變換的HOG特征很好地解決了上述問題.

給出一幅原始圖像I，當圖像發生旋轉時，旋轉圖像變為

式中:Rg為旋轉角度 g下的旋轉矩陣；Tg（x）:=o代表函數間的復合.圖像的旋轉也會引起圖像梯度的變化，梯度內的變化不僅是幅值的變化，相位同樣也會發生變化，所以正確的梯度變換為

如圖3所示，當一幅圖像逆時針旋轉90°時，圖像的屬性也會隨之發生變化.與旋轉角度對應的旋轉矩陣Rg變為假設圖中a點的坐標為I（3，2），與之對應的該點的梯度為d=D（3，2）.通過式（7）得出經過旋轉后像素點a′的坐標為a′=I′（-2，3）.通過式（8）可以得到旋轉后的梯度為d′而不是 d″，且 d′=Rgd=RgD（3，2）=RgD（Rg-1［-2，3］T）.

圖像在2D空間的旋轉變化在傅里葉空間中僅表示為簡單的平移操作，根據群表示理論［19］，在2D旋轉的不可約表示通過函數eima（m∈Z Z）表示.在某種意義上采用傅里葉基的優點是傅里葉基和相應的膨脹系數是不可約表示的.本文選擇將梯度方向量子化處理，即在每個像素點創建一個方向分布函數h.假設一個像素點處的圖像梯度為d∈R R2，與之相對應的方向為Φ（d），這個像素點的分布函數h可以用一個沖擊響應函數表示

函數h的傅里葉系數表示為

式中:m∈Z Z，ψm（d）為ψm（Φ（d））的縮寫.為了提高上述傅里葉系數的魯棒性、降低冗余，本文采用空間聚集操作和對傅里葉系數進行局部歸一化處理.空間聚集操作可以在傅里葉系數上通過空間卷積實現，核函數采用各向同性的三角核函數或者高斯核函數，同樣，歸一化處理也采用卷積核函數進行操作.通過空間聚集和卷積歸一化后得到傅里葉空間描述符為

假設旋轉情況 g，對應的旋轉矩陣為 Rg. Tg（x）:=R-1gx，αg是相應的旋轉角度.由式（11）得

HOG胞元只能描述局部區域信息，描述一個具有復雜空間結構的較大區域時需要計算一個區域描述符.多數基于HOG特征的描述符采用極坐標形式的空間面元劃分，此種方法較分區網格空間面元劃分更具有旋轉適應性.

采用極坐標系內處理是因為在極坐標中相位和幅值是分開的，旋轉角度的變化只發生在相位部分而幅值部分具有旋轉不變性.一個理想的極坐標可以表示為U（r，φ）=P（r）ψ（φ）的基函數.傅里葉基的角部分具有完全正交性，所以只需要選擇一個合適的徑向基P（r）來建立一個描述Fourier-HOG域的2D基.通常選擇在半徑樣本內操作，2D基為

式中:j∈N0；k∈Z Z.本文通過在HOG域內的平滑空間聚集（低通濾波操作）和徑向方向的降采樣（根據該函數K1的尺度）操作能夠很好地保存圖像的特征信息.

通過計算基函數Uj，k和Fourier-HOG域內的 ~Fm的卷積可以得到一個區域內的描述HOG的特征.

通過式（14）可以得到旋轉階數為k-m.為了建立旋轉不變性的描述符，需要把旋轉階數置0，本文引入共軛復數的概念，由式（14）取共軛，將原復數與其共軛復數相乘，取出兩式旋轉階數相等的情況

式（15）就是求得的具有旋轉不變性的Fourier-HOG區域描述符.

目標檢測的第一步是獲取先驗知識模型.首先針對已經確知的正負樣本進行光照不變性特征和背景濾除處理，其次再通過式（15）所得的 Fourier-HOG描述符來進行特征提取，然后通過線性支持向量機進行分類建模，最后建立先驗知識分類模型.第二步是對未知目標進行檢測識別.光照對航拍圖像的影響是非常大的，首先對圖像進行光照處理并進行背景濾除，提取Fourier-HOG特征；其次依據第一步建立的先驗知識分類模型對提取后的特征在線性支持向量機中進行分類判別；最后獲得目標檢測結果.

1.3非極大值抑制處理

本文引入非極大值抑制技術來消除多個虛假檢測目標.由于本文采用滑動窗口進行檢測，對一個真實目標的檢測往往會產生多個檢測目標，本文設置當2個檢測到的目標重合度高于50%時，只保留其中置信度最高的目標，其余目標被剔除.通過非極大值抑制處理大大降低了誤檢測率.圖4（a）所示為非極大值抑制處理前的局部結果，仿真圖顯示在同一個目標處檢測出多個目標.采用非極大值抑制處理后的結果如圖4（b）所示，這種情況完全消失.

2　實驗分析

本文訓練集數據來源于谷歌地球舊金山數據集，選擇1 200個包含汽車目標在不同方向不同背景下的圖像塊作為正樣本，選擇3 000個不包含車輛的不同背景的圖像塊作為負樣本，部分樣本如圖5所示.將各個圖形塊進行歸一化為64×64像素大小的圖像，得到一個4 200個樣本的訓練集數據，然后使用線性支持向量機來進行訓練和分類.應用HOG算法、Schmidt and Roth［20］算法、Fourier-HOG算法和本文提出算法在谷歌地圖洛杉磯數據集上進行測試，得到的檢測結果如圖6所示.

圖6（a）顯示HOG算法對光照變化適應性不強，陰影處檢測率不高，而且對不同姿態下的車輛檢測率也存在較多漏檢情況.圖6（b）和（c）顯示Schmidt and Roth算法在陰影處檢測效果高于HOG算法但低于 Fourier-HOG算法，但是 Schmidt and Roth算法和Fourier-HOG算法的誤檢率較HOG算法高.圖6（d）顯示本文算法無論在陰影區域還是不同姿態下的檢測效果都高于以上3種方法且誤檢率很低.

將本文算法與以上幾種經典算法（Fourier-HOG+ linear SVM，HOG+linear SVM，Schmidt and Roth）進行比較，本文采用Precision-Recall曲線作為算法性能的一個評價標準，圖7為以上幾種算法的PR曲線。Precision-Recall曲線橫坐標表示召回率（Recall）、縱坐標表示精確度（Precision），其計算公式為

式中:tp為正確檢測目標個數；fp為誤檢測目標個數；fn為漏檢測目標個數.

3　結論

1）提出了基于局部敏感直方圖的光照不變性特征和Fourier-HOG特征融合算法.該算法不僅可以準確檢測出航拍目標中姿態發生變化的車輛，而且提高了原始Fourier-HOG算法對陰影中車輛的檢測準確度.由于本文算法在特征提取階段加入背景濾除操作，較原始的 Fourier-HOG算法降低了25%～40%的計算量，從而提高了檢測效率.

2）將本文算法與其他幾種經典算法在谷歌地圖數據集上進行Precision-Recall測試，證明本算法具有更好的檢測效果.

［1］KUMAR R，SAWHNEY H，SAMARASEKERA S，et al. Aerial video surveillance and exploitation［J］.Proc IEEE，2001，89（10）:1518-1539.

［2］EMST I，SUJEW S，THIESSENHUSEN K U，et al. LUMOS—airbome traffic monitoring system［J］.Proc IEEE Intell Transp Syst，2003，1:753-759.

［3］CHENG H Y，WENG C C，CHEN Y Y.Vehicle detection in aerial surveillance using dynamic bayesian networks ［J］.Image Processing，IEEE Transactions on，2012，21 （4）:2152-2159.

［4］LIPTON A，KANADE T，FUJIYOSHI H，et al.A system for video surveillance and monitoring［M］.Pittsburg: Carnegie Mellon University，2000.

［5］ALI S，SHAH M.COCOA:tracking in aerial imagery［J］∥Proceedings of SPIE-The International Society for Optical Engineering，2010，5（1）:101-114.

［6］JACOBS D W，BELHUMEUR P N，BASRI R.Comparing images under variable illumination［C］∥IEEE Computer SocietyConferenceonComputerVisionandPattern Recognition.Santa Barbara，California:IEEE，1998: 610-617.

［7］CHEN H F，BELHUMEUR P N，JACOBS D W.In search of illumination invariants［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Hilton Head Island，Sauth Carolina:IEEE，2000，1:254-261.

［8］ISARD M，BLAKE A.Condensation—conditional density propagation for visual tracking［J］.International Journal of Computer Vision，1998，29（1）:5-28.

［9］KIM D，LEE D，MYUNG H，et al.Object detection and tracking for autonomous underwater robots using weighted template matching［C］∥OCEANS，2012-Yeosu.New York:IEEE，2012:1-5.

［10］HINZ S，BAUMGARTNER A.Vehicle detection in aerial images using generic features grouping and context［M］. Berlin:Springer-Verlag，2001:45-52.

［11］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］∥IEEE Conference on Los Alamitos:Computer Vision and Pattern Recognition，2005.San Diego:IEEE，2005:886-893.

［12］LOWE K D G.Distinctive image features from scaleinvariant keypoints［J］.International Journal of Computer Vision，2004，60（2）:91-110.

［13］?ZUYSAL M，CALONDER M，LEPETIT V，et al.Fast keypoint recognition using random ferns［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2010，32（3）:448-461.

［14］VEDALDI A，BLASCHKO M，ZISSERMAN A.Learning equivariant structured output SVM regressors［C］∥Computer Vision（ICCV）.Barcelona，Spain:IEEE，2011:959-966.

［15］HE S，YANG Q，LAU R W H，et al.Visual tracking via locality sensitive histograms［C］∥Computer Vision and Pattern Recognition（CVPR）.Portland:IEEE，2013: 2427-2434.

［16］王宣，劉晶紅.遮擋環境下采用分層局部敏感直方圖的實時目標跟蹤［J］.吉林大學學報（工學版），2015，45（2）:663-669. WANGXuan，LIUJing-hong.Multilayerlocality sensitive Histograms based real-time target tracking under rocclusion［J］.Journal of Jilin University（Engineering Science），2015，45（2）:663-669.（in Chinese）

［17］ELMIKATY M，STATHAKI T.Car detection in highresolution urban scenes using multiple image descriptors ［C］∥Pattern Recognition（ICPR）.Stockholm:IEEE，2014:4299-4304.

［18］LIU K，SKIBBE H，SCHMIDT T，et al.Rotationinvariant HOG descriptors using fourier analysis in polar and spherical coordinates［J］.International Journal of Computer Vision，2014，106（3）:342-364.

［19］LENZ R.Group theoretical methods in image processing ［M］∥LENZ R.Group theoretical methods in image processing.New York:Springer-Verlag，1990:413.

［20］SCHMIDT U，ROTH S.Learning rotation-aware features: from invariant priors to equivariant descriptors［C］∥Computer Vision and Pattern Recognition（CVPR），2012 IEEE Conference on.Providence:IEEE，2012:2050-2057.

（責任編輯 呂小紅）

Vehicle Detection From Aerial Photographing Under Different Illumination and Pose

MAO Zheng，LIU Songsong，ZHANG Hui，MENG Can，LUO Zi'an
（College of Electronic and Control Engineering，Beijing University of Technology，Beijing 100124，China）

To solve the problem of low detection accuracy of vehicle detection from aerial photographing under different lighting conditions and different postures，a new method based on the Fourier-HOG algorithm was proposed.This method was based on a sliding-window detection approach.First，image preprocessing，which selectively removed the background region，greatly improved the efficiency of detection and reduced the false alarm rate.Second，illumination invariant features were extracted based on local sensitive histogram and then the rotation invariant Fourier-HOG features were extracted.Finally，from the above features，the vehicle and non-vehicle were discriminated in a linear support vector machine（SVM）classifier.For post-processing，nonmaximum suppression technique was used to reduce a target multiple-detection.Results of the proposed vehicle detection on the Google Map dataset show that it has a higher degree of detection accuracy and consumes less time than that of the original Fourier-HOG detection method.Therefore，this method is a valid vehicle detection from aerial photographing.

vehicle detection；locality sensitive histogram；Fourier-HOG；support vector machines；

TP 391.9

A

0254-0037（2016）07-0982-07

10.11936/bjutxb2015090038

2015-09-15

國家自然科學基金資助項目（81370038）

毛 征（1959—），男，教授，主要從事光電跟蹤和系統仿真方面的研究，E-mail:maozheng@bjut.edu.cn