改進HOG 特征的支持向量機工程車輛識別方法?

吳 逸 吳靜靜

（1.江南大學機械工程學院 無錫 214122）（2.江蘇省食品先進制造裝備技術重點實驗室 無錫 214122）

1 引言

城市中大型工程運輸車輛經常存在車輛超載、渣土垃圾滴落、違章偷倒等情況，需要增強監控管理［1］。但是實際監控時發現工程車輛存在外形各異、車輛圖片紋理復雜、車輛存在遮擋等問題，因此提升交通視頻監控工程車輛的識別率有重要的意義。

國內外學者在道路交通視頻監控方面做了大量研究。在特征提取方面，林克正等針對單一HOG 特征丟失圖像局部信息的問題，提出了基于分塊Gabor 的梯度直方圖特征提取算法，提升車輛識別算法的抗光照干擾性［2］。趙英男應用Gabor濾波器，結合特征矢量中臨近分量的離散程度對自身進行加權，增加了特征對不同背景環境的魯棒性［3］。劉芳在研究中應用車輛的聲信號特征，結合SVM與神經網絡，實現了車輛類型的穩定識別［4］。賈子永等將HOG 特征與激光雷達的深度信息結合，提高了車輛檢測的準確性與實時性［5］。楊志鋼等在提取出卷積特征時線性融合了圖像的尺度不變特征，提升了網絡的分類準確性［6］。在分類器的應用方面，郭克友等借鑒級聯的思想，首先使用局部二值模式特征分類器進行初步篩選，再使用HOG 特征分類器過濾因光照變化產生的過檢，提高了車輛識別系統的魯棒性［7］。在應用深度神經網絡方面，張少巍利用CNN 網絡提取卷積特征，聯合貝葉斯網絡實現車輛準確分類［8］。李漢冰應用反殘差網絡并改進損失函數，使得檢測模型訓練時聚焦于難分類的復雜車輛樣本，提升了車輛檢測準確率［9］。李宇昕通過改進殘差網絡中激活函數的位置，使用分組卷積代替一般卷積，提高了模型對車輛圖像的特征提取和識別能力［10］。以上文獻從多角度研究了如何提升通用車輛識別的準確率，但針對工程運輸車輛的專門識別還需要進一步深入研究。

基于以上研究發現，針對戶外車輛圖片提取輪廓、紋理等特征時，難免會面臨環境突變、光線變化等干擾，需要增強特征相應描述能力及抗干擾性能。因此，本文提出了基于改進HOG 特征的工程車輛識別方法。融合對角線方向梯度信息來豐富HOG 特征；基于圖像梯度先驗知識進行篩選，剔除低信噪比的圖像分塊；添加不同權值半徑LBP 信息，強化特征輪廓描述能力的同時增強特征分辨能力。分析不同類型車輛的外形和紋理等屬性的差異，構建多級SVM 分類器結構，完成輸入的車輛感興趣區域（ROI）的分類。

2 整體算法

本文主要識別的對象為渣土工程運輸車及生活垃圾工程運輸車，如圖1 所示。工程車輛相對于常見的面包車、轎車等，普遍具有更為復雜的外形輪廓；而對于輪廓較為相似的一般卡車來說，本文目標工程車輛的車頭紋理細節更為豐富、特殊。本文的整體識別流程如圖2 所示。首先，通過雙線性插值、設定環境判斷因子等方法快速剔除圖像信噪比明顯較低的視頻幀，完成視頻背景建模；接著，基于凸包算法將互相粘連的車輛輪廓分割開，抑制車輛陰影及不同拍攝視角導致的車輛輪廓粘連情況，降低對特征提取和分類識別的影響；最后，針對車輛ROI 圖片提取改進的HOG 特征向量并進行特征降維，將向量送入多級SVM分類器完成最終識別。

圖1 目標工程車輛類別圖

圖2 識別流程圖

3 背景建模與車輛分割

3.1 改進的GMM快速背景建模

混合高斯背景建模對圖像的每個像素點按不同權值的多個高斯分布來建模，各個高斯分布函數的權值和參數隨時間更新，避免了單一模型檢測的不穩定性，提高了對動態背景的適應能力［11］。像素采樣點的混合高斯概率密度分布如式（1）與式（2）：xt為t時刻的樣本像素，η為t時刻第i個高斯模型，wi,t μi,tτi,t分別為t 時刻第i 個高斯分布的權重、均值與協方差矩陣。但整個建模過程不斷更新權值與參數，導致建模速度較慢。

本文為增加前景提取的魯棒性，提升建模速度，設計了基于混合高斯模型的背景更新策略。具體流程如圖2 所示，首先使用雙線性插值方法進行視頻幀縮放。接著本文提出幀間灰度增量因子T及噪聲干擾幀判斷因子G，計算方法如式（3）和式（4）所示，計算當前幀與下一幀的全局平均灰度增量和二值前景像素數占總像素數的比值，判斷當前幀是否存在環境光突變等極端干擾情況，從而判斷當前輸入的圖像序列是否具有處理價值。公式中，為視頻流中第i 幀平均灰度值，Ni,fore為第i幀二值前景像素數，W,H分別為圖像寬度與高度。

針對環境光線發生變化的同一段視頻，分別使用原GMM與本文改進的快速背景建模方法提取運動前景。結果如圖3 所示，由于本算法降低了低信噪比圖像像素更新背景的概率，背景模型對環境光變化更加魯棒，前景提取效果更好；同時減少干擾前景，有效降低后續處理的計算時間與資源開銷。

圖3 前景提取試驗對比圖

3.2 基于凸包算法的粘連車輛輪廓分割

由于攝像頭拍攝角度、環境光突然變化、光線導致的車輛陰影、相機的隨機噪聲等因素的影響，改進GMM方法提取出的車輛前景仍然存在輪廓粘連情況。經過分析，拍攝角度和光線陰影導致的輪廓粘連將對ROI 特征提取與分類識別帶來極大的誤差。為解決以上兩種原因導致的車輛輪廓粘連問題，本文基于凸包算法，尋找粘連輪廓最優分割線完成分割。

本文借鑒凸包算法相關應用論文［12］，提出了粘連輪廓判斷因子K。通過Graham 掃描法對目標前景輪廓進行凸包擬合，計算凸包內非車輛區域中面積最大的兩個輪廓與所有非車輛區域輪廓面積的比值K，當比值大于閾值，說明此時提取的正是粘連輪廓。公式如下，Areai為降序排列的第i 個凸包內非車輛輪廓面積，n為非車輛輪廓個數。

如圖4 所示，上述面積最大的兩塊非車輛輪廓子區域，往往位于兩車輛輪廓質心連線的垂線方向上；其質心連線便可作為粘連輪廓的最優分割線。因此，本文基于輪廓凸包分析，設計了一種魯棒的粘連輪廓分割方法，算法流程如圖5所示。

圖5 基于凸包分析的輪廓分割算法流程圖

首先進行形態學操作，通過腐蝕操作去除二值圖像中較大的噪聲區域；再進行開操作，以去除目標輪廓外部剩余較小的噪聲點；最后進行閉操作，實現目標車輛輪廓內部細小孔洞的填充，得到信噪比較高的前景圖像。接著進行輪廓查找操作，記錄符合幾何形狀要求的輪廓為Corigin；對目標輪廓Corigin進行凸包分析并擬合得到凸包外輪廓Cconvex。計算得到原目標車輛輪廓Corigin與凸包外輪廓Cconvex的差異輪廓點集Ci（i=1，2，3…）。對Ci（i=1，2，3…）進行輪廓查找與分析，計算差異輪廓點集的面積，根據面積大小進行降序排列；尋找面積前兩位的輪廓點集作為目標輪廓Cgoali（i=1，2）。計算因子K 判斷是否為粘連輪廓。計算目標輪廓Cgoali（i=1，2）歸一化的中心矩，從而找到目標輪廓質心點Pci（c=1，2）。連接質心點Pci（c=1，2）之間的直線即可作為遮擋車輛的輪廓分界線。

4 改進的HOG特征提取

4.1 基于梯度方向方差預篩選的改進HOG特征

梯度方向直方圖（Histogram of Oriented Gradient，HOG）特征通過計算和統計圖像局部區域（cell）各方向的梯度來構成特征［13］，即通過梯度的方向密度分布來描述目標的形狀，具有較強的外形輪廓描述能力，適合用來區分外形輪廓差異較大的各型車輛，因此本文使用HOG 作為特征提取算子。但HOG 在計算梯度時，只利用了水平與豎直方向的梯度幅值，因此在面對外形更為復雜的工程車輛時，輪廓描述能力會顯得不足。同時分析分塊后的HOG 特征圖譜發現：分塊內梯度的方向變化程度，與分塊內主體信息類型有較強的關聯性。分塊內是目標車輛輪廓則梯度方向變化較規則；是突變的環境光線、反光的車窗、路邊的樹葉等干擾信息則梯度變化雜亂無章。因此，本文添加圖像對角線方向的梯度方向密度分布，同時基于梯度方向變化方差進行分塊先驗預篩選，提出了一種改進的梯度方向直方圖特征，增強了特征的魯棒性及針對復雜外形的描述能力。算法流程如圖6所示。

圖6 改進的梯度方向直方圖算法

改進的HOG 算法主要分為以下幾個步驟。圖像預處理，圖像灰度化，大小規范化，便于提取維數相同的特征向量；伽瑪校正，通過調整圖像對比度，降低圖像局部光線變化影響，抑制噪聲干擾。本文參照HOG原理論文［9］，將ROI圖像的特征圖譜劃分為若干個8*8 像素的cell；將2*2 個cell 組成一個圖像塊（block）；對每個分塊進行梯度值歸一化，減小其他分塊內特征的劇烈變化對本分塊的影響。通過Sobel算子計算ROI每個像素的水平與豎直的梯度幅值及方向；通過如圖7 所示對角線卷積算子對車輛ROI進行二維卷積，提取像素的對角線方向的梯度幅值及方向。

圖7 對角線方向卷積算子圖

將水平豎直方向的梯度特征圖譜與對角線方向的梯度特征圖譜線性融合，計算得到特征圖譜每個像素最終的梯度幅值及方向，從而得到更加豐富的輪廓梯度信息，增強特征描述能力。根據已知的像素梯度幅值及方向，計算分塊內所有像素梯度方向的方差，以標記每個分塊的梯度方向一致性；記錄所有分塊的梯度方向方差并排序，剔除方差偏大與偏小的固定個數分塊，僅使用篩選后的分塊進行梯度方向直方圖統計，從而得到信噪比更高的特征圖譜。本算法通過計算特征圖譜的梯度積分直方圖以加速計算；同時參照HOG 原理論文［13］，統計每個分塊內9 個梯度方向的幅值分布，得到描述每個分塊外形輪廓的統計特征向量。遍歷整張圖像的所有符合梯度方向一致性要求的分塊，將得到的特征向量串聯即可得到本文改進后的HOG 特征描述向量。如圖8 所示即為添加對角線梯度信息前后，圖像提取出的9 個梯度方向幅值分布的可視化對比圖。觀察明顯發現添加對角線梯度后，圖像在更多梯度方向上獲得了更為豐富的特征描述。

圖8 梯度幅值分布對比圖

4.2 融合LBP紋理特征

本文發現，改進的HOG 特征對外形輪廓差異不大，但實際車型不同的部分卡車與目標工程車輛的區分能力較弱。經過分析，錯誤分類的樣本外形輪廓差異不大，但車輛表面的紋理細節存在不同。局部二值模式（Local Binary Pattern，LBP）對車輛紋理描述能力較強［14］。張素雯在車標分類任務中，同時提取HOG 與LBP 特征作為特征向量實現車標多分類［15］。因此本文為增強特征因子針對相似輪廓工程車輛的分辨能力，在改進的HOG 特征的基礎上，融合LBP紋理信息。但基本的LBP算法對目標輪廓位置要求較高，限制了特征的紋理描述能力及分類器的識別泛化性。因此，本文將計算符合梯度要求的分塊內不同半徑尺度與采樣點數的LBP 特征值，并根據半徑尺度賦予LBP 值不同高斯權重，增強特征對背景光照及車輛位置變化的魯棒性，提取更加魯棒豐富的的車輛紋理特征。

具體算法流程如圖6 所示：對于基于梯度方向方差篩選出的分塊中每個元素，分別用半徑r 為1、2、3，采樣點數8、16、24 的圓形LBP 算子進行計算，可視化結果如圖9 所示。本文以半徑值為指標賦予LBP特征值不同高斯權重，以獲得不同尺度的豐富紋理特征；并基于深度學習中的最大池化思想（即通過核窗口覆蓋的所有值中的最大值代表整個覆蓋區域），將各分塊按像素位置取最大LBP 值作為最終的特征值，降低特征維數的同時保留最顯著的紋理特征分量。最大池化公式如式（6）所示，表示神經網絡中第l 層網絡第i 行j 列的權重參數，m與n為該權重對應的池化核覆蓋的區域。

圖9 不同半徑LBP特征圖譜對比圖

接著，統計每個分塊LBP 值的結果直方圖，將每個分塊的結果LBP 特征向量拼接在該分塊的HOG 特征向量后，形成每個分塊的改進HOG 特征向量。分析各分塊LBP特征向量發現，各像素位置LBP 值均處于0～255 之間，即每個分塊統計出的直方圖特征向量長度為256。本文將直方圖每隔25個灰度級設置一個區間，從而將特征向量的長度從256 降維到10。該步驟通過將LBP 值分段，有效降低特征維數與特征表達的稀疏性，一定程度上描述了分塊內紋理的基礎信息、靜態信息；同時抑制部分位置像素值突變對統計所得的向量造成的干擾，增加LBP特征魯棒性。最后，串聯所有篩選出的分塊特征向量，生成樣本最終的改進HOG 特征描述向量。

5 多級SVM分類器

本文提取的車輛ROI中，可能存在的車型有面包車、小轎車、廂車、有斗車、工程車等。車型種類較多，并且有時會存在非機動車（包括行人）、地面等干擾，若直接使用單級多分類SVM，由于樣本的類內方差較大，類間方差較小，會存在部分外形與紋理特征類似的車輛分類準確率較低的情況。針對上述情況，本文分析發現，不同類型車輛的外形和紋理等屬性差異較大，因此可以利用樣本的不同屬性在各節點進行分叉分類，構建多級SVM 節點分類器，結構如圖10所示。

圖10 SVM多級分類流程圖

由于車輛與地面及非機動車輛圖像不管在紋理還是外形上都有明顯的差別，車輛紋理較密而地面紋理較平坦，車輛外形較規范而非機動車外形各異；因此本文在第一級分類器處，將車輛與地面及非機動車進行分類。經過一輪篩選后，剩下的絕大多數樣本為車輛。由于篩選后的車輛在車型大小方面有較大的差異，因此本文第二級分類器基于各類車輛輪廓外形的差異，將車輛分為中小型車輛與大型車輛；中小型車輛包括轎車、面包車及廂車，而大型車輛包括有斗車與目標工程車。經過兩輪篩選后，剩余的樣本基本為大型有斗車輛。由于一般的有斗車與目標工程車在車頭紋理及車身外形方面有較大差別，一般有斗車車頭紋理較光滑而工程車輛車頭輪廓感更強，一般有斗車車斗較低而工程車車斗基本與車頭同高；因此本文在第三級分類器中，基于車頭與車身的紋理與外形差異，將目標車輛工程車與其他普通有斗車進行分類。

6 試驗結果分析

為驗證本文SVM 多級分類器識別工程車輛的準確性，收集非工程車和工程車各500 張作為訓練集，各300 張作為測試集進行分類測試；所有樣本收集于不同天氣、路段、時間段的監控路口。本文算法的試驗環境為Visual studio 2015，處理器為i5-9400，16G 內存。試驗采用準確率P（Prediction）和召回率R（Recall）作為判定指標［16］。

式中，ci表示目標工程車輛類別；TP（ci）表示屬于目標工程車輛類且被正確分為目標工程車輛類的樣本數；FN（ci）表示屬于目標工程車輛類但被分為非工程車輛類的樣本數；FP（ci）表示非工程車輛類但被分為目標工程車輛類的樣本數。本試驗測試中，P值與R值越大，代表分類器分類效果越好。

針對相互粘連的車輛ROI，進行凸包輪廓分割試驗，結果如圖11 所示。結果表明，面對因光線陰影以及不同拍攝角度導致的輪廓粘連問題，本文基于凸包分析的輪廓分割方法，可以有效地尋找到粘連車輛輪廓的最優分割線，完成車輛分割。

圖11 凸包輪廓分割試驗圖

基于以上分割算法，本文針對所收集的訓練集，提取基礎HOG 特征，使用相同超參數訓練得到SVM 分類器；并收集存在輪廓粘連的100 張車輛樣本圖，完成輪廓分割處理。使用分類器分別對輪廓分割前后的樣本進行分類試驗，結果如表1。分析結果發現，通過分割粘連車輛輪廓可以有效提升分類器的識別召回率，減少分類器誤判。

表1 測試結果對比表

為驗證HOG 特征改進方法的有效性，本文針對同一訓練集分別提取原始HOG 特征與改進的HOG 特征，使用相同超參數訓練兩個SVM 分類器，并對收集的同一測試集進行分類召回測試。結果如表2。分析測試數據可以發現，改進后的HOG特征識別召回率更高?？梢哉J為由于添加了對角線方向的梯度，相比原始特征擁有更多方向上的梯度細節，從而統計得到的直方圖數據更具有魯棒性。因此本文改進后的HOG 特征能夠提取樣本更加豐富的輪廓梯度細節，增強了特征的輪廓描述能力。

表2 測試結果對比表

表3 測試結果對比表

為驗證本文融合LBP 算子增強本文HOG 特征分辨能力的有效性，針對上述訓練集提取融合LBP的改進HOG 特征，使用相同超參數，訓練新的SVM分類器進行對比測試。結果如表2。分析結果發現：融合LBP 算子后，改進的HOG 特征分類準確率有了進一步的提升?？梢哉J為通過三個不同尺度的LBP算子，計算得到三種不同權重的LBP紋理圖譜；從而使HOG 特征融合了豐富的紋理細節，增強了特征針對相似輪廓車輛的分辨能力。

為進一步驗證本文多級SVM 分類器結構設計的有效性，在提取本文改進的HOG 特征的基礎上，本試驗將多級SVM 分類器與單級多分類SVM 分類器進行識別效果對比，結果如下表所示。由表4 可以看出，多級SVM 分類器針對工程車輛的分類準確率達92.8%，召回率達90.6%，效果明顯優于單級多分類SVM 的89.4%與83.2%。對比結果顯示，針對各型車輛特征的差異設計多級分類，可以有效提升分類器的分類準確率與召回率。

表4 分類效果對比統計表（單位：%）

7 結語

本文對城市道路中工程運輸車輛的識別進行了深入研究?；诨旌细咚?，使用多種判斷因子進行先驗篩選實現快速背景建模；使用凸包算法進行輪廓分割線查找，解決車輛ROI粘連問題?；谔荻确较蚍讲钸M行先驗篩選，針對HOG 特征增加對角線方向梯度細節，融合不同權重不同半徑尺度LBP 算子提取豐富的紋理細節，增強了特征描述能力與分辨能力。根據不同類型車輛屬性，構建SVM的多級分類拓撲結構，提升目標工程車輛的分類準確率。結果表明，本算法針對工程車識別率較高且實時性良好，在城市交通智能監控系統中具有較強的應用價值。