基于卡爾曼濾波-LSTM模型的車速估計方法

易可夫，陳 托，郝 威

(1.長沙理工大學 汽車與機械工程學院，湖南 長沙 410114；2.長沙理工大學 交通運輸工程學院，湖南 長沙 410114)

隨著新型城鎮化的深入推進、居民經濟收入水平的顯著提高，我國進入到以私人小汽車爆發式增長為核心特征的機動化發展階段，機動車出行需求持續快速增長。盡管如今城市道路基礎設施建設逐步完善，但由于汽車保有量持續上升，城市道路交通事故數量明顯升高，機動車交通違法也成為城市道路交通事故的最主要成因[1]。信號交叉路口作為城市道路結點，在路網中起著各路交通流互通作用，與普通路段相比更容易誘發交通事故。據統計，2015年我國有30%的交通事故發生在交叉口，其安全問題仍亟待解決[2]。

車速是表征機動車運行狀態的指標之一。掌握車速的分布特征是進行交通規劃、交通設計、交通管理的基礎，對國內交通流理論研究、交通安全研究有著重要意義。有研究表明，車速分布對交通事故率有一定影響，掌握車速分布類型和特征能為道路安全性提供理論指導[3]。信號交叉口作為事故的主要發生地，進行速度分布研究是有必要的。為了高效獲得信號交叉路口機動車速度數據，選擇合適的速度估計方法也是十分重要的。

速度估計方法可分為非視頻識別估計方法和視頻識別估計方法。針對非視頻識別估計方法，姚亞軍等[4]通過地埋環形線圈檢測器獲得通過車輛的時間-振蕩頻率曲線，利用曲線變換后的斜率實現車輛速度的測量。任彥銘等[5]采用人工手持雷達測速槍對城市主干道進行車速采集，并對采集數據討論了不同類型主干道的車速分布類型、集中趨勢和離散程度。ZHANG等[6]通過兩個位置的傳感器進行車速估計，并采用動態時間規整算法(Dynamic Time Warping，DTM)來減少傳輸數據失真，其速度估計準確率高于98%。

基于視頻識別車速估計可分為傳統視頻估計方法和深度學習視頻估計方法。針對傳統視頻估計方法，El等[7]采用背景減法來檢測車輛，利用加速穩健特征算法(Speeded Up Robust Features，SURF)對車牌等顯著特征進行匹配，生成稀疏深度圖后，根據距離變換與幀差估計平均速度。楊軫等[2]提出一種基于視頻的交叉口內目標運動軌跡自動采集方法，通過視覺前景提取算法(Visual Background Extractor，ViBe)與混合高斯模型(GaussianMixtureModel，GMM)相結合的方法提取目標前景，然后基于光流的方法實現目標跟蹤，利用透視變換原理得到目標的真實軌跡與運動參數，從而實現對目標加速度與速度的估計，估計準確率達到91.71%。ARINALDI等[8]采用支持向量機和混合高斯背景減法對交通視頻內的車輛進行檢測和分類，采用核相關濾波算法(Kernel Correlation Filter，KCF)對檢測車輛的位置進行短期的跟蹤后，利用幀差法來估計車輛速度。TOURANI等[9]通過混合高斯背景減法進行車輛檢測，利用形態學變換與過濾來保留車輛對象，采用斑點跟蹤算法進行跟蹤。根據連續幀內行駛的距離估計車速，估計準確率達94.8%。針對深度學習視頻估計方法，ARINALDI等[8]利用Faster RCNN模型檢測交通視頻中的車輛后，使用KCF跟蹤算法進行跟蹤，通過跟蹤距離與跟蹤時間估計車輛速度。LI等[10]利用YOLOv3和Sort算法對無人機拍攝視頻中車輛進行檢測和跟蹤，通過運動補償消除背景運動的影響，得到車輛的真實軌跡。隨后基于映射關系，以車輛的實際尺寸為先驗信息，建立高斯模型估計圖像中的車輛尺寸，實現自適應像素尺度恢復和速度計算。

綜上所述，基于非視頻的車速估計方法可靠性更高，但部署需要花費較多的人力和硬件投入。而基于視頻的車速估計方法在保證一定精度的同時，可使采集過程更加高效和便捷。而且，隨著深度學習方法的興起，基于視頻的方法有效地降低了光照影響與對視頻質量要求，提高了對密集車流的檢測效果。

為了更加準確、高效地獲取機動車交通數據，本文借鑒深度學習的多目標跟蹤技術，設計視頻識別方法代替人工處理?？紤]到跟蹤任務未來應用于監管的處理速度需求，初步選擇深度關聯度量的簡單在線實時跟蹤方法(simple online and real-time tracking with a deep association metric，DeepSort)作為主要架構，融合速度較快的檢測器YOLOv4并對其進行改造。通過構建輕量級目標檢測算法YOLOv4-MobileNetV2，解決傳統算法對道路機動車重疊檢測效果差，檢測速度慢等問題，也減少了模型參數，達到模型小型化的目的。同時針對DeepSort算法對機動車跟蹤過程中的標簽切換(ID-Switch)現象考慮不足，使得檢測結果不適于車速統計分析的缺點，通過融合卡爾曼濾波與長短時記憶網絡(Long Short Term Memory networks，LSTM)兩個模型的軌跡匹配結果，結合DeepSort算法的匹配策略進行多目標跟蹤。最后融合YOLOv4-MobileNetV2和改進后的多目標跟蹤算法，得到本文基于檢測的多目標跟蹤算法YM-DeepSorts，算法在保證跟蹤精度的前提下，改善原方法在復雜行車場景下目標跟蹤標簽頻繁切換的問題，同時也能滿足嵌入式設備要求，為機動車交通數據采集做好前提準備。

1 基于視頻的機動車速度估計方法

為了提高基于視頻的車速估計的速度和精度，本文提出的車速估計方法主要分為目標檢測、目標跟蹤、車速估計3個步驟：首先，通過目標檢測模型來識別視頻中的機動車目標；然后，通過目標跟蹤方法對檢測結果進行融合，并計算多個目標的位置軌跡；最后，從機動車目標軌跡中提取的跟蹤距離與跟蹤時間來計算目標車速。

1.1 目標檢測

YOLOv4在結構上采用CSPDarknet 53[11]作為主干網絡來進行特征提取。為了加強特征提取能力，引入空間金字塔池化模塊(Spatial Pyramid Pooling，SPP)[12]來增加感受野，并利用路徑聚合網絡(Path Aggregation Network，PAN)[13]替換特征金字塔進行多通道特征融合。最后使用YOLOv3作為頭部進行特征預測。

YOLOv4作為一階段算法，在推理速度和檢測精度上達到一個較高的水平，但是由于模型權重文件較大，不適合用于移動端和嵌入式設備。從輕量化模型的角度出發，本文采用MobileNetV2[14]作為主干網絡，替換CSPDarknet53進行特征提取。MobileNetV2通過使用Inverted Residual Block與Linear Bottleneck配合深度可分離卷積與逐點卷積，在緩解特征退化和加速訓練的同時，大幅度的降低參數量與計算量，達到模型小型化和提高模型推理速度的目的。

1.2 目標跟蹤

DeepSort算法是基于檢測的多目標跟蹤算法，在Sort算法的基礎上引入深度余弦外觀匹配模型來進行相似度計算，在保證實時性的前提下，提高了跟蹤的準確率。該算法通過卡爾曼濾波構建運動模型，對目標此刻的狀態進行預測，得到下一刻運動信息，使用8個參數進行描述(cx，cy，w，h，c′x，c′y，w′，h′)，其中前4個參數表示位置信息，后4個參數表示速度信息。DeepSort算法利用級聯匹配算法來關聯外觀信息和運動信息，在計算運行信息時，采用馬氏距離來衡量卡爾曼濾波預測結果和檢測結果，與計算外觀信息的余弦相似度一起構成代價矩陣，最后使用匈牙利算法進行匹配。

DeepSort算法中使用的卡爾曼濾波是一種線形軌跡預測方法，具有速度快的特性。但目標在運動過程出現遮擋，檢測結果有噪聲等干擾時，運動狀態為非線性，此時卡爾曼濾波不能進行準確的軌跡預測，容易導致目標在跟蹤過程中出現ID-Switch問題。針對非線性問題，研究者提出使用基于深度學習LSTM替代卡爾曼濾波進行軌跡預測，試驗結果表明ID-Switch次數極大減少，并且在遮擋情況下，多目標跟蹤精度與多目標跟蹤準確度更高[15]。但是通過試驗發現，在線性情況下卡爾曼濾波預測速度與準確度要高于LSTM，即在無遮擋的情況下，卡爾曼濾波性能更優。本研究使用的試驗數據均來自于監控視頻，由于攝像頭的安裝角度問題，在車流密度較大時，視頻畫面容易出現車輛遮擋情況，此時使用LSTM進行軌跡預測效果更優，而車流密度較小時，基本無遮擋情況，此時使用卡爾曼濾波進行軌跡預測更優?；谶@種現象，本文對DeepSort算法進行改進，通過設置一個條件閾值來融合LSTM與卡爾曼濾波兩種軌跡預測方法，該條件閾值為線圈內檢測框數量。改進DeepSort算法如式(1)所示。

假設M(c|N)為融合了卡爾曼濾波與LSTM模型的DeepSort算法，有：

(1)

式中：MK為卡爾曼濾波模型作狀態位置預測；ML為LSTM模型作狀態位置預測；Age為目標跟蹤幀數；m為LSTM輸入幀數。c=(0，1)，當檢測框的數量n>N時，c=0；反之，c=1。

本文將改進后的檢測與跟蹤算法記作YM-DeepSorts，整個算法流程如圖1所示。

圖1 YM-DeepSorts算法流程圖

1.3 車速估計

本文采用幀差法來估計機動車速度。在交通十字路口場景中選擇一個長度R=20 m左右的感興趣區域，只關注該區域的機動車，每當機動車進入該區域時，組合算法輸出帶有ID信息的檢測框，并進行穩定跟蹤。通過設置存儲器來自動保存同一跟蹤對象檢測框的中心坐標(Xt，Yt)，則在整個跟蹤周期T=[f1，f2]，目標在視頻中的位移為：

(2)

式中：LP為目標跟蹤的位移；f1為目標開始跟蹤的幀位置；f2為目標結束跟蹤的幀位置。

根據相機的仿射原理，目標在世界坐標系下的位移長度LW與在圖像坐標系下的位移長度LP存在如下關系：

(3)

式中：D為攝像頭與感興趣區域的垂直距離；α為相機軸與機動車行駛方向的角度；fc為相機焦距。其中fc可通過已知的感興趣區域在世界坐標系下的長度與圖像坐標系下的長度關系求得。

得到機動車平均速度：

(4)

式中：V為平均速度；F為視頻播放幀率；乘以3.6是將速度m/s轉換成km/h。

為了進一步保證樣本采集的準確可靠性，通過挑選合適的拍攝位置，要求攝像頭能拍攝到整個感興趣區域R，不同車道的機動車不會出現大面積遮擋情況。圖2為拍攝位置和感興趣區域的示意圖。

圖2 信號交叉口感興趣區域示意圖

2 案例分析

2.1 試驗數據

本文機動車速度樣本采集來自長沙市楓林三路的信號交叉口監控視頻，視頻分辨率為1 920×1 080，幀率為30FPS。采集地點包含4個不同位置信號交叉路口，采集時間為上午7：00—9：00(早高峰)和下午4：30—6：0(晚高峰)，采集的總天數為30 d，并且保證在4個調查點的早晚高峰時段交通量充足，能夠滿足持續觀測過飽和與欠飽和狀態下的機動車交通流。

2.2 模型訓練

本文模型訓練基于 python 編譯環境完成程序設計，運行環境為 CPU：i7-9 700 k，GPU：NVIDIA GeForce RTX 2070，8 G內存。訓練所使用的數據集為公開數據集UA-DETRAC，該數據集源于北京和天津24個不同區域的道路監控視頻中的截圖，拍攝角度為俯拍，適用于城市道路的車輛檢測與跟蹤模型訓練。

a.目標檢測模型訓練。

由于UA-DETRAC數據集的數量較大，同一個場景相鄰兩張圖片相似度較高，為了減輕訓練難度，選取其中9 180張圖片作為檢測數據集，并對檢測數據集的標簽數據進行處理。首先將其中標注文件轉化為便于YOLOv4-MobileNetV2算法訓練的VOC格式，只保留其中Car類標簽；然后將該數據集以0.6，0.2，0.2的比例劃分為訓練集、驗證集、測試集。訓練中網絡輸入大小為416×416，優化器為Adam[16]，訓練次數為150個Epoch。期間為了加速模型訓練，采用兩階段的訓練策略，第一階段凍結Backbone，采用大小為0.001學習率對網絡頭部訓練50輪次，第二階段解凍Backbone，采用大小為0.000 1學習率對Backbone和網絡頭部訓練100輪次，兩階段Batchsize大小分別為16和8。模型訓練過程的Loss的變化如圖3所示，顯示網絡基本收斂。

圖3 YOLOv4-MobileNetV2損失曲線

為了驗證優化模型有效性，對YOLOv4進行同等訓練，兩個模型在IOU=0.5時的測試結果如表1所示。結果顯示，改進的YOLOv4在召回率略微下降情況下，模型大小為原YOLOv4的1/5，參數量為46.4 MB，適合嵌入式設備部署；同時FPS提升約30%，速度達到30FPS，滿足實時性要求。

表1 不同目標檢測模型試驗結果Table 1 Results of experiments on different object detection models檢測網絡F1值召回率/%準確率/%網絡大小/MBFPS/(幀·s-1)YOLOv40.9595.8093.9524423YOLOv4-MobileNetV20.9594.2894.8646.430

b.目標跟蹤模型訓練。

原始的DeepSort算法中使用的外觀匹配模型是在行人重識別數據集中訓練的，不適用于車輛跟蹤，為此使用VERI車輛重識別數據集[17]進行重新訓練，將訓練好的模型應用于改進的DeepSort算法中。對LSTM進行訓練時，在UA-DETRAC中60個序列標注文件中選取前40個序列標注文件用作多目標跟蹤訓練，提取其中的Car類標簽制作車輛軌跡狀態(cx，cy，w，h)數據集。從每個目標的第一幀起，每次截取長度為7的數據作為一組訓練數據，前6幀作為輸入數據，最后一幀作為訓練標簽。LSTM網絡的超參數設置如下：隱藏層層數為2，神經元個數分別為50和100，損失函數為均方誤差，優化器Adam學習率為0.000 1，Batchsize為64，訓練輪次為16。LSTM網絡訓練過程的Loss的變化如圖4所示，結果顯示網絡基本收斂。

圖4 LSTM損失曲線

為了驗證整個算法的有效性，將UA-DETRAC數據集中的后20個序列文件制作成視頻文件對YOLOv4-DeepSort與YM-DeepSorts算法進行測試，測試平均結果如表2所示。輸出結果表明：YM-DeepSorts算法相比于YOLOv4-DeepSort算法，提高了跟蹤精度與推理速度，同時跟蹤過程中目標的標簽切換次數能有效減少。當N=0時，YM-DeepSorts算法主要使用LSTM進行軌跡預測，此時標簽切換次數達到最少；當N=10時，YM-DeepSorts算法主要使用卡爾曼濾波進行軌跡預測，此時推理速度達到最快。改進后的算法整體性能均優于原算法，在監控范圍內能夠根據檢測框的數量選擇最佳的軌跡預測方法，實現對機動車的穩定跟蹤，適合輔助交通部門進行交通數據采集。

表2 算法跟蹤評價結果對比Table 2 Comparison of algorithm tracking evaluation results模型軌跡準確率/%跟蹤精度/%命中軌跡/%丟失軌跡/%身份切換/次FPS/(幀·s-1)YOLOv4-DeepSort72.4626.0671.703.33617YM-DeepSorts (N=0)74.9127.5974.323.12218YM-DeepSorts (N=10)73.3026.7073.953.52724

2.3 車速估計誤差分析

2.4 車速分布結果

本文利用4個雙向六通道的信號交叉口的實測數據進行機動車速度分布研究。在對比多個單分布與混合分布模型的基礎上，選用正態分布、Gamma分布、Weibull分布、Logistic分布4種的單分布模型，以及二元混合高斯分布與三元混合高斯分布2種混合分布模型來對實測數據進行擬合分析。為了確定上述提出的4種單分布與2種混合分布模型是否適用于描述信號交叉口的機動車速度分布狀況，這里使用Kolmogorov-Smirnov檢驗(K-S檢驗)方法來進行檢驗。K-S檢驗是基于累積分布，來檢驗數據樣本的經驗分布是否服從某種理論的分布。在K-S檢驗過程中，假設D為樣本數據X的累計頻數分布函數FX(x)與特定的理論分布函數F(x)差值的絕對值最大值，即：

D=max|FX(x)-F(x)|

(14)

通過比較D與D(X，α)的值，當D

表3 各分布模型的K-S檢驗結果Table 3 K-S test results of each distribution mode編號正態分布伽馬分布威布爾分布Logistc分布二元GMM 三元GMMR1拒絕拒絕拒絕拒絕拒絕接受R2拒絕拒絕拒絕拒絕拒絕接受R3拒絕拒絕拒絕拒絕接受接受R4拒絕拒絕拒絕拒絕接受接受

2.5 車速分布分析

各交叉口機動車速度的三元混合高斯分布擬合情況如圖5所示，同時表4給出了具體的K-S檢驗結果。從圖5的結果來看，各亞類分布模型之間有明顯的區分度。

(a)R1

城市信號交叉路口處于一個復雜的交通環境中，在不同的車流密度、是否有非機動車和行人的干擾情況下，機動車速度都會改變。其中車流密度是車流速度的主要影響因素，兩者一般成負相關[19]。在信號交叉口處，紅燈期間內交叉口的入口會積聚大量的非機動車與機動車，在綠燈開始時，成團的非機動車會涌入交叉口，對機動車行駛造成干擾。積聚的非機動車數量越多，機動車平均速度越低。此時，機動車在高車流密度與非機動車的影響下，行駛速度較為緩慢。隨著車流密度減小，車速隨之升高，但由于存在車道外側的非機動車和行人的摩擦干擾，最外側車道的車流速度會低于內側車道的車流速度，導致車流速度出現不一致，出現整體車速較高的情況下，部分車速較低。在中密度車流狀況與外界干擾因素的影響下，路口機動車行駛速度處于不穩定狀態。最后，在低密度車流狀況下，機動車之間影響較小，并且受到車道外側行人與非機動車干擾程度較低，機動車會以較高速度行駛。

表4 各路段三元混合高斯分布K-S檢驗結果Table 4 K-S test results of ternary Gaussian mixture distribu-tion in each road secti編號數據量檢驗標準D(X,α=0.05)=1.36nD值是/否服從分布D

通過上述分析環境因素對機動車速度的影響，得出信號交叉口機動車主要有3種行駛狀況，從而說明三元混合高斯模型更適合描述信號交叉口機動車速度分布特征?；诮煌鬟\行特性，3種亞類交通流依次可劃分為：擁擠流、限制流、自由流。

3 結論

a.在深度學習框架下，采用YOLOv4構建車輛目標檢測算法，將主干網絡改進為MobileNetV2以達到模型小型化的目的，在保證檢測精度的同時，加速了目標特征的提取效率，檢測幀率在原基礎上提升約30%，有利于提高基于視頻的車速統計實時性。

b.提出了一種卡爾曼濾波-LSTM模型的車速估計方法，通過閾值法對兩種模型的軌跡跟蹤結果進行了檢測融合，有效改善了復雜行車場景下機動車目標跟蹤的標簽切換現象，在長沙市楓林三路信號交叉口監控視頻中進行了應用，車速估計準確度達94.5%，驗證了方法的有效性。

c.對車速統計分析的結果表明，單分布模型難以描述信號交叉口機動車速度分布狀況，而三元混合高斯分布能夠較好的擬合并通過K-S檢驗，各亞類之間有明顯的區分度，與交叉口的機動車流分為擁擠流、限制流和自由流的實際情況相符合。

d.本文所提方法對視頻拍攝角度有一定要求，且對惡劣天氣狀況、極端擁堵道路環境等因素考慮不足。在后續的研究中，將對上述問題進一步優化改進，以提高基于視頻的車速統計方法的應用范圍。