機器視覺與毫米波雷達信息融合的車輛檢測技術

高繼東，焦 鑫，劉全周，賈鵬飛，李占旗，楊偉東

(1. 中汽研（天津）汽車工程研究院有限公司，天津 300300; 2. 河北工業大學機械學院，天津 300130)

0 引 言

隨著汽車持有量的日益增加，出行安全問題越來越受人關注。智能輔助駕駛系統（ADAS）可為駕駛員實時提供安全預判信息，具有降低交通事故，提升汽車安全性，減少生命財產損失的優點，逐步成為汽車配件開發的熱點[1]。

車輛行駛環境的感知作為輔助駕駛系統的輸入，對于系統的預警和決策起著至關重要的作用，對危險目標實現有效的檢測是精確預警的前提。如今，機器視覺和毫米波雷達為輔助駕駛系統中常用的傳感器，兩者都具有各自的優勢，機器視覺獲取環境信息豐富，在目標檢測與分類上極具優勢，但易受天氣影響；毫米波雷達可以準確探測障礙物的距離和速度信息，對環境有較強的適應性，但無法識別障礙物的類型，易受噪聲的影響[2]。如何有效的利用兩者傳感器的信息，國內外學者做了大量研究工作。FLORIAN F等[3]在車輛上配置多個雷達，采用對象級融合構造了不同雷達數據的融合結果，并對探測的目標結果進行濾波處理與目標追蹤，提高了對前方危險目標的探測能力；NATNAEL S等[4]將機器視覺與雷達信息進行了融合用于前方車輛的感知，采用機器視覺對前方車輛進行探測與追蹤，目標車輛距離的輸出依據于雷達數據信息，提升了對目標車輛的檢測與定位能力；國內，李鵬等[5]提出了雷達與攝像頭空間對準的標定算法，保證了兩種傳感器對同一目標的信息探測；陳曉偉等[6]將車牌檢測算法與雷達探測信息進行融合，用于前方目標車輛的檢測，充分利用了機器視覺與毫米波雷達的優勢。

機器視覺雖在目標檢測上具有優勢，但基于特征與顏色的傳統車輛檢測算法，難以區分類似車輛的虛假目標，結果往往不太理想。雷達易受噪聲信號的影響，若要利用雷達數據需對其噪聲進行過濾，并設定合適的閾值篩選出有效目標，因此，為提高輔助駕駛系統對前方目標的感知能力，充分利用機器視覺與毫米波雷達的數據優勢，需提升機器視覺目標檢測與雷達有效目標的檢測與篩選能力，本文對深度學習SSD算法進行改進，提升算法對于目標的探測能力，借助于雷達模擬器確定出雷達目標篩選的合適閾值參數，提取出有效的目標信息，并采用卡爾曼濾波對數據噪聲進行過濾，通過雷達數據生成目標的感興趣區域，由SSD算法對感興趣區域進行車輛檢測，消除了雷達的誤檢測，同時也縮小了圖像檢測范圍，從兩方面對于車輛檢測的準確性進行了提升。

1 機器視覺車輛檢測算法

1.1 改進SSD算法

傳統目標檢測算法雖可以對車輛特征進行提取，但由于車輛信息特征復雜，行駛環境不確定的因素，往往檢測結果的準確性與魯棒性較差，本文通過改進的SSD深度學習算法對目標車輛進行檢測，通過多次訓練和學習，多層卷積網絡可對車輛特征進行提取，在目標的檢測方面深度學習算法具有較高的精度[7]。

SSD算法為端對端的目標檢測算法，以直接回歸的方式進行分類和定位，檢測速度相比于其它深度學習算法較快，它的網絡架構與Faster rcnn類似，相比于Faster rcnn算法，檢測速度雖得以提升但是犧牲了目標的檢測精度，尤其是對小目標的識別能力[8]。本文對SSD算法進行了改進，對網絡中淺層特征圖進行圖像分辨率重建，增加特征圖像的分辨率，并刪除冗余的候選框尺寸，保證檢測速度的同時提升對小目標的檢測能力。

淺層特征圖進行圖像分辨率重建過程如圖1所示，包含了特征提取、縮小、特征映射擴充和反卷積操作，可將低分辨率圖像映射為高分辨率圖像。網絡的輸入為SSD VGG16主網絡中conv4-3卷積層提取的特征圖像，特征圖像FP1經過圖像縮小降低維度以及非線性特征映射去除冗余的特征參數得到特征圖像FP2，再將特征圖像FP2擴充至原來圖像維度，然后由反卷積層重建出高分辨率圖像。

圖1 圖像分辨率重建結構圖

為提升算法檢測速度，本文對樣本候選框長寬比以及卷積層的關系進行了研究，通過選取5000個圖片樣本進行測試，得到候選框長寬比與卷積層的對應關系如圖2所示。

圖2 候選框尺度分布圖

對實驗數據進行分析，可以得到候選框長寬比為1/3的候選框設置匹配率較低，甚至測試結果中出現一些誤檢。其次在卷積層conv10-2進行特征提取后候選框分布變化很小，即為冗余的卷積層。因此在算法中將刪除寬高比為1/3的候選框以及conv10-2卷積層。刪除冗余后的特征提取網絡結構與超分辨率重建結構的特征進行融合就構成了改進SSD算法的網絡結構，如圖3所示。

圖3 改進SSD算法網絡結構圖

1.2 車輛檢測結果測試

為獲得SSD網絡學習的訓練集，在車輛上安裝高清攝像頭，采集不同路況下的車輛圖片，訓練集圖片如圖4所示。

圖4 采集的車輛圖片

然后利用標注工具對圖片訓練集進行標注，形成xml標注文件，在Ubuntu系統中對SSD網絡學習框架進行配置，計算機的硬件資源是CPU為i7-8700K、顯卡為 NVIDIA GeForce TX1080Ti、顯存為 8 GB、硬盤容量為 512GSSD+2 TB，依次配置Tensorflow、 Anaconda、 Opencv、 Cuda、 Cudnn 和SSD資源，配置成功后輸入學習文件對網絡進行訓練。

模型訓練完成后，調用SSD算法對圖片中的車輛進行識別，識別結果如圖5所示。通過BITVehicle車輛數據集對算法準確率進行測試，以平均準確率mAP為評價指標[9]，測試結果如表1所示。

圖5 SSD算法與改進的SSD算法車輛檢測結果對比圖

表1 車輛數據集測試結果對比表

通過檢測準確率的結果對比，改進后的SSD算法提升了車輛識別的置信度，對于近距離和遠距離的車輛都有了較好的檢測效果。但是，在車輛行駛與城市工況，算法會將護欄、樹木、灌木等類似車輛特征的物體誤認為目標車輛，存在一定的誤檢，如圖6所示。

圖6 復雜環境下改進的SSD算法車輛檢測結果

為了進一步提升車輛的檢測精度，實現目標的精確定位，下面將雷達數據與改進的SSD算法相融合進行車輛檢測，以更好滿足ADAS系統的要求。

2 雷達有效目標確定

2.1 雷達信號預處理

毫米波雷達工作波段為毫米波波段，具備微波制導與光波制導的優點，工作過程中能夠同時探測到多個障礙物的距離、速度、角度等信息，受限于雷達工作的不穩定性、金屬障礙物的干擾、回波能量的不均勻等因素的影響，探測結果中常?；煊袩o效目標、靜止目標和非危險目標[10]。

為確保攝像頭和雷達融合結果的準確性，前提要保證雷達探測目標的有效性。無效目標持續時間段，連續次數少，可設定目標生命周期濾除此類目標；靜止目標多為樹木、護欄等固定目標，反射能量往往與車輛相差較大，通過設定RCS閾值進行過濾；非危險目標可通過目標的橫向距離和縱向距離信息進行過濾，去除不在危險區域內的目標。

本文選用大陸ARS408雷達，雷達的參數如表2所示。信息通信方式為CAN通信，加載雷達dbc文件，對雷達的信息數據進行解析，得到目標的距離、速度、角度、反射截面積等信息，通過設定lifetime、RCS、Distance和Azimuth的參數閾值對目標進行過濾和篩選，得到有效目標的信息數據，合適參數的閾值將通過具體工程實驗進行確定。

表2 雷達參數表

2.2 雷達數據信息濾波

獲取雷達有效目標之后，數據中會存在一定的系統噪聲和觀測噪聲，本文采用卡爾曼濾波算法對目標數據進行過濾以減少跳動誤差，提高數據精度[11]。

3 多傳感器信息融合車輛檢測

3.1 雷達預處理參數閾值確定

在對雷達數據進行有效目標篩選時，為了確定lifetime、RCS、Distance和Azimuth參數的合適閾值，本文采用NI雷達模擬器對不同目標進行模擬，觀測不同參數下雷達對目標的探測結果。目標信息采集過程，如圖7、圖8所示。

圖7 雷達模擬器

圖8 探測目標信息采集

對雷達進行安裝時，利用模擬器對雷達的chip波進行抓取，確定雷達的波束中心點，通過上位機軟件設定不同目標，通過CAN卡對雷達輸出結果進行采集，雷達探測的結果如圖9、圖10所示。

圖9 動態目標模擬時雷達探測結果

圖10 Lifetime參數對雷達探測結果的影響

從測試結果中觀測，當lifetime參數設定為0.1 s時，雷達能夠過濾絕大多數噪聲目標，過濾效果比較理想；家用轎車的RCS值一般為5 dB，選取RCS值大于5 dB的目標進行篩選，以去除非車輛目標[12]；我國道路寬度標準為3.75 m[13]，通過Distance和Azimuth確保雷達縱向60 m，橫向5 m區域內的目標進行探測。

確定有效目標之后，采用卡爾曼濾波算法對數據信息進行濾波處理，將濾波處理的數據與實際數據進行對比，得到算法的估計誤差，濾波結果如圖11、12所示。

圖11 卡爾曼濾波對目標距離的跟蹤曲線

圖12 估計位置誤差與觀測位置誤差對比曲線

圖11為卡爾曼濾波算法對雷達數據的處理結果曲線，經過濾波處理之后，卡爾曼濾波算法可對目標數據進行穩定追蹤，相比于雷達的模擬數據，經過濾波處理的數據跳動誤差有所減少，對過程噪聲和量測噪聲起到了一定的抑制作用。圖12數據的誤差曲線，原始觀測數據的誤差最大為0.45 m，經過濾波處理之后，誤差最大為0.3 m，并且跳動的幅度明顯好于原始觀測數據，提升了目標數據的精度。

3.2 攝像頭和雷達聯合標定

確定雷達預處理的合適參數閾值后，將雷達與攝像頭分別安裝于實車上，對前方行駛環境進行感知，安裝位置如圖所示，雷達固定于車輛保險上方，攝像頭固定于汽車前擋風玻璃下，傳感器安裝如圖13所示。

圖13 攝像頭和雷達實車安裝位置

安裝完成之后，對傳感器的參數進行標定，通過攝像頭對不同距離和姿態的標定板進行采集，然后對圖片中的棋盤格角點進行檢測，利用張正友標定算法，得到相機的內外參數，并對校正采集圖像中的畸變。

由于攝像頭與雷達的安裝位置不同，在進行數據融合之前，需要對兩者傳感器數據進行空間數據的統一，確保兩者采集的數據在同一個坐標系之下。傳統算法通過相機坐標系、雷達坐標系和世界坐標系三者的轉換進行統一，但因雷達和攝像頭安裝點之間的距離參數難以精確測量，并且坐標轉換公式復雜，轉換結果并不理想[14]。

為了快速確定雷達與攝像頭的轉換關系，本文采用曲線擬合進行完成，主車處于靜止狀態下，駕駛一輛目標車在車輛危險區域內由近及遠的運動，啟動攝像頭車輛識別算法對目標車輛進行識別，記錄下目標車輛檢測中心的圖像坐標和雷達數據信息，去除數據中的異指點，基于Matlab的曲線擬合工具箱對數據進行擬合[15]，擬合結果如圖14所示。

圖14 曲線擬合關系曲線

圖14為圖像的像素坐標和目標距離的擬合關系曲線，通過多項式對數據進行擬合，得到結果：

標定完成后，對標定結果進行測試，選取不同數據點形成測試集，測試結果如表3所示。

表3 標定結果的圖像殘差值和總體誤差

從表中標定誤差的對比，傳統聯合標定的總體像素誤差為0.3712，本文標定的總體像素誤差為0.2713，相比于傳統的標定算法，誤差要小，標定精度較高。

3.3 信息融合的車輛檢測

雷達數據借助Cancase進行采集，由Simulink的CAN解析模塊對雷達信息進行解析，通過有效閾值參數得到雷達有效目標信息，根據式（8）將雷達數據轉換成圖像坐標信息，由UDP通信協議發送至圖像處理程序，生成目標的感興趣區域，信息數據的采集如圖15所示，感興趣區域生成如圖16所示。

圖15 信息數據的采集與通信

根據雷達數據生成的感興趣區域，輸入雷達適配參數后可以對護欄、樹木和安全區域的車輛進行過濾，由感興趣區域的坐標信息，設計圖像的蒙板，提取出圖像中目標的感興趣區域，然后調用SSD目標檢測算法對感興趣區域進行車輛檢測，以剔除感興趣區域的非車輛目標，并且進一步收縮車輛外形的識別邊框。融合算法流程圖如圖17所示，檢測結果，如圖18所示。

圖17 信息融合車輛檢測流程圖

圖18 車輛檢測結果

3.4 信息融合的車輛檢測

受限于雷達有效目標的選取，信息融合車輛檢測算法只對本車道和相鄰車道距離為0.2 ～60 m范圍內的目標車輛進行檢測，通過采集晴天、陰天、夜晚（有光照）等不同天氣條件下的2000張視頻圖片進行前方車輛檢測，采用車輛檢測準確率（true position rate，TPR）和誤檢率（false detection rate，FDR）對算法的有效性進行評價[16]，計算公式為：

式中：TP——分類器檢測出的車輛數；

AP——實際車道中的車輛總數；

FP——被分類器誤檢為車輛的數目。

表4為信息融合算法在不同天氣條件下的檢測結果，在晴天、陰天和夜晚有光照的情況下，對于目標車輛檢測的準確率分別達到了95.3%、93.8%和91.7%，誤檢率分別為0.3%，0.4%和0.6%，相比于單傳感器車輛檢測的準確率得以提升，實現了前方目標車輛的精確感知。

表4 車輛檢測準確率對比表

4 結束語

1）配置SSD深度學習框架，并對算法網絡結構進行了改進，制作汽車數據集進行學習訓練，提升了算法對于車輛的檢測精度。

2）對雷達數據進行處理，確定合適的閾值參數，得到有效目標信息的信息數據，根據標定公式生成目標存在的感興趣區域。

3）采用攝像頭和雷達信息融合技術對前方車輛進行檢測，并對測試結果進行測試，對于晴天環境中車輛的檢測準確率最高達到了95.3%，實現了車輛的準確檢測，提高了輔助系統預警的精確性。