基于機器視覺和深度學習的車輛碰撞預警算法研究

申海洋，霍魁，王德喜

（1.巢湖學院 電子工程學院，安徽 合肥 238024；2.山西大學 物理電子工程學院，山西 太原 030006；3.科大智能科技股份有限公司，安徽 合肥 230088）

0 引言

在引發車輛交通事故的眾多因素中，因跟車距離過近、剎車反應不及導致的追尾事故以及旁邊車道車輛并入本車行駛車道，引起的側面碰撞事故占了較大的比例［1］。因此，對上述兩個因素引起的碰撞進行預警研究，對預防和減少事故發生具有重要的意義。

國內外學者在車輛防碰撞預警領域展開了很多研究，究其方法可分為基于激光、毫米波雷達的防碰撞技術研究［2］和基于機器視覺的防碰撞算法研究［3］?；诩す?、毫米波雷達的防碰撞技術對靜態物體識別存在較大的困難，且該類技術需要相應的物理設備支持，設備投入成本較高，設備后期的維護更新需要耗費較多的人力物力。相比而言，基于機器視覺的車輛防碰撞算法的優點是能檢測、識別靜態障礙物，算法適應性強且設備成本低、便于維護。因此，該類算法成為當前研究的熱點。

袁守利和郭錚［4］研究提出根據駕齡、疲勞強度和應變能力來計算駕駛員反應時間構建的車輛碰撞預警模型，其缺陷是：在其數學模型中，駕駛員反應時間這一參數，因人而異，具有一定的變化性，導致該算法適應性不足。蔡創新等［5］提出車路視覺協同的高速公路防碰撞預警算法，將檢測出的車道線和所駕駛車輛車速作為輸入參數來構建安全距離模型，以設定預警安全區域，通過前車位置和安全距離模型對碰撞預測。該算法對自身車速的測算是以標準化車道線為前提，這與現實路況存在一定差異，所得速度不夠準確，另外算法中車道線的檢測受環境因素影響較大。Hiraoka 和Takada［6］提出利用“避撞減”參數來預測與前車的碰撞概率，該算法以前車勻速行駛作為前提，這與實際駕駛情形不符，使碰撞預測準確度受限。

綜上所述，目前研究存在的問題主要集中在無法有效識別靜態物體，不同交通場景下算法適應性不強等方面。針對上述問題，為實現對靜態目標的識別，同時提高碰撞預測的準確性和算法的適應性，本文提出一種基于機器視覺和深度學習的車輛碰撞預警算法。算法的主要思想是通過前置高清攝像頭采集車輛前方路面圖像后，根據不同車速，在圖像中設置不同范圍的安全區域，再利用深度學習卷積神經網絡CNN［7-8］對圖像中車輛目標進行追蹤和檢測。最后，結合安全區域和車輛檢測結果對追尾碰撞預警。算法的總體流程如圖1 所示。

圖1 碰撞預警算法總體流程圖Fig.1 Overall flow chart of collision warning algorithm

文章提出的車輛防碰撞算法創新點在于：

1）聯合使用基于模板的直線檢測方法和霍夫變換較好地實現了對車道線的檢測；

2 ） 提出基于車速的多尺度安全區域構建，更加符合實際駕駛中不同車速對安全距離要求，適應性強；

3） 使用深度學習卷積神經網絡對車輛目標進行檢測，在滿足檢測精度的同時也提高了檢測速度，滿足預警算法實時性要求；

4） 通過檢測出的車輛目標和安全區域的位置關系來對碰撞進行預警，同時實現了追尾碰撞和側面碰撞兩種不同類型的威脅預警。

1 安全區域構建

車輛發生碰撞事故的主要原因有如下兩點：其一是和前車沒有保持有效的安全距離，在駕駛員進行制動后車輛由于慣性會繼續行駛，如果距離前車過近則會發生碰撞；其二是車輛行駛中，相鄰車道車輛突然侵入本車行駛車道從而引起側面碰撞事故。在分析上述原因后，提出構建安全區域的方法，通過檢測是否有車輛侵入安全區域來對碰撞進行預警。安全區域構建算法的實現步驟如下：

第一步：使用基于模板的方式檢測直線段，利用形態學方法對車道線進行校準、接續，最后，再使用霍夫變換檢測出車道線；

第二步：在圖像上標定車輛前方距離，設定多個不同距離的入侵線；

第三步：通過傳感器獲取實時車速后，根據車速選擇安全區域前端入侵線；

第四步：使用檢測到的車道線和入侵線構建梯形安全區域。

1.1 車道線檢測

車道線的檢測是構建安全區域的重要前提，對車道線檢測相關技術的研究，也一直是當前研究的熱點。目前，車道線檢測算法以基于灰度特征的線段檢測居多［9］?；诨叶忍卣鞯能嚨谰€檢測算法的實現，主要依據的是公路圖像中的車道線灰度值和路面灰度值的差異性。因此，車道線的提取，常采用對圖像進行濾波去噪、灰度化的預處理后，再通過設定灰度閾值的方法來提取車道線。該算法在路況良好且車道線和路面灰度反差較大時，可以一定程度上提取出車道線。但是，一旦圖像中出現和車道線灰度接近的物體時，檢測效果就會受到嚴重干擾?；诰€段檢測的車道線檢測算法常使用霍夫變換［10］及其改進型算法來實現，即對圖像進行霍夫變換以檢測圖像中的線段。該類算法存在一個普遍的問題：檢測到的線段存在較多的短線干擾，難以對車道線進行準確定位。針對上述問題，本文研究提出了一種新的車道線檢測算法，算法具體實現流程如下：

第一步：對原始圖像設定ROI 區域，對圖像進行剪裁以減小算法運算量；

第二步：對圖像進行直方圖均衡化處理，提高明暗對比度；

第三步：實施基于模板的線段提取算法；

第四步：使用霍夫變換檢測圖像中的長直線作為車道線。

其算法流程如圖2 所示。

圖2 車道線檢測算法流程圖Fig.2 Flow chart of lane detection algorithm

車道線檢測算法具體實施如下：

（1） 圖像剪裁

文章中使用安裝在駕駛艙前側的高清攝像頭采集車前方圖像，所采集到的圖像中除路面信息外還包含了天空、信號燈架、綠化帶等信息，這些信息對碰撞預警而言是冗余的，因此，首先對視頻幀進行剪裁處理以獲得感興趣區域ROI，如圖3 所示。

圖3 視頻幀ROI設定 （a）原始視頻幀 （b）感興趣區域圖像Fig.3 Setting the region of interest in the video frame.(a) Original video frame; (b) Region of interest image

圖像保留了必要的路面信息，刪除了部分無關的冗余信息。通過這樣的處理，能夠有效地減少算法的計算量，提高算法運行速度。

（2） 直方圖均衡化

在攝像頭采集到的原始視頻幀中，因電子熱運動，會不可避免地產生一定椒鹽噪聲，對后期圖像分析產生不利影響。因此，需要對圖像進行去噪處理。在獲得視頻幀的ROI 后，對彩色圖像灰度化處理，再使用自適應濾波器對圖像進行濾波處理，減輕噪聲的影響。在對大量路面圖像進行分析后發現：我國公路以柏油馬路和水泥道路居多，彩色圖像灰度化后，車道線和路面的灰度值較為接近。尤其是當光照較強時，會因路面反光導致路面灰度上升，接近車道線的灰度，導致圖像整體的對比度不高。因此，在進行車道線檢測之前，需要對圖像進行直方圖均衡化［11］處理，以提高圖像整體對比度。

直方圖均衡化以灰度變換為手段增強圖像對比度。首先，將灰度值歸一化到［0-1］的連續范圍內，用pr（r）表示圖像中的灰度級概率密度函數，在離散的數字圖像中，則用pr（rj）來表示，其含義是圖像中灰度值為j的像素個數占整幅圖像全部像素總數的比例，采用累積分布函數輸出的圖像灰度級分布s進行變換，如公式1 所示：

鑒于圖像的離散型，在本文算法中，將調整后的視頻幀的灰度級分布記為SK，其結果如公式2 所示：

其中pr(rj)，j=0，1，2，…，L-1，L是視頻幀灰度級直方圖。

對視頻幀進行直方圖均衡化處理結果如圖4 所示。

圖4 視頻幀直方圖均衡化（a）原始圖像； （b）原始圖像直方圖； （c）直方圖均衡化處理結果； （d）直方圖均衡化Fig.4 Histogram equalization of video frames(a) Original image; (b) Histogram of the original image; (c) Effect of histogram equalization; (d) Histogram equalization

原始圖像整體灰度暗淡，車道線和路面環境灰度比較接近。由原始圖像的直方圖可見，灰度主要集中在100～200 的區間范圍內，圖像整體對比度較差。經過直方圖均衡化處理后，視頻幀的對比度得到增強，車道線灰度得到提升，路面整體灰度被降低，在圖像中車道線變得更加醒目。

（3） 基于模板的線段檢測

在完成視頻幀ROI 區域設定、直方圖均衡化后，就要對車道線進行檢測，在圖像中車道線呈直線狀，因此本文先使用一種基于模板的線段檢測算法，對圖像中的不同方向不同長度的線段進行檢測，以初步定位車道線位置。其算法如下。

首先，將視頻幀像素點3×3 鄰域中的全部9 個像素點同模板里相應位置的參數進行相乘，再對相乘的結果進行累加，累加的結果用于更新當前像素點的灰度值，遍歷整個視頻。

由于圖像水平方向不會存在車道線，因此算法對于水平方向的直線不予檢測，只從圖像中垂直方向、左上方、右上方對直線進行檢測。對于上述三個方向的直線檢測，算法使用了以下3 個模板：

檢測效果如圖5 所示。在圖像中檢測出了多條直線，尤其是當前車輛所在車道的車道線被較好地檢測出來，另外兩側車道的車道線也能被檢測出來。

圖5 基于模板的線段檢測Fig.5 Line segment detection based on template

由結果可見，圖像中水平方向的直線段并沒有被檢測和顯示，這減小了算法的運算量外，也降低了水平方向線段對車道線判斷的干擾。存在的問題是，部分較短的線段和右側綠化帶邊緣被檢測出來。最終，影響對車道線的判斷。

（4） 霍夫變換車道線檢測

通過上一步已經完成了對圖像中直線段的檢測，并對檢測到的間斷分布、處于同一直線上的車道線進行擬合延伸。但是由于檢測出多個直線段，因此仍無法準確判定車道線。通過觀察可見，在檢測出的直線段中當前車道的車道線，其長度較長且呈現出左右對稱的分布特征。因此，只要能對圖像中最長的兩條直線進行定位即可初步確定車道線位置。本文采用霍夫變換來對長直線進行檢測定位。

霍夫變換，由Paul Hough 于1962 年提出，該算法是數字圖像處理領域用于檢測幾何形狀的經典算法。它利用圖像中點線之間的對偶性，通過Hough 變換公式，如公式3 所示，將圖像中的曲線或直線轉換為參數空間的一個點，通過檢測參數空間點的位置來確定其對應曲線在原始圖像中的位置。

首先，對步驟（3）的輸出結果進行霍夫變換，在變換后的矩陣中檢測出較大的5 個極值點，用以對直線段進行定位。其次，繪制出直線，利用MATLAB 圖像工具箱的houghlines（）函數獲取線段端點，標注最長的兩條直線，實現了車道線的檢測，如圖6 所示。

圖6 基于霍夫變化的車道線檢測（a）霍夫變換； （b）檢測到的車道線Fig.6 Lane detection based on Hough change(a) Hough transform; (b) Detected lane line

實驗結果可見，車輛當前所在車道的車道線被較為準確地識別出來。

1.2 基于不同車速的安全區域構建

在完成車道線的檢測工作后，開始安全區域的構建。本文車輛碰撞預警算法構建的安全區域由車道線和車輛前方入侵線構成的圖形區域組成，其中前方入侵線的設定由安全車距決定。首先，根據實際測量的距離，對不同車距的入侵線在視頻幀ROI 中進行標定和校準，如圖7 所示。

圖7 入侵線標定模型Fig.7 Model of calibrating intrusion line

通過實際測量的距離，分別標定10、30、50和100 m 的位置，并在相應位置設置好入侵線，如圖中虛線所示。當物體位于10 m 入侵線處，即線1 處，其離車頭的距離近似為10 m，同理，線2、3、4 分別對應距離車頭30 m、50 m 和100 m。以上距離是依據我國《道路交通安全法實施條例》［12］和實際駕駛中采用的兩秒定律（two-second rule）而設定的，協助駕駛者在理想的駕駛環境中判斷避免追尾碰撞的最小安全距離。

我國《道路交通安全法實施條例》第八十條規定，機動車在高速公路上行駛，車速超過每小時100 km 時，應當與同車道前車保持100 m以上的距離，車速低于每小時100 km 時，與同車道前車距離可以適當縮短，但最小距離不得少于50 m。據此，設定了100 m 和50 m 的入侵線。在城市道路行駛時，交通法規并沒有明確要求，一般來說車速達到30 km/h 時車距不低于30 m，車速在30 km/h 以下時跟車距離要保持在10 m 以上。

完成入侵線標定和校準后，結合實時檢測到的車道線以及當前的車速來構建安全區域。

不同的車速有不同的安全距離要求，相應的安全區域也不同，因此車速的獲取對碰撞預警效果的好壞影響較大。在車速檢測領域部分研究者運用機器視覺方法結合通過檢測線的幀數，采樣時間，檢測線的長度等參數來對車速進行測算［13］，該算法在攝像頭靜態狀態下，在地面預設檢測線的前提下，檢測其他車輛車速有一定的作用。但是在本車運動狀態下對本車速度的計算是待以解決的難題，目前尚未有理想的解決方案。因此，為獲取到準確的車速，本文通過使用FPGA 開發板從車輛OBD［14］接口連接車輛主機，獲取車輛的實時車速。

獲得本車當前車速后，緊接著根據不同車速區間來設定不同的安全區域。如圖8（a）所示，當前車速25 km/h，跟車距離應不小于10 m，結合檢測到的車道線構建了一個安全區域。

圖8 不同車速下的安全區域設定（a）車速25 km/h的安全區域； （b）車速30 km/h的安全區域Fig.8 Safety zone setting based on different vehicle speeds(a) Safe area with speed of 25 km/h; (b) Safe area with speed of 30 km/h

在圖8（a）中，梯形區域就是當前速度下的安全區域，左右是檢測到的車道線，前方是10 m入侵線。當車輛侵入安全區域時，則發出碰撞預警。

當車速提高到30 km/h 以上時相應的安全區域就會更新，如圖8（b）所示，安全區域就會擴大，前方入侵線更新為30 m。

同樣的方法，算法自適應地在不同車輛行駛速度下構建對應的安全區域以滿足不同車速下的碰撞預警的需要。

2 基于深度學習的車輛目標進行檢測

在完成車輛行駛安全區域的構建后，為了進行碰撞預警就要對道路上的車輛目標進行檢測，對車輛的位置進行定位，判斷車輛和安全區域的位置關系以決策是否具有碰撞風險。

如何準確、快速地在復雜的交通流檢測出車輛目標是解決問題的關鍵。目前對車輛目標的檢測主要有如下兩個方面：其一是通過傳統手動提取目標特征對目標進行檢測的方法。例如提取邊緣方向直方圖等特征，再遍歷整幅圖像對特征進行匹配來檢測目標，這樣的方法計算量大，實時性不夠，對于目標多樣性變化的檢測效果不好，魯棒性較差。其二是當前日益成熟的基于深度學習的目標檢測算法中，深度學習卷積神經網絡及其改進算法在車輛目標檢測領域取得了較好的效果，成為當前研究的熱點。

碰撞預警關乎駕駛者的生命安全，對車輛檢測準確性和實時性要求極高，因此文本采取卷積神經網絡CNN（Convolutional Neutral Network）網絡模型對車輛目標進行檢測以滿足檢測精度和速度的要求。

2.1 卷積神經網絡簡介

CNN 是機器學習算法中的經典算法之一，其在視覺識別、語音識別領域有著廣泛的應用。隨著深度結構在特征提取上的研究深入化，同時，伴隨著計算機性能的不斷提升和大數據云計算技術的發展和應用，CNN 在圖像識別、目標追蹤領域取得了重大突破。

卷積神經網絡的基本架構是由對目標進行提取的特征提取器和對目標進行分類的分類器這兩個部分構成。在特征提取器的設計中，采用了多個卷積層和池化層，對輸入目標的特征進行提取、處理，處理過程中不斷縮小特征圖。特征提取器后面連接由多層感知結構的分類器，最終由特征圖構建特征向量輸入到后層分類器。

2.2 車輛目標的檢測

為快速、準確地檢測車輛目標，文章采用Faster R-CNN（ Faster Regions with Convolutional Neural Network）對車輛目標進行檢測［15］。算法的核心是對CNN 卷積神經網絡構建和訓練，完成該項工作后即可用于對車輛目標進行檢測。

其算法總體結構分為卷積神經網絡的構建和訓練以及調用CNN 檢測車輛目標兩個部分，如圖9 所示。

圖9 車輛目標檢測算法流程圖Fig.9 Flow chart of algorithm for vehicle target detection

2.2.1 卷積神經網絡的構建和訓練

第一步：構建圖像數據集。事先采集一定數量的圖像并對圖像中的車輛目標進行標注，構建圖像數據集。為了提高CNN 的魯棒性，必須獲取一定規模的訓練數據，本文在不同場景下采集了1000 幀含有車輛的圖像，除自主采集到圖像數據集外，本文還在VISDRONE 數據集［16］中選擇了1000 張含有車輛的圖像和UADETRAC［17］數據集中的1000 張圖像，一并構成本文使用的數據集，部分數據集圖像標記如圖10 所示。

圖10 車輛圖像標記Fig.10 Vehicle image marking

第二步：加載預先構建好的圖像數據集，用于訓練。

第三步：構建卷積神經網絡。CNN 是車輛目標識別的核心，其由輸入層、中間層和網絡層構成。本文使用的CNN 由MATLAB 神經網絡工具箱來實現。首先，定義網絡輸入層，設定CNN 的類型和維度，再對網絡中間層進行定義，接著定義輸出層，最終構建出卷積神經網絡。

第四步：利用CNN 網絡進行訓練。完成CNN 網絡的構建后，再對CNN 網絡進行訓練，將數據按標號，將70%劃分用于訓練，后30%用于測試，文章采用trainFasterRCNNObjectDetector 函數來訓練R-CNN，對運行性能進行了優化，最終得到了訓練好的卷積神經網絡。

2.2.2 車輛目標的檢測

完成卷積神經網絡的訓練后可用于對車輛目標的檢測，其具體檢測過程如下：

第一步：通過攝像頭采集到車輛前方視頻幀。

第二步：設定ROI 區域，采用檢測車道線時已分割出的圖像區域作為檢測對象，減少道路兩側停車位上的車輛或其他不在道路上的車輛對檢測結果的影響。

第三步：調用訓練好的卷積神經網絡對車輛目標進行檢測。文章對算法進行了實測，結果如圖11 所示。在圖11（a）中，可見在本車行駛車道前方有一輛小型汽車，右方車道有一輛小型汽車，兩輛汽車都被準確地檢測到，并進行標注。再將算法應用到更復雜的場景中，如圖11（b），也得到了較為理想的檢測結果，除本車同向行駛的兩輛SUV 被檢測出外，左側對向車道中的四輛汽車含一輛公交車被檢測出來并分別進行了標注，其中最左側車輛和較遠處車輛得分相對較低，但也能被識別并標注出來。檢測結果和實際情況相符，實踐證明本文基于深度學習卷積神經網絡的車輛目標檢測算法在對車輛目標的檢測上具有較高的準確率。得益于數據集的獲取和CNN 模型的優化設計，算法較好地實現了對車輛目標的檢測且檢測速率達到了每秒35 幀，可滿足本文碰撞預警算法的需求。

圖11 車輛目標檢測測試（a）簡單交通場景測試； （b）復雜交通場景測試Fig.11 Vehicle target detection test(a) Testing in simple traffic scenarios; (b) Testing in complex traffic scenarios

3 碰撞預警模型說明

在完成對視頻幀中車輛目標的檢測后，記錄下車輛的位置信息，結合當前車速下的安全區域即可實現對預碰撞的預警。碰撞預警檢測采用的模型如圖12 所示。

圖12 碰撞預警檢測模型Fig.12 Detection model of collision warning

在碰撞模型中，安全區域由車道線當前入侵線構成。

以當前車速為30 km/h 時碰撞預警為例，說明碰撞預警的檢測原理：當車速30 km/h 時，入侵線距離本車30 m，由此構建了安全區域如圖12 中梯形區域所示，通過基于深度學習卷積神經網絡在視頻幀中先后檢測到三個汽車目標，分別記作車輛1、車輛2 和車輛3。圖中車輛1位于安全區域外，則表示本車和車輛1 暫無碰撞風險；車輛2 侵入安全區域，這時車輛2 已經離本車過近，在當前車速下有追尾碰撞風險；右側車道的車輛3 從車道線侵入安全區域，表示車輛3 和本車有側面碰撞的風險。

通過上述方法在車輛行駛的過程中，不斷地對車道線進行檢測，根據車速及時更新安全區域，實時追蹤視頻中的車輛目標，結合碰撞預警模型對碰撞進行預警。

4 實驗與結果分析

文章采用的硬件環境：Core i7-10750H @2.60 GHz 六核處理器；16 GB 內存；Nvidia Ge-Force GTX 1650 Ti 顯卡；視頻采集設備：DJFC21030。

為了對本文車輛碰撞預警算法的有效性進行驗證，在實際交通流中進行多場景的測試。測試在不同車速下，不同路況下算法的有效性，驗證算法的魯棒性。

以圖13 為例，對兩個不同車速下碰撞預警算法進行了驗證，在圖13（a）中本車車速35 km/h，距前車距離小于30 m 的安全距離，算法檢測到當前車道前方有一輛汽車已經侵入安全區域內，當前有碰撞風險，發出預警。

圖13 碰撞預警測試（a）車速35 km/h 測試結果； （b）車速15 km/h 測試結果Fig.13 Test of vehicle collision warning(a) Test results at 35 km/h; (b) Test results at 15 km/h

圖13（b）中，車輛需要左轉，因需要等待左轉信號減速到15 km/h，此時入侵線設定為10 m，檢測到前方車輛位于當前的安全區域外，也無其他車輛在安全區域內，此時認為當前車輛暫無碰撞風險。

將本文算法模型定點化后部署在Xilinx PYNQ Z2 FPGA 上運行，在多種不同路段對車輛碰撞預警算法進行測試，測試結果統計如表1 所示。

表1 碰撞預警實測結果統計Table 1 Statistics of measured collision warning results

當車輛行駛在城市快速路、市內道路和高速公路時，本文對碰撞預警的查準率分別達到了94.7%、90.6% 和95.7%，查全率分別為90.5%、87.6% 和92.2%。由于市內道路車輛較多、路況復雜且眾多駕駛員的駕駛水平和習慣良莠不齊，導致算法在市內道路的結果數據準確率不及快速路和高速公路。綜上所述，實際實驗結果表明，本文研究提出的基于機器視覺和深度學習的車輛碰撞預警算法檢測速度快、預警準確率高；且可以實現對車道上靜態車輛的檢測，一定程度上解決了當前汽車“高級駕駛輔助系統”（Advanced Driving Assistance Systems，ADAS）［18-19］中使用毫米波雷達面臨的對靜態障礙物檢測能力不足的問題，能滿足實際駕駛中碰撞預警的需要。

5 結論

本文提出利用機器視覺和深度學習的方法實現車輛碰撞預警，一定程度上解決現有研究對靜態目標識別困難、算法適應性不強等問題。以構建安全區域模型、檢測車輛目標為核心手段，最終通過車輛和安全區域位置關系作為碰撞預警的依據。算法利用圖像處理方法結合優化的卷積神經網絡對車輛目標進行檢測，最終實現了車輛碰撞預警功能。實驗結果表明，在不同交通環境中都達到了較高的識別率，充分驗證了本文算法的有效性和魯棒性，將其應用在車輛駕駛中能有效地實現碰撞預警的目的。

同時，在研究中也暴露出一些問題：在復雜場景下，如有行人或者自行車、電動車、三輪車等非機動車目標出現在車道上時，檢測效果受到影響；在對車輛車距進行標定時，會因車道不標準或天氣原因帶來一定的誤差，影響車距標定的準確性。導致入侵線設置不夠精細化。因此在后期的研究中需增加對車輛目標以外的其他目標，如行人，非機動車，雪糕筒等的檢測功能，另外擬采用姿態傳感器和激光測距儀對入侵線進行實時的標定以提高安全區域設定的準確性。