一種車輛側后方監控信息抬頭顯示系統

于善義, 曹 凱, 張仁永

(山東理工大學 交通與車輛工程學院， 山東 淄博 255091)

在越來越擁擠的道路上駕車.駕駛員在轉彎、換道過程中要不斷環顧四周交通狀況，視線發生轉移，分散了對前方道路的注意力；由于存在后視鏡盲區和通過后視鏡觀察側后方車輛的距離和速度容易產生誤判等原因，發生與前方或側方的機動車、非機動車以及行人刮蹭或碰撞的交通事故日漸頻繁.為了讓駕駛員專注前方道路交通動態，集中精力駕駛車輛，有必要在車輛轉向或換道時，為駕駛員提供側/后方機動車、非機動車以及行人動態等道路交通狀況的平視信息，為此，設計開發車輛側/后方監控抬頭顯示系統對于減輕駕駛員在擁擠道路中的駕駛負擔，提高車輛行駛安全具有現實意義.

目前，一些高檔車上增加了平視信息顯示配置，個別車(如寶馬)還提供平視導航信息等[1-2].有關車輛側/后方道路狀況監控系統在不斷出現，具有代表性的系統是馬自達“ATENZA”配備的后方車輛監視系統(RVM)、日產的側向碰撞預防系統(SCP)、德國聯邦教育和研究部的HLCA系統、Mobileye的LCA/BSD 系統、沃爾沃的ELA 系統和Twente大學的VisionSense 系統等[3].這些系統共同特點是使用雷達作為主要手段對側/后方道路狀況進行實時監測，在車輛轉向和變道時，系統會通過語音或后視鏡上方的指示燈來提醒駕駛員注意.語音提示雖然不會產生駕駛員的視線轉移，但由于對道路狀況描述過于簡單，使駕駛員無法感受到周圍環境的危險程度；指示燈提醒存在語音提示同樣的問題，駕駛員必須移動視線才能得知提醒信息.

為了提高駕駛員對車輛側后方道路交通狀況識別能力，同時減輕駕駛員在擁擠道路中的駕駛負擔，本文提出了側后方車輛實時監測與平視信息顯示相結合抬頭顯示系統.該系統利用車輛位置、底部陰影和邊緣特征識別側后方目標車輛，得到目標車輛的外接矩和質心，將其作為跟蹤時的初始化搜索框；然后采用HSI色彩空間下改進的camshift算法對車輛進行跟蹤，得到目標車輛的位置信息；再由激光測距傳感器測得兩車之間的相對距離信息.車輛檢測過程采用先識別后跟蹤的方法，縮小了跟蹤過程中對目標車輛的搜索范圍，能夠有效的提高實時性及準確性.此外，采用激光傳感器測距方法[4]，減少了視覺測距的復雜程度，增加了測距的準確性.

1 系統的框架

該系統是由控制硬件和軟件組成，其中系統硬件包括視頻處理模塊，視頻采集模塊、視頻輸出模塊、存儲模塊、電源模塊、測距測角模塊、云臺、語音提示模塊、抬頭顯示模塊和控制模塊.視頻處理模塊采用了專門用于數據處理的TMS320DM642芯片作為視頻處理器；視頻采集模塊由SAA7113及CCD攝像機組成，主要進行視頻采集；視頻輸出模塊包括SAA7121H和液晶顯示器，用于視頻輸出；存儲模塊包括SDRAM和FLASH，其中SDRAM存儲視頻數據，FLASH存儲系統配置數據及程序；測距測角模塊使用激光測距儀和角度傳感器測量本車與目標車輛的相對距離及云臺轉過的角度；云臺采用高精度伺服電機，控制攝像機及激光測距儀的轉動，實現對目標車輛的實時跟蹤；語音提示模塊由語音處理芯片及喇叭組成，用于發布提示信息；抬頭顯示模塊由高亮LED和數碼管組成，將提示信息投射到前擋風玻璃上進行顯示；控制模塊使用增強型51系列單片機，實現對各功能模塊的驅動及控制.

圖1 系統功能流程圖

系統功能流程圖如圖1所示.本系統工作時，系統上電，DM642首先對EMIF、EDMA、SAA7113、SAA7121H等芯片進行初始化設置，同時51單片機對云臺、測距測角模塊、抬頭顯示模塊進行初始化.SAA7113將CCD攝像頭采集得到的模擬視頻數據轉換為數字視頻數據，并傳送到DM642的VP0口，然后通過EDMA傳輸到SDRAM中的采集緩存區，為防止數據沖突，建立臨時緩存區，CPU對臨時緩存區中的視頻數據進行處理，處理完成后再將視頻數據送往顯示緩存區，然后SAA7121H將數字視頻數據轉換為模擬視頻數據輸出.與此同時，DM642將處理后得到的目標車輛位置信息通過串口傳送至51單片機.51單片機控制云臺轉動，使激光測距儀指向目標車輛進行實時跟蹤測距，并測得云臺轉過的角度，將得到的數據傳回51單片機，判斷本車能否進行安全轉彎或變道，最后將提示信息傳送給語音提示模塊和抬頭顯示模塊輸出.

2 系統的基本算法

2.1 基于特征的車輛識別

車輛識別主要是依據車輛底部區域的亮度值明顯低于車輛其它區域以及車輛具有明顯的邊緣等特征[5]，為此，系統采用車輛的位置特征、底部的陰影特征和邊緣特征相結合的方式對目標車輛進行檢測.

2.1.1 道路區域和車道線的提取

道路區域和車道線的提取過程中，利用了車道線相對于路面具有更高的亮度和明顯的邊界的特性.在圖像處理前，為降低計算復雜度和噪聲的影響，首先將彩色圖像轉換為灰度圖像，再進行高斯平滑和中值濾波去除噪聲.圖2為圖像預處理的效果.

(a)灰度圖

(b) 中值濾波后圖像圖2 圖像預處理效果圖

預處理后的圖像利用Sobel邊緣提取算子提取邊緣.由于Sobel算子是計算求解梯度獲得圖像邊緣，因此，很難獲得連續的圖像邊緣.目前，大多通過尋找鄰近斷點，依據梯度相似性進行連接，或者增加邊緣點等方法.這些方法要么人工處理過多，要么對噪聲十分敏感.為此本文提出Sobel算子與網格分類組合的檢測方法：首先Sobel算子檢測圖像邊緣；然后在獲得的Sobel圖中，依照3個像素大小設定網格，并按照內部均勻、含有邊緣和含有紋理對網格進行分類，保留含有邊緣的網格，去除內部均勻和含有紋理的網格內的邊緣像素，以便去除噪聲.

從以上得到的圖像的底部向上掃描，如果沒有掃描到邊緣點，則獲得道路區域，否則，為非道路區域，這樣就獲得了道路區域(如圖3(a)).為了確定車輛兩旁車道內的目標車輛，在道路區域內使用Hough變換提取車道線，然后使用最小二乘法擬合計算出車道線的軌跡方程，從而確定目標車道(如圖3(b)).

(a)道路區域

(b) 車道線識別示意圖圖3 道路區域和車道線識別示意圖

在擬合計算出車道線相交的小區域內搜索目標車輛，就可以減小搜索范圍，提高檢測效率.

2.1.2 車底陰影區域的分割

基于視覺的車輛檢測方法有很多，如基于光流場方法，基于模型方法，基于立體視覺方法等等[6].這些方法要么對噪聲、光線變化較敏感, 實時性差，要么計算量大、成本高, 對車輛自身運動較為敏感.盡管光強及周邊環境會對車輛特征產生較大干擾, 但車輛下方的陰影區域在整個圖像中較暗,是一種較為魯棒的特征.

本系統通過對車底陰影區域的檢測來確定目標車輛.對于車底陰影的分割，首先要選擇合適的陰影閥值.這個閥值不是一個固定值，需要根據光照及路面條件來確定.對上述獲得道路區域的像素灰度值進行隨機采樣，利用樣本灰度直方圖計算出陰影閥值.依據計算出的陰影閥值對車底陰影進行分割.

由于路面的灰度值符合高斯分布[7]，因此在正常光照條件下，陰影閥值可以由道路灰度值的均值μ和方差σ2來確定.首先在道路區域隨機采樣n個像素點的灰度值，通過式(1)～(2)

(1)

(2)

計算樣本的均值和方差.一般情況下，車底陰影區域的灰度值會小于路面灰度值的均值，所以不能直接將路面灰度均值作為陰影閥值，以防止過多陰影分割，不利于車底陰影區域的提取.

經過試驗統計，車底陰影的灰度方差大于路面灰度方差，因此，陰影閥值可以設置在道路灰度減小到零的位置，由式(3)計算得出

X=μn-kσ

(3)

其中實驗表明當k取值為3時，分割車底陰影區域為最佳.

當路面較暗或者光照條件較差時，需要估計一個較大的陰影閥值.由于迭代法能夠減小噪聲的干擾[8]，因此這里采用迭代法確定陰影閥值.即首先確定一個初始閥值，然后按照如下步驟不斷改進這個閥值，直到改進后的閥值滿足設定的標準為止.

(1)在目標車道區域內找到灰度最小值gmin和最大值gmax.

(2)設迭代初始閥值為g=(gmin+gmax)/2.

(3)依據閥值g將目標車道區域按灰度劃分為R1和R2.

(4)分別計算兩組區域的灰度平均值μ1和μ2.

(5)計算μ1和μ2的均值，將該均值確定為閥值g的值.

(6)不斷重復步驟(3)～(5)，一直到μ1與μ2的差滿足給定的值為止.

圖4是利用上訴步驟對圖像進行處理后得到的陰影區域.

圖4 陰影區域

為了檢測后方目標車輛，在確定的目標車道內及在擬合計算出車道線相交的小區域以下，搜索滿足陰影閥值的陰影區域，從而確定目標車道內有車輛存在；如果無法找到滿足條件的陰影區域，則認為目標車道內無車.確定目標車輛底陰影區域后，再搜索陰影區域中寬度最大的行，作為定位目標車輛可能區域(感興趣區域ROI)的底邊，以底邊行的左右端點所在的列作為ROI的左右兩邊.

根據車輛的高度和寬度的比例，可以確定ROI上邊緣的搜索范圍[Emin,Emax]，一般來說，小型車高寬比例為0.7，大型車為1.4[9].由如(4)和(5)搜索范圍

Emin=Y-0.7W

(4)

Emax=Y-1.4W

(5)

其中：Y為ROI下底邊所在的行；W為ROI的寬度.

可以利用車輛邊緣輪廓特征，對圖像采用Sobel邊緣提取算子提取水平邊緣，在ROI內做水平投影，然后在[Emin,Emax]范圍內，自上而下進行搜索，找出滿足寬度閥值的行，將此行作為ROI的上邊緣，若不存在滿足條件的邊緣則認為后方目標車道無車.

為了跟蹤后方目標車輛位置，只檢測車底陰影得到ROI左右邊緣并不準確.為此，在ROI內對圖像采用Sobel算子提取豎直邊緣，并做垂直投影.然后分別從左邊緣和右邊緣向ROI中心掃描，找到滿足閥值的最大值對應的列，以此列作為ROI一個新的邊緣，再以中心為對稱軸找到與此列對稱的列作為另一邊緣[10].通過以上步驟，在光照良好的情況下，能夠準確的檢測出目標車輛存在的區域，并將此區域作為跟蹤過程的初始化搜索框，如圖5所示.

圖5 目標車輛存在區域

2.2 基于改進Camshift算法的車輛跟蹤

車輛與道路以及周邊環境對比，由于車輛的顏色特征對光照變化等干擾因素具有相對的穩定性[11]，因此本文使用顏色特征作為跟蹤模版.

Camshift算法是在meanshift基礎上改進而來，是一種以顏色直方圖為目標模版的跟蹤算法.相比meanshift算法，Camshift算法能夠實時調節搜索窗口的大小，在目標尺度發生變化時不至于丟失，而且實時性更好[12].為此，將上述車輛識別算法得到的ROI作為Camshift算法的初始化搜索框，解決了Camshift算法起始運行時需要人工選取目標區域的問題，實現自動跟蹤目的.

為減少光照對目標跟蹤的影響，這里Camshift算法的實現是將RGB色彩空間圖像轉化到HSI色彩空間圖像后，利用色調H(Hue)進行反向投影，然后通過迭代來得到質心[13].在HSI色彩空間中，亮度I與圖像的彩色信息相互獨立，由色調H可以很好的區分各種顏色.H、 S、 I的計算式如下：

(6)

由公式(6)可知，在RGB色彩空間轉換到HSI色彩空間的計算過程中，色調H的計算需要進行反余弦計算，這將耗費大量圖像處理時間，影響對目標跟蹤的實時性.因此本文采用Bajon近似算法，由式(7)代替式(6)中色調H的計算，

(7)

H=2π×H′

Camshift算法中，設xi(i=1,2,…,n)為目標圖像像素的坐標，同時設b(xi)為xi位置處的像素值，目標直方圖可以表示為

(8)

在實際道路交通環境中，由于目標車輛周圍很可能有噪聲干擾，因此可以采用加權直方圖的方法，對目標車輛檢測區域內不同位置的像素值賦予不同的權重.距離對目標車輛檢測區域中心越近，相應的權重則越大.計算式為

(9)

在某些情況下用于跟蹤的矩形搜索框中會包含部分背景，通過上述方法計算得到的直方圖并不能很好的對目標進行定位.為解決以上可能出現的問題，本文對候選區域直方圖pu采用公式(9)計算，對目標模版區域直方圖qu采用式(10)背景加權直方圖計算：

(10)

根據背景中樣本點離目標中心距離來決定樣本點的權重，距離目標中心越近，權重越大，否則越小.同時對目標相鄰背景區域的像素值賦予較小的權重，以此降低背景對目標像素的影響.另外，本文采用如下式

(11)

Bhattacharyya系數來表示目標候選區域與目標模板區域的相似度[14].其中，m是顏色量化等級，ρ(p,q)的取值范圍為[0,1]，ρ(p,q)越大則p和q越相近，其對應的中心坐標則可能為目標中心的當前位置.于是，通過以上算法可以得到側后方目標車輛的位置信息，并用于系統對目標車輛的跟蹤.

2.3 最小換道距離的計算

轉向換道過程中，側后方車道上的其它目標車輛是影響本車換道安全的重要因素之一，因此，實時、準確地測量出本車與側后方車道上目標車輛之間的最小安全距離的尤為重要[15].設本車為M，側后方車道上的目標車輛為N，本車換道時間為t，為避免兩車之間可能發生的碰撞，設定必須滿足以下條件：

S0>SN-SM+L+λD

(12)

其中：S0為M與N初始車頭縱向間距；SN為N在t時段內行駛的縱向距離；SM為M在t時段內行駛的縱向距離；L為M車長；D為換道之后兩車的最小安全間距；λ(λ∈[1,1.50])是最小安全間距系數.

由于最小安全間距D與車輛行駛速度相關，依據文獻[16]給出的安全間距以及駕駛員對后向距離的感知特點，為確保換道安全，根據不同速度對最小安全間距D乘以系數λ，其取值如表1.

表1 市區不同速度下的換道安全間距

在測距過程中，設測距測角模塊連續兩次測量M與N之間的距離分別為L1和L2，測得的角度分別為θ1和θ2，則縱向距離分別為：S1=L1cosθ1和S2=L2cosθ2；兩次測量的時間間隔為Δt，則M與N的速度差為vN-vM= (S1-S2) /Δt.

當vN-vM≤0時，M可以進行勻速換道，此時λ取值等于1，由式(12)可知

S0>SN-SM+(L+λD)=

(vN-vM)t+(L+λD)

(13)

為保證安全換道，M和N最小縱向安全距離為L+D，D取值參照表1.

當vN-vM>0時，為換道安全，λ取值大于等于1，參考表1進行加速換道.并且，M車在完成加速換道后，其速度應該與目標車道上的N車速度相等[14].此時M加速時間為t=(vN-vM)/a，a為M換道時的加速度.由式(12)可知

(14)

為了保證車輛換道時的平穩性及舒適性，換道時加速度取值范圍通常為0～2m/s2，則當加速度a=2時[17]，得到M與N最小縱向安全距離為

(15)

所以，當S0≥Smin時，M可以進行加速換道；當S0

(16)

3 系統驗證及分析

本文將攝像頭及激光測距儀安裝在汽車的后視鏡上，在實際道路場景下進行實驗，得到的跟蹤結果如圖6所示，圖6(a)為正常光照條件下的跟蹤效果，圖6(b)為弱光照條件下的顯示效果，相對應的抬頭顯示效果如圖7所示.

(a) 正常光照條件

(b) 弱光照條件圖6 目標車輛跟蹤結果

采用人工計數的方式分別統計正常光照條件和弱光照條件下的側后方車道上的總目標車輛數、系統正確識別的車輛數、錯誤識別的車輛數、遺漏車輛數及正確測距的次數，統計結果見表2.

表2 實驗數據統計結果

(a) 正常光照條件

(b) 弱光照條件圖7 平視系統顯示效果

由數據可知，本系統在正常光照條件下的識別正確率為96.2%，測距正確率為98.6%；弱光照條件下的識別正確率為94.6%，測距正確率為98.3%；系統在車輛識別的圖像處理過程中，正常光照條件下的耗時約為210ms，弱光照條件下的耗時約為350ms，車輛跟蹤處理過程中對每幀圖像的平均處理時間約為30ms，可以達到實時性要求，并且具有一定的魯棒性和可靠性.

4 結束語

本系統利用車輛的位置特征、底部陰影特征和邊緣特征相結合的方式對目標車輛進行識別，并采用改進的背景加權直方圖Camshift跟蹤算法對車輛進行跟蹤.同時，使用激光測距傳感器進行測距，不僅能夠對目標車輛進行實時跟蹤，而且能夠高效快速地實現對圖像和距離信息進行采集與處理，并實時輸出結果，信息直觀清晰，具有良好的人機交互功能.

本系統是一個初步的框架，還存在不足之處，對于車道線不明顯的道路環境識別效果不理想，并且只適用于日間.另外，平視系統的表達還過于粗糙，有待于今后改進.

[1] 陳浩，曹增辰，戴磊.抬頭顯示系統：從飛機來到汽車[N].科技日報，2013-6-28(6).

[2] 曹增辰，戴磊.HUD技術的汽車應用以及國內外發展情況[J].中國材料科技，2010,(S2):16-18.

[3] 楊雙賓.高速公路車輛行駛安全輔助換道預警系統研究[D].長春：吉林大學，2008.

[4] 陳雷，岳迎春，鄭義,等.車載激光雷達測距測速原理[J/OL].中國科技論文在線,(2008-01-25)[2013-11-25].http://www.paper.edu.cn/releasepaper/content/2008/01/736.

[5] 胡 銦, 楊靜宇.基于單目視覺的路面車輛檢測及跟蹤方法綜述[J].公路交通科技，2007,24(12):127-131.

[6] 董春利，董育寧.基于視頻的車輛檢測與跟蹤算法綜述[J].南京郵電大學學報:自然科學版，2009,29(2):88-94.

[7] 金立生，賈敏，孫玉芹，等.日間高速公路側后方車輛識別方法[J]. 西南交通大學學報，2010,45(2):231-237.

[8] 林俊，徐杜，蔣永平，等.基于梯度的動態分塊迭代閾值圖像二值化方法[J].光學與光電技術，2006,4(5):98-100.

[9] 文學志，趙宏，王楠，等.基于知識和外觀方法相結合的后方車輛檢測[J].東北大學學報:自然科學版，2007,28(3):333-336.

[10] Liu W，Wen X Z，Duan Bb.Rear vehicle detection and tracking for change assist[C].//Proceedings of the IEEE Intelligent Vehicle Symposium，Istanbul,Turkey,2007:252-257.

[11] 丁磊，宮寧生，俞克強.改進的Mean Shift跟蹤算法在車輛跟蹤上的應用[J].電視技術，2013,37( 5):183-199.

[12] 高輝，杜慶玲.視頻監控系統中運動目標檢測算法研究[J].計算機與數學工程，2008,36(9):34-36.

[13] 程金漢，杜愛民.基于DM642的嵌入式實時車輛跟蹤系統[J].機電工程，2007,24(12):25-28

[14] 喻該，賈茜，李圓雙，等.基于DM642的運動目標檢測與跟蹤系統[J].現代科學儀器，2011(2):30-32.

[15] 王偉杰，王春磊，王玖，等.高速公路最小行車安全距離及預警系統設計[J].大連交通大學學報，2010,31(5):6-10.

[16] 彭偉，淺析汽車行駛中的安全距離[J]. 四川工程職業技術學院學報, 2012, 26(4): 42-45.

[17] 許倫輝，倪艷明，羅強，等.基于最小安全距離的車輛換道模型研究[J].廣西師范大學學報，2011,29(4):1-6.