基于單目視覺和毫米波雷達的測距算法研究

邱悅添

摘 要：距離測量是無人駕駛的一項基礎技術，本文提出的方法是基于單目機器視覺和毫米波雷達數據，以視覺數據為主，毫米波雷達數據作為輔助。先用深度神經網絡對圖像數據進行處理，檢測出圖像中的障礙物，結果以障礙物的圖像坐標表示。在檢測的基礎上，利用成像模型，將圖像坐標轉換為真實世界坐標從而計算與本車的實際距離。在對毫米波雷達的數據進行處理時，只需要找到一個目標的精確距離，即可實現對成像模型中的俯仰角參數進行反向校正，得到較為精確的值，提高視覺測距算法的精度。實驗表明，這種融合方式可以在實際使用過程中大大減少設備成本和計算成本，降低了毫米波設備本身帶來的諸多限制，也解決了單靠視覺測距的參數標定問題。

關鍵詞：單目視覺；卷積神經網絡；成像模型；數據融合

中圖分類號：U463.6 文獻標識碼：A 文章編號：1671-2064（2018）22-0223-03

世界衛生組織的一項數據表明，每年全球有124萬人死于車禍，并且呈上升趨勢，但如果公路上90%是無人汽車，那么交通事故數量將會從600萬降到130萬，這足以看出無人駕駛技術的優勢。但無人駕駛技術在現階段依然不成熟，例如在美國亞利桑那州Tempe的一個十字路口附近曾發生無人駕駛汽車導致行人死亡的事故，還有谷歌旗下的Waymo公司的一輛自動駕駛測試車輛在美國亞利桑那州Chandler市發生的車禍事故等。

為了提高無人駕駛的安全性，很重要的是實現對周邊障礙物的精確定位，得到正確的距離?；谏鲜鲈?，本文提出了一種基于單目視覺和毫米波雷達的實時障礙物測距算法，融合了單目視覺和毫米波雷達數據，經過實驗驗證，該算法較單獨使用單目視覺或者單獨利用毫米波雷達等，在準確性和魯棒性上都有較大提升。

1 研究背景

現階段的主流測距手段都是依靠各類傳感設備。各類傳感設備都存在各自的優缺點。

目前上路的自動駕駛車輛基本都配備了激光雷達，激光雷達距離檢測的原理是基于光的返回時間，激光二極管發射脈沖光來檢測反射信號并計算。激光雷達的優點和缺點都非常明顯，優點是探測范圍廣，探測精度高。缺點是在極端的天氣如雨雪霧等環境下性能會降低，而且激光雷達設備價格較高（64線的激光雷達售價高達70萬人民幣）。毫米波雷達的波長介于厘米波和光波之間，因而同時具有厘米波和光波的一些優點。毫米波雷達的缺點在于其對木材的穿透力低，容易受到路面金屬物的影響等。但其同樣具有較大市場需求，毫米波雷達的硬件設備成本更低。人類主要利用視覺系統獲取駕駛過程中所需要的信息。對車載攝像頭而言，成像過程是三維空間中的點在二維空間上的投影，攝像頭獲取車輛周邊場景時，得到的是二維信息，丟失了深度信息，因此需要對成像過程進行建模，找到從二維到三維的逆的過程，這樣能將二維平面圖像上的點還原到三維空間中，找回丟失的深度信息。

實時測距方法的第一步是在每一幀圖像中找出該物體，同時確定物體的位置和類別，即計算機視覺領域的目標檢測問題?；诰矸e神經網絡的深度學習技術，在數據量的訓練后已經可以基本解決檢測的問題。本文利用了開源的faster-rcnn，實現了對圖像中障礙物的檢測。

2 研究方法

結合單目視覺和毫米波雷達實現對車輛周邊障礙物的測距定位主要包括，目標檢測、在檢測基礎上的建模、毫米波數據的處理和數據融合幾個關鍵步驟，下面分別對其進行詳細介紹。

3 目標檢測

對車輛周邊障礙物進行定位時，第一步要實現對車外目標的識別，而后才能進一步分析確定具體行為。本項目的目標檢測網絡是基于Faster RCNN的，復雜網絡可以達到5fps，準確率為78.8%。目標檢測網絡基本都是使用四個基本步驟實現目標檢測。首先在圖像中確定若干候選框；其次，對于每個候選框內的區域，使用深度網絡提取特征；對候選框中提出的特征，使用分類器判別是否屬于一個特定類別；最后對于某一矩形框，用回歸器進一步調整其位置。Faster RCNN的基本網絡結構如圖1所示。

利用faster-rcnn對圖像數據處理后，可以得到圖片中各類障礙物的類別和其在圖像中的位置，結果以障礙物的外接矩形框表示。

4 成像模型

為了找回成像過程中丟失的深度信息，本文建立了攝像機的投影模型，首先推導從真實世界的坐標到像素坐標之間的轉換關系，最后得到道路坐標和圖像坐標之間的相互轉換關系。攝像頭的成像是基于小孔成像原理的，因此可以在不考慮畸變的情況下，將整體成像過程建模，如圖2。

在（a）中，道路為平面ABU，ABCD為實際能拍攝的區域，攝像機鏡頭中心點為點O，光軸為OG，光軸和道路平面的相交于點G，點O在路平面上的垂直投影為點I。在三維路面坐標系中，定義坐標原點為點G，Y軸的正方向為車輛前進的方向。GABCD各點在圖像平面內的對應點如（b）所示，圖像的高度和寬度分別為H和W。圖像是規則的矩形，定義圖像的中點g為圖像坐標系的原點，車輛前進正方向為y軸。假設在實際路面坐標中存在一點P，則點p為對應的圖像平面坐標系中的P點，根據成像原理和坐標系之間的轉換關系，可以推導出路面坐標和圖像像素坐標的轉換關系。

總結公式來表示真實世界中的路面坐標和圖像像素坐標之間的轉換關系。

式中，H和W為圖像的高和寬，h為高度，2β0為鏡頭水平視野角，2α0為鏡頭垂直視野角，γ0為攝像機俯仰角。利用成像模型，可以實現圖像坐標和實際世界坐標之間的相互轉換。

理論上，利用目標檢測得到圖像中障礙物的圖像坐標，再通過成像模型將圖像坐標轉換為世界坐標，即可實現對障礙物的測距和定位。用算法計算得到圖中某一目標到攝像機最近視野點的距離d1，在設備標定時，測量得到攝像機最近視野到本車前端的距離d2，根據距離公式得到本車與前方目標的準確距離d，d=d1+d2。

求d1的方法如下：

（1）通過目標檢測模型識別圖像中的障礙物，并用矩形框將其標記出來；

（2）求該矩形框底邊中點的圖像平面坐標；

（3）求圖像平面底邊中點的圖像平面坐標；

（4）將兩個圖像平面坐標通過幾何關系推導成道路平面坐標；

（5）套用兩點間距離公式求解距離d1。

上述方法只利用了視覺信息，隨后本文將雷達數據與視覺信息進行了融合，可以達到更好的效果。

5 毫米波雷達數據處理

毫米波雷達數據采用純文本格式保存數據，以當前系統時間為時間戳，包含距離、角度和速度，數據頻率不低于10HZ，原始數據均以十六進制保存。抓取一條雷達數據（十六進制）進行解析。如47 80 30 00 00 F1 33 00，解析后的結果為雷達正前方0°偏差，位置4.8米，速度為0米/秒。

6 數據融合實現更精確的距離測量

距離求解實際是已知函數參數，給定輸入求輸出的過程。誤差來源是不精確的參數，因此若能已知多組輸入輸出，則可以反向求解函數參數，再將校正后的參數用于其他距離求解。在車輛實際行駛過程中，由于抖動或上下坡，高度和俯仰角等均會發生變化，所以參數是動態改變的，需要實時標定。經過實驗分，得到影響模型精度的最主要因素是俯仰角，其次是高度，因此可以根據實際情況對俯仰角和高度進行校正，或在可利用條件較少時，只對俯仰角進行校正。

在車輛行駛過程中，可以利用毫米波雷達不斷采集車輛前方障礙物距離和速度，且精度極高，可以認為是準確值。因此，在通過毫米波雷達得到幾組準確的距離后，可以求解俯仰角和高度兩個未知參數。在實際使用中，可以采用步進法進行求解，給定初始值，增加或減少一個較小的數值，直到使視覺計算距離與毫米波雷達距離的絕對誤差值最小。

7 測試

本文僅在車輛靜止狀態下進行了測距實驗，分別得到了單靠單目視覺，單目視覺結合毫米波雷達測距的結果。

車輛靜止狀態下，于車輛前方水平距離為0到40米的范圍分別放置障礙物，距離誤差為絕對誤差，在目標檢測模型識別出障礙物后，分別依靠單目視覺測距，結合毫米波雷達對俯仰角進行標定后再次計算距離，兩者進行對比，結果見表1。

8 研究結論

從測試結果可以看出，結合毫米波雷達標定俯仰角之后，絕對誤差大幅降低。因此可以得出如下結論，若能通過毫米波雷達，通過某一障礙物的精確距離反向校正俯仰角，可以得到更準確的距離結果，在車輛前方40米范圍內，最大誤差不超過0.13米。這種方案的精確度最高。同時，車輛行駛過程中，由于融合算法較低的復雜度，也可以實現實時計算。

9 展望

在這個快速發展的時代，無人駕駛技術是未來交通發展的必然。本文采取的方法是結合單目視覺和毫米波雷達實現對車輛周邊障礙物的測距定位，運用了目標檢測、成像建模、毫米波數據的處理和數據融合等技術，達到更加準確的距離結果的目的。解決了用低成本測距不精準的難題，達到了較高的精度。

未來，在只標定俯仰角的基礎上，可以考慮標定更多的成像模型參數、加入更多的先驗知識，或考慮更準確的目標檢測模型等進一步提升精度。

參考文獻

[1]Ren S， He K， Girshick R， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2015：1-1.

[2]陳卓.基于車載單目機器視覺的前方車輛測速測距系統的研究與實現[D].浙江工商大學，2012.