基于注意力機制的車輛行為預測

蔡英鳳, 朱南楠, 邰康盛, 劉擎超, 王 海

(1. 江蘇大學 汽車工程研究院, 江蘇 鎮江 212013; 2. 江蘇大學 汽車與交通工程學院, 江蘇 鎮江 212013)

車輛換道時的碰撞以及跟車時的追尾事故在交通事故中所占比例較大.隨著智能駕駛技術的興起,需要提前預測自動駕駛車輛周邊車輛的未來駕駛行為,以期規劃安全的駕駛路徑避免碰撞.目前主流的行為預測方法為規則法[1]和基于機器學習法.規則法主要建立一系列特定的決策樹,并針對場景進行微調,雖然規則法的建模過程簡單,但其泛化能力弱,且不便于優化,因此應用場景有限.基于機器學習法以車輛的歷史軌跡特征信息作為輸入,以車輛的未來駕駛行為、未來行駛軌跡作為輸出.大多數方法涉及使用分類器,文獻[2-5]使用基于運動特征(包括速度、加速度、偏航率)、上下文信息(包括車道位置、轉向信號、與前方車輛的距離)等作為分類器的輸入.文獻[6]基于距最近標記車道的距離,將車輛的運動分為車道保持和車道變換機動,并通過車輛的當前運動狀態和每個車輛的預估最終運動狀態來擬合五次多項式以期預測未來軌跡.

DNN架構已應用于眾多機器學習任務中,成功學習了可以很好概括實際數據中出現的各種情況的表征.遞歸神經網絡(recurrent neural network, RNN)被廣泛用于分析時間序列數據結構.一種流行的RNN變體是長短期記憶網絡[7](long and short-term memory,LSTM),LSTM已經在各種任務中表現出優異的性能.最近,LSTM或類似的RNN變體也被用于分析車輛軌跡[4,8].文獻[8]使用以測距傳感器量測作為輸入的LSTM來追蹤物體的位置.文獻[4]使用以軌跡數據作為輸入的LSTM識別駕駛員的意圖.但是他們都沒有解決模型輸入是固定時間步長這一問題.另外考慮到輸入序列中,每個時間段的信息對最后預測結果的貢獻各不相同,如在一段輸入序列中,被預測目標車輛在較早時刻有嘗試換道的經歷,較晚時刻又有趨于跟馳的傾向,于是需要為各個時段對最后的預測結果分配不同的權重.在借鑒了自然語言處理領域基于注意力機制的LSTM結構后,筆者提出一種基于注意力機制的LSTM模型對車輛行為進行預測.為了充分了解自然駕駛行為,基于機器學習的算法需要大量真實可靠的自然駕駛軌跡數據.基于最新發布的HighD數據集來訓練和驗證算法，描述數據抽取和預處理的過程.分析網絡結構,將提出的算法和已有的算法進行比較.

1 數據抽取和處理

預測的簡單場景如圖1所示.采用德國亞琛工業大學汽車工程研究所新近發布的HighD數據集[9],研究者提出一種從空中角度測量車輛數據新方法,用于滿足基于場景的安全驗證. 該數據集包括來自6個地點的11.5 h的測量時長和110 000輛車輛的位置、速度、加速度等信息,所測量的車輛總行駛里程為45 000 km,還包括了5 600條完整的變道記錄.通過使用最先進的計算機視覺算法,定位誤差小于10 cm.

圖1 注意力機制在智能駕駛場景中的應用

圖1中,紅色車輛為具備環境感知功能的智能駕駛車輛,綠色車輛為即將發生換道的目標車輛,當綠色車輛接近高速公路入口坡道時,注意力機制會將較大的權重值分配給入口坡道這一信息.同時目標車輛的行駛信息,如橫向速度也會給予較大的權重.而對于即將換入車道的前后環境車輛,模型會根據其前后距離分配權重,圖中黃色三角形的大小代表權重的大小.當預測到目標車輛有較大概率將進行換道時,紅色的智能駕駛車輛平穩減速,所以注意力機制與人類一樣,它可以將注意力轉移到當前場景中的某些重要方面.

不同于HighD數據集中對換道行為的劃分,將換道行為的定義稍作調整,設定航向角臨界值θb,當航向角θ落入臨界值的范圍內,并且車輛在之后完成了換道行為,認為滿足臨界條件的車輛處于換道行為當中,并以此確定換道的起點和終點,同時將車輛在換道過程中與車道虛線的交點稱為車道變換點,如圖2所示.點1和點3分別為換道的起點和終點,滿足|θ|=θb;點2為車道變換點,滿足|θ|>θb.

圖2 換道起點和終點的確定

以第1個|θ|值滿足換道條件的時間步為基點,以從基點倒退5個歷史時間步作為算法輸入序列的開始時刻,以當前時刻作為輸入序列的結束時刻,當輸入序列時間步超過12個時間步時,將序列截斷,只保留最新的12個時間步的數據,最后以結束時刻后一時間步目標車輛所處行為作為標簽.至此,突破了現有研究中輸入時長為固定步長的限制,輸入變為可變步長的序列.將車輛行為標記為向左換道、向右換道、跟馳,按7∶1∶2的比例將數據集劃分為訓練集、驗證集、測試集.為了解決數據不平衡問題以防止訓練過程中出現過擬合,在每個行為池中選取數量相同的序列,將它們混合在一起用于數據訓練,然后在每個時間步預測車輛的行駛意圖.同時,將預測換道的時刻與車輛到達車道變換點的時刻記為換道預測時間,作為提前預知車輛行為的性能指標.

2 基于注意力機制的LSTM模型

基于注意力機制的LSTM模型如圖3所示,該模型主要由4個部分組成: ① 輸入層,每個時間步目標車輛與其周車的行駛信息,由特征向量xt表示; ② LSTM層,利用LSTM模型獲取歷史時間序列(x1,x2,…,xT) (T為輸入的歷史序列的時間步數)的特征; ③ 注意力機制,加入注意力機制提取不同時間步信息的重要性; ④ 輸出層,最后利用分類器進行預測.

圖3 基于注意力機制的LSTM模型

2.1 輸入特征

每個時間步的輸入特征向量xt包含以下內容：

1) 目標車輛信息:車輛相對于左右車道線的距離;車輛相對于車道的航向角;車輛的速度;車輛的位置坐標.

2) 周邊車輛(目標車輛本車道和相鄰車道的車輛)信息:與本車道前方最近車輛的縱向距離;與本車道后方最近車輛的縱向距離;與左側車道前方車輛的橫縱向距離;與左側車道后方車輛的橫縱向距離;與右側車道前方車輛的橫縱向距離;與右側車道后方車輛的橫縱向距離.

3) 行駛環境信息:車道線、匝道入口出口等(每一特征都進行獨立編碼).

2.2 LSTM模型

RNN通過反向傳播和記憶的機制,可以將信息按照時間狀態進行傳遞,但是RNN存在明顯的缺陷，是其存在梯度爆炸或消失的問題.為解決該問題，S.HOCHREITER等[10]提出了一種RNN的變種LSTM模型.LSTM用一個記憶單元對原RNN中的隱藏節點進行替換,可以學習長期依賴信息.這個記憶單元由長期記憶細胞、輸入門、遺忘門和輸出門組成,其中長期記憶細胞用來存儲和更新歷史信息,3個門結構通過Sigmoid函數來決定信息的保留程度.LSTM模型能夠避免RNN的梯度問題,具有更強的記憶能力.LSTM內部結構如圖4所示.

圖4 LSTM模型內部結構

LSTM的計算公式如下:

it=σ(Wxixt+Whiht-1+Wcict-1+bi),

(1)

ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf),

(2)

(3)

(4)

ot=σ(Wxoxt+Whoht-1+Wcoct+bo),

(5)

ht=ottanhct,

(6)

3種門的具體作用如下:

1) 輸入門,用來控制當前隱藏層節點長期記憶的輸入.可以判斷是否將輸入信息xt更新到當前時刻的長期記憶ct中,也就是判斷輸入中哪些部分是值得使用和保留的.輸入門的輸出是Sigmoid輸出的0到1之間的值,1表示完全保留,0表示完全丟棄,可以看出LSTM中的輸入門能夠去除一些不需要的信息.

2) 遺忘門,用來控制上一時刻的隱藏層節點存儲的歷史信息.遺忘門會根據上一時間隱藏層的隱藏狀態ht-1和當前時刻節點的輸入xt計算得到0到1之間的值,作用于上一時刻的長期記憶ct-1,來確定需要保留和舍棄哪些信息.其中，1表示完全保留,0表示完全丟棄.通過遺忘門的處理可以對隱藏層的長期記憶ct(即歷史信息)進行選擇性處理.

3) 輸出門,用來控制當前隱藏層節點的輸出.確定是否輸出給下一隱藏層或輸出層.通過輸出門的控制,可以將長期記憶專注于那些將會即可應用的信息上.它的狀態也是0和1.輸出門的控制功能作用于當前的長期記憶ct以得到當前時刻的隱藏狀態(工作狀態)ht.

2.3 注意力機制

基于注意力機制的神經網絡結構,在機器問答、機器翻譯、語音識別等各式自然語言處理任務中取得了成功.將基于注意力機制的LSTM模型用于車輛行為預測,令H是由LSTM層每一時間步輸出的隱藏狀態組成的矩陣(h1,h2,…,hT),由隱藏狀態的加權和計算可得經過注意力機制的輸出向量r.

M=tanhH,

(7)

α=softmax(wTM),

(8)

r=HαT,

(9)

式中:M為H經過tanh處理后的中間向量;α為注意力向量;w為訓練的參數向量.

由此獲得用于預測的最終表示h*為

h*=tanhr.

(10)

2.4 車輛行為預測

將注意力機制的輸出h*作為softmax層的輸入進行預測,預測結果為

(11)

(12)

2.5 預測模型訓練

損失函數J(θ)為真實標簽的負對數似然函數,定義如下:

(13)

式中:m為目標類的數量;t為用獨立向量表示的真值;Y是通過softmax函數得到的每個行為類別的估計概率;λ為L2正則化超參數;θ為參數集.將drop-out與L2正則化結合起來以減輕過擬合,正則化強度設置為10-5,同時將dropout率設置為0.5,此時模型具有較好的性能.

3 試驗結果與分析

3.1 軟硬件平臺

實車試驗在“江大智能行”號智能駕駛汽車(圖5)上進行.該智能駕駛車輛能夠對整車的轉向系統、制動系統和油門系統實現線控.其軟件平臺具備環境感知、地圖構建、決策規劃和底層控制等模塊.

圖5 “江大智能行”號智能汽車

3.1.1定位系統

“江大智能行”號的定位功能通過采用CORS(continuously operating reference stations)差分技術的GPS(global positioning system)和IMU(inertial measurement unit)共同實現.GPS和慣性導航技術充分結合在一起,提供準確的位置、速度信息以及姿態解算結果.CORS系統是基于多基站網絡RTK技術創建的連續運行衛星定位服務系統,在城區行駛的過程中,能夠對GPS 數據進行差分解算以提供更加精準的定位.

3.1.2感知系統

“江大智能行”號的感知系統包括了velodyne64線激光雷達、ibeo4線激光雷達、delphi毫米波雷達,sick單線激光雷達以及gige融合工業相機.其中,64線激光雷達布置在車頂位置,它能夠識別車身60 m內的各個障礙物.2臺4線激光雷達部置在大燈下方,和車輛縱軸線方向成45°,其作用是識別車輛前方110°,100 m范圍內的障礙物.毫米波雷達布置在保險杠偏上方的位置,其作用是識別車輛前方90°,60 m或者20°,170 m的障礙物,常用在自適應巡航時,對跟車條件進行判斷.sick單線雷達布置在車牌下方、保險杠中間位置,其作用是檢測小范圍內的路面信息,比如坑洼、斑馬線等.2臺gige融合相機分布在車輛擋風玻璃上,負責采集車道線、交通燈、標志牌等信息,且經過傳感器融合,感知系統能夠實現同頻數據采集.各傳感器安裝效果如圖6所示.

圖6 傳感器實車安裝圖

3.2 與其他算法的比較

將得到的結果與邏輯回歸、前向神經網絡、LSTM的結果進行比較,如圖7所示,提出的基于注意力機制的LSTM算法相較于其他算法,在向左換道、車輛跟馳、向右換道的預測準確率方面都優于其他模型.

圖7 不同模型預測準確率比較

3.3 序列長度對算法準確率的影響

比較了在設置不同的最大序列長度下算法的預測準確率.具體來說,將基于注意力機制的LSTM結構的歷史軌跡長度,即其輸入序列的最大長度設置為6,9,12,15,并將它們的結果進行比較,結果如圖8所示.

從圖8可以看出:隨著歷史長度的增加,預測的準確率在增加,但是從長度12到長度15的提升并不明顯,在嘗試比15更長的序列后,預測準確率幾乎沒有提升,說明將歷史軌跡長度設置為12已經能夠提供足夠多的信息來保證注意力機制能夠去關注重要信息,設置最大長度為12的可變步長時間序列數據劃分方法可以保持數據長度方面的靈活性,減少長序列帶來的時間復雜度的增加、計算資源消耗過大的問題,同時注意力機制會把權重分配給場景下相對重要的信息,保證預測準確性.

圖8 不同的最大序列長度對算法準確率的影響

3.4 換道預測時間的比較

換道預測時間被定義為模型預測換道的時間與車輛實際到達車道變換點之間的時間差,時間差越長,則說明預測越有用.不同模型換道預測時間的比較如圖9所示,其中,a1,a2,a3,a4分別為邏輯回歸、前向神經網絡、LSTM、基于注意力機制的LSTM模型.基于注意力機制的LSTM模型平均預測時間為1.68 s,相較于其他模型,預測時間更長,說明其進行提前預測的效果更好.

圖9 不同模型換道預測時間的比較

4 結 論

提出了一種基于注意力機制的LSTM網絡結構,并提出了一種新的可變長度的序列劃分方法,以預測真實交通場景下,特別是直線道路上的車輛行為.將基于注意力機制的LSTM算法與現有的算法(邏輯回歸、前向神經網絡、LSTM)相比較,以顯示添加了注意力機制之后在預測準確性方面的優勢.通過對比,可變長度的序列劃分和注意力機制能夠使得模型在預測準確度和計算資源的消耗上取得良好的平衡.下一階段的工作主要集中在完善算法在復雜工況下的表現,例如城市擁堵道路、十字路口、沒有車道線的鄉村道路等,力求能在各種工況下都保持良好的性能.