一種時空周期性注意力網絡的交通流量預測模型

王婧娟,陳慶奎

1(上海立信會計金融學院 信息管理學院,上海 201209)2(上海理工大學 光電信息與計算機工程學院,上海 200093)

1 引 言

因為交通擁堵等現象易引起交通事故,不利于交通安全,因此治理交通擁堵問題刻不容緩[1].交通流量是辨別交通擁堵因素之一.精確的交通流量預測能為交通參與者提供參考.人們可根據交通流預測信息提前規劃出行計劃,避開擁堵路段,縮減出行時間.精確的交通流量預測也作為交通安全的一部分[2].

交通流量會隨著時間和空間的變化而變化,交通流具有以下顯著特征：

1)隨機性.因為道路上的各種車輛隨機決定路徑另有外界環境的種種因素的影響和干擾,呈現出劇烈的隨機特征.

2)周期性.一周有7天,包含5天工作日和2天周末,人們的駕駛外出也展現出規律性.對于交通流量,相同路段的交通流量表現出周期性的通暢、擁擠等現象,并且相同路段每隔一段時間,交通流狀態呈現出重復性.

3)時空特性.下一時刻的交通流受之前交通流的影響,即歷史交通流量對現在和將來的交通流量有影響,且鄰近路段的交通流間也會相互影響[3].

4)網狀特性.道路間縱橫交錯,比如城市的關鍵交通樞紐靠主干道彼此連接,其它小路段利用輔助交通路線連接至主干道,而駕駛人依照各自的出行經驗或使用不同的導航系統選取不同的駕駛路徑,致使整個路網像一個錯綜復雜的網絡.

綜上所述,交通網絡受各類因素影響,不同時段、不同道路的交通流間相互關聯、彼此作用,且顯示出不確定性和復雜性,難以準確預測交通流量.交通預測不單能為交通管理員提早覺察交通狀態,且能為本文提供較合理的路線、提升交通效率.但是因為其復雜的時間和空間依賴性,使得交通流預測成為一項難題.

針對交通流量的空間相關性和時間依賴性的特征,本文提出了基于時空周期性注意力網絡的交通流量預測模型(STPAN).首先,使用GCN構造空間相關性.其次,綜合考慮短期和長期的周期性信息對流量進行預測,并采用LSTM獲取時序依賴關系.因為時間周期性非真正意義上的周期,因此文本利用周期性注意力機制來解決此問題.此外,還將天氣等外部因素增添到模型中,以提升模型的預測精度.最后在PeMS數據集上驗證了所提出的模型的有效性.

2 相關工作

深度學習模型能學習到更復雜的特征,可以有效解決一些難題.現在深度神經網絡在各個行業各個領域均被廣泛使用.目前大量研究人員將深度學習模型引入到交通預測問題中.

文獻[4]構造了基于數據驅動的城市路網短期交通流預測模型.該模型先將時間序列劃分為趨勢序列和殘差序列.對這兩個時間序列重構后,進行了基于LSTM-RNN的模型訓練和預測.然后,將這兩個結果組合在一起,產生最后的預測.最后用兩個城市道路網對模型進行評價.結果顯示,數據處理模塊增強了模型的魯棒性.但LSTM和RNN存在梯度彌散和梯度爆炸問題.

文獻[5]提出了基于DNN的交通預測模型(DNN-BTF),該模型運用交通流的周期性和時空特性以及注意力機制,可以自動學習歷史交通流量的重要特征.使用CNN模型提取交通流的空間特征,使用RNN提取交通流的時間特征.雖然CNN可以有效的提取網格數據的空間特征,但不適合圖結構的時空數據的特征描述和時空相關性分析.

文獻[6]提出了基于圖像的交通速度預測模型,可以自動學習抽象的時空交通特征來提取時空關系.此方法分為兩大步驟：1)將路網流量變換成圖像,此圖像將交通網絡的時間和空間維度分別作為圖像的兩個維度.因為相鄰路段在圖像中也是鄰近的,因此能夠保存時空信息；2)使用基于CNN的深度網絡模型對此圖像進行交通預測.但CNN無法直接處理路網結構.

文獻[7]提出了基于誤差反饋遞歸卷積神經網絡(eRCNN)進行車速預測.將相鄰道路的時空車速視為輸入矩陣,eRCNN運用相鄰路段間的隱含相關性來提升模型的預測精度.最后對北京市二三環出租車的真實數據進行大量實驗,驗證了eRCNN模型的優秀的預測能力,但模型并沒有考慮道路的交通流方向.

文獻[8]使用GCN與GRU組合模型用于高速公路和出租車數據集進行車速的預測,且加入噪聲驗證模型的魯棒性,結果顯示此模型達到較好的性能.但此模型未考慮到路網內交通流之間的特性.

文獻[9]根據最小二乘支持向量機提出了一種改進型的灰狼優化算法進行交通流量預測.為避免陷入局部最優,設計了灰狼優化算法內部的交叉、變異和選擇操作,提升了算法的搜索性能.但此文獻并沒有考慮外部特征對模型的影響.

文獻[10]構造了基于關鍵路段的混合卷積長短期記憶神經網絡模型(CRS-ConvLSTM NN)來估計未來的交通變化.首先根據時空相關算法鑒別出對子網絡影響最大的關鍵路段.然后,將關鍵路段的交通速度當作ConvLSTM的輸入來預測整個網絡的將來的交通狀態.實驗結果驗證了CRS-ConvLSTM模型在不同關鍵路段下的預測能力.但該文獻沒有考慮周期特性和外部環境信息.

文獻[11]提出了DCRNN(擴散卷積循環網絡),分別采用擴散卷積和循環網絡在有向圖上捕獲交通流的空間和時間依賴性,結果表明該模型具有良好的預測精度.文獻[12]提出了STGCN(時空圖卷積網絡),可以提取時空特征且捕捉空間的依賴關系.但文獻[11]和文獻[12]均沒有考慮周期特性和外部環境信息.

綜上所述,有些方法在建模時沒有同時考慮空間依賴和時間依賴,還有些研究忽略了時間序列預測中的長期周期性影響.交通數據具有周期性,但交通數據的周期性非真正意義上的按日或按周的.因此,本文構造一個周期性注意力機制來解決周期性時間變化問題.

3 基本概念

在本小節中,先描述研究過程中使用的基本理論,以及研究問題的定義.

定義1.道路網絡拓撲G.本文按照行駛方向用有向圖G(V,L)刻畫道路網絡的拓撲結構,把每個傳感器當作圖中的一個節點,其中,V={v1,v2,…,vN}是一組傳感器節點,L表示路段,A是道路的鄰接矩陣描述道路間的連接關系.鄰接矩陣A僅包含兩個元素,即0和1,如公式(1)所示.

(1)

定義2.交通流量.交通流量是指在一定時間段內途經某個地點的車輛的個數,其隨時間的推移構成時間序列,且具備嵌入在連續空間中的空間屬性.交通流量的計算公式見公式(2)所示.交通流量預測是一個典型的時空數據預測問題.

(2)

其中,x是交通流量,T是觀測時間,N是在觀察時間內經過的車輛個數.

在路段li(li∈L)的第tth個時間間隔(比如5分鐘)處的流量被定義為該路段在該時間間隔期間的車輛的平均流量，用xi,t表示.將在第tth個時間間隔的道路網絡的流量定義為向量Xt，其中第ith個元素是(Xt)i=xi,t.

問題表述.交通流量預測的目標是利用一系列的歷史交通流量數據對各路段的將來流量值進行預測.具體來說，給定先前Tp時間步長的歷史流量記錄{Xt-Tp+1,…,Xt}，目標是預測未來TF時間步的交通流量Xt+TF.交通流量預測問題可當作是描述將歷史流量數據映射到未來流量數據的非線性映射函數f，如公式(3)所示：

Xt+TF=f({Xt-Tp+1,…,Xt},G)

(3)

4 空間相關性建模

獲取復雜的空間依賴性是交通預測中的重要難題.傳統的卷積神經網絡(CNN)能獲取局部空間特征,但CNN限于處理歐式數據(如圖像,語音等).城市道路網是非歐幾里得拓撲圖,這表明CNN模型不能描述城市道路網的復雜拓撲結構,因此不可以正確地捕捉道路網的空間相關性.GCN用于提取基于圖的數據的空間相關性.空間相關性的提取過程對應于框架圖1中的a部分.

圖1 STPAN的整體框架結構圖

首先,本文定義了道路網絡拓撲G=(V,L)上的空間卷積.

通常，鄰接矩陣是一跳鄰域矩陣A，K跳鄰域矩陣可以通過計算A的K次冪得到.本文將對角線元素添加到鄰域矩陣，其定義為：

(4)

其中，Ci(·)是矩陣的clip函數，目的是將每個非零元素修改為1.

(5)

圖的一跳和二跳的圖示例

根據上述鄰域矩陣,圖卷積的簡明形式可以定義如下：

(6)

為了使并行計算更加適用和靈活,將公式(6)分解為一維卷積得到公式(7).

(7)

5 時間依賴性建模

很多文獻僅將前幾個時間間隔(往往是幾個小時)進行流量預測.而這些方法忽視了長期相關性(如周期性),周期性也被視為時空預測問題的一個重要特征[13].交通數據在時空相關性上表現出周期性變化,在本小節,不但考慮短期信息,也將考慮長期的周期信息.

經過第4節提取數據的空間特征后,接著使用LSTM來獲得時間序列依賴關系.本文使用文獻[14]中的LSTM版本.還選取天氣信息特征一同輸入進LSTM,此等同于對輸入LSTM的數據增添一維特征,繼而對道路上的交通流量進行預測.交通數據隨時間和空間的改變而不斷改變,呈現出強烈的不確定性和復雜性,所以在交通預測中,需考慮這些復雜性和不確定性對預測結果的影響.

hi,t=LSTM([xi,t;ei,t],hi,t-1)

(8)

其中，hi,t是時間t處路段i的輸出表示.ei,t表示外部變量(如天氣).因此，hi,t包含空間和短期時間信息.此方法僅使用了與預測時段相鄰的歷史時間序列片段,由于一個節點先前時刻的流量數據必然會對其下一時刻的流量造成較大的影響.這種網絡僅利用最近的幾個時間間隔,為了能更好地進行長期預測,還需考慮周期性信息.由于本文的工作時間較統一,容易出現交通早晚高峰現象,交通流量數據在相同時刻有較強的相似性.交通流量數據也擁有明顯的周周期模式,比如,周一的交通模式通常與之前的周一的交通模式相似,而與周末的交通模式略有不同.

訓練LSTM處理長期信息是一項艱巨任務,因為隨著時間序列長度的增加,會顯著減弱周期性的影響.為解決此問題,應該對預測目標的相對時段(例如,昨天的這個時候,前天的這個時候等)進行建模.然而,僅考慮相對時段是不足的,因為這忽略了周期的時間變化,即交通數據非嚴格周期性的.例如,工作日的高峰期常出現在下午的后半段,可能在下午4：30到下午7：00之間.如果遇到交通事故或出現交通擁堵現象,周期的變化在交通序列中是廣泛存在的.即周期性非嚴格按日或按周的.因此,本研究設計了一個周期性注意力機制來解決這些限制.具體的描述如下.

圖1中的b部分,包含了前P天對應的時段用于處理周期性依賴.對于每天,為解決周期性時間變化問題,從每天中額外的選擇Q個時段.例如,假若預測的時間是上午9：00-9：30,本文選擇前一個小時和后一個小時,即上午8：00-10：30,|Q|=5.這些時段q∈Q用來處理潛在的時間周期性變化.另外,使用LSTM來處理每天p∈P的序列信息,其公式如式(9)所示：

(9)

(10)

(11)

參考文獻[15],注意力分數的定義可以視為基于內容的函數：

(12)

(13)

6 模型訓練

(14)

(15)

其中，Wfa和bfa是參數.由于本文做了歸一化操作，因此模型的輸出范圍是(-1,1).稍后對預測值進行歸一化的反向操作，使其回到實際范圍.

在訓練階段，目標是讓道路上的實際交通流量和預測值間的誤差最小.模型的損失函數如公式(16)所示.

(16)

7 PeMS數據集

公共數據集PeMS是從多于39000個單獨的探測器中收集的.這些傳感器橫跨加利福尼亞州主要大都市,提供了十多年的數據,其中包含影響車流量的各類信息.本文使用的是2017-2018年的圣地亞哥地區的探測器.交通流的搜集時間段從2017年的6月至2018年的4月(共13個月).選取前12個月的數據作為訓練集,并用最后一個月(2018年4月)的數據作為測試集.

本文將數據集的標準時間間隔設置為5min.因而,道路圖中的每個節點每天有288個數據點.對數據清理后的缺失值使用線性插值法進行填充.另外,利用Z-Score方法對輸入進行歸一化.

在PeMS中,道路圖的鄰接矩陣是根據交通網絡中站點之間的距離來計算的.加權鄰接矩陣W可以表示為：

(17)

其中，ωij表示從站點i到站點j的邊的權重，dij表示從站點i到站點j的道路距離，σ是距離的標準差，ξ是控制矩陣分布和稀疏性的閾值.在本節中，將σ2和ξ分別指定為1.5和0.5.

8 實驗部分

8.1 評價指標

為了評估STPAN模型的預測性能,使用3個標準指標來計算現實的交通狀態與預測狀態之間的誤差.它們的定義如下：

1)平均絕對誤差(MAE)：

(18)

2)均方根誤差(RMSE)：

(19)

3)平均絕對百分比誤差(MAPE)：

(20)

8.2 對比方法

在本小節中,評估STPAN和其它方法在PeMS數據集的預測性能.對比方法有傳統的時間序列分析方法(HA、ARIMA)、機器學習方法(SVR、XGBoost)和深度學習模型(STGCN、DCRNN).

1)HA：歷史平均值.歷史平均模型根據訓練集的經驗統計來預測測試數據集的未來交通流量.例如,路段li∈L的9：00-9：05期間的平均交通流量是依據同一路段的9：00-9：05期間訓練數據集中的歷史交通流量的平均值來估計.

2)ARIMA：自回歸移動平均模型.對于ARIMA(p,d,q)模型[17],對數據進行差分的階數設置為d=1，通過使用p∈[0,2],q∈[7,12]計算訓練數據集的相關赤池信息準則(AIC)來確定自回歸部分和移動平均部分(p,q).

3)SVR：支持向量回歸.本文選取徑向基核函數進行訓練,其中核系數設置為0.1.

4)XGBoost：極端梯度提升.XGBoost[18]是一套提升樹可擴展的機器學習系統.它是基于樹結構的端到端的提升系統.

5)STGCN：時空圖卷積網絡[12].ST-Conv塊的3層通道分別是64、16和64.圖卷積和時間卷積的核大小設置為3.STGCN模型使用RMSprop優化器對MSE進行最小化訓練,batch大小為50.初始學習率為0.001,每5個epochs之后衰減率為0.7.

6)DCRNN：擴散卷積遞歸神經網絡[11].DCRNN是通過Adam優化器最小化MAE進行訓練的.編碼器和解碼器均有兩個LSTM層,每個LSTM層有64個單元.最初的學習率是0.01,從第20個epoch開始,每10個epochs縮短10%.隨機游走的最大步數設置為3,最大epoch為100,根據監測驗證誤差決定是否采取提前終止的措施.

8.3 實驗設置

本文的實驗設備是Intel?CoreTMi7-4790 3.60GHZ CPU和4個NVIDIA GeForce Titan X Pascal GPU.

對于PeMS數據集,本文采用的是13個月(2017年4月到2018年4月)的交通流量,在實驗時,選擇前12個月的交通流量數據作為訓練集,并用最后一個月(2018年4月)的數據作為測試集,隨機抽取20%的訓練樣本作為驗證集.

本文根據驗證集的性能來設置STPAN模型的超參數.對于空間信息，將卷積核大小設置為3×3，64個過濾器.把K設為3.對于時間信息，將短期LSTM長度設為為7(即前3.5個小時)，長期周期信息|P|=3(即前3天)，周期性注意力機制|Q|=3(即考慮相對于預測時間的前后半小時)，LSTM的隱藏層的維數設為128.模型STPAN使用Adam進行優化，batch size為64，學習率為0.001.LSTM中的dropout為0.5.

8.4 在PeMS數據集上的性能評價

圖3展示的是在PeMS數據集上預測2018年4月10日的交通流量圖.從圖中可看到本文提出的模型STPAN可以較好地捕獲到早高峰和晚高峰時段的趨勢走向,與真實交通流量非常接近.

圖3 2018年4月10日的交通流量預測

圖4描述的是在PeMS數據集上預測2018年4月1日的交通流量.因為2018年復活節的時間是2018年4月1日,與愚人節是同一天,高于往常交通流量,因此圖4的整體交通流量高于圖3的交通流量,本文提出的STPAN模型能捕捉到流量的變化趨勢,圖4的趨勢走向和圖3的趨勢走向較吻合,交通流量的高峰時段大致相似.

圖4 2018年4月1日的交通流量預測

圖5描述的是在PeMS數據集上對2018年4月3日至2018年4月10日共一周的交通流量預測結果.預測的時間間隔為5分鐘.從圖中能看到交通流量數據隨時間動態變化,每天的早高峰和晚高峰時段相似,呈現出強烈的周期性特征,盡管每天的流量趨勢相似但又不完全相同.本文提出的STPAN模型在PeMS數據集上較好地實現了對交通流量的預測.

圖5 2018年4月3日至4月10日的交通流量預測

表2描述的是STPAN模型與其它方法在PeMS數據集上進行15分鐘、30分鐘和45分鐘的流量預測的實驗對比結果,從表中看到本文提出的STPAN模型在3個評價指標中均獲得了最好的性能.傳統的統計和機器學習方法對于短期預測表現良好,但因為誤差積累和缺乏空間信息,它們的長期預測并不準確.深度學習模型通常比傳統的機器學習模型更能取得好的預測效果.由于模型STPAN不僅對傳感器的空間拓撲進行建模,而且在時間維度上利用周期性注意力機制以及外部環境信息,從而使得本文的模型STPAN在短期和中長期預測方面均優于STGCN和DCRNN.

表2 不同交通流量預測方法的性能比較

8.5 消融實驗

為證明STPAN模型中的每個組件對預測效果的影響,本文用控制變量法對STPAN的變體做進一步的研究.雖然更改了部件,但所有變體均擁有相同的框架結構和參數設置.具體地說,在提出的STPAN框架中,一次刪除一個組件.首先,將STPAN的變體命名如下.

1)STPAN/noGCN：不帶GCN組件的STPAN模型.這種沒有GCN的STPAN變體對空間相關性不敏感.

2)STPAN/noPA：沒有周期性注意力機制的STPAN模型.STPAN/noPA有兩個LSTM網絡.一個是作為捕獲短期依賴關系,另一個是根據前3天信息中的相對時間來獲取長期信息.注意,本文設置|Q|=1(僅考慮前3天的相對預測時間).

圖6描述的是STPAN及其兩個變體在不同預測時間間隔下的MAPE的對比結果.從圖中看出,STPAN取得了最低的MAPE值,STPAN/noGCN是3種方法中最高的MAPE值,由于此變體模型沒有對空間信息進行提取,預測效果遠低于STPAN模型,這表明空間依賴性對最終模型的預測效果影響很大,也側面說明了GCN(對空間相關性進行建模)在交通流預測中的重要性.此外,通過對比STPAN/noPA和STPAN的性能,表明周期性注意力機制的加入對模型的預測性能有了一定的提升.

圖6 不同預測時間間隔下STPAN和其變體的性能對比圖

9 結 語

預測未來交通流量是智能交通系統中的關鍵問題之一.交通流量數據受各種因素共同影響,其是一個非線性、隨時間改變的復雜的隨機過程.由于道路按功能區域的空間分布、人們出行需求的差異,使得交通流具有時空特性,且交通流量的預測受大量復雜因素的影響.

準確的交通流量預測不但為交通管理員和出行人提供有價值的信息,且有利于提升道路資源利用率,減少人們的出行和時間成本,實現交通管理從“被動”變為“主動”的關鍵.

本文提出了一種時空周期性注意力網絡的交通流量預測模型(STPAN).首先,使用GCN來描述基于圖的交通流數據的空間相關性.其次,綜合考慮短期和長期的周期性信息進行流量預測,并使用LSTM獲得時序依賴關系.因為時間上的周期性非嚴格固定的,因此本文利用周期性注意力機制來處理此問題.本文還將天氣等外部信息增添到模型中,以提高模型的預測性能.

本文將STPAN模型與HA、ARIMA、SVR、XGBoost、STGCN、DCRNN在PeMS數據集上分別進行實驗,實驗結果表明,在不同的預測間隔下,STPAN模型的預測性能均優于其他方法.此外,還將STPAN和兩種其變體(STPAN/noGCN、STPAN/noPA)進行了對比實驗,結果表明,STPAN模型的預測效果是最好的.