多頭圖注意機制的深度學習地鐵客流預測方法

張 陽，陳燕玲

（1.福建工程學院 交通運輸學院，福建 福州 350118；2.福建工程學院 智能交通系統研究中心，福建 福州 350118）

0 引言

地鐵具有運送能力強、運行效率高且節能環保等優勢，一直受到城市居民和建設運營部門的青睞。隨著城市化進程的提速，城市人口的逐年增加，地鐵系統所承受的客流壓力也在不斷加大，部分線路和站點時常發生客流擁堵，不僅對乘客的出行體驗產生不利影響，甚至會帶來極大的安全隱患[1]?？土餍畔⒌募皶r發布以及面向客流變化的智能管控和調度技術能夠有效地幫助乘客制定合理的出行計劃，同時能夠幫助運營部門制定合理的列車運行時刻表，是避免乘客擁擠、維護地鐵運營穩定性的重要方法[2]。而準確的地鐵客流預測則是實現這些重要方法的基礎和關鍵。

經典客流預測方法較多關注客流量的時間關聯性，因而有較多學者利用客流量在時間上的變化特性進行預測。此類方法可以在一定程度上提高對客流量預測的精度。較具有代表性的預測方法有時間序列法、支持向量機回歸[3]、卡爾曼濾波[4]、自回歸移動平均法(ARIMA)[5]、Holt-Winter[6]等多種方法。此類方法能夠充分考慮客流量數據在時間上的變化特性。然而客流量的變化是復雜的，尤其是受天氣因素、大型活動的影響等，地鐵客流量極易發生變化，使得預測結果產生較大的偏差。目前越來越多的學者嘗試利用深度學習的方法來解決此問題。在此類方法中，具有代表性的模型有卷積神經網絡(Convolutional Neural Networks，CNN)[7]、長短時記憶神經網絡(Long Short-term Memory，LSTM)[8]以及深度信任神經網絡[9]等多種模型。而以上模型大多只考慮了客流量的單一特征，利用單一的時間特性進行客流預測。為了進一步增強預測方法的泛化性，越來越多的學者使用組合模型進行客流量預測。在多特征時間序列的預測上組合模型的預測精度比單一模型提高較多，應用在客流預測中較為具有代表性的有蝙蝠算法優化LSTM模型[10]、GA-BP神經網絡模型[11]、小波-ARMA組合模型[12]、EMDPSO-LSTM組合模型[13]等多種組合模型。這些組合模型中，主要考慮了客流量的時間關聯性。由于客流量在地鐵網絡空間上也存在一定的關聯性，為了進一步提升預測精度，已有部分學者開展了地鐵客流空間關聯性的相關研究，Feng等[14]設計了全局時空分量，可以有效地分析局部時空相關性。Yang等[15]提出多圖時空卷積神經網絡(MGSTCN 網絡)，構造3 個圖來提取不同的客流變化模式，并通過圖卷積運算從多個角度獲取空間特征。Huang 等[16]提出了一種基于多分量融合的時空圖模型MS-GAT提高處理多維數據的效率和實現自我注意力機制的便利性。傅成紅等[17]提出將深度信任網絡與支持向量機進行結合，輸入影響因素數據后進行逐層學習，提取關鍵信息，從而進行預測。趙建東等[18]提出使用時間序列分解與門控循環單元相結合，將模型預測過程分為3 個階段進行預測，同時將客流量劃分為3 類進行預測。這些研究有效地提升了預測精確度。然而，與地鐵站點客流量的時間關聯性相比，地鐵網絡的客流數據在空間上的相關性更為復雜且難以準確捕捉，如何準確量化目標站點與關聯站點群之間的空間關聯強弱性，如何在空間關聯性中更好地結合客流的時間關聯性等問題都亟待解決。

為了解決上述問題，研究提出一種多頭圖注意機制的深度學習地鐵客流預測方法。為了同時實現多個與目標站點相關聯的地鐵站點群的客流時空數據學習，構建一種面向地鐵網絡的多頭圖注意力機制，實現目標站點與關聯站點群之間的空間關聯強弱性的準確量化。同時，將面向地鐵網絡的多頭圖注意力機制模型融入LSTM預測模型，在量化空間關聯性輸入數據的同時捕捉客流數據間的時間關聯性，進一步提升客流預測的精度，以期能夠獲得較為優質的預測結果。

1 面向地鐵的多頭圖注意力機制

城市地鐵網絡中，客流的交通特性不僅在時間上存在關聯性，在起訖站點上也存在著空間關聯性。假設預測的目標站點為訖點，則其客流量的預測值和歷史客流數據相關，且和潛在的起點站點客流相關。而在復雜的地鐵網絡中，潛在起點數量較多且幾率上存在較大的差異性，存在量化困難。在地鐵網絡中，潛在起點對訖點的客流影響程度存在一定的差異。通常，不同起點對訖點的空間影響大小會與距離成正比。但是，由于地鐵站周圍土地屬性的差異，在同一空間距離內，各站點之間的客流影響程度并不完全一致。為了解決這一難題，構建了一種面向地鐵網絡的多頭圖注意力機制來學習獲取不同潛在起點的實際影響權重?？紤]到圖神經網絡與注意力機制相結合的圖注意力機制網絡模型對空間數據學習能力較強，研究使用該框架進行模型構建。針對地鐵網絡存在多站點的問題，需要能夠重復多次執行注意力機制，因而對圖注意力機制網絡模型進行改進，通過構建多個塊層實現能夠重復多次執行注意力機制的多頭圖注意力機制，學習地鐵網絡的客流數據得出重要程度的差異性，從而為每一個潛在的起點站點分配不同的權重。塊層結構如圖1所示。

圖1 塊層結構Fig.1 Block layer structure

將地鐵網絡視為一個加權有向圖，表示為公式⑴。

其中V為頂點集，為各地鐵站點。V=｛V1，V2，…，Vn｝即為頂點個數，是研究范圍內地鐵站點的個數。E代表邊集，用于表示節點連通性的鄰接矩陣。

構建多頭圖注意力機制的構建塊層，其中h=｛h1，h2，…，hn｝hn∈nF為注意力層輸入特征。h′ =為注意力層輸出特征。使用多頭圖注意力機制得到映射a：通過映射a計算各節點的系數，計算公式如下。

式中：eij為節點i相鄰節點j的重要程度；W為線性變換權重矩陣，W∈RF× RF′，F為各節點的特征數量。

對eij進行歸一化操作，使其能夠更好地描述不同節點之間的權重。計算公式如下。

式中：aij為各節點的系數，即各級節點的權重比例；LeakyReLU為非線性激活函數；‖ 用于表示權重矩陣之間的串聯操作。

使用可訓練的神經網絡構建a( )，并通過整體結構訓練進行優化。圖注意力機制中對中間層采用拼接、對最后一層采用求平均值的方法，利用公式⑷、公式⑸進行注意力權重聚合鄰節點特征，其中中間層使用拼接方式計算過程如公式⑷，最后一層使用平均方式計算過程如公式⑸。

式中：為各個節點輸出權重；Ni為站點i的相鄰節點數量；為注意力機制計算后的權重；σ為非線性激活函數。

a為大小2F’的權重向量，因而相乘后可得到一實數，則該實數即為注意力系數。eij通過權重矩陣a→進行參數化，使用LeakyReLU函數激活。eij通過softmax函數進行歸一化操作，在歸一化過后使得注意力權重產生非對稱性，從而能夠更好地進行周邊站點影響力的分析。

與經典的注意力機制不同，改進的多頭注意機制構建多個塊層能夠重復多次執行注意力機制，從而能夠得到多個關聯站點與目標站點間的差異化權重aij，這些權重是獨立互不干擾且能量化目標站點與關聯站點間的空間關聯性，使數據的學習更加有側重性。

2 地鐵客流預測模型構建

LSTM 在數據時間序列的規律性分析上性能優越[19]。將研究提出的面向地鐵網絡的多頭圖注意力機制融入LSTM 中，構建融合多頭圖注意機制的LSTM 地鐵實時客流預測模型。在量化站點間空間關聯強弱性的基礎上利用LSTM來學習地鐵站中客流量的時間關聯性，使該方法既能側重于空間關聯性較強的站點間客流關聯性的學習，同時也能捕捉站點自身客流數據時間上的關聯性，從而提升地鐵客流量的預測精度。

2.1 融合多頭圖注意機制的地鐵客流預測模型構建

為了兼顧算法的時間關聯學習能力，模型采用LSTM 深度學習框架，用多頭圖注意機制替換傳統LSTM 中的矩陣乘法，融合多頭圖注意機制的LSTM 地鐵實時客流預測模型(以下簡稱“S-GATLSTM”)結構如圖2所示。

圖2 S-GAT-LSTM結構Fig.2 S-GAT-LSTM structure

在地鐵實時客流預測中，傳統的LSTM預測模型能夠較好地學習客流量的時間特性，但是對于客流量在空間上的關聯性學習上仍存有一定的不足。針對這一問題，將面向地鐵網絡的多頭圖注意力機制融入LSTM中，以期在考慮時間關聯性的同時關注客流量的空間關聯性。S-GAT-LSTM 結構組成主要有輸入門、輸出門、遺忘門。其中輸入門及記憶單元是用于學習歷史數據的時間特性，遺忘門則是用于對無關數據的淘汰，S-GAT-LSTM用于提取客流量空間關聯性，輸出門用于傳遞客流量歷史數據的時間、空間特性。融入面向地鐵網絡的多頭圖注意力機制后，其計算公式如公式⑹至公式⑾所示。

式中：不同的下標中f，i，o分別表示LSTM 的遺忘門、輸入門和輸出門；其中，σ為Sigmoid 層(遺忘層)激活函數，其輸出值在0~1之間，即表示遺忘層中的信息通過量；Ct-1，Ht-1，xt為上一時刻值，Ct，Ht為輸出值；tanh 層輸出值范圍為-1~1；F*用于豐富隱藏表示的多頭圖注意力機制；k為注意層數，同時也是隱藏狀態和塊層狀態的維數。

2.2 S-GAT-LSTM地鐵客流預測模型實現步驟

利用城市交通IC 卡采集研究所需要的刷卡時間、刷卡站點等客流量數據信息，對該數據集進行分析和預處理，從而實現融合多頭圖注意機制的LSTM地鐵實時客流預測。預測模型實現步驟如下。

步驟1：采集地鐵客流量樣本數據，主要包括目標地鐵站點過去一個月的歷史刷卡數據，包括乘客進出站點刷卡時間，周邊地鐵站點與目標站點的距離，周邊地鐵站點的乘客進出站刷卡時間等。對數據進行預處理，主要進行數據清洗、數據集成等，以去除數據中的噪聲及無關數據。將所得地鐵客流量數據按5 min 聚合，使其符合預測模型輸入數據格式要求。

步驟2：通過端到端學習平臺(Tensorflow)構建融合多頭圖注意機制的LSTM地鐵實時客流預測模型，對預測模型的顯隱層結構進行初步設計，初步設定隱層層數、顯隱層的結構節點數等相關參數指標。

步驟3：選取目標研究地鐵站點的歷史客流量數據及周邊相關地鐵站點群的歷史數據作為模型輸入數據進行訓練學習，將輸入數據劃分為訓練集和測試集。利用訓練集訓練預測模型，根據上述計算目標地鐵站周邊空間特性對其客流量的影響，使用公式⑴將地鐵網絡視為加權有向圖。根據公式⑵計算各節點的重要程度，使用公式⑶對各節點系數進行歸一化操作，使用公式⑷至公式⑸進行計算并輸出各節點特征。根據公式⑹至公式⑾實現數據的時間關聯性和站點的空間相關性學習，分別輸出工作日和周末地鐵客流量預測值。

步驟4：利用測試集測試訓練好的預測模型，根據測試結果多次調整模型參數，計算相關指標，直至預測精度達到最好，從而在一定程度上提高模型預測效果。

步驟5：將地鐵客流量歷史數據作為真實值，使用模型預測所得結果與之進行對比，以確定模型預測精度是否能夠達到預期目標，若符合模型輸出標準則輸出模型預測結果，若未達標則返回步驟3，對模型結構的相關參數指標進行修正，觀察模型輸出預測值的變化，直至模型預測精度達到預期標準。

3 實驗結果與分析

3.1 研究范圍

上海市共有地鐵線路20 條，設有車站508 座。本次實驗以徐家匯站為例，徐家匯站為地鐵1 號線、9 號線、11 號線換乘站點。徐家匯站周邊節點分布圖如圖3所示。

圖3 徐家匯站周邊節點分布圖Fig.3 Distribution of nodes around Xujiahui Station

使用相關地鐵刷卡信息，經分析和預處理得到2019年4月1日至4月30日5：00—23：30共30 d實驗研究范圍內所需的上海地鐵一卡通刷卡數據，并將其作為實驗樣本設置，樣本時間粒度為5 min，將數據集劃分為訓練集、測試集和驗證集?？紤]到地鐵網絡的工作日客流量與周末客流量存在一定的時空差異性，其中工作日有明顯的早晚高峰時間段，周末有較為明顯的站點客流量。因此將4 月前24天中的工作日時段和周末時段作為模型2個訓練樣本集用于訓練模型。分別對工作日時段和周末時段進行了地鐵站點的客流量預測，進行實證分析，以驗證所提出的預測模型的預測精確度。將4 月26 日(周末)與4 月27 日(工作日)地鐵客流量數據作為預測模型中的測試集，用于測試多頭圖注意機制的深度學習地鐵實時客流預測模型的預測性能。

3.2 指標選取

為使融合多頭圖注意機制的地鐵實時客流預測模型的精確度得到較好的評估，選取平均絕對誤差(MAE)[20]、相關系數R2及均方根誤差(RMSE)[18]作為評價指標。

式中：xi為在時刻i的真實值；為在時刻i的預測值；為測試集平均數；N為預測數據的總量；i為樣本數量。

3.3 圖注意機制對預測性能的影響

為了評估圖注意機制對模型預測性能的影響，將融入圖注意力機制預測模型(S-GAT-LSTM)與不含圖注意力機制的LSTM預測模型的預測性能進行對比，使用相關指標驗證S-GAT-LSTM 模型預測準確性。

在本次研究中，所有神經網絡均通過Tensorflow構建，并選擇Adam[21]作為模型優化器來更新模型中的參數。為了能夠更為準確地對比圖注意機制對模型預測性能的影響，研究使用相同的學習率和迭代次數下進行實驗。由于模型之間參數的不同選擇會對模型精度產生一定影響，故文中不同模型的其他參數均采用該模型最優參數。實驗在前10 次迭代的學習率設置為0.01，每迭代10 次學習率減少0.1，所有模型在迭代30 次后停止。訓練融合多頭圖注意機制的地鐵實時客流預測模型以及研究所需的其他相關模型，并根據地鐵網絡的客流量數據進行預測。

分別對工作日和周末2 個時間段進行地鐵站點的客流量預測，并與真實值做對比。工作日預測結果對比如圖4所示，周末預測結果對比如圖5所示。工作日預測結果指標對比如表1 所示，周末預測結果指標對比如表2所示。由圖4、圖5、表1、表2可知，在工作日時間段與在周末時間段，所提出的SGAT-LSTM模型預測精度均優于傳統的LSTM預測模型。由此可見，面向地鐵網絡的多頭圖注意機制的深度學習地鐵實時客流預測方法是切實可行的，能夠有效提高地鐵網絡中站點的客流量預測精度。

表1 工作日預測結果指標對比Tab.1 Comparison of weekday forecast results

圖4 工作日預測結果對比Fig.4 Comparison of weekday forecast results

圖5 周末預測結果對比Fig.5 Comparison of weekend forecast results

3.4 與經典算法對比

將S-GAT-LSTM 與其他經典的深度學習預測模型、相關改進DBN模型和STL-GRU組合預測模型進行對比，各模型均采用3.2 所選取的指標。各模型分別在工作日和周末進行預測，工作日與經典模型預測結果對比如圖6 所示，周末與經典模型預測結果對比如圖7 所示。工作日與經典模型預測結果指標對比如表3 所示，周末與經典模型預測結果指標對比如表4所示。

表3 工作日與經典模型預測結果指標對比Tab.3 Comparison of weekday and classical model forecast result indexes

圖6 工作日與經典模型預測結果對比Fig.6 Comparison of weekday and classical model forecast results

圖7 周末與經典模型預測結果對比Fig.7 Comparison of weekend and classical model forecast results

根據圖6、圖7、表3、表4 可以得知，與其他經典預測模型以及經典改進模型相比，S-GATLSTM 模型在工作日和周末的預測效果均有較大程度的提高。結果表明，S-GAT-LSTM 模型能夠兼顧地鐵站點中客流量的時間關聯性，以及多個與目標站點相關聯的地鐵站點群客流的空間相關性，因而模型預測精度要優于僅考慮了地鐵客流量時間關聯性的LSTM預測模型和僅考慮地鐵客流量空間相關性的DBN-SVR 預測模型。因此，在實際地鐵客流量的預測應用中，同時考慮客流量的時間關聯性和空間相關性有利于提升模型的預測精度。同時，S-GAT-LSTM 模型在周末的預測準確性優于工作日，這表明在訓練數據較少的情況下，S-GATLSTM模型的預測精確度不會產生較大的影響。

4 結束語

研究提出一種同時考慮客流量時間關聯性和站點空間相關性的地鐵站點客流預測方法，根據地鐵客流量的特征構建面向地鐵網絡的多頭圖注意機制以學習潛在起點對研究站點的影響權重大小，構建融合多頭圖注意力機制的LSTM預測模型，根據該預測模型學習地鐵周邊情況與相鄰站點對目標站點的客流空間的影響系數，以及地鐵客流量在時間上的變化特性，從而學習客流的時空特征，使用該模型學習周邊站點對目標站點的空間影響，得出周邊站點的節點特征。根據該節點特征與空間相關性，進行地鐵站點的客流量預測。通過地鐵客流量歷史數據進行全面驗證可以得出，所提出的面向地鐵網絡的多頭圖注意機制地鐵客流量預測方法預測精度優于其他經典的深度學習預測模型及其經典的改進模型。