結合出行方式的Trans-BiLSTM移動目標位置預測方法

姚子宣,魏 東,冉義兵

(北京建筑大學 電氣與信息工程學院,北京 100044)

(建筑大數據智能處理方法研究北京市重點實驗室,北京 100044)

0 引 言

近年來,隨著科技和社會的進步,人們生活水平逐漸提高,通信技術和定位技術也在飛速發展,具有全球定位系統 (GPS)功能的便攜式設備得以普及,獲取大量高精度GPS軌跡數據變得更方便和快捷,人類的日?；顒赢a生的大量軌跡數據,為基于位置的服務(LBS,Location Based Services)提供了數據支撐.基于位置的服務在推薦系統[1]、目的地預測[2]、輔助城市規劃[3]等場景均有應用.其中位置預測是基于位置的服務的重要組成部分,是上述應用場景的重要技術支撐,如何精準、高效地進行基于GPS軌跡數據的位置預測是目前的研究熱點之一.

目前,研究人員普遍認為位置預測的本質是從歷史軌跡中挖掘目標的運動規律,并以此為依據給出目標下一個可能出現的位置.其研究成果主要分為三類:基于馬爾科夫鏈[4,5]、基于頻繁模式挖掘策略[6,7]和依賴循環神經網絡的位置預測模型[8,9,11,12].

在位置預測研究中,馬爾可夫鏈是較為經典的算法,其核心是提取歷史軌跡中的關鍵位置并獲取其訪問概率,從而構建位置轉移矩陣,最終計算得到的預測結果為目標訪問概率最大的位置.文獻[4]首先采用聚類算法從歷史軌跡中提取出個人經常訪問的位置,然后再構建模型進行位置預測,判斷人員可能到訪的位置.文獻[5]在文獻[4]的基礎上采用了基于密度的聚類算法,并考慮預測結果與前序多個位置的相關性,在不同的真實數據集上進行測試,獲得僅考慮前序2個位置時效果最佳的結論.上述兩種方法并未考慮目標訪問同一位置時的時間因素,在不同時間訪問同一位置的意義不同,將影響預測結果的準確性.

目標的移動模式具有一定規律,可以采取頻繁模式挖掘策略,從歷史軌跡中獲取目標移動的頻繁模式,進而提高預測準確率.文獻[6]在預測目標下一位置時,首先確定與當前運動模式最匹配的歷史模式,再預測目標的下一位置.文獻[7]通過引入并行計算的方法提高頻繁模式挖掘的預測效率.上述兩種方法考慮了目標移動的實際意義,提升了預測準確率,但是頻繁模式挖掘方法需要遍歷全部數據集,時間復雜度高.

全球定位系統(GPS,Global Positioning System)軌跡是時間序列數據的一種,循環神經網絡(RNN,Recurrent Neural Network)已廣泛應用于時間序列數據預測.文獻[8,9]均提出了基于RNN的位置預測模型.前者考慮了時間因素對預測結果的影響,在預測時引入時間特征,可以預測移動目標出現在預測位置的時間.后者在此算法基礎上添加降維模塊,以提高模型應用在更長軌跡上的運行效率和準確率.

受制于RNN無法捕獲序列的長時間依賴關系的建模原理,軌跡數據序列較長時,預測結果受輸入序列中后序位置的影響大,與前序位置幾乎無關聯,影響預測結果準確性.文獻[10]在RNN的基礎上增加篩選門機制構建長短期記憶網絡(LSTM,Long Short-Term Memory),通過篩選輸入和歷史狀態來保障模型具備傳遞長時依賴關系的能力.然而,較長的軌跡數據使得神經網絡需要處理高維的輸入向量,導致模型效率降低.文獻[11]在LSTM基礎上引入位置分布式表示模型,將包含人員運動模式的高維one-hot向量降維成低維位置嵌入向量,在較長軌跡數據序列輸入的情況下提高了模型效率,并取得了更優的結果.此外,對于實際應用,軌跡數據中關鍵位置對預測結果應有更高的影響權重.而基于LSTM的位置預測模型,其輸入是同權重的順序序列,在降維后會產生細節丟失的問題,使得模型無法充分利用上下文信息發掘軌跡中的關鍵位置.文獻[12]采用雙向長短期記憶網絡(BiLSTM,Bi-directional Long Short-Term Memory),利用航速、經度、緯度和航向等屬性對不同類別的艦船航跡進行預測,在預測精確度和預測穩定性兩個方面均得到提高.

盡管BiLSTM為軌跡預測提供了新的方法,并在某些方面取得了顯著的進步,但其仍然存在一些局限性.首先,BiLSTM雖然能夠捕獲序列中的前向和后向信息,但在處理長序列數據時,仍可能出現部分上下文信息的丟失.此外,BiLSTM在對長序列的輸入處理上仍然面臨計算效率和模型復雜度的問題.Transformer模型,尤其是自注意力機制,為解決上述問題提供了新的思路[13,14].該機制能夠為序列中的每個元素分配不同的權重,從而確保模型能夠更加聚焦于關鍵的上下文信息,而非均勻地處理整個序列.此外,Transformer的并行化處理能力使其在處理長序列時具有更高的計算效率.文獻[15]中提出GETNext模型采用圖卷積神經網絡計算興趣點嵌入后的時空信息,并通過Transformer模型進行預測下一時刻興趣點,結果表明Transformer模型在處理時間序列數據方面,更容易捕獲前后信息的依賴關系.因此,在位置預測領域,Transformer模型的引入可以使模型發掘軌跡數據中的關鍵位置,從而提高模型性能.

用戶的出行方式對軌跡預測有顯著的影響.然而現有研究在位置預測過程中往往忽略用戶出行方式的關鍵作用,同時在處理長時間序列依賴問題中效果較差.基于此,本文提出了一種融合Transformer和BiLSTM的位置預測模型.首先構建基于XGBoost的用戶出行方式識別模型,從中挖掘與出行方式相關的重要特征,這些特征與軌跡序列共同構成預測模型的輸入數據.然后設計預測模型Trans-BiLSTM,它依賴Transformer的能力有效地處理長時序依賴關系,模型內部的多頭注意力機制使得重要數據點在預測結果中有更大的影響,同時借助BiLSTM雙向傳播機制,彌補目標位置預測需要先驗知識的缺陷,從而在軌跡預測任務中更好地學習長距離依賴關系,提升軌跡預測的準確率.

在現實GPS軌跡數據集上進行目標位置預測,實驗結果表明,本文所提出的Trans-BiLSTM模型取得了較好效果,與常用LSTM和BiLSTM模型相比,目標位置預測的結果RMSE指標提升67.4%和17.7%.

1 模型框架概述

本文目標位置預測模型分為3個步驟,軌跡數據預處理與特征提取、XGBoost特征篩選和Trans-BiLSTM目標位置預測模型,整個模型流程圖如圖1所示.

圖1 模型流程圖Fig.1 Model flow chart

1)軌跡數據預處理與特征提取:首先對歷史軌跡進行去重和過濾,再根據時間閾值進行分割.由于過短的軌跡無法提供充足的訓練樣本,因此需要按照軌跡長度篩選去除過短的軌跡.之后提取軌跡中的時空特征并計算出行方式的運動學特征,便于模型學習目標的日常移動模式.

2)XGBoost特征篩選:訓練XGBoost模型對輸入特征進行重要性排序,篩選出影響出行方式的主要特征,將用戶出行方式特征與軌跡序列一并作為預測模型的輸入,進而提高目標位置預測精度.

3)Trans-BiLSTM目標位置預測模型:在結合用戶出行方式的基礎上,本文采用Transformer編碼器和BiLSTM模型[16]組合的方式對軌跡數據進行目標位置預測.Transformer的編碼器部分通過位置編碼和多頭自注意力機制處理軌跡特征數據,輸出編碼后的高級軌跡特征表示.其中,多頭自注意力機制通過計算后一個隱層狀態向量與前序隱藏狀態向量間的相似度,更新權重的方式對新的隱層狀態向量序列進行加權,挖掘軌跡中對預測結果影響權重較大的特征屬性.Transformer的高級軌跡特征表示作為BiLSTM的輸入,BiLSTM模型在LSTM模型基礎上構建,引入雙向傳播機制充分利用軌跡中的位置上下文信息,使模型具有更強的預測精度.

2 位置預測模型

2.1 軌跡預處理與特征提取

GPS軌跡數據屬于時序數據類別,由GPS裝置在固定的時間間隔中記錄,其涵蓋了位置的緯度和經度信息以及時間細節等.后續敘述中Ti代表一段軌跡,pi代表軌跡中的一個位置點,loni,lati,ti分別代表軌跡點的經度、緯度和記錄時間.歷史軌跡是一個軌跡集合T={T0,T1,T2,…,Tn},其中一段軌跡是一個點集合T={p0,p1,p2,…,pn},其中每個位置是一個三維向量pi=(loni,lati,ti).歷史軌跡數據中包含多段軌跡,這與每次采集的周期有關.

2.1.1 數據去重與過濾

原始GPS數據由于采集設備在受到外部干擾時會產生重復值和異常值,此類數據會對特征提取的準確性及位置預測的精確度造成影響.因此,必須對原始GPS數據進行去重和清洗操作.

原始GPS數據存在兩種主要的重復情況,第1種是GPS軌跡數據中的軌跡點具有相同的時間戳,對于這種情況,本文采用遍歷對比的方式找到時間戳重復的軌跡點,僅保留此時間戳對應的第1個軌跡點.第2種是不同軌跡段存在時間重疊情況,即一段軌跡的時間跨度內含有另一軌跡段的時間戳,并且重疊時間里的出行方式是不同的,從而影響軌跡分割,此時應刪除重疊時間內的軌跡點,保證每條軌跡的時間段不存在重疊情況.

異常值是由于采集設備受干擾而產生與實際位置不符且偏移量大的軌跡點.此類軌跡點會使目標的運動學參數異常,如步行軌跡段中出現瞬時速度、加速度過大的值,與實際情況不符,故需標識并排除,在去除后進行插值補充.此處閾值設定基于實驗經驗,詳見表1.插值補充取異常軌跡點前后兩點的中值,計算方法如式(1)所示:

(1)

表1 運動學參數閾值Table 1 Kinematic parameter threshold

2.1.2 軌跡分割與特征提取

為了構建位置預測模型,需要學習移動對象在一定周期內的出行方式,這就要求對歷史軌跡進行分割.本文按照時間閾值將軌跡進行分割,如果歷史軌跡中前后兩點(pk,pk+1)的時間間隔(tk,tk+1)大于時間閾值△t,則認為pk為前一段軌跡的終點,pk+1為下一段軌跡的起點.若經過分割后的軌跡段內軌跡點數量過少,則表明目標移動的持續時間短,無法準確反映移動目標的出行方式,故需要刪除此段軌跡.

目標的移動模式具有一定的規律性,在不同的時間經過相同的位置時,其實際情況的含義有所不同.所以在進行位置預測任務時,本文提取GPS軌跡中的經緯度和時間作為基礎特征,將其轉化為向量后可以直接作為神經網絡的輸入.本文所提出的位置預測模型首先識別軌跡段的出行方式,那么需要提取軌跡段的運動學參數作為出行方式識別的特征.出行方式特征包括軌跡點特征和軌跡段特征.GPS軌跡可視化如圖2所示.

圖2 軌跡可視化示例Fig.2 Track visualization example

軌跡點特征包括速度、加速度和偏轉角.在進行出行方式提取時,首先需要得到兩個軌跡點間距離L,再獲取兩點間時間差△t,最后計算速度v與加速度a.計算公式為:

(2)

(3)

其中R為地球直徑.

每兩個軌跡點航向差的絕對值為偏轉角Di,其中航向Hi指每個軌跡點和下一點連線與真北方向的方向角,計算公式如式(4)所示:

Di=|Hi+1-Hi|

(4)

軌跡段特征通過對軌跡點特征應用統計學方法計算得出,用以表述此段軌跡整體的運動學參數,減少極端值對識別結果產生的影響,其中包括此段軌跡中軌跡點特征的平均值、標準差、眾數、值域、最大三值和最小三值,分別用于表述軌跡段內運動學參數的集中趨勢、離散程度、極值等信息,共計30個.

本文引入航向變化率、停止率和速度變化率[17]3個特征,以更好地區分目標的出行方式.航向變化率HCR(Heading Change Rate)表述移動目標航向變化超過Ht的頻率,Ht設為19°.停止率SR(Stop Rate)表示移動目標的速度低于Vs的頻率,Vs設為3.4m/s.速度變化率VCR(Velocity Change Rate)體現移動目標速度變化大于Vc的頻率,Vc設為0.26m/s.計算公式如式(5)～式(7)所示:

(5)

(6)

(7)

此外,出行方式通常會決定目標的出行距離,因此軌跡長度也屬于軌跡段特征之一.

綜上所述,軌跡段特征包含34項,即出行方式識別模型的輸入向量的維度為34.

2.2 基于XGBoost的出行方式特征篩選

在預測用戶位置時,只關注軌跡序列顯然是不夠的,考慮到用戶出行方式對位置預測的重要意義,因此構建基于XGBoost的出行方式識別模型,篩選對出行方式具有顯著影響的特征集,作為預測模型的出行方式表征向量.

2016年,文獻[18]提出XGBoost算法.它是一個優化的分布式梯度增強框架,在模型的訓練過程中,逐步通過決策樹達到優化目的,進而求取最優解.XGBoost本質上是加法模型,其計算公式為式(8)

(8)

決策樹在考慮某個節點進行分裂時,XGBoost將評估所有可能的分裂特征和其對應的分裂節點.對于每個分裂,都將計算其帶來的目標函數的信息增益.分裂增益計算公式為式(9):

(9)

其中,GR和GL分別表示左右子節點的梯度總和,而HL和HR是它們的二階梯度總和.λ和γ是正則化參數.

根據模型訓練過程可將式(8)展開,當前積累的樹由前T-1顆樹加上當前第T顆樹,公式為式(10):

(10)

(11)

(12)

XGBoost模型在訓練過程中為特征賦予了重要性分數,這使得它能夠用于特征選擇.在決策樹中,特征的重要性是通過多個方面進行評估的:特征被選為分割節點的頻率,使用某特征進行分割帶來的訓練損失的平均減少,以及該特征分割影響的觀測值數量.結合這些評估指標,可以對模型的特征進行相關性排序.

如圖3所示是軌跡特征數據與出行方式之間的相關性得分.為了更清晰地展示結果,圖中只顯示了排序的前20個特征.此外,為了探究特征數量對預測模型結果的影響,本文依次選取不同數量的特征與軌跡序列一并作為預測模型的輸入.如表2所示是不同特征數與MAE的關系.

表2 不同特征集的平均絕對誤差Table 2 Average absolute error of different feature sets

圖3 特征重要性排序結果Fig.3 Feature importance ranking results

由表2可知,特征維度為8時MAE最低,因此選定前8個特征作為出行方式最相關的特征,分別為航向變化率、速度下四分位數、速度均值、速度四分位差、停止率、速度變化率、速度上四分位數.

2.3 Trans-BiLSTM預測模型

本研究提出一種結合Transformer和BiLSTM優勢的位置預測模型.一方面,Transformer編碼器處理強規律性的文本數據具有獨特優勢,其內部多頭注意力機制先評估隱層狀態與先前狀態的相似度,經過標準化后,生成多個權重向量度量每個時序數據點的重要性.另一方面,BiLSTM模型采用雙向傳播,彌補了目標位置預測需要先驗知識的缺陷,使模型學習到軌跡數據前后之間的關聯.因此,結合Transformer編碼器和BiLSTM模型,可以構建一個更加高效和準確的時序預測模型,模型的結構如圖4所示.

圖4 Trans-BiLSTM結構圖Fig.4 Trans-BiLSTM model structure diagram

2.3.1 Transformer編碼器

軌跡數據經過軌跡預處理和特征提取,獲取到對目標位置預測較敏感的多維特征,多維特征數據整合存儲為.csv格式文件.通常用戶均帶有明確目的前往目標位置,途經的位置很大程度上由用戶所在城市的固有路線決定,并且軌跡數據特征具有時間序列的前后位置關系.因此,采用自然語言處理算法不僅可以有效處理較強規律性的軌跡特征,而且通過位置嵌入的編碼方式能夠計算前后目標位置的表征向量,類似于文本的上下文語義感知.本文采用Transformer的編碼器部分依次進行軌跡特征數據的位置編碼和多頭自注意力機制處理,模型結構如圖5所示.

圖5 Transformer編碼器Fig.5 Transformer encoder

位置編碼使用正弦和余弦函數來編碼位置信息.由于Transformer編碼器沒有明確的順序感知能力,需要通過位置編碼來獲取軌跡序列的前后信息.對于序列中的每個位置,位置編碼器會生成一個固定大小的向量,其中每個維度對應一個不同頻率的正弦或余弦函數,不同位置的編碼向量在空間上具有不同的角度,從而能夠表達它們之間的相對位置關系.位置編碼的公式如下:

PE(pos,2i)=sin (pos/100002i/dmodel)

(13)

PE(pos,2i+1)=cos (pos/100002i/dmodel)

(14)

其中,pos表示位置,i表示維度索引,dmodel表示模型的維度.

每個目標位置生成的位置編碼向量與軌跡特征向量對位相加,輸入到多頭自注意力機制層.通過引入位置編碼,模型能夠利用位置信息描述軌跡特征之間的依賴關系和順序關系.

(15)

多頭注意力機制在計算注意力時,允許模型共同關注來自不同位置的不同表示的信息.帶有h個注意力頭的計算公式如式(16):

(16)

其中,fC(·)是合并h個注意力頭輸出的全連接層,Atti(Q,K,V)表示第i個頭的自注意力.然后多頭注意力的輸出MultiHeadAtt(Q,K,V)經過Add &Norm層和前饋神經網絡層輸出更新的軌跡特征向量.Add &Norm層的計算公式如式(17):

LayerNorm (X+MultiHeadAtt (X))

(17)

其中,X和MultiHeadAtt(X)分別表示多頭注意力層的輸入和輸出向量,輸入和輸出的維度相同,進行殘差連接,用于解決多層網絡訓練的梯度消失問題,讓網絡關注全局和局部的特征向量,殘差結構如圖6所示.LayerNorm()函數會將該層神經元的輸入轉成均值方差,以加快收斂.

圖6 殘差模塊圖Fig.6 Residual block diagram

最后,由前饋網絡層輸出編碼后的特征表示,該層由兩層全連接層組成,第1層的激活函數為Relu,第2層不使用激活函數,計算公式如式(18)所示:

FFN(X)=max(0,XW1+b1)W2+b2

(18)

其中,X表示輸入,W1、W2為權重,b1和b2為偏置.

最終,前饋神經網絡層FFN(X)輸出編碼后的軌跡特征表示,且輸出矩陣的維度與X一致.

2.3.2 多層BiLSTM網絡

傳統的LSTM模型通過門控機制選擇性吸收歷史信息以解決長序列數據依賴情況,避免了模型梯度消失或爆炸問題.通常LSTM模型根據輸入,已知當前時刻和之前時刻的軌跡信息,而對于未來的軌跡位置信息一無所知,因此無法關聯軌跡序列前后時刻的緊密的信息.為解決此問題,本研究在LSTM的基礎上融合了雙向傳播策略,從而構建了BiLSTM.模型結構如圖7所示.

圖7 BiLSTM結構圖Fig.7 BiLSTM structure diagram

(19)

(20)

(21)

BiLSTM通過雙向信息流的策略考慮到了前后時間點的狀態對結果的作用,從而允許網絡在進行位置預測時充分利用位置序列中的前后依賴關系.

3 實驗研究

3.1 數據集

本研究選用源于微軟亞洲研究院GeoLife項目的GPS軌跡數據進行實驗研究.這一數據集在基于地理位置的服務、用戶行為模式分析等多個學術領域已得到廣泛運用[17,19,20].這些GPS軌跡由一系列帶有時間戳的點組成(詳見表3),其中每個點都包含緯度、經度以及海拔的相關信息.本研究僅采用緯度、經度和時間進行實驗分析.

表3 軌跡數據示意Table 3 Track points contain information examples

實驗平臺采用主頻為3.6Ghz的英特爾i9 CPU及32GB內存,和支持計算加速功能的圖靈架構GPU.模型代碼調用了標準pytorch框架和sklearn庫.

3.2 評價指標

目標位置預測常被視為多分類任務問題,而本研究的預測輸出是實際地理坐標,故將其視作回歸任務進行處理.為了評估模型預測與真實地理位置之間的偏差,采用了平均絕對誤差(MAE)、平均平方誤差(MSE)以及方均根誤差(RMSE)作為評價指標.鑒于測試數據涵蓋了多條軌跡,模型的最終評價指標是基于所有測試結果的均值得出的.相關計算公式如式(22)～式(24)所示:

(22)

(23)

(24)

3.3 實驗結果與分析

3.3.1 預測模型參數設置

在神經網絡模型中,隱層節點數(hidden_dim)對網絡的復雜性、訓練速度和學習表現有直接影響.模型隱層節點過少會導致欠擬合,反之模型隱層節點過多會產生過擬合問題,即模型在訓練集效果好但在測試集效果差.模型中學習率(learning_rate)決定了網絡權重每次更新的步長.設置得過小會導致權重的調整緩慢,而過高的學習率可能使權重難以穩定地收斂,降低預測準確率.因此,為確保模型具有較好的訓練速度,本文對多組預測模型超參數設置進行了驗證和調優,隱層節點數量和學習率對模型的性能影響分別如圖8、圖9所示.

圖8 隱層節點數量對模型的性能影響Fig.8 Effect of the number of hidden_dim on the performance of the model

圖9 學習率對模型的性能影響Fig.9 Effect of learning_rate on model performance

從圖8可以觀察到,當隱層節點數量設置為128時,模型表現最為優越.然而,隱層節點數量為64時的性能與前者相近.因此,綜合考慮模型的訓練效率與性能表現,本研究中隱層節點數量設置為64.由圖9可知,學習率為1e-3時,模型的3個指標最低,即模型預測的精度最高,因此本文選擇學習率為1e-3.

基于上述分析結果,模型超參數設置與說明如表4所示.

表4 超參數設置與說明Table 4 Setting and explanation of hyperparameters

多組預測模型的超參數包括軌跡分割時間閾值、軌跡點數閾值、隱層節點數、批量訓練數據大小、訓練輪次、早停法參數、學習率等.

3.3.2 位置預測算法對比分析

本文將所提出的Trans-BiLSTM目標位置預測模型與RNN、GRU、LSTM、BiLSTM、Trans-LSTM、Trans-BiLSTM模型進行對比實,對比實驗結果如表5所示,多組模型MSE隨訓練步數(Training Steps,每一個epoch具有訓練樣本總數/ batch_size個訓練步數)變化如圖10所示.

表5 模型性能對比Table 5 Model comparison results

圖10 模型對比結果圖Fig.10 Result graph of model comparison

首先,根據表5發現LSTM模型相比RNN和GRU模型的目標位置預測結果明顯更好,其中GRU模型效果略好于RNN模型.從圖10可以看出,RNN和GRU模型的MSE曲線收斂速度相比其他模型較慢,而LSTM模型訓練輪次僅需要33輪即可獲得較優效果.實驗表明,LSTM模型在處理軌跡時間序列數據方面具有計算效率高的優勢.

其次,對比BiLSTM模型與LSTM模型、Trans-BiLSTM模型與Trans-LSTM模型的性能,BiLSTM和Trans-BiLSTM模型在引入雙向傳播機制后,其性能表現優于LSTM和Trans-LSTM模型,其目標位置預測的RMSE指標值分別提升了60.3%和51.2%,模型的MSE曲線收斂速度也有較大提升,訓練的輪次分別多10和6輪次.實驗表明,通過雙向傳播機制提取軌跡數據上下文關聯信息的方式,雖然耗時稍多,但在目標位置預測模型中發揮了重要作用.

再次,對比Trans-RNN模型與RNN模型、Trans-GRU模型與GRU模型、Trans-LSTM模型與LSTM模型,以及Trans-BiLSTM和BiLSTM模型的性能,發現在模型中引入Transformer編碼器,4組對比實驗模型的RMSE指標分別提升了7.7%、1.4%、33.2%、17.7%.同時,Trans-RNN模型和Trans-GRU模型在RMSE指標上沒有取得明顯提升,但在模型效率方面均提升了一倍左右,模型的訓練輪次和MSE曲線收斂速度獲得明顯優化.Trans-LSTM模型和Trans-BiLSTM模型的RMSE指標提升幅度較大;這兩種模型的初始訓練MSE曲線收斂速度較慢,但是隨著訓練迭代次數的逐漸增多,以上兩種模型的收斂速度明顯超越了原始LSTM模型和BiLSTM模型.實驗表明,模型引入Transformer編碼器能夠較好地處理較強規律性的軌跡特征,其中位置編碼能夠計算前后目標位置的表征向量,多頭自注意力機制能夠篩選掉對網絡權重更新貢獻較小的特征輸入,而增大對模型輸出產生更大影響的輸入權重.

最后,本文將所提出的Trans-BiLSTM模型分別與BiLSTM和Trans-LSTM進行對比.雖然Trans-BiLSTM模型相比BiLSTM和Trans-LSTM模型在訓練輪次方面分別多3和6輪次,但相比RMSE指標方面分別提升了17.7%和51.2%.由圖10可以發現,Trans-BiLSTM模型的MSE曲線收斂速度在初始階段不如BiLSTM模型,但之后迅速收斂超越了BiLSTM模型.同時,Trans-BiLSTM模型的整體MSE曲線收斂效果優于Trans-LSTM模型.實驗表明,所提出的Trans-BiLSTM對少樣本數據敏感度欠缺,但是在處理大量具有上下文特征的軌跡數據方面具有明顯優勢,一旦提取到軌跡特征的上下文信息,MSE曲線便能迅速收斂,且目標位置預測的誤差相比其他7個模型達到最低.雖然效率上稍有犧牲,但是在相同條件下Trans-BiLSTM模型具有更好的RMSE指標和收斂效率.

4 結束語

位置預測作為基于位置服務的核心環節,對于智能導航、位置推薦和路徑規劃等應用場景具有重要的技術支撐價值.其中,GPS軌跡數據是支持這些服務的關鍵數據源,因此,基于GPS軌跡數據的位置預測已成為學術界和工業界的關注焦點.

當前位置預測算法往往忽略用戶出行方式的關鍵作用,并在處理長時間序列依賴問題中效果較差.針對這兩個問題,本研究提出了一個結合出行方式的高效位置預測模型.在該模型中,首先對軌跡數據進行適當的分割,并從中提取出行方式的運動學特征.隨后,采用基于XGBoost的方法識別出行方式,從中篩選出與出行方式緊密相關的關鍵特征.這些特征與軌跡序列數據共同作為預測模型的輸入.為了充分挖掘軌跡中的深度上下文關系,融合了Transformer編碼器和BiLSTM模型進行位置預測.Transformer模型內部的多頭注意力機制使得重要數據點在預測結果中有更大的影響,借助BiLSTM雙向傳播機制,彌補目標位置預測需要先驗知識的缺陷,從而在軌跡預測任務中更好地學習長距離依賴關系,提升軌跡預測的準確率.實驗結果表明,所提出的Trans-BiLSTM模型取得了較好效果,與常用LSTM和BiLSTM模型相比,目標位置預測的結果RMSE指標提升67.4%和17.7%.

本文計劃在后續的研究中進一步探討位置的語義信息對預測效果的潛在影響.通過整合軌跡數據中的語義特征來增強位置預測模型的性能.