◎ 聶超 常建 王大偉 姜橙華
1.青島港國際股份有限公司;2.深圳市辰卓科技有限公司
集裝箱吞吐量指標對于大型綜合類港口而言,是重要的績效指標。準確預測集裝箱吞吐量,能夠輔助港口運營者管理和決策,保證裝卸和運輸的高效性;能夠反映一個地區的進出口貿易狀況,對經濟形式做出合理預測;對于港口物流的供應鏈參與者,可以有效降低運營成本,提高供應鏈效率;對于地區環保政策的制定和實施也具有重要意義。
王鳳武等人在2023年提出了基于多變量LSTM模型的青島港集裝箱吞吐量預測[1]和基于LSTM的上海港集裝箱吞吐量預測[2],采用LSTM模型對大型港口的集裝箱吞吐量進行了較為精準的預測;孫曉聰等人在2022年提出了基于RF-雙向LSTM的集裝箱吞吐量預測[3],對LSTM模型進行了優化,得出了更高精度的預測結果;王浩等人在2023年提出了基于LSTM神經網絡的航空公司旅客來電量預測方法[4];高永華在2023年提出了基于LSTM的河北省徑流量預測研究[5],驗證了LSTM模型在徑流量預測中的可行性。
提出一種基于RMSProp算法改進LSTM模型的方法,對某大型綜合類港口吞吐量進行預測。RMSProp是一種自適應學習率算法,可以自行調整學習效率,在面對容易產生梯度消失或者梯度爆炸的深度學習網絡時,具備較大優勢;同時,它能夠避免學習率下降過快、學習過程提前結束等問題,保證模型充分訓練。通過RMSProp改進LSTM,可以避免LSTM出現梯度消失或梯度爆炸的情況,使訓練過程更加平滑、避免過度震蕩、提高LSTM的性能,同時可以提高算法的穩定性。
L S T M 屬于循環神經網絡(RNN),相較于傳統的RNN模型只有一個網絡層,LSTM模型內部有4個網絡層,結構如圖1所示。
圖1 LSTM模型結構圖
圖中灰色矩形框表示一個神經網絡層,由權重、偏置和激活函數組成,加號、乘號、tan表示對元素的操作,箭頭表示向量的流向,分叉的箭頭表示向量的復制。
相較于RNN的隱層,LSTM增加了一個細胞狀態(cell state),在時刻t中間細胞狀態所發生的輸入和輸出如圖2所示。
圖2 LSTM模型的細胞狀態
Ct-1表示t時刻輸入的細胞狀態,Ct表示t時刻的輸出細胞狀態;ht-1表示隱層的輸入狀態,ht表示隱層的輸出狀態,同時還作為t時刻的輸出向量;xt表示t時刻的輸入向量。
細胞狀態中一個sigmoid層與一個點乘構成了一個“門”結構,如圖3所示,能有效控制向量的通過和攔截,圖2中包含3個門結構,分別為遺忘門、輸入門、輸出門。
圖3 LSTM模型“門”結構
遺忘門決定細胞需要丟棄哪些信息,結構如圖4所示。
圖4 LSTM模型遺忘門
則有:
[ht-1,xt]表示連接兩個向量。
輸入門決定細胞狀態更新哪些信息,這一過程分為兩個步驟,第一步決定更新哪些信息,結構如圖5所示。
圖5 LSTM模型輸入門
則有:
第二步更新細胞信息,如圖6所示。
圖6 更新細胞信息
基于遺忘門攔截舊細胞信息的一部分,輸入門更新細胞信息的一部分得到新的細胞信息Ct:
輸出門通過sigmoid層執行判斷,后將細胞狀態通過tanh層得到[-1,1]之間值的向量,與判斷條件相乘即可得最終循環網絡的輸出向量,過程如圖7所示。
圖7 LSTM模型輸出門
則有:
經過以上步驟即可得到t時刻細胞狀態的輸出。
RMSProp是一種基于梯度下降算法的優化算法,通過使用指數加權平均來估計梯度平方的移動平均值,將較大的梯度值進行抑制,較小的梯度值進行放大,能夠自適應地調整每個參數的學習率;具備更快的收斂速度;通過引入衰減系數,對梯度平方進行指數加權平均,避免了AdaGrad算法學習率過早衰減的問題;在大多數情況下更加高效穩定。
RMSProp的元素更新規則如下:
(1)從訓練集中采集m個樣本
對應的目標為yi。
(2)計算梯度
其中θ為初始參數。
(3)積累平方梯度
(4)逐個元素應用除和平方根,計算更新
其中ε為全局學習率。
(5)應用更新
執行以上步驟直到模型達到停止準則。
通過RMSProp改進LSTM模型的關鍵為初始化RMSProp優化器,需指定R MSP rop 參數,包含學習率、衰減系數,并根據具體情況進行調整。使用訓練數據對LSTM模型進行訓練,需通過RMSProp優化器迭代更新LSTM模型的參數。具體步驟見圖8。
圖8 RMSProp算法改進LSTM模型
采集某大型港口2000年至2022年集裝箱吞吐量數據,見表1。
表1 某大型港口2000年至2022年集裝箱吞吐量數據
集裝箱吞吐量數據變化受多種相關因素影響,單變量訓練往往難以實現準確預測,獲取與集裝箱吞吐量密切相關的幾個影響因素數據,包含:GDP、進出口貿易額、第一產業產值、第二產業產值、第三產業產值,數據見表2。
表2 2000年至2022年各影響因素數據
對數據進行歸一化處理,可以統一特征值的尺度,提升模型的收斂速度;防止特征之間權重失衡;提高模型的魯棒性;方便不同特征的可視化比較。采用max-min標準化方法對數據進行歸一化處理,將數據縮小至[0,1]區間內,歸一化后的數據見表3。
表3 各影響因素數據歸一化結果
以2000年至2016年的集裝箱吞吐量相關數據作為輸入,對2.3構建的優化模型進行訓練,并對2017年至2022年的數據進行預測,預測結果見圖9。
圖9 RMSProp改進LSTM模型預測結果
采用A r i m a模型對2017年至2022年的數據進行預測,預測結果見圖10。
圖10 Arima模型預測結果
預測結果及誤差見表4。
表4 2017年至2022年預測結果及誤差
誤差MAPE和RMSE見表5。
表5 誤差MAPE和RMSE指標
結果表明,R M S P r o p 改進LSTM模型的MAPE和RMSE指標均小于Arima模型,即RMSProp改進LSTM模型對某大型港口吞吐量的預測更加準確。
科學準確預測港口吞吐量,能夠指導港口優化資源配置,輔助管理人員決策,指導物流方、貿易方優化供應鏈,更好地評估港口對環境的影響等。采用RMSProp算法改進LSTM的方式構建一種多變量輸入的優化模型,對某大型綜合類港口集裝箱吞吐量數據進行預測,獲得更加準確的預測結果。模型充分利用RMSprop自適應學習率、緩解梯度消失和梯度爆炸、更快收斂等優點,改進LSTM模型的訓練過程,實現了更加高效、準確的數據預測。