基于改進LSTMs模型的區域中長期氣溫預測方法研究

楊 樂，馬 馳，胡 輝，黃 冬

（1.遼寧科技大學 計算機與軟件工程學院，遼寧 鞍山114044；2.惠州學院 計算機科學與工程學院，廣東 惠州 516007；3.深圳億達盛投資管理有限公司，廣東 深圳 518000）

國內外學者對氣溫預測進行了大量的研究，其中包括：使用決策樹方法對氣溫的預測［4］、通過統計方法進行氣溫預測［5］、基于支持向量回歸預測氣溫［6］、通過構建神經網絡方法［7-8］對氣溫預測的研究．在這幾類方法中的前三種模型都是將當前的輸入通過普通的數學映射函數或者算法將最終的預測輸出．這其中就忽視了很重要的概念——時序依賴性．氣象數據對時序的依賴性很強，所以導致很多方法無法對中長期的氣溫進行精準的預測．而基于神經網絡的預測方法雖然可以對中長期氣溫進行預測，但針對于長期的氣溫預測，這些模型的預測精度還不能令人滿意．

通過對現有的中長期氣溫預測方法對比后發現，由于中長期時間天氣變化的復雜性，導致中長期氣溫對時序依賴性和其他氣象要素之間的關系也錯綜復雜，這就給中長期的氣溫預測帶來一定的難度．在現有的預測方法中基于深度學習的LSTM模型預測方法的預測精確度相對較高．

中長期氣溫預測的難度遠大于短期氣溫預測，結合殘差網絡優勢的神經網絡——深度LSTMs網絡模型，該論文提出一種基于BiLSTM（Bi-directional Long Short-Term Memory）和LSTM（Long Short-Term Memory）．該模型能很好地對中長期氣溫進行預測，其預測的準確率也較其他模型更高．

1 LSTM模型和BiLSTM模型

深度學習（Deep Leaning）是一種機器學習方法，它作為人工神經網絡可以根據學習過程中的示例數據來獨立地構建出基本規則．深度學習模型通過組合低層特征形成更抽象的高層數據的特征表示［9］．深度學習的方法對圖像識別、醫學指標預測和股票預測等領域起到了很大的推動作用．

總體而言，溫度變化預測的過程是：首先，利用傳統的統計方法對氣象數據進行處理，得到溫度的主要影響因素；然后，利用傳統的預測模型對溫度進行預測，但這種預測方法的缺點是不能使用大量的數據，因此很難挖掘更多的溫度預測信息．這里采用主成分分析法，歸納出影響氣溫的主要因素：2 min平均風速、10 min平均風速、相對濕度、氣壓、露點溫度、水汽壓、蒸發、地溫、最低溫度、最高溫度．將這些因素與溫度按一定的時間順序排列，然后利用基于時間序列的預測模型對區域中長期溫度進行預測．

1.1 LSTM模型

為解決長時間的序列預測問題，在“深度學習”方面大部分算法都是在長短期記憶網絡LSTM算法的基礎上進行改進的．該模型的提出就是為了解決在數據預測方面對時間序列依賴性較長和循環神經網絡RNN（Recurrent Neural Network）模型梯度消失的問題．LSTM的模型結構如圖1所示，圖中的A、B分別表示當前t時刻的前一時刻、下一時刻的氣溫預測過程，這種預測過程與當前t時刻預測過程相同．

圖1 LSTM模型結構圖

對整個LSTM工作流程的數學抽象如下式：

在運用習題變式的教學過程中，教師要引導學生主動的參與到變式當中來，而不是僅僅讓教師變學生做.教師應該鼓勵學生充分的拓展思維，將自己能想到的知識點加入到原題中，讓學生自己也參與變式.這樣學生才能從“改變”中發現“不變”的本質；相反，也可以從動態的變化中抓住不變的規律.

其中，下標t、t-1與t+ 1分別表示當前時刻、前一時刻和下一時刻（例如：ft表示當前時刻的遺忘門，ft-1表示前一時刻的遺忘門，ft+1表示下一時刻的遺忘門）.LSTM模型中時刻輸入預測氣溫的特征向量xt，然后xt通過遺忘門計算后決定上一時刻的單元狀態Ct-1有多少信息保留到當前時刻Ct中．同時，網絡模型的輸入門根據當前輸入的氣溫預測的特征向量與當前輸入的狀態共同進行計算來決定當前時刻網絡的輸入xt有多少信息要保存到單元狀態Ct中．最后網絡模型通過輸出門計算來決定控制單元Ct中有多少信息輸出到LSTM的當前輸出值ht中．因為控制單元C中保留了長時間的氣溫預測相關的歷史信息，從而使LSTM模型能夠使用歷史氣溫的特征向量信息對未來的氣溫進行預測．

1.2 BiLSTM模型

氣溫數據的變化不僅與過去氣象要素的變化有關，而且也與未來某一段時間內氣象要素的變化有關，因此，使用RNNs預測氣溫的準確性會有誤差．BiLSTM網絡模型可以從過去和將來一段時間的數據中獲取有用的信息，從而使預測數據更為精確［10］．為了盡可能減少氣溫真實值與預測值之間的誤差，該論文在建立網絡模型時結合了雙向長短期記憶網絡BiLSTM．

圖2是BiLSTM網絡模型結構圖，圖中t- 1、t、t+1的分別表示當前時刻的前一時刻、當前時刻、當前時刻的下一時刻；其中ft表示模型前向計算層在傳播過程中的記憶單元狀態的變化；bt表示后向計算層在傳播過程中的記憶單元的狀態變化信息；yt表示模型計算的最終輸出結果．

圖2 BiLSTM網絡模型結構圖

BiLSTM模型的數學解釋公式如下：

其中，bf、bb、bo分別表示前向計算層、后向計算層和輸出層的偏置值．

雙向LSTM通過正向迭代從1到T計算舊數據序列中的信息，同時反向迭代從T到1對未來數據中隱含的信息進行挖掘，最后對前向傳播與后向傳播的數據進行綜合計算得到預測序列的值．

2 Deep LSTMs模型提出與分析

2.1 DeepLSTMs模型的提出

對于區域中長期氣溫預測問題的解決，提出了一種深度DeepLSTMs模型預測方法．該模型是在LSTM和BiLSTM模型的基礎上，結合殘差網絡步長連接的優點建立的．DeepLSTMs神經網絡模型設計的詳細結構圖如圖3所示．

圖3 DeepLSTMs網絡模型結構圖

圖3中，每一個小方框代表LSTM記憶單元．虛線框中是模型的輸入層和第一隱藏層采用的是BiLSTM結構，剩余的網絡部分采用帶有殘差［11-13］的LSTM神經網絡模型與LSTM層相結合的結構．DeepLSTMs網絡模型結構設計原理：網絡模型的前兩層采用BiLSTM結構設計，能夠充分提取溫度預測數據中歷史數據和未來數據中的有用信息．其他層采用帶殘差的LSTM網絡結構，可以有效解決網絡模型反向傳播過程中梯度消失的問題．

2.2 DeepLSTMs模型算法分析

圖3中的實線框是帶有殘差的LSTM結構，其結構的詳細計算流程如圖4所示，其主要計算公式如下：

圖4 帶有殘差的LSTM網絡模型結構圖

在DeepLSTMs網絡模型中，采用帶有殘差的多層LSTM結構，可以在一定程度上記憶之前的氣象數據狀態．下面詳細分析推導了帶殘差的LSTM結構的反向傳播計算，對式（10）遞歸更新，可得：對帶有殘差的LSTM結構的反向傳播計算的詳細分析推導公式是公式（12），對于該網絡整體模型結構的深層還是淺層結構，DeepLSTMs網絡模型的反向傳播計算公式是公式（13）．

其中J為DeepLSTMs模型的整體損失函數．從式（13）中可以看出反向傳播計算最后分為2部分：第一部分偏導數可以反向傳播到網絡的任何一個層；第二部分在一個很小批次的輸入數據的情況下，其值不總是等于-1．因此，在誤差反向傳播的過程中，即使是中間層的權值很小也不會出現梯度消失問題．這樣就保證了整個網絡模型結構能夠具有很強的數據表達能力.

3 實驗與分析

3.1 模型評估

DeepLSTMs模型會在氣溫預測數據集上進行實驗分析、驗證和評估．對于3種模型的評估方法，選擇最常用的具有代表性的均方根誤差（Root Mean Square Error）評估方法．該方法的數學定義如下：

在實驗模型中使用帶有殘差的3層LSTM結構的原因是：當實驗模型僅使用LSTM或BiLSTM時，雖然模型的訓練時間較短，但模型的RMSE結果不是很理想．采用DeepLSTMs模型且模型中采用不同的帶有殘差的LSTM結構的層數進行訓練的RMSE的結果（表1）可知：隨著殘差LSTM結構層數的增加，模型的RMSE值逐漸減?。黾訉訑禐?時，模型過擬合的現象出現在訓練的過程中，當再次層數增加時，整個網絡模型的表達能力沒有提高，與此同時，模型的訓練時間越來越耗時．因此，帶有殘差的3層LSTM結構是最優結果.

表1 模型訓練階段的RMSE

3.2 實驗過程

實驗中采用的數據集來源于哈爾濱市氣象局2007—2018年的氣象基礎數據．使用主成分分析方法PCA（Principal Component Analysis）［14-16］對氣象基礎數據進行處理，實驗中所需測試的元素有：2 min平均風速、10 min平均風速、相對濕度、氣壓、露點溫度、水汽壓、蒸發、地溫、最低溫度、最高溫度．實驗過程：首先，為構建上述的數據值的樣本矩陣，將其矩陣標準化變換處理；然后，對標準化矩陣計算出相關系數矩陣，并將其指標變量轉換為主成分；最后，計算各主成分的貢獻率和其累積貢獻率，以確定主成分．通過使用PCA方法對氣象數據集的分析結果如表2所示：

表2 PCA方法對特征數據集的分析

3.3 實驗分析

在測試DeepLSTMs模型在訓練階段與測試階段的損失值的變化后，因為DeepLSTMs模型在迭代過程開始時的訓練損失大于測試損失，說明測試數據集的批處理數據和訓練數據集的批處理數據在訓練開始時高度相似．到一萬次迭代訓練時，模型的測試損耗和訓練損耗恢復到正常狀態．從中說明了DeepLSTMs模型對氣溫預測的有效性．

在用PCA方法對氣象數據集的分析結果上，分別采用LSTM、BiLSTM、DeepLSTMs模型對2017-09-25日到2017-11-14日的氣溫預測．由結果（圖5）可知：（1）在50天內的前25天屬于短期氣溫預測，所以3種模型氣溫的預測結果近似；在50天內的后25天屬于中長期氣溫預測，這時體現出3種模型的差別，也說明了DeepLSTMs模型的優勢．（2）僅使用LSTM模型或BiLSTM模型預測區域中長期溫度時，模型的表達能力會隨著時間的增加而降低．特別是在利用LSTM模型對中長期氣溫進行預測時，在后期的預測中，模型的預測能力不足．而將前2種模型作為中長期溫度預測的基礎，可以看到DeepLSTMs模型的表達能力要強于前2種模型．

圖5 3種模型對中長期氣溫預測結果

由2017-10-20日至2017-11-14日共25天的3種區域中長期氣溫預測模型的RMSE值（表3）可知：DeepLSTMs模型的RMSE值小于其他2種模型．這進一步驗證了DeepLSTMs模型在區域中長期溫度預測中的性能，也說明了該模型在區域中長期溫度預測中的有效性．

表3 3種模型預測的RMSE結果

4 結論

在深度學習網絡模型LSTM和BiLSTM的基礎上，提出了一種新的改進的深度學習網絡模型方法——DeepLSTMs.同時將殘差網絡整合到DeepLSTMs神經網絡模型中，解決了網絡模型訓練過程中出現梯度消失的問題．

本文首先測試DeepLSTMs模型在訓練階段與測試階段的損失值的變化，然后結合DeepLSTMs網絡模型，對哈爾濱市中長期氣溫進行了大量的預測實驗．通過3種模型對中長期氣溫預測實驗，結果表明：利用DeepLSTMs網絡模型對該地區中長期氣溫的預測精度高于現有的LSTM及BiLSTM網絡模型的預測精度．由此總結，通過對比實驗，DeepLSTMs模型的RMSE值小于其他2種模型，該模型能夠很好的對中長期氣溫進行預測，其預測的準確率也較其他2種模型更高．