基于GRU-CNN模型的云南地區短期氣溫預測

劉家輝,梅 平,劉長征,劉劍南

(1. 南京信息工程大學自動化學院,江蘇 南京 210044;2. 國家氣候中心,北京 100081)

1 引言

氣候預測對于指導人類的生產生活具有重要的意義[1]?，F階段我國比較常見且危害比較大的氣象災害有霜凍、干旱、高溫和陰雨災害等[2],這其中最高最低氣溫對農業生產和出行出游又有著重要的影響。在這樣的背景下,如何遴選合適的預測工具并提高氣溫預測的準確度和可靠性就成了氣候預報領域亟待解決的重要問題。

目前,國內外有以下幾種針對氣溫預報常用的預測方法,這些方法也都在不同的問題中得到了應用,比如利用周期函數對小時級別的氣溫數據進行經驗方程的擬合[3],通過日較差分類方法對北京地區的氣溫進行預測[4],利用卡爾曼濾波算法預測極端氣溫[5]等。最近幾年來,深度學習算法發展迅猛,在各個領域中的應用愈發廣泛,常用的深度學習算法有人工神經網絡(ANN),卷積神經網絡(CNN),循環神經網絡(RNN),長短時記憶神經網絡(LSTM)和門控循環單元網絡(GRU)等。這其中CNN算法可以有效地捕捉數據的空間特征與深層局部特征,其非線性處理能力顯著優于ANN,因此也被大量應用于氣溫預報等預測性質的科研工作中,如RASP[5]等人利用CNN算法對德國地面站兩米高區域的溫度進行預測,結果顯示CNN的預測效果相較于ANN有了大幅度的改善。LSTM由RNN發展而來,在RNN時間序列輸入的基礎上加入了一路輸入和一路輸出,增加了對過去狀態的過濾,解決了RNN網絡梯度消失、梯度爆炸和長期記憶能力不足的問題。QI[6]等人利用LSTM模型對華北大型城市未來一小時的氣溫進行預測,結果顯示預測的均方誤差降低了31.7%。但LSTM也有結構過于復雜導致模型訓練成本較高的問題,GRU作為LSTM的一種變體,將忘記門和輸入門合成了一個具有遺忘功能的更新門。同樣還混合了細胞狀態和隱藏狀態,加諸其他一些改動,最終的模型比標準的 LSTM 模型結構更簡單也更易訓練,GRU模型在氣象預測方面也多有應用,如ZHANG[7]等人利用GRU模型對渤海海表溫度進行預測,結果顯示擬合曲線與真實數據的相關性提升了34%。以上案例證明了這幾種深度學習模型對于氣候預測工作的有效性。

然而,以上研究針對氣象預測選擇的算法大多都是單一的模型,CNN雖然在空間特征的提取上成績裴然,但在針對時間序列的預測問題上效果不如RNN、LSTM和GRU算法;GRU在LSTM解決了RNN梯度問題和長期記憶問題的基礎上簡化了模型結構,提高了訓練效率,但在數據空間特征的深層局部特征提取上不及CNN。

同時,在氣象預報的具體實施階段,并不總是能得到全面的預測數據,因此預測因子越少則模型需要滿足的條件就越少,模型的結構也越簡單,對硬件的要求也就越低。因此本文只選取了云南地區歷史最高最低氣溫作為預測因子,本文研究的重點在于在擁有少量預測數據的前提下利用組合深度學習模型提高云南地區氣溫預測的精度。

綜上,本文將CNN與GRU算法進行結合,并創造性地將新模型應用到了云南地區的最高最低氣溫預測上。選取了云南地區1980-2019年八個氣象站點所記錄的最高最低氣溫日度數據,并對數據進行了預處理。接著利用過去30天的氣溫數據對未來3天的最高最低氣溫進行短期預測,最后對結果和模型的優劣進行了探討,證明了GRU-CNN模型的優越性。本研究為云南和其他地區開展氣溫預測提供了參考。

2 算法介紹

2.1 卷積神經網絡(CNN)

CNN屬于一種深度神經網絡,在視覺圖像的分類工作中較為常見。上世紀60年代,Hubel與Wiesel受貓和猴子的大腦神經元含有小區域響應的視野的啟發,提出了感受野的概念[12],1989 年 Yann Le Cun 將反向傳播算法應用于CNN 模型[13],大大增加了模型的適用范圍,這種方法才廣泛被人所了解。

CNN 主要由卷積層、池化層、全連接層等構成。卷積層是CNN的核心組成部分,卷積神經網絡也因之得名,卷積層由一個或多個卷積核構成,卷積核是一個可學習的參數矩陣,其大小一般取奇數,例如3×3和5×5,其運算過程如圖4所示:

圖1 卷積運算過程

由圖可知,卷積核在圖像的高度和寬度上逐行進行掃描,計算卷積核與輸入圖像矩陣之間的卷積,最終得到圖像矩陣的空間特征,卷積運算的公式如下

(1)

池化層,一說下采樣層,常常拼接在卷積層后面,是一種最早由Le Net[14]所提出的網絡結構。池化層可以實現對數據的降維,在簡化數據的同時保留特征?，F階段最常用的池化操作是最大池化,如圖2所示。

圖2 最大池化過程

圖2中,左側是尺寸為4×4的輸入數據,右側為2×2的卷積核,在卷積神經網絡的實際應用中,一般取卷積核的大小為池化操作的步長?？梢钥吹浇涍^最大池化后,原來4×4尺寸的數據縮小到了2×2,數據量大大縮小,但數據的特征卻得到了保留,這樣的操作可以有效地減少參數數量,防止模型過擬合[15]。卷積神經網絡往往會設置多個卷積和池化層,在這其中會穿插全連接層以增加模型復雜度,最后的輸出層往往會選擇搭配softmax函數。

2.2 門控循環單元網絡(GRU)

GRU是LSTM的一種變體,前者簡化了后者的結構,GRU引入了門控機制,將忘記門和輸入門合成了一個具有遺忘功能的更新門[16]。GRU還混合了細胞狀態和隱藏狀態,加諸其他一些改動,有效地解決了LSTM長期記憶的缺失和反向傳播中的梯度等問題[17]。其結構圖如圖3所示。

圖3 GRU的結構

圖中ht-1為t-1時刻的隱藏狀態,xt為t時刻的輸入,重置門輸出rt和更新門輸出zt的計算公式如下

rt=σ(wxrxt+whrht-1+br)

(2)

zt=σ(wxzxt+whzht-1+bz)

(3)

式中,σ是sigmoid激活函數,wxr和wxz分別為xt與rt和zt之間的權重關系,而whr和whz分別為ht-1與rt和zt之間的權重關系,rt和zt對應的偏置項分別用br和bz表示。

(4)

(5)

GRU所設置的更新門和重置門簡化了LSTM的結構。相較于LSTM,GRU的訓練參數大大減少,在訓練過程中,后者的收斂速度比前者更快,其訓練效率也得到了大幅提高。

3 模型的搭建與驗證

3.1 數據預處理

選取了1980-2019云南8個站點最高最低氣溫日度數據各14610個數據,數據總量為233760,對于其中的缺失值,利用周圍數值的平均數將缺失值補齊,并對處理后的數據進行Z-score歸一化,公式如下

(6)

其中xscale表示歸一化后的數據,x為序列中的原始數據,μ表示原始數據的平均值,σ為原始數據的標準差。經過Z-score歸一化后的數據均值將變為0,方差將變為1,如此處理減弱了異常值對數據的影響,也方便了后續的計算。

3.2 評價指標

采用平均絕對誤差(MAE)和均方根誤差(RMSE)來對模型的預測效果進行檢驗,MAE用來指示預測值和測量值之間誤差絕對值的平均值,RMSE是誤差平方和與數據個數比值的平方根,MAE與RMSE的計算公式如下

(7)

(8)

3.3 模型的搭建與檢驗

選擇的CNN模型結構包含一層輸入層、兩層CNN隱藏層加一層全連接層和一層輸出層,CNN隱藏層中又包含匯聚層、一維卷積層和一維池化層以及全連接層,一維卷積和個數為32,大小為3。示意圖如圖4所示。

圖4 CNN模型示意圖

選取的GRU模型包含一個輸入層,兩個GRU層和一個全連接層以及一個輸出層,每個GRU層包含30個GRU單元,示意圖如圖5所示。

圖5 GRU模型示意圖

構建的GRU-CNN模型由一層輸入層、兩層CNN隱藏層和一層全連接層、兩層GRU隱藏層以及一層全連接層和一層輸出層構成,CNN與GRU層參數的設置與前文中的模型相同,示意圖如圖6所示。

圖6 GRU-CNN模型示意圖

訓練的batch size設置為128,學習率為0.01,并將整體數據的70%作為訓練集,10%作為驗證集,20%作為測試集。利用訓練集對模型進行訓練,利用驗證集進行校準,最終用測試集對模型預測效果進行驗證。表1-表6為各站點在不同模型下不同天數的最高最低氣溫預測效果對比。

表1 提前1日的最高氣溫預測效果對比

表2 提前2日的最高氣溫預測效果對比

表3 提前3日的最高氣溫預測效果對比

表4 提前1日的最低氣溫預測效果對比

表5 提前2日的最低氣溫預測效果對比

表6 提前3日的最低氣溫預測效果對比

由各站點在不同模型下預測效果的對比表格可知,GRU-CNN模型的預測效果要顯著好于CNN和GRU,前者日最高溫度預測誤差的RMSE指標比后兩者平均要低21.17%,MAE指標比后兩者平均要低19.22%;前者日最低溫度預測誤差的RMSE指標比后兩者平均要低18.37%,MAE指標比后兩者平均要低17.15%。以上結果表明,GRU-CNN的預測性能要更勝一籌。

4 結論

本文提取了八個位于云南的氣象站點的最高最低氣溫數據,并對其進行數據補齊和預處理。在CNN與GRU模型的基礎上,將二者進行了結合,并將新模型用于云南地區最高最低氣溫的預測當中。將經過預處理的數據輸入搭建好的模型后得到了預測結果,根據RMSE和MAE指標對于預測效果的評價,可以得出結論:GRU-CNN模型在氣溫預測上的效果優于CNN與GRU模型,與這些傳統模型相比,GRU-CNN模型在提取序列的時間特征的基礎上又借助CNN學習了序列的空間特征的深層局部特征,極大地提升了預測的準確性。