基于長短期記憶神經網絡的短期電力負荷預測

易禮秋,谷云東

(1.新疆財經大學 統計與數據科學學院，烏魯木齊 830012；2.華北電力大學 數理學院，北京 102206)

0 引言

作為電力系統中的重要組成環節，精準的電力負荷預測[1]不僅是國家電網規劃運行和調度的重要依據，更是電網安全運營的重要保障。研究表明，若能將一個10GW的電力設備的負荷預測準確度提升1%，每年能夠節省的成本為1600萬元[2]。近幾十年來，有大量預測方法和預測模型來提高負荷預測精度。國內外研究人員不僅分析了時間序列法[3-4]、相似日法[5]、指數平滑[6]等經典預測方法，還對隨機森林[7-8]、支持向量機[9-10]、神經網絡[11-12]等智能預測法進行大量運用。

隨著電網智能化的升級，電力負荷數據也更加多變[13]。長短期記憶神經網絡作為智能預測方法之一，由于其具有較強的深度學習的能力被廣泛應用于電力負荷預測之中。為了進一步提高負荷預測的精度，很多學者提出了改進以及優化算法的長短期記憶神經網絡預測模型[14-20]。陽曾[14]等為了提升負荷預測的準確性，提出一種基于變分模態分解(Variational Mode Decomposition，VMD)和長短期記憶(Long Short Term Memory，LSTM)神經網絡相結合的短期負荷預測模型，算例分析表明所提方法有效地提高了短期電力負荷預測的準確性。Heng Shi[16]等提出了對電力系統在不同層次進行負荷預測做了全面的深度學習評估，表明在最先進的深度遞歸神經網絡與淺層神經網絡相比所提出的深度預測模型具有更高的預測精度。陸繼翔[18]等人提出一種將卷積神經網絡(CNN)與長短期記憶(LSTM)網絡混合的負荷預測模型，經過算例分析表明了混合模型大大提高了預測精度。近期，為了進一步提高電力負荷預測精度，陳振宇[20]等人提出了基于LSTM與XGBoost相結合的負荷預測方法，通過實驗結果表明，所提方法和XGBoost的組合與GRU模型進行比較，新的預測模型具有較高的準確性。

綜上所述，使用單一的不加改進的長短期記憶神經網絡并不能解決所有的電力負荷預測問題，而經過改進或結合其他預測技術的長短期記憶神經網絡不僅有效地提高負荷預測的精度，也能解決負荷預測中常出現的問題。因此，通過利用長短期記憶神經網絡去研究更有效的負荷預測方法是提高預測效果的重要手段之一。

1 長短期記憶神經網絡原理

長短期記憶神經網絡(Long Short-Term Memory,LSTM)是被廣泛應用的神經網絡機器學習方法之一。LSTM最早起源于1997年，是被Sepp Hochreiter和Jiirgen Schmidhuber共同提出的，主要是為了有效解決RNN難以解決的人為延長時間任務的問題，以及RNN容易出現的梯度爆炸與梯度消失問題。

LSTM細胞是由輸入門(input gate)、遺忘門(forget gate)、輸出門(output gate)以及單元狀態構成。其中遺忘門表示輸入的有上一序列的隱藏狀態ht-1與本序列數據xt通過sigmoid激活函數得到遺忘門的輸出ft，即通過其判斷之前的信息是否對此時的單元記憶有影響，如圖1所示。

ft=σ(Wf·[ht-1,xt]+bf)

(1)

其中：Wf、bf為線性關系的系數與偏置系數，σ為sigmoid激活函數。

圖1 LSTM的遺忘門結構圖

圖2 LSTM的輸入門結構圖

輸入門用來計算哪些信息保存到狀態單元中,包括兩部分信息，一部分是：

it=σ(Wi·[ht-1,xt]+bi

(2)

該部分可以看成當前輸入有多少信息需要保存到單元狀態。另一部分是：

(3)

如圖2所示，該部分用來把當前輸入產生的新信息添加到單元狀態中，這兩部分產生新的記憶狀態。由此，當前時刻的單元狀態由遺忘門輸入和上一時刻狀態的積加上輸入門兩部分的積，即：

(4)

上式中， ⊙為Hadamard積。

輸出門的狀態用于計算當前時刻信息被輸出的程度，如下圖3所示。

ot=σ(Wo·[ht-1,xt])+b0

(5)

圖3 LSTM細胞狀態更新圖

圖4 LSTM輸出門結構圖

輸出門用來計算LSTM單元在時間t中輸出值，具體如圖4所示：

ht=ot⊙tanh(ct)

(6)

2 基于長短期記憶神經網絡的負荷預測方法

2.1 主要思路

基于長短期記憶神經網絡的負荷預測方法包含三個主要步驟：首先，對電力負荷特性進行分析。通過對歷史負荷以及氣象數據的分析，發現電力負荷特性，為預測輸入候選特征的選擇提供依據。其次，進行預測輸入特征提取。通過對影響電力負荷內外部因素進行相關度分析，篩選出與該地電力負荷變化相關性較強的影響因素，并進一步利用主成分分析法提取主成分作為預測的輸入特征組。最后，以已得到的輸入特征組為輸入，待預測負荷為輸出，基于輸入輸出對應關系，構造預測相空間。在預測相空間上，引入LSTM網絡的預測模型，借助實驗分析選取最優參數，并借助實例分析驗證其有效性。

2.2 電力負荷的特征分析

2.2.1 電力負荷的隨機波動性

電力負荷具有隨機性，負荷的隨機性是由內外部隨機性構成。圖5為某地連續11天的日負荷變化圖，從中可知負荷值每時每刻都在變化，由于每天都有多種內在和外在的影響因素使得負荷不斷變化，從而導致負荷值不斷地升高或者降低使其處于上下波動的狀態。

2.2.2 電力負荷的多重擬周期性

電力負荷的變化具有周期性，對其影響因素來說，時間日期因素則是影響負荷周期性變化的主導者。如圖6所示，該圖為美國里士滿市圣誕節前后相鄰幾天的每小時負荷值，顯然工作日比非工作日耗電量多。經上述分析可知，該地區用電量的大小變化與日期類型有著緊密聯系。

圖5 日負荷變化曲線

圖6 三種日期類型日負荷曲線圖

圖7反映了電力負荷的多重擬周期性，首先是年周期的體現，該圖為某地2016年和2017年的年電力負荷趨勢變化圖。

緊接著是周周期的體現，圖8為某地2017年7月2日至7月29日四周的周電力負荷趨勢變化圖。無論是年周期，還是周周期的負荷曲線都是呈現出較強的規律性。

2.2.3 易受氣象等外在因素影響

影響電力負荷變化的因素不僅是日期時間因素，如氣候、溫度、濕度以及氣壓等氣象因素都會導致負荷的上下波動。如圖9和圖10是美國里士滿市三月份的每日最高溫度、最低溫度以及平均溫度的變化曲線圖和每日的負荷峰值、谷值以及平均負荷值，如圖可知，負荷會隨著溫度的變化而變化。

圖7 2016—2017年某地區年負荷曲線

圖8 2017年某地區周負荷曲線

圖9 不同溫度類型的變化曲線

圖10 不同負荷值的變化曲線

2.3 電力負荷預測輸入特征提取

本文以美國里士滿市的數據為例進行分析，對影響該市的因素進行前期收集，主要包括負荷因素、氣候因素、風向風力因素、時間因素四個方面。首先，針對美國里士滿市的短期負荷預測初期篩選出28個影響因素。其次，對28個影響因素進行正態性檢驗，剔除不滿足正態分布的相關數據；再依據時間粒度尺度對皮爾遜相關系數的影響并確定最優時間粒度。隨之，對進一步篩選的影響因素進行皮爾遜相關系數分析，從而選出與該市有較強相關性的影響因素。最后，借助主成分分析法提取特征，簡化LSTM神經網絡的輸入，從而避免在利用神經網絡預測所出現的過度擬合等常見問題，并縮短網絡訓練時間。歷史負荷數據的篩選主要從前1天同一時刻負荷、前2天同一時刻負荷、…、前17天同一時刻負荷值作為負荷自身因素指標；選取溫度、濕度、露點、氣壓、天氣類型、季節類型作為氣候影響因素指標；將節假日、星期、星期類型作為時間因素。

2.4 基于皮爾遜相關系數的特征相關性度量

分析25個影響指標的皮爾遜相關系數來判斷其對該市的負荷曲線的相關度。

通過分析表1可知：

表1 25個影響因素的皮爾遜相關分析結果

**.在0.01水平(雙側)上顯著相關。

(1)第一類因素中，在0.01水平(雙側)上，前一天的同時時刻負荷與該地短期負荷有強烈的正相關，且皮爾遜相關相系數為0.878。其余的歷史負荷特征與該市的短期負荷相關性都很高，且皮爾遜相關系數值在0.6左右，即該影響因素與該地區的負荷值有很強的正相關性。

(2)第二類因素中，在0.01水平(雙側)上，溫度以及露點都與該地區的短期負荷呈顯著正相關的關系。其中，溫度的皮爾遜相關系數為0.537，露點相關系數為0.305。其次，濕度、季節類型以及氣壓三個影響因素都與該地區的短期負荷曲線呈負相關性，皮爾遜相關系數分別為-0.371、-0.318、-0.192。

(3)第三類因素中，在0.01水平(雙側)上，風速與該地短期負荷呈較弱的正相關，且風速的皮爾遜相關系數為0.306。

(4)第四類因素中，在0.01水平(雙側)上，星期類型因素的皮爾遜相關系數為0.264。星期影響因素指標對該地的短期負荷呈較弱負相關性，其皮爾遜相關系數為-0.329。

綜合所述，通過進一步對25個影響因素進行篩選，通過表1可知僅有氣壓和星期類型的相關系數分別為-0.192和0.264，對該地的電力負荷變化的影響是微乎其微的。因此，設定相關系數絕對值閾值為 0.3，選擇相關系數絕對值大于0.3的23個影響因素作為與該市短期電力負荷呈相關性的影響因素。他們分別是前1天同一時刻負荷、前2天同一時刻負荷、…、前17天同一時刻負荷、溫度、露點、濕度、季節類型、風速、星期。

2.5 基于主成分分析的特征提取方法

進行主成分分析之前，需要判斷該數據是否能進行降維處理，則對23個影響因素數據進行KMO 和Bartlett球形度檢驗。檢驗結果如表2所示。

表2 KMO 和Bartlett球形度檢驗

從表2可知，表中KMO的值為0.863，是大于0.5的；其Bartlettde的球形度檢驗的p值為0.000，小于顯著性水平0.05。因此，所分析的數據比較適合提取主成分。

主成分分析提取主成分的關鍵是選取的特征值需要大于1且累計方差貢獻率要滿足大于80%的成分。表3可知，前5個提取的成分特征根分別為12.421、2.125、1.598、1.494、1.009，都大于1。所以共提取5個主成分，且其能夠反映原始影響因素81.075%的信息。

表3 影響因素的因子方差分析

表4 旋轉成分矩陣

旋轉法:具有 Kaiser 標準化的正交旋轉法。

表4表示23個影響因素指標的旋轉成分矩陣，該表是反映提取的成分主要是由哪類影響因素構成。為了方便觀察將表中大于0.5的數值進行陰影標記，所標記數值代表哪些影響因素在其對應主成分中的占比較大。結合表3可知，成分一的占比最大，該成分主要為歷史負荷因素指標，占比為 28.950%；成分二主要是由歷史負荷因素指標構成，最大占比為28.431%；成分三主要由氣候類影響指標組成，最大占比為11.484%；成分四由星期指標構成，占比為6.893%；成分五則由風速指標構成，占比為5.316%。

表5為23個影響負荷因素的指標成分得分系數矩陣，假設23個影響指標實際值根據表5的順序分別為矩陣A到W，從而得到新的五個成分矩陣為Z1、Z2、Z3、Z4、Z5。

表5 成分得分系數矩陣

2.6 基于預測特征的預測相空間構造

通過將上文所提取的五個主成分作為預測模型的輸入特征，待預測時刻負荷作為輸出特征，構造輸入特征與輸出特征的笛卡爾乘積，即構造預測相空間。

將五個主成分序列記作為Si={s(t),t=1,2,…,N}(i=1,2,3,4,5)，將序列中的最大值與最小值分別記為Smax與Smin，并記主成分時間序列的取值論域為X(f)=[Smin,Smax]。提取的主成分特征記為ft，將電力負荷時間序列記為：L(t)={L(t),t=1,2,…,N}待預測時刻負荷f0?L(t)，則可記Ft={f1，f2，f3，f4，f5}，為t時刻對應的負荷歷史預測特征集。

2.7 基于對比實驗分析網絡參數設置方法

LSTM網絡參數的設置分為基礎參數與超參數設置。其中，基礎參數一般指的是權重參數和偏置參數，而超參數的種類較為繁多，主要包含了輸入和輸出層的維度、隱藏層單元數目、激活函數的選擇、正則化參數以及批尺寸(Batch_Size)等參數。模型依據訓練樣本以及需求數據的不同，會對其相應的超參數進行設置。但是，往往網絡學習只有基礎參數才是自動更新學習，超參數都是人工依據經驗所得，進行不同的嘗試來進行較優參數的選擇，從而導致缺乏有效學習的方法。因此，本文通過設計系列的參數對比實驗進行選取參數，先依據實驗確定超參數，再通過手動調整單個參數的值從而獲取最優參數。

3 算例分析

本文以美國里士滿市的電力負荷數據進行實證分析，選取2017年8月1日—11月30日的采樣間隔為1小時的電力負荷數據作為數據集，每天共采集24條數據，一共2928個數據。其中2017年8月1日至2017年11月23日為訓練數據集(共2760個數據)，對2017年11月24日—30日(記為T1…T7)(共168個數據)的電力負荷數據進行預測。

本文運用的編程語言為Python 3.9.1版本，主要采用Anaconda3中的Tensorflow、Numpy、Kerase等工具包進行模型搭建。Tensorflow是用于現實深度學習算法的工具框架，屬于人工智能中的技術層中的學習框架，并且運用Tensorflow的版本為2.0.1的CPU版。

3.1 實驗設計

(1)LSTM神經網絡參數設計

初始權值是神經網絡模型的重要參數設置之一，本文對初始權值的設置主要是依據過往的歷史經驗所得，并將其設置為[0,1]之間的隨機分布。

批尺寸(Batch_Size)的設置對于深度神經網絡模型預測結果有著巨大的影響，它會直接影響到預測模型訓練的時長以及預測精度，因此批尺寸也是神經網絡中重要超參數之一。通常情況下，依據GPU的顯存來設置最大值，并且以8為倍數為最佳，例如32、40等 ，這樣使得GPU內部的并行運算的效率達到最大。

實驗以總體數據的10%的數據作為訓練集進行訓練，不同的批尺寸的訓練時長結果如表6所示。

表6 批尺寸設置與訓練時長

由表6可知，針對本文的模型訓練效果，批尺寸設置為64時，神經網絡訓練所用時長較短。

前文選取批尺寸的參數實驗默認的激活函數與優化函數分別為 Relu函數和Adam函數。但是，考慮到神經網絡中激活函數與優化函數是多種多樣，由以往網絡訓練的經驗所得激活函數一般常用Sigmoid函數和Relu函數，優化函數常用RMSprop 函數與Adam函數。通過設置控制變量實驗，選取出合適本文網絡訓練的函數類型。將激活函數與優化函數進行隨機組合，分為如表7所示的四種模型情況。為了節約訓練時長，隨機選取10%的數據為訓練數據，迭代步數設置為10步，訓練結果如表8所示。

表7 激活函數與優化函數組合情況

表8 不同組合下的模型的誤差對比

通過表8的結果可知，從網絡訓練時長上看，LSTM-1和LSTM-3時長相近； LSTM-2與LSTM-4所用時長差距不大。從模型性能來看，LSTM-3和 LSTM-4的MAPE值較為接近，其中LSTM-3模型的激活函數與優化函數的誤差最小。所以，通過實驗分析，下文的模型預測訓練分別以Sigmoid函數作為激活函數，Adam函數作為優化函數。

(2)預測分析設計

本文通過實例分析證明所提出的預測相空間上基于改進的LSTM神經網絡短期電力負荷預測模型的有效性。數據集選取美國弗吉尼亞州里士滿市2017年8月1日到2017年11月30日的電力負荷數據進行預測，其中 2017 年8月1日到2017年11月23日的歷史電力負荷數據設定為訓練樣本，2017 年11月24日到2017年11月30日的負荷數據作為預測數據集。

3.2 預測結果

通過對比預測模型的相對誤差(Relative Error, RE)、最大相對誤差(MRE)、 MAPE以及相對誤差的標準差(SD-RE)等指標，對長短期記憶神經網絡預測模型與RNN方法進行對比分析。

平均絕對百分比誤差為(MAPE)：

(7)

相對誤差的標準差(SD-RE):

(8)

通過上述的內容對改進后的LSTM與RNN預測2017年11月24日的預測值進行對比的結果如圖11所示。

由圖11可知，LSTM模型的預測值較之傳統RNN的預測值與真實值更接近，說明改進的LSTM的預測效果比傳統的RNN的預測效果好一些，有的時刻預測值較為接近，但在部分時刻他們與真實值具有較大的偏差。

通過對比以上2種模型方法預測11月24日—30日負荷得到的MAPE值來分析模型預測效果，具體結果如表9所示。

圖11 2個模型預測的電力負荷預測值對比

表9 不同預測模型的MAPE

經分析表9的結果，對比RNN預測模型LSTM將預測的MAPE均值改進了0.851%；并將最大MAPE值改進了1.167%。

將2種預測模型從2017年11月24日～30日負荷預測得到的SD-RE進行結果對比分析，具體結果如表10所示。

表10 不同預測模型的SD-RE

由表10可知，改進的LSTM相比RNN方法所得的SD-RE均值，LSTM將預測變化波動降低了0.464%。通過觀察表10數據表明，改進后預測方法在一定程度上提升了模型的穩定性。正是因為各種預測方法在性能方面存在不同效果，以至于改進后長短期記憶神經網絡預測方法所得的SD-RE值也存在著明顯的不同。

4 結論

針對短期負荷預測準確度與穩定性提升問題，構建了相空間上基于層標準化改進的LSTM神經網絡的短期負荷預測模型的預測效果。經過實例分析表明，將新的預測方法與RNN模型進行對比，MAPE均值改進了0.851%；將最大MAPE值改進了1.167%；將體現預測穩定性的SD-RE均值改進了0.464%。