基于LSTM人工神經網絡的電力系統負荷預測方法

陳勝　劉鵬飛　王平　馬建偉

摘要：針對電力市場環境下短期電力系統負荷預測準確性較低的問題，提出了一種基于LSTM人工神經網絡的組合預測模型。分析了LSTM神經網絡和其變體GRU神經網絡在進行負荷預測時學習時序特征的獨特優勢，并以卷積神經網絡作為負荷數據的特征提取層，結合GRU網絡構建了組合模型，通過建立殘差預測模型對結果進行修正。仿真結果表明，具有記憶功能的神經網絡預測效果要優于ANN和SVM模型，且所提出殘差預測模型的負荷預測平均相對誤差約為1.79%，其準確性高于單一算法的負荷預測模型。

關鍵詞：負荷預測；人工神經網絡；長短期記憶；卷積神經網絡；平均相對誤差；殘差修正；特征提??；組合模型

中圖分類號：TM744 文獻標志碼：A 文章編號：1000-1646（2024）01-0066-06

在我國能源轉型政策的支持和推動下，以清潔能源為基礎的分布式能源得以迅速發展。一方面分布式能源由于其靈活性和廣泛的適用性，在能源轉型中獲得了獨特優勢；另一方面由于分布式能源負荷的隨機性，也給電力系統的穩定運行帶來了巨大的挑戰。尤其是在當前電力體制改革以及電力市場蓬勃發展的背景下，短期電力負荷的預測對于推動實時電力市場的貿易結算具有重要意義。電力負荷由于其不確定性造成的負荷預測誤差不僅會導致電網運行成本的增加，還將損害到電力市場用戶的利益。因而，電力負荷的預測理論與方法已成為國內外研究學者關注的焦點。

圍繞一段時間內電力負荷的時序性和非線性的特點，國內外學者提出了包括回歸分析法、指數平滑模型等負荷預測的經典算法。隨著人工智能算法的發展，各種機器學習算法也逐漸開始應用于電力系統的負荷預測。例如，孟安波等通過采用混合小波變換和縱橫交叉算法優化了應用于復雜工況環境下負荷預測的神經網絡。蔡舒平等針對多個氣象變量條件下的費歇信息計算問題，提出了基于費歇信息的氣象因素建模方法，并解決了短期負荷預測中氣象因素處理的主觀問題。程志友等根據溫濕度變化的周期特征因素，構造了基于LASSO回歸的負荷預測模型，提高了負荷預測模型的精度和魯棒性。祖向榮等基于模式相似方法，提出了一種模糊聚類與函數型小波核非參數回歸相結合的組合預測方法。馬天男等根據分布式能源系統負荷特點，建立了基于Spark平臺與多變量L2-Boosting回歸模型的分布式能源系統短期負荷預測方法，并驗證了其有效性。

上述研究多采用某一種特定的模型算法以提高負荷預測的準確度。事實上，負荷的歷史信息對于負荷預測具有重要的參考價值，長短期記憶（LSTM）人工神經網絡具備有學習時序數據特征的獨特優勢。除此之外，外界因素的影響是負荷預測產生殘差的重要原因，因此可以通過建立殘差數據的預測模型對負荷預測結果進行修正。

本文針對電力系統短期負荷預測的時序性問題，比較了LSTM網絡及其變體GRU網絡在電力系統短期負荷預測中的效果。在此基礎上，為了進一步提高負荷預測精度，本文提出了一種采用卷積神經網絡和GRU網絡作為負荷預測的理論基礎，并通過殘差預測和修正方法得到最終預測結果的殘差修正網絡模型，為LSTM人工神經網絡在電力系統負荷預測中的應用提供了新思路。

1 預測模型

1.1 LSTM網絡

LSTM網絡通過在循環單元中增加控制門的形式，實現了神經元狀態信息的傳遞和保留。每個神經元中均包含了輸入門、遺忘門和輸出門3種用于循環更新的控制門，其基本單元結構如圖1所示。

長短期記憶人工神經網絡（LSTM）屬于循環神經網絡的一種，由于其可以較優地避免循環神經網絡（RNN）中梯度消失問題而被廣泛關注。和循環神經網絡相比，LSTM網絡神經元的狀態值在進行循環更新的過程中需經過輸入門、遺忘門、輸出門3種控制門，以此實現神經元狀態信息的傳遞和保留。

圖1中，xt為當前單元的狀態變量，ht-1為上一時刻基本單元的輸出量，ct-1為上一時刻的單元狀態，則遺忘門輸出ft，輸入門輸出it，輸出門輸出ot分別為

式中：σ為sigmoid函數；W為與3種控制門相對應的權值矩陣；b為與之對應的偏置向量。

LSTM網絡中，當前單元狀態ct由遺忘門決定上一單元狀態在其中所占的比例。由輸入門決定中間狀態在其中所占的比例，其表達式為

式中，gt為當前單元的中間狀態，由上一單元的輸出和本單元的輸入共同構成，其表達式為

其中，φ為tanh函數。由式（4）、（5）可知，當前單元狀態由上一單元狀態與本單元的輸入共同決定，這一特性體現了LSTM網絡的遺忘以及保留功能。

LSTM網絡的輸出由輸出門和單元狀態共同確定，即

ht=otφ（ct） （6）

1.2 GRU網絡

LSTM網絡基本單元的3種控制門構成了其在信息傳遞過程中的遺忘和保留功能。功能的增加意味著網絡結構復雜性的增加，同時也會導致網絡計算與訓練成本的增加。針對上述問題，GRU網絡作為LSTM網絡的變體，將LSTM網絡基本單元中的3個控制門簡化為2個。在降低計算成本的同時，保持了與LSTM網絡類似的預測效果，其基本單元結構如圖2所示。

由圖2可知，簡化后的LSTM網絡即GRU網絡結構的基本單元中控制門由更新門和重置門構成，且均通過激活函數σ來控制信息流動。更新門輸出為zt，重置門輸出為rt，中間狀態gt和單元輸出ht的表達式分別為

GRU網絡單元的中間狀態除了和當前輸入xt有關外，上一時刻的輸出需要經過重置門然后再乘以權值矩陣。當前單元的輸出則是由更新門的輸出來控制的。

LSTM及其變體GRU網絡的特殊結構使其具有時序信息的保留和遺忘功能。就電力系統負荷預測而言，LSTM網絡可充分利用電力系統負荷連續性與周期性特征，來實現關鍵信息的保留和傳遞，從而進一步提升電力系統負荷預測的準確性。

2 LSTM網絡仿真

2.1 實驗設置

本文仿真采用CPU型號為Intel Xeon E5 -2610.32GB DDR4-2400內存，NVIDIA QuadroM2000顯卡，并采用了Python語言在Keras平臺上搭建了模型框架。由于節假日負荷數據和工作日及周末負荷數據存在較大差異，在訓練過程中剔除了節假日數據，且采用經過預處理的38400個數據作為測試樣本。訓練集、驗證集、測試集分別為樣本總數的70%、20%、10%，以均方根誤差作為損失函數進行訓練，其計算公式為

2.2 預測結果比較

為比較不同模型的預測效果，本文分別采用LSTM、GRU、人工神經網絡（ANN）、支持向量機（SVM）模型對同一組測試樣本數據進行預測。

LSTM網絡和GRU采用3層網絡，其中隱含層的神經元個數設置為50、50、100。ANN采用反向傳播的3層前饋神經網絡，隱含層節點個數為200，采用sigmoid作為傳遞函數。SVM選擇徑向基函數作為核函數，利用10倍交叉驗證法對寬度系數和懲罰系數進行選擇。實驗過程中，取待預測數據點之前的96點作為該數據點的輸入向量，輸出數據為待預測時刻的數據。圖3為不同模型的典型日負荷預測結果。

由圖3可知，4種模型都能完成負荷預測，并體現出相應的負荷變化情況，其中LSTM網絡日負荷預測平均相對誤差為1.72%，GRU網絡日負荷預測平均相對誤差為1.80％，ANN負荷預測平均相對誤差為2.26%，SVM負荷預測平均相對誤差為1.96%。

表1、2為LSTM網絡與GRU網絡連續7d的日負荷預測結果平均相對誤差和均方根誤差。由計算結果可知，LSTM和GRU模型負荷預測的平均相對誤差和均方根誤差的平均值都要低于ANN模型，這是因為LSTM和GRU網絡屬于時序模型，能夠對數據的歷史信息進行學習，而人工神經網絡則無法做到這一點，因此其平均誤差和均方根誤差較大。雖然SVM模型的預測結果較好，但其算法性能和預測效果受參數的影響較大，而其參數的選擇又多是依據經驗確定，缺少一定的理論依據。

在同一條件下，就單一模型而言，GRU網絡與LSTM網絡的日負荷預測結果精度基本相當，然而由于GRU網絡簡化了基本單元結構，少了一組矩陣參數的運算，因此訓練時間上更具有優勢。綜合計算成本和預測精度，本文在負荷預測的組合模型中采用GRU網絡作為基本網絡。3組合預測模型

3.1 卷積神經網絡（CNN）

本文對LSTM網絡和GRU網絡訓練過程采用了連續的負荷數據作為網絡輸入，保持了數據的時序性與連貫性，但缺少數據特征的提取過程，而特征提取是數據處理的關鍵步驟，因此，本文在GRU神經網絡作為負荷預測層的基礎上，前置了卷積神經網絡層作為特征提取層。

卷積神經網絡作為前饋神經網絡的一種，通過稀疏連接和權值共享的方式在縮減訓練參數規模的基礎上得到了更深的訓練網絡，能夠直接從卷積層和池化層的交替使用中得到數據的有效特征。

本文構建了由3層卷積神經網絡和1層GRU網絡所組成的組合預測模型，其中卷積神經網絡的卷積核大小為3x3，3層的數目依次為32、64和256。

3.2 殘差預測

由于負荷影響因素的復雜性和不確定性，任何方法均不可能實現百分之百的準確預測，而負荷預測的殘差大小直接反映了當前時間點預測值的準確性。就負荷預測而言，殘差本身是一種基于負荷數據產生的時間序列數據?；谏鲜隹紤]，本文將負荷預測模型和殘差預測模型進行了組合，利用殘差預測結果對負荷預測值進行了修正，并以修正值作為最終預測結果。圖4為組合模型的基本結構示意圖。

組合預測模型由負荷預測和殘差預測共同構成。因此在訓練與預測中，負荷預測模型首先采用樣本數據進行訓練，然后由訓練的預測模型得到樣本數據集的預測值與殘差值，再通過殘差數據集訓練殘差預測網絡，最終分別利用兩個網絡得到負荷和殘差預測值，并將其之和作為當前時刻的負荷預測結果。

3.3 仿真分析

基于上述分析，本文分別采用CNN+GRU組合預測模型，以及含有殘差修正的組合預測模型對測試集數據進行了預測分析。圖5、6為兩種預測模型的典型日負荷預測結果。其中，CNN+GRU組合預測模型得到的日負荷預測平均相對誤差約為1.54%，含有殘差修正的組合預測模型得到的日負荷預測平均相對誤差約為1.21%。

表3為在相同仿真實驗條件下，不同模型連續7d負荷預測的平均相對誤差（MAPE）、均方根誤差（RMSE）以及模型訓練時間和負荷預測的計算時間。

由實驗結果可知，加入了CNN特征提取層的網絡模型相比于LSTM網絡和GRU網絡，能夠有效提高負荷預測的精度。但由于其增加了一個卷積計算的過程，因此訓練時間要大于單一模型。除此之外，殘差修正模型需要對殘差數據進行訓練，因此在有限的硬件資源條件下其網絡訓練時間最長。從表3中可以看到，組合模型的計算時間要略長于單一模型，但其計算時間不到1s，可以滿足實際負荷預測的需求。

4 結論

本文研究了基于LSTM人工神經網絡的負荷預測方法，主要結論如下：

1）LSTM模型能夠對負荷歷史數據進行記憶和保留，其變體GRU模型在簡化控制門的基礎上，能夠保持與LSTM模型類似的預測效果。仿真結果表明，GRU模型負荷預測的平均誤差約為3.20％。

2）采用卷積神經網絡作為特征提取層，結合GRU構建的組合模型，能夠有效發揮神經網絡的優勢。在本文實驗條件下，組合模型負荷預測的平均相對誤差約為2.06%。

3）利用歷史殘差數據構建的LSTM殘差預測模型，可對負荷預測結果進一步修正，并能夠在組合模型負荷預測的基礎上，進一步提高電力系統負荷預測的精度。

（責任編輯：鐘媛 英文審校：尹淑英）