VMD-Stacking集成學習的多特征變量短期負荷預測模型

王士彬,何 鑫,余成波,張 未,陳 佳

(1.國網重慶市電力公司市南供電分公司, 重慶 401336; 2.重慶理工大學 電氣與電子工程學院, 重慶 400054;3.重慶市能源互聯網工程技術研究中心,重慶 400054)

0 引言

在電力系統中,電力負荷是重要的組成部分,更準確的負荷預測結果能讓電網制定更靈活、經濟的調度計劃[1],確保電力系統安全、穩定地運行。因此,提高電力負荷預測準確度意義重大。

電力負荷預測主要是通過對歷史負荷數據資料進行統計分析,利用數學模型和統計方法,對未來某一時期內電力系統各負荷點的用電情況進行預測,短期負荷預測時間為1天到1個星期。目前,短期電力負荷預測的理論和方法展開了大量研究[2-4]。周莽等[5]對負荷數據及有關天氣、節假日信息進行棧式自編碼,然后構建門控循環單元神經網絡預測電力負荷,實例結果顯示這種包含更多信息的模型具有預測誤差更小、精度更高的特點。李坤奇等[6]對居民用電進行短期預測時,考慮到了不同用戶的用電習慣,并構建了由時間以及氣候信息組成的多特征時間序列數據集,使預測誤差大幅降低。張寧[7]用集成經驗模式分解算法把負荷數據自適應分解后,根據不同分量的特點建立極限學習機模型對電力負荷短期預測,經實驗證明,相比于傳統極限學習機、支持向量機模型的平均絕對誤差降低約0.01。在負荷組成成分更復雜、短時間變化量更大的工業負荷使用單一預測算法結果精度往往較低,亓曉燕等[8]對某鋼鐵工業地區負荷分解,再使用一種融合長短期記憶網絡和支持向量機不同優點的改進算法預測,比單獨采用長短期記憶網絡、支持向量機算法的模型準確率分別提升了5.15%、6.43%。

可見,在負荷預測過程中使用有效的多特征變量、數據分解、模型融合等方法可以提高預測準確度。為了減小負荷序列波動性影響、學習到更多有效特征信息、對多個算法取長補短,提出了一種VMD-Stacking集成學習的多特征變量短期負荷預測模型。

1 模型原理

1.1 VMD算法

Konstantin Dragomiretskiy和Dominique Zosso在2014年提出了VMD算法[9],這種分解方法使用迭代搜索變分模型最優解來確定每個子模態分量的中心頻率及帶寬,且每個模態在解調成基帶之后是平滑的。分解后的IMF分量能夠特征互異,避免模態混疊和端點效應,對采樣和噪聲有更強的魯棒性[10-11]。類似的,使用VMD分解電力負荷序列可以得到較為平穩的子序列來提高負荷預測結果的準確度。具體步驟為:

第1步:把電力負荷序列P(t)分解成預設的k個IMF分量,然后,對每個負荷子序列uk(t)做Hilbert變換,得到相應的單邊頻譜:

(1)

式(1)中:δ(t)為狄拉克函數,*為卷積運算符。

第2步:在每個uk(t)中加入預估的中心頻率ωk進行修正,并將其頻譜移到基頻帶上,計算公式為

(2)

第3步:計算梯度的L2范數的平方,估計對應負荷子序列uk(t)的基頻帶寬,為了使得其帶寬估計之和最小,構建出帶約束條件的變分模型如下:

(3)

式(3)中: ?t為偏導運算符,‖‖2為L2范數。

第4步:為了簡化計算式(3)的約束變分問題,引入Lagrange乘子λ(t)和二次懲罰因子α,將其轉為無約束條件的變分模型:

模態變量計算為

(5)

中心頻率計算為

(6)

終止條件為

(7)

1.2 Stacking集成學習模型

Stacking集成學習框架可以融合多個算法,使預測結果精度高于單一算法的性能[12-13]。圖1所示為該模型框架圖,分為兩層結構設計。其中,第1層由一個或多個基學習器組成,因融合的學習器越多,模型越復雜,訓練時間更長,本文中僅使用2個初級學習器;第2層采用一個簡單的算法作為元學習器,不僅強化了學習效果,而且不會造成預測模型過冗余復雜、過擬合現象。

圖1 Stacking集成學習模型框架

Stacking集成學習模型構建的具體步驟如下:

第1步:基于交叉驗證的思想,將訓練集劃分為5個大小相等的子集,再依次遍歷這5個子集,每次把當前子集作為預測數據,剩余的4個子集作為訓練數據,共遍歷5次,對應第1～5折。

第2步:把每一折中用于訓練的子集導入基學習器1訓練,然后基于訓練好的基學習器1對測試集和需要預測的子集進行預測,經過5折的訓練與預測后,組合每折訓練集的預測結果得到新訓練集,每折測試集的預測結果取平均值得到新測試集。同理,對基學習器2重復這一步驟。

第3步:利用第一層輸出的新訓練集訓練元學習器,基于訓練好的元學習器對新測試集預測,得到最終的預測結果。

1.3 VMD-Stacking集成學習模型

選擇Stacking集成學習框架的基學習器方面,考慮到不同算法有不同的原理與特性,XGBoost和LightGBM都是通過優化梯度提升樹算法而來[14-17],然而它們的決策樹生長策略不同。XGBoost采用帶深度限制的level-wise生長策略,不容易產生過擬合現象,但沒有對同一層葉子加以區分,造成訓練時間和內存消耗方面存在劣勢;LightGBM采用leaf-wise生長策略,速度和性能遠優于XGBoost,但需要加入一個最大深度限制,否則會產生過擬合。所以,將XGBoost和LightGBM作為基學習器,簡單的貝葉斯回歸算法作為元學習器,負荷預測結果準確度會有不少提升。

VMD-Stacking集成學習模型具體流程如圖2所示,將劃分好的負荷序列經過變分模態分解后得到IMF分量和RES分量(總有功功率減去各IMF分量值)導入Stacking集成學習模型得到各分量的預測值,重組預測值后得到預測結果,并設置多無特征算法組和有多有特征算法組作為對比評價。

圖2 預測模型流程

2 算例分析

本次分析選擇某地區2018年1月—2021年8月的負荷總有功功率為實驗數據,采樣間隔15 min,其中2020年8月以前的數據作為訓練數據,且按時間劃分為4個季度。使用不同的方法來預測剩下一年中每個季度所對應春分、夏至、秋分、冬至、春節這5天的負荷情況,評估其預測結果來檢驗所提模型的有效性。

2.1 VMD分解負荷序列

在使用VMD算法前需要確定分解模態數k,如果k值過大會出現模態混疊,相鄰模態分量接近中心頻率,產生額外的噪聲;k值過小會造成欠分解,有效信息被忽略掉,不利于提高預測結果準確度。VMD算法中不同的k值對應分解后子模態分量的中心頻率不同,可以用中心頻率觀察法[18]來確定k值。以負荷序列為分解對象,設定不同的值,得到各IMF分量對應的中心頻率如表1所示。

表1 各IMF分量中心頻率

當k>4后,最后一個IMF分量的中心頻率增量很小,若繼續增大k值分解會導致各分量中心頻率距離越接近,造成模態混疊。

綜上,取k=4對負荷序列進行分解,結果如圖3所示。由于分解的是負荷序列,如果直接拋棄信息豐富的RES分量將會限制模型的預測準確性[19],所以本次分解保留了RES分量。

2.2 特征重要性分析

從圖3負荷有功功率曲線可以看出該地區夏季用電量大,冬季臨近春節時的用電量小,有一定規律性。在日期的基礎上收集每天的溫度、天氣、農歷和節假日情況等作為特征變量[20-21],但在預測過程中過多的無關變量反而會影響模型的訓練效果。分別用LighGBM和XGBoost算法預測春分、夏至、秋分、冬至、春節這5天的負荷情況,得到每個特征的重要性占比平均值如圖4所示?？梢钥吹?這2種算法對特征的重要性比值有所不同,LightGBM算法注重時間變化,XGBoost算法則更偏向溫度變化。在預測時去除各自重要性占比小于1%的特征。

圖3 變分模態分解結果

圖4 特征的重要性比值情況

2.3 預測模型訓練

將變分模態分解后的各分量及相關特征數據前80%劃為訓練集,剩余的數據作為測試集導入Stacking集成學習模型。使用網格搜索法尋找各學習器最優超參數,并基于最優模型預測負荷有功功率分量數據。最后,把各分量數據的預測值相加即得到預測結果。

2.4 模型評價

評價回歸預測類模型以均方根誤差(root mean square error,RMSE)、平均絕對誤差(mean absolute error,MAE)、平均絕對百分比誤差(mean absolute percentage error,MAPE)作為評價指標,其計算方法如式(8)—式(10):

(8)

(9)

(10)

其中:ypred和yreal分別表示第s時刻的預測值和實際值,m為樣本總數量。

為了更充分體現所提出的短期負荷預測模型的優越性,設置僅有時間特征和有多特征VMD的LightGBM、XGBoost、長短期記憶網絡(long short-term memory,LSTM)、反向傳播神經網絡(back propagation neural network,BPNN)和Stacking集成學習模型作為對比分析,各模型的評價指標如表2所示。

對比結果發現,多特征的VMD-Stacking集成學習預測模型的誤差較小。單一模型中LSTM模型結果出現了滯后性,即使加入了多特征變量和VMD后預測結果也較差;BPNN模型總體評價一般,偶爾預測誤差比其他模型更小;LightGBM和XGBoost預測誤差相差不大,融合后的Stacking集成學習模型誤差更小,尤其是加入了多特征變量后MAPE減少約0.68%。有無多特征變量的Stacking模型預測結果如圖5、圖6所示,可以看出,加入多特征變量后的VMD-Stacking集成學習模型在負荷變化點處預測得更準確,趨勢更貼合實際值。

表2 模型預測結果評價指標

圖5 春分、夏至、秋分、冬至預測結果

圖6 春節預測結果

3 結論

本文中提出了一種VMD-Stacking集成學習的多特征變量短期負荷預測模型,在預測前使用VMD算法將負荷數據分解,然后加入對模型重要性較高的特征變量,再建立由LightGBM與XGBoost融合的Stacking集成學習預測模型,從多種角度來提高預測的準確度,具體體現在:

1) 采用VMD算法分解歷史負荷序列,分解后子模態分量的周期性體現了出來,讓模型預測波動性較大的負荷時更容易;

2) 溫度、天氣、農歷和節假日情況等影響負荷變化的關鍵因素有被考慮,模型的準確度得以提高;

3) Stacking集成學習模型對各算法取長補短,泛化能力增強,預測的準確度高于單一模型。

最后,由于融合越多算法的Stacking集成學習模型訓練時間越長,文中僅融合了2種算法,未來的研究中可以考慮融合更多算法,或者使用分布式計算來減少模型訓練時間、提高準確度。