基于貝葉斯優化LightGBM算法的主動式搜索時間調整方法

劉 青， 魯 成， 馬天祥， 段 昕

(1.新能源電力系統國家重點實驗室(華北電力大學) ，河北 保定 071003；2.國網河北省電力有限公司電力科學研究院，河北 石家莊 050021)

0 引 言

“碳達峰”目標的提出加速了我國配網中分布式新能源應用比例的提高,過去能源單向流動的形式變成了可變雙向流動,配網中拓撲關系日益復雜。新投入的城市配網更多地采用環網設計以提高供電可靠性指標,雄安地區、廣州等地更是采用了“雙花瓣”結構。復雜的多端多電源網絡使得現有的配網三段式過流保護配置方案難以繼續使用[1-3],節點與連接關系大大增加,因此差動保護與饋線自動化技術被引入配網保護中。然而傳統差動保護采用的光纖介質使用維護成本高,不適合配網中推廣,十分限制配網繼電保護業務的開展與技術提升。

為此,大量專家學者基于我國5G通信研究進程[4,5],針對配網保護業務5G化進行了應用研究。文獻[6]針對5G通信應用于饋線自動化的方案進行了詳細的論述,并搭建實驗平臺實現了終端延遲、動作全流程時間的測試。文獻[7]從差動保護對通信效果的要求出發,基于國內首個5G SA/NSA雙?；窘M網的電力系統業務平臺,測試了外場環境下終端之間延遲與抖動情況,并提出了延遲抖動優化措施。文獻[8]提出了不依賴外部時鐘的基于故障時刻5G數據同步方法,在10 kV線路上實現了基于5G通信的配網差動保護功能。但是在實際應用時,終端常常因通信延遲過大影響了保護動作可靠性,因此就有思路提出通過預測延遲,以主動適應延遲的變化。

目前電網中的延遲預測業務尚是空白,但負荷業務預測十分常見,其中短期負荷預測針對的是未來數小時或是數天的負荷曲線,這一需求與延遲預測的特征十分接近?，F階段對于短期預測的方法主要通過統計學方法與機器學習,前者原理簡單,但是難以處理體積龐大的數據集;后者基于機器學習算法,包括支持向量機、隨機森林算法與遺傳網絡[9-11]等,挖掘數據間規律能力較強。但是這類算法對于時間序列的處理不夠理想,難以從時間關聯中提取有效信息,于是長短期記憶網絡(Long-short Term Memory, LSTM)為代表的神經網絡就克服了這一問題,充分挖掘時序信息里的深層關系,但其對于非連續特征的處理效果又是一大劣勢。為了克服單一模型的不足之處,諸多集成學習方式應運而生。文獻[12]提出一種結合GRU與LSTM的模型,利用GRU單元預處理負荷歷史信息,再結合其他特征輸入LSTM中訓練。文獻[13]引入注意力機制,改進了傳統CNN-LSTM網絡,設計了分季節進行的短期負荷預測。

針對短期5G配電終端延遲預測問題,本文提出一種基于貝葉斯優化LightGBM算法的主動式搜索時間調整方法。模型以LightGBM算法為核心,將歷史延遲數據與日期、時間、溫度等因素作為輸入,訓練過程中引入貝葉斯優化方法尋找最優參數,最后通過計算最優權重,結合上一時刻的延遲實測值動態調整預測值。實驗證明,本文提出的方法預測精度較其他方法具有突出優勢,可以很大程度上解決因延遲波動導致保護裝置閉鎖的問題。

1 5G配電終端延遲預測

1.1 配電終端延遲要求

智能電網的強大離不開通信技術的支持,涵蓋多樣化的通信服務需求,5G網絡在電網為代表的垂直行業的應用場景下迸發出新的發展火花[14],而其中差動保護業務被認為是5G低延時、高精度授時的原型業務。圖1為基于5G通信的饋線自動化網絡架構示意圖。規定中要求[15],考慮設備熱穩定性因素,保護裝置需要在0.1 s內完成報文交互,故障分析,跳閘命令下達,斷路器物理跳閘結束這一系列動作。

圖1 基于5G通信的饋線自動化網絡架構示意圖Fig.1 Network architecture of 5G-based FA

如圖2所示,扣除保護裝置運算、命令觸發、斷路器動作的時間,預留給報文傳輸的時間小于20 ms。同時規定了極高的可靠性需求,盡量杜絕誤碼、斷連等引起保護裝置拒動、誤動的現象。由于無線路由路徑差異,排隊等待發送或是保護兩側裝置性能差異引起的延遲抖動,也會直接給保護裝置的處理加入不平衡電流,增加了誤動的可能性。

圖2 故障切除時序圖Fig.2 Fault removal sequence diagram

而5G通信饋線自動化技術,由于不采用差動保護原理,對于通信的要求就沒有那樣苛刻。通常來說,規定要求10 kV變電站出線開關可以在最多0.3 s內完成動作[16-18],而斷路器分閘時間不超70 ms。保護終端在檢測到本地故障出現后,會向對側終端發送故障信號,同時啟動故障搜索等待時間TW。在故障等待倒計時結束后,會將本地與周圍開關交換的信息結合起來判斷故障情況。同時TW可以兼顧保護裝置與相鄰裝置連接關系的確認信號,如果收不到對端信號,則說明故障為區外故障,保護閉鎖。實際運行中,延遲與抖動常常超過固定的TW值,導致裝置偶發性閉鎖,若此時區域內發生故障,就必定會導致拒動現象,處理不及時就會在配網內引起大面積蔓延,危及生產生活。

1.2 延遲預測原理分析

延遲(delay或latency)又叫時延或延時[19],包括幾個部分:發送延遲,傳播延遲,處理延遲,排隊延遲。簡要來說,無論是主機或路由器完整發送一段數據幀,基站發送無線信號到終端的空口過程,芯片處理數據,還是排隊等待發送,每一個環節都會增加終端之間互聯互通消耗的時間。

抖動指的是分組延遲的變化程度,基本上是不可預測的[7],影響因素眾多,但是根據分析結合歷史數據可以認為,延遲卻是可以進行預測的。由終端發送信號到達另一個終端通常要經過“終端-空口-基站-光纖-承載網-對側基站-空口-對策終端”的流程,基站及其之間使用光纖介質,與有線網絡共用一個架構,設計承載量巨大,能夠滿足大量用戶的連接。因此延遲的主要不穩定環節來自基站到終端之間的空口因素,根據研究,過高/低的溫度、降水、霧霾、建筑物遮擋以及紅外反光玻璃穿透等物理因素[20-24]都有可能影響5G頻段電磁波的傳播性能,另外高溫極易影響基站、收發機、天線的性能。

結合延遲記錄可以發現,日延遲曲線都是呈現一定規律的:從形式上看,波動較大,不夠圓滑;從時間上來說,基本隨著居民日生產生活強度發生變化,基站連接數也會變化,延遲也就隨著波動。而在夜間連接數大幅減少時,基站會進入低功耗模式,此時發射信號減弱,也會一定程度上導致延遲增加。本文設計配合特征變量,對延遲進行預測,實現搜索等待時間TW的動態修改:當預測到下一采樣時刻延遲會超過當前TW時,在不超過總動作時間0.3 s的規定下,主動調整TW大小,避免裝置閉鎖現象。

2 基于LightGBM模型的延遲預測方法

2.1 LightGBM模型

LightGBM是以梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)為基礎的集成學習算法,它改進了GBDT的缺點,從而能更適合工業應用。在此之前,基于決策樹模型(弱分類器)迭代訓練的GBDT框架在分類、預測以及數據挖掘等場景得到了廣泛應用。為了解決GBDT在海量數據遇到的問題,LightGBM進行了幾項優化措施,包括:基于直方圖(Histogram)的決策樹算法、帶有深度限制的按葉子生長(leaf-wise)算法以及單邊梯度采樣算法,從而了降低原決策樹方法及其衍生算法(如XGBoost)的誤差,提升了計算精度,節省了時間與內存消耗,同時支持分布式運行,從而可以快速處理海量數據。如圖3所示,以往按層生長(Level-wise)決策樹生長策略改變為現在的帶有深度限制的按葉生長,在當前葉子中尋找分裂增益最大的那一支,以此方式迭代。所以同以往相比,在計算次數相同的情況下其精度更高,誤差更低。此外為防止出現葉子過深,還要設定max_depth參數以防止過擬合。

圖3 帶深度限制的Leaf-wise的葉子生長策略Fig.3 Leaf-wise foliage growth strategy with depth limitation

所以LightGBM算法速度更快,占用內存更小,隨著處理數據數量增大,其優勢也愈加凸顯,因此尤其適合處理小顆粒度采樣的回歸問題,如延遲預測問題等。

2.2 基于LightGBM算法的延遲預測模型構造

近些年來,針對負荷預測、風電功率預測等時間序列的預測問題,大多采用由RNN改進的LSTM模型,能夠對過去長期與短期數據行為均留下印象,增強了對數據間關聯的挖掘。但代價就是為了更好地擬合,LSTM模型通常包含多層,而同時又要增加Dropout層以防止過擬合。如輸入15分鐘采樣一次的負荷數據,每年就有4*24*365= 35 040個采樣數據,再加上氣溫、降水、節假日等特征信息,訓練模型要花費大量的時間與算力,普通的小型計算機CPU/GPU難以長期維持高負荷的迭代訓練。因此,本文認為對于基于5G的配電自動化系統來說,更適合選擇算力要求更低的LightGBM算法,同時其支持分布式并行計算的特點更是拓寬了系統未來的發展方向。

通常機器學習模型都會進行人工手動調參,以更好地對訓練集進行擬合,降低預測誤差。但是本文欲以實現實際場景中應用,首先終端時空因素均是不確定的,無法確定設備配置區域的日延遲曲線有何特性,數據的分布存在差異。另外配電網終端數量眾多,無法窮盡人力去實現最優參數配置,因此引入貝葉斯優化加以輔助。

2.3 貝葉斯優化

貝葉斯優化(Bayesian Optimization,簡稱BO)也叫做主動優化。該方法本質上是基于模型的序貫優化,只有在當前輪次評估結束后才進行下一輪,能夠根據未知目標函數f獲取的信息選擇下一個評估位置,以最少代價獲取最優解。傳統的網格調參 (Grid Search) 會從給定的超參數選擇中搭配并遍歷所有的超參數組合,找到這些組合中最優的方案。這種方式下每個組合都是獨立計算,而下一次計算不會利用歷史輪次的信息,因此造成大量算例的浪費,效率低下,同時對于非凸問題還容易陷入局部最優,而BO算法則克服了以上問題。

2.3.1 貝葉斯優化核心原理

機器學習可以看成一個黑盒子,只能知道其輸入與輸出是什么,難以確定中間過程的函數關系,因此轉向一個可以表示并解決的函數上去。假設有函數f:x→R,欲在x?X內求得

(1)

其中,x表示模型超參數,而不是常規的輸入變量,對于LightGBM算法,即為max_depth、num_leaves這類參數。貝葉斯優化的核心是利用條件概率,根據先驗知識來獲取隨機變量的關聯約束,式(2)為關鍵的貝葉斯定理。

(2)

下面以偽代碼形式介紹貝葉斯優化算法實現過程。

Input:f,χ,S,M

D←InitSamples(f,x)

fori←|D| toTdo

p(y/x,D)←FitModel(M,D)

xi←[argmax]x?χS(x,p(y|x,D))

yi←f(xi) ΔExpensive step

D←D∪(x,yi)

end for

f表示機器學習模型,也就是輸入一組超參數,可以得到輸出值。X代表超參數空間。D為(x,y)組成的數據集,其中x為一個超參數組合,y表示對應輸出。S表示采集函數(Acquisition Function),用來挑選x。M表示通過D訓練后擬合出的模型,此處選擇高斯模型為例。D←InitSamples(f,x)表示將輸入輸出加入到數據D中去,D=(x1,y1),…,(xn,yn)。T表示固定一個評估次數,防止過量計算f造成大量資源消耗。

2.3.2 貝葉斯優化框架

貝葉斯優化有兩大要素,其一為概率模型代理,其二是采集函數。前者用于評價抽象的目標函數,后者則是利用代理模型的后驗信息確定主動選擇評估點的策略。

假設模型M服從高斯分布,即f～GP(μ,K),其中,GP表示高斯過程(Gaussian Processes),μ為均值,K為協方差kernel。xi←argmaxx?χS(x,p(y|x,D))表示假設的模型計算出來后,就模型來選擇滿足公式x*的參數,即xi,這就是采集函數(Acquisition Function)。經過選擇超參xi,帶入網絡中訓練,輸出yi,并更新數據集D。

采集函數的功能是由已有數據集D1:t得出的后驗分布構造,獲取最大化增益的目標以選擇下一個超參數組合xi+1。

αt(x;D1:t)=

(3)

常見的采集函數包括PI,EI,LCB及其組合,本文選擇EI(Expected Improvement),如式(3)。該函數屬基于提升的策略,相較于當前觀測時刻最優函數值有所降低(因目標是求函數最小值)的位置作為下一個評估點。

2.4 K折(K-Fold)交叉驗證

傳統的機器學習,會將數據集按照6∶2∶2或是8∶1∶1的比例劃分訓練集、驗證集與測試集,這被稱為交叉驗證(Cross-Validation)。但抽取樣本的合理與否會影響訓練結果的好壞,同時會存在數據集應用不充分的問題,而K折交叉驗證就可以避免以上問題。如圖4所示,它指的是將訓練集分為K部分(通常為均分),每部分均有一次機會作為驗證集進行訓練,另外還有K-1次訓練作為訓練集,最后取平均誤差作為泛化誤差,這樣一來,實現無重復抽樣的同時保證了數據集得到了充分訓練。

圖4 K折交叉驗證示意圖Fig.4 Diagram of K-fold cross validation

出于對本文使用數據量的考量,這里結合兩種方法,將數據集按照8∶1∶1的比例劃分訓練集、驗證集與測試集,同時再在訓練集上采用10折交叉驗證,獲取最好泛化特性。

2.5 動態加權組合

單一的機器學習模型總是有其弱勢所在,因此很多人都會使用集成學習,它不是一個新的算法,而是一種技術框架,用以組合基礎模型。目前有三種有代表性的的集成學習框架:Bagging,Boosting以及Stacking。LightGBM衍生自GBDT,而GBDT本身是一個Boosting集成學習方式,而在最后一個環節,本文將利用stacking思想來減小預測誤差[25]。

Stacking核心是把強分類器進行強強聯合,使得融合后的模型效果更強,其簡化版為Linear blending,簡單來說就是加權組合思想。對于某一預測問題的兩個預測模型,設εit是第i個模型t時刻的誤差,求得偏差矩陣E,其公式如公式(4)。

其中,m為數據集內元素個數,令R=[1,1,1,…,1]T,利用拉格朗日法可以獲得最優權重配比(ω1,ω2,…,ωn)T=K= (E-1R)/(RTE-1R),其中ω1+ω2+…+ωn=1,ωi是各個模型的權重。

(4)

考慮到延遲波動較大,有相當一部分變化是無法預測的,因此這里結合實時數據進行動態調整。方法是將當前預測時刻的前一采樣點實測數據充當第二個模型的預測結果,與LightGBM的預測結果進行組合,整體數列缺失的一位用相鄰一個實測數據進行填充,最終求出最優權重配比。

2.6 預測流程

根據數據預處理過程中的可視化分析,能確定數據變化有一定的規律性,由此確定進行訓練的特征量包括年份,月份,日期,每周第幾日,小時,周末及節假日,溫度。

首先對數據進行清洗預處理,過濾掉缺失信息與無效錯誤信息,也避免數據為0時會影響后續預測誤差判定公式的運算。之后進行特征工程。特征數據分為數值型與類別型,由于LightGBM是由決策樹模型衍生而來,樹模型基于信息增益率、基尼指數等進行特征空間劃分,其尋找的最優點是最優分裂點,因此過程是階躍性不可導的,任何不影響排序結果的單調變換均不會影響模型,所以數據無須進行歸一化;另外LightGBM算法對于類別特征有所優化,無需進行One-hot編碼。導入Python內置datetime庫,對于一周七天分別賦值0到6,另外對于周末節假日,工作日令其為0,其余則令為1。最后在所有特征處理后輸入模型進行訓練學習。

鑒于饋線自動化的分布式特性,以及不同終端地理分布有所差異的現實,提出集中-分布預測方式:由饋線自動化區域主站兼做機器學習的執行部分,每天向區域內終端下達次日預測延遲數值。各終端根據收到的數值,結合自身實測延遲,進行加權調整后作為自身下一階段的故障搜索等待時間TW,預測流程圖如圖5所示。

圖5 預測流程圖Fig.5 Forecasting flow chart

3 算例分析

3.1 實驗數據與平臺介紹

本文使用河北省試點線路部署的5G智能分布式FA的外場測試環境[26],通過運營商提供的CPE掛載測試出線路運行期間5G終端的歷史延遲數據。試點線路架設初期,該地區5G用戶較少,SA組網的架構中可以獲得與實驗室相當的優秀延遲數據。但隨著5G用戶增多,該區域原有的5G基站與承載網負載大大增加,加上高頻基站本身覆蓋范圍較小,使得后期測試的延遲整體有所提高,且波動較大,適合作為本文提出方法的測試數據集。選取2020年到2021年共2年的延遲數據,以及對應的溫度記錄,采樣顆粒度為1小時,一天共產生24組數據。

本文采用的硬件平臺為 Intel Core i7-6700HQ CPU和 NVDIA GTX 965M GPU。軟件平臺基于Python 3.8版本實現。

3.2 驗證評估標準

延遲預測問題屬于機器學習里的回歸問題,因此可以選擇判定系數R2/MAPE/RMSE/MAE等多種指標,在這里我們選擇平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)與均方根誤差(Root Mean Square Error,RMSE)作為橫向比較模型預測精度的指標,二者公式如下:

(5)

(6)

前者衡量的是預測值偏離真實值的相對大小,結果用百分比表示,而后者則是真實值與預測結果的絕對偏離情況,大小受數據量綱的不同而有不同,因此不同的數據集無法以相同的RMSE去比較,適合相同數據集上不同模型的訓練結果進行橫向比較。RMSE受極端值影響比較大,而延遲本身波動就是比較大的,因此搭配MAPE與RMSE一起,在功能上可以達到互補的效果。同時RMSE有開方計算,可以放大誤差,對于離群數據更為敏感,能夠突出較大的預測誤差。二者數值均較小時,表示模型的預測結果較為準確。

在考量預測結果準確度的同時,還要兼顧模型訓練與預測所消耗的時間,以更好地進行方案移植與推廣應用。

3.3 數據集預測結果與分析

表1為2021年12月20日至24日連續4天不同模型預測結果與實際延遲值的對比數據。其中模型I為線性回歸算法,模型II為隨機森林回歸,模型III為XGBoost算法,模型IV為LightGBM算法,模型V為本文提出的貝葉斯優化的LightGBM算法。由表可看出,本文所提方法的預測誤差相較于其他三種方法是最小的,4天中第1、3、4天誤差表現最好,其中MAPE相比排名第二的方法差距分別是1.2%,0.42%,0.19%。單日提升數值上來看相差不大,原因是該方法基于LightGBM算法,其本身性能就比較優異。

為評估各個模型中短期預測能力,選取連續三天作為樣本進行預測并比較精度,結果如表2所示。由表2可以看出,當把觀測窗口放大到3天之后,隨機出現的延遲波動現象對于預測精度的影響就被縮小,于是模型V的優勢就顯現出來了,相較于其他方法更為穩定可靠。

結合圖6可以看出,在一天24小時時間內,計及不可預測波動的情況下,本文提出方法對于實際曲線的預測更準,擬合效果更好。尤其在7～10時波峰突然增大時,該方法反應最及時,跟隨效果最好,能捕捉到突然的不可測變化,很好地降低了保護裝置閉鎖的可能性。

表1 不同方法的單日預測精度比較

表2 連續三天中短期預測精度比較

需要指出的是,CPE與基站之間的空口傳播過程是影響延遲波動的最大因素,雖然實現了較高的預測精度,但延遲的不可測波動仍然會影響實際保護動作。除提升基站覆蓋密度,加大帶寬等物理層面的手段,還可以通過優化上行調度、空口誤碼、提高優先級以及調整重傳機制等手段進行基站參數優化配置,以更好地推動配網饋線自動化5G化進程。

圖6 不同模型24小時預測對比Fig.6 Comparison of 24-hour forecasts from different models

驗證過程采用訓練epochs為5 000,10折交叉驗證,以損失函數100次迭代中無明顯下降為終止,訓練預測時間如表3所示?？梢钥闯鲇捎谠黾恿藘灮惴?本文提出方法時間消耗相較基礎機器學習算法有所提高。但按照2.6節所提流程,現實中由主站來負責訓練與預測,由各終端結合主站下達數值進行修正,頻次僅為每天1次,所以每天需要的時間并不多,在該任務分配思路下,該訓練預測時間并不算長,由此在原理上能夠減輕終端的計算壓力,更好實現方案移植與推廣應用。

表3 不同模型預測與訓練時間比較

4 結 論

本文提出一種基于貝葉斯優化LightGBM算法的主動式搜索時間調整方法,該方法能夠自行求出最適合當前區域延遲分布特征的超參數配置方案,無需人工手動調參,同時最優權重配比方法能夠根據上一采樣點數據動態地調整下一個預測值。相較于原始機器學習算法,該方法能夠有效地捕捉延遲的突變,跟隨效果更好,預測精度更高。

后續考慮通過加入降水、電力負荷、人口數據等其他特征,并對各特征的重要度進行排序,得到影響延遲變化最重要的特征搭配。另外,計劃通過嘗試LSTM、GRU等神經網絡來解決預測問題的方法,進一步挖掘時間信息。