基于聯邦學習的短期負荷預測模型協同訓練方法

車亮 徐茂盛 崔秋實

摘要：針對機器學習方法在電力系統短期負荷預測領域的應用過程中，存在數據樣本不足、模型泛化能力差以及數據隱私保護要求較高等問題，以氣象、日期以及歷史負荷數據為輸入特征，構建基于長短期記憶（Long Short-Term Memory，LSTM）網絡的短期負荷預測模型，提出基于聯邦學習（Federated Learning，FL）的短期負荷預測模型協同訓練方法.通過分散訓練、中心聚合的方式對模型參數進行迭代更新，實現各負荷運營商在保證數據隱私的情況下協同構建預測模型.在GEFCom2012比賽的多個地區負荷數據集上進行仿真驗證，結果表明，所提方法在保證各運營商數據隱私的同時，有效提升了短期負荷預測準確率，所訓練出的模型在多場景下具有優秀的泛化能力.

關鍵詞：數據隱私；機器學習；負荷預測；聯邦學習

中圖分類號：TM715文獻標志碼：A

Federated Learning Based Coordinated Training Method of a Short-term Load Forecasting Model

CHE Liang1，XU Maosheng1，CUI Qiushi2

（1. College of Electrical and Information Engineering，Hunan University，Changsha 410082，China；2. School of Electrical Engineering，Chongqing University，Chongqing 400044，China）

Abstract：Machine learning methods have been widely used in the field of short-term load forecasting of power systems. However，it is difficult for load operators to obtain high-performance forecasting models due to insufficient data samples，poor model generalization ability，and high data privacy protection requirements in the application process. In this paper，meteorological，date，and historical load are used as input features to construct a short-term load forecasting model based on Long Short-Term Memory（LSTM）. A federated learning（FL）based coordinated training method of a short-term load forecasting model is proposed. The proposed method mainly iteratively updates model parameters through decentralized training and aggregation of centers，so as to realize cooperative construction of the prediction model by all load operators under the condition of data privacy. The simulation results based on the GEFCom2012 dataset show that the proposed method not only ensures the data privacy of operators but also effectively improves the forecasting accuracy of the load forecasting model，and the trained model has satisfied generalization ability in multiple scenarios.

Key words：data privacy；machine learning；load forecasting；federated learning

電力系統短期負荷預測是指根據過去一段時間的負荷以及日期、氣象等數據，對未來短時間的負荷變化進行預測[1].精準的負荷預測是電網實施精確調度、制訂發電計劃以及設置合理備用的基礎，是保證電力系統可靠運行與增加經濟效益的必要條件[2].隨著電網數字化程度不斷加深，電力公司陸續安裝了多種智能儀表，獲得了更多精細的負荷與氣象等數據，這使得采用人工智能方法進行精準負荷預測變得可行[3].

近年來，機器學習算法被廣泛應用在短期負荷預測領域，研究者們對各種算法進行改進，提出了許多解決短期負荷預測領域相關問題的方法[4].研究者將支持向量機、BP（Back Propagation）神經網絡（Neural Network，NN）、LSTM網絡等多種機器學習算法應用于負荷預測，并對其進行改造以提升預測精度.文獻［5］提出基于深度信念網絡的短期負荷預測方法，將無監督與有監督訓練結合，進而提升預測準確度；文獻［6］將Attention機制加入LSTM網絡構建預測模型，從輸入數據中提取對負荷預測起到關鍵作用的特征；文獻［7］基于Hadoop架構中的MapReduce框架構建BP神經網絡預測模型；文獻［8］構建基于雙向長短期網絡的預測模型，并融入特征選擇方法，選擇出最佳輸入特征.一般來說，單一類型的神經網絡只擅長挖掘數據的某一類特征，而負荷預測數據包括負荷、氣象和日期等多類特征，利用不同的神經網絡能更有效提取不同數據類型的特征［9］；文獻［10］先運用卷積神經網絡（Convolutional Neural Network，CNN）提取特征與負荷的聯系，最后將結果輸入到GRU網絡中進行負荷預測，提升預測準確率；文獻［11］將卷積神經網絡（CNN）和長短期記憶（LSTM）網絡相結合以構建短期負荷預測模型；文獻［12］綜合集合經驗模態分解（Ensemble Empirical Mode Decomposition，EEMD）、門控循環單元神經網絡（Gated Recurrent Unit，GRU）和多元線性回歸（Multiple Linear Regression，MLR）方法構建預測模型；文獻［13］提出了一種基于GRU-NN模型的短期電力負荷預測方法；文獻［14］提出了基于LSTM和XGBoost的組合預測模型.

由上可見，目前機器學習方法在短期負荷預測領域的應用已取得了一定的成果，但在實際應用中，現有方法還存在以下問題：

1）未解決實際情況下負荷數據樣本數量與特征不足的問題.現有基于機器學習的負荷預測方法依賴于預測者擁有樣本數足夠多、特征種類足夠豐富的訓練數據集，但在實際負荷預測工作中，部分預測者往往難以滿足該條件（例如小規模電力公司、新接入電網的用戶和負荷聚合商等通常難以建立滿足負荷預測需求的數據量和特征足夠的訓練數據集［15-16］）.

2）預測模型泛化能力問題.僅使用單個地區數據訓練出的模型，難以直接移植到新的地區進行預測，預測模型的泛化能力亟待增強.

3）數據隱私問題.若能實現不同地區間共享數據訓練模型，就可以有效提升模型預測能力［17］.但目前各電力公司均具有較高的數據保密要求，歷史負荷等數據是嚴格保密的，這限制了數據共享訓練，因此相關數據隱私保密問題亟待解決.

因此，目前亟需一個在保護負荷等數據隱私的前提下實現協同構建負荷預測模型的方法.針對這一需求，本文引入聯邦學習（Federated Learning，FL）方法.聯邦學習可以實現多個數據持有者在不共享其數據情況下協同訓練機器學習模型，在保護數據隱私的同時降低數據通信量，提高通信效率［18］.目前，聯邦學習已被研究者們應用在一些需要考慮數據隱私及降低通信開銷的場景［19］.文獻［20］將深度強化學習模型進行聯邦，實現高準確率、低時延的設備節點選擇；文獻［21］將聯邦學習應用于物聯網框架下的邊緣計算過程；文獻［22］將聯邦學習應用于霧計算過程；文獻［23］將聯邦學習應用在電力計量系統中，分別應用于計量裝置故障診斷、無線接入安全檢測以及電費風險識別場景，均取得了較好的效果，證明了將聯邦學習方法應用在電力系統領域具有實用性和可行性.

針對上述負荷預測模型構建所需數據樣本數量與特征不足、模型泛化能力差以及負荷相關數據高度保密無法共享訓練的問題，本文引入聯邦學習方法，以LSTM網絡的短期負荷預測模型為基礎，提出基于聯邦學習的短期負荷預測模型協同訓練方法，結合短期負荷預測場景的特點，對數據傳輸過程與模型聚合過程進行優化改進.該方法實現了各負荷運營商在保護數據隱私的前提下對模型進行協同訓練，并且有效提升了短期負荷預測模型的預測準確率和泛化能力.

1基于LSTM的短期負荷預測模型

1.1長短期記憶（LSTM）網絡

LSTM網絡是由循環神經網絡改進而來的，解決了循環神經網絡存在的長期依賴問題.相比常規循環神經網絡，LSTM添加了輸入門、遺忘門和輸出門[24].LSTM網絡基本單元如圖1所示.

f_t=σ（W_fh_t-1+W_fx_t+b_f）（1）

式中：W_f、W_i、W_o分別為遺忘門、輸入門、輸出門的權重矩陣；b_f、b_i、b_o分別為遺忘門、輸入門、輸出門的輸出偏置項；*表示矩陣的Hadamard積.

1.2基于LSTM網絡的短期負荷預測模型構建

由于負荷數據數量級較高，與溫度、日期等特征數量級差距較大，不利于模型訓練.為了消除各類特征之間量綱不同的影響，使模型快速收斂，并且考慮到各負荷運營商之間負荷數據數量級存在較大差異，故利用本文方法對輸入數據進行歸一化處理，將所有輸入數據歸一化在［0，1］內，如下式所示：

式中：x^*_t為歸一化后的數據；x_t為歸一化前的數據；x_max和x_min分別表示該特征數據的最大值和最小值.LSTM網絡模型結構如圖2所示.

負荷預測效果評價指標采用均方根誤差（Root Mean Square Error，RMSE）和平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE），指標值越小，表示預測值與真實值之間的誤差越小，模型的預測效果越好.指標計算公式分別如式（8）和式（9）所示.

2基于FL的短期負荷預測模型協同訓練方法

2.1方法概述

基于聯邦學習的短期負荷預測模型協同訓練方法能在保護各負荷運營商數據隱私的同時，利用各個運營商所擁有的負荷數據資源協同訓練短期負荷預測模型，有效提高模型的預測準確率及多場景泛化能力.

本文方法整體系統架構如圖3所示.其中，本文第1節所構建的負荷預測模型部署在服務器端與各個負荷運營商端，負荷運營商可以是某地區電力公司或某些電力用戶的集合.

在結構上，本文方法整體組成包括服務器端、通信網絡、本地負荷運營商及其對應的負荷、氣象和日期數據.令L={l₁，l₂，…，l_n}表示所有參與協同訓練的負荷運營商的集合，每一個l_k（k=1，2，…，n）具有對應的訓練數據以及進行本地模型訓練、模型推理的能力.圖3中，令V表示訓練數據（包括負荷數據、氣象數據、日期數據）集合，則第k個負荷運營商l_k所擁有的訓練數據表示為V_l，k；W表示服務器下發到本地的模型權重參數；令W_k（k=1，2，…，n）表示第k個本地端l_k從本地服務端上傳至服務器端的模型權重參數.

整體流程主要包括預測模型下發、負荷運營商本地訓練、各運營商模型上傳以及模型聚合4個步驟.具體步驟如算法1所示.

1）以LSTM網絡的短期負荷預測模型為基礎，服務器端初始化各參數，并下發模型到本地端.

2）本地端接收下發的模型，用該模型參數更新自身模型參數，并以自身數據訓練模型.

3）將已訓練完成的模型上傳至服務器端，采用不傳輸梯度而是直接傳輸完整權重參數的方法降低數據泄露風險，避免被針對模型參數進行攻擊的算法竊取數據.

4）服務器端執行模型聚合，考慮電力負荷預測場景的特點，在模型聚合階段，根據各參與方數據集質量形成適用于負荷預測場景的模型聚合策略.最終，形成完整的基于聯邦學習的短期負荷預測模型協同訓練方法.

選取算法1步驟中較為主要的10）～12）在2.2節詳細介紹；步驟13）和14）在2.3節詳細介紹；步驟16）和17）在2.4節詳細介紹.

2.2模型下發與本地訓練更新

在服務器端進行模型預訓練，得到服務器端模型權重參數W.通過通信網絡將W下發至各個參與

訓練的聯邦參與本地端l_k.各l_k接收服務器下發的W，更新本地模型參數W_k.隨后以其所擁有的數據集V_l，k作為本地訓練樣本集，進行本地訓練并更新W_k.

模型訓練過程采用Adam（Adaptive Moment Estimation）優化算法.該算法在RMSprop算法的基礎上添加了動量項，根據t時刻梯度g_t的一階矩估計和二階矩估計來動態調整每個參數的學習率.該算法的

主要優點為：經過偏置校正后，每一次迭代學習率都存在于一個確定的范圍，使得參數較為穩定.

基于Adam的模型訓練過程描述如下：

1）根據t時刻的梯度g_t分別計算梯度和梯度平方的指數移動平均數m_t和v_t，β₁與β₂分別取0.9、0.999，m₀與v₀均設為0：

4）模型權重參數更新如式（13）所示，式中W_k表示參數更新后的第k個本地模型權重，ΣΔW_k，t表示第k個本地模型總的權重變化量：

W_k=W+ΣΔW_k，t（13）

采用平均絕對誤差（Mean Absolute Error，MAE）作為模型的目標損失函數y_MAE.

2.3模型上傳

本地模型訓練完成后，每個負荷運營商l_k經過通信網絡上傳模型權重參數W_k至服務器端，但在參數傳輸過程中存在多種不同的傳輸方式.

經典的聯邦學習方法在訓練迭代時傳輸梯度數據g_t，每位本地參與者首先將當前訓練的模型梯度相關系數上傳至服務器，服務器通過求取每位參與者最新的梯度相關系數的平均值來更新全局模型；在下一次迭代中，參與者再下載最新的全局模型參數繼續訓練-但是，此種方法已被指出存在隱私泄露風險-有學者發現在聯邦過程中，如果發生梯度參數泄露，則可用算法通過梯度反推出該次迭代對應的訓練數據-例如較為典型的Deep Leakage from Gradients（DLG）算法[25]：首先假設虛擬的輸入和對應的標簽；隨后，計算虛擬的梯度，在此基礎上優化虛擬梯度與真實梯度之間的距離，通過梯度的匹配使得假設的虛擬數據不斷靠近原始數據；最終，獲取參與方的真實訓練數據.

為了避免由于梯度參數泄露導致反推出對應數據樣本的風險，本文采用不傳輸梯度而是直接傳輸完整權重參數的方法，在參與方本地模型訓練完成后，上傳整體模型權重參數W_k，而非單個數據樣本訓練時產生的梯度-權重參數經過該參與方使用自身全部數據通過Adam算法進行多次迭代訓練，根據上述Adam訓練過程及DLG算法原理，此時已無法推導出每一條數據樣本訓練時所對應的梯度計算值，從而無法推導出對應的原始數據樣本-因此，在權重參數上傳過程中，即使遇到模型參數竊取行為，竊取者也無法推導出該參與方對應的所有訓練數據集樣本.

同時，為了服務于模型聚合階段的權值計算過程，在此階段還需上傳各本地負荷運營商l_k所擁有數據V_l，k的時間跨度信息U_k.

2.4模型聚合

當所有本地負荷運營商l_k完成模型上傳流程后，服務器端對接收到的全部模型執行聚合.以下介紹本文執行模型聚合步驟時權值w_B，k的計算方法.

現有的聯邦學習模型聚合方法并不適應負荷預測場景.例如，在經典聯邦學習方法中，某聯邦參與方l_k模型聚合的權值w_B，k僅與其參與訓練的樣本數量大小有關.這種方法沒有結合實際的應用場景，未充分考慮各個聯邦參與方數據樣本的質量.這會導致在聚合時使用了不合理的聚合權重參數，影響最終模型的預測準確率和泛化能力.而在本文方法所針對的短期負荷預測場景中，擁有越多樣化、越全面的數據的負荷運營商所訓練出的本地負荷預測模型往往有著更優秀的預測準確率與泛化能力，在模型聚合時應該給予更高的聚合權重.

本文結合負荷預測場景的特點，定義各個負荷運營商的貢獻度G，進而更新聚合權值w_B，k.貢獻度G_k與運營商l_k所擁有的數據樣本數量大小以及對應的數據日期跨度U_k均有關；當一個負荷運營商自身數據樣本數量越大或其所擁有的相對其他運營商數據的新時刻數據越多，其貢獻度G應該越大；該模型對服務器模型的聚合過程也應該有更大的影響，參數聚合時擁有較高的權重.

對每一個存在數據的時刻賦予總量為1的貢獻量，對于i時刻，若在該時刻共有Q_i個負荷運營商存在數據樣本，則共同平分該時刻的貢獻量，每個運營商得到的貢獻分量為B_k，i；若負荷運營商l_k在該時刻i沒有數據樣本，則其貢獻分量B_k，i=0.

貢獻度確定后，按照各參與方對聯邦模型的貢獻度G_k更新w_B，k，執行模型聚合，更新模型參數.更新方法如式（17）（18）所示.

式中：W為已更新后模型權重參數；W_k為參與方l_k在經過本地訓練后所上傳的模型權重參數.

3仿真驗證

3.1試驗環境

本文采用多個相互獨立的計算機模擬參與聯邦的各個負荷運營商，進而驗證本文所提出方法對預測準確率與泛化能力的提升.采用5臺計算機模擬5個本地負荷運營商（地區），各計算機配置均為英特爾至強6248R CPU，RTX 3080 GPU，512 GB內存；同時采用一臺個人計算機作為服務器端，配置為Intel i7 CPU，16 GB 內存，Intel UHD Graphics 630集成顯卡.上述設備之間可點對點通信.

本文采用在負荷預測中具有代表性的GEF- Com2012比賽數據[26]，作為試驗樣本數據集.該數據集包含20個地區每1h記錄1次的電力負荷數據、對應溫度數據以及日期信息，將其整理成可用于本文LSTM模型輸入的數據集.深度學習算法采用Python 3.6編程語言編程，負荷預測模型的深度學習框架采用TensorFlow2.

3.2仿真結果

1）為了驗證本文方法對模型預測能力的提升，同時排除日期等因素對預測精度的影響，在3.2.1節中將參與協同訓練的各地區所擁有數據的時間跨度均設置為同一時間段，樣本設為相同數量.

2）為了驗證本文方法對模型泛化能力的提升，在3.2.2節中將各參與方的數據時間跨度設置為不同時間段，樣本設為不同數量.設置3個算例驗證其在3種場景下對模型預測精度和泛化能力的提升.

3.2.1相同時間跨度與數據量的參與方進行聯邦

為了體現本文方法對模型預測準確率的提升，選取5個地區作為相互獨立的負荷運營商參與聯邦過程，分別記為l₁、l₂、l₃、l₄、l₅.數據集選擇該5個地區2004年量測數據V_l，1～V_l，5，每1h有1次記錄，全年每個V_l，k有8 784個數據樣本.

需要說明的是，本算例主要目的是驗證本文方法對預測精度的提升，所以應排除各地區數據量及選取日期差異的干擾.因此，本算例采用1月1日至7月27日的數據樣本作為模型訓練樣本集，以7月28日的24個數據樣本作為測試集.

依次將5個地區作為目標對象，每一個地區均進行以下工作：首先以地區l_k（k=1、2、3、4、5）自身所擁有的數據集進行模型訓練，并將該訓練好的模型作為服務器模型，記錄此時模型對該日負荷的預測結果；隨后，將該服務器模型下發至除l_k外其余4個本地端，各l_k根據自身所擁有的數據集進行本地模型訓練；依次進行本地模型更新、本地模型上傳、服務器接收模型、服務器模型聚合更新流程；地區l_k得到更新后的服務器模型，并在測試集進行測試.最終，記錄5個地區單獨模型負荷預測及聯邦后預測的結果，并對比實際負荷、單一模型及本文方法的預測結果.各地區負荷預測結果對比分別如圖4～圖8所示，RMSE和MAPE結果對比分別如表1和表2所示.

從圖4～圖8可以看出，使用單一負荷預測模型預測的負荷曲線與實際負荷曲線存在著明顯差距，但經過本文方法訓練的模型所預測的負荷曲線與真實曲線之間的差距明顯縮小.由表1和表2可知，在5次測試中，各地區單一模型的預測結果相對該地區實際負荷的誤差均較大，地區4的MAPE甚至超過了5%，這表明單獨使用單一負荷預測模型并不具備良好的誤差控制效果.使用本文所提方法，模型的誤差指標RMSE與MAPE都有了明顯下降.地區1的誤差下降最為明顯，相比單一模型，RMSE與MAPE分別減少了32%和43%.由此可見，本文所提方法在保護數據隱私的情況下，豐富了參與到模型訓練的數據特征，彌補了單一地區數據集特征不夠全面的缺陷，最終驗證了經過本文所提方法訓練的負荷預測模型具有比單一數據集訓練的模型更加優秀的預測準確度和更好的誤差控制能力.

3.2.2多場景測試

本文所提方法也適合更多復雜的場景.為了驗證經過本文方法訓練后的模型在多場景下具有良好的預測準確率和泛化能力，設置如下3個算例：算例1和算例2模擬利用本文方法實現擴充數據集時間跨度的場景；算例3模擬將模型移植到新的地區進行預測的場景.

對仿真所用到的數據集進行預處理，地區1～地區5的數據量及日期特征均不相同.其中地區4由于為新設立的區域，并無歷史數據，但具有負荷、氣象等數據量測能力.詳細設置如表3所示.

算例1以地區2的數據進行訓練，得到地區2 負荷預測模型，并用該模型預測地區2的負荷，記錄預測結果；再以地區1聯合地區2進行協同訓練，用訓練出的模型預測地區2的負荷，記錄此時預測結果.算例1負荷預測結果對比如圖9所示，預測誤差對比如表4所示.

由圖9和表4可知，采用本文所提方法后，在保證地區1數據隱私的同時，訓練出的模型降低了地區2因7月數據缺失造成7月份負荷預測準確度下降的影響，預測出的負荷曲線更接近實際數據，其誤差也大幅降低，RMSE與MAPE分別降低了21%和28%.這體現出本文方法有效地豐富了地區5模型訓練可利用的樣本特征，驗證了本文方法在數據量不足情況下對模型預測準確率的提升效果.

算例2以地區5的數據進行訓練，得到地區5負荷預測模型，并用該模型預測地區5的負荷，記錄預測結果；再以地區3聯合地區5進行協同訓練，用訓練出的模型預測地區5的負荷，記錄此時預測結果.結果如表5所示，預測負荷曲線圖如圖10所示.

從表5和圖10可以看出，相較地區5僅用自身數據訓練的模型，采用本文方法訓練后的模型預測曲線與真實曲線之間的差距大幅縮小，對應的誤差RMSE和MAPE分別下降了74%和80%.在本算例中，地區5自身所擁有的數據極少，僅用該數據訓練出的模型預測能力和泛化能力非常弱.由于本文方法對數據量進行了大幅擴充，且補充了更多不同日期的特征，對預測準確率的提升十分顯著，使得誤差大幅降低.這也符合深度學習在樣本不夠全面的情況下，當訓練樣本增加時模型性能也提升的特點.與此同時，在協同訓練過程中有效地保證了地區3、5 各自的數據隱私.綜上所述，本算例說明本文方法能有效提升模型的預測能力.

算例3利用地區1、2、3、5的數據協同訓練負荷預測模型，將該模型應用于新加入聯邦的地區4的負荷預測；先量測地區4預測時刻前24 h時刻的歷史負荷數據以及預測時刻的氣象、日期數據，作為聯合預測模型的輸入，進而預測下一時刻的負荷變化，記錄下一日預測結果.預測負荷曲線圖如圖11所示，預測誤差對比如表6所示.從圖11和表6中可以看出，模型在新地區具有良好的預測準確率，相比單一模型，本文方法預測曲線與真實負荷曲線差距較小，RMSE和MAPE分別降低了19%和23%.這是因為本文方法訓練出的短期負荷預測模型學習了多個地區數據的特征，適應能力更強，具有良好的泛化能力.

4結論

本文針對構建負荷預測模型所需數據樣本數量與特征不足、模型泛化能力差以及負荷相關數據高度保密無法共享訓練的問題，引入聯邦學習方法，提出基于聯邦學習的短期負荷預測模型協同訓練方法，實現各負荷運營商在滿足保證數據隱私的前提下協同訓練短期負荷預測模型.在GEFCom2012比賽的多個地區負荷數據集上進行了仿真測試，驗證了所提方法對模型預測準確率的提升，證明了通過本文方法訓練出的短期負荷預測模型在多場景下具有優秀的泛化能力.在本文基礎上，未來可進一步研究配電網多主體協同的去中心化分布式訓練機制.

參考文獻

[1]梁智，孫國強，李虎成，等.基于VMD與PSO優化深度信念網絡的短期負荷預測[J].電網技術，2018，42（2）：598-606.

LIAN G Z，SUN G Q，LI H C，et al. Short-term load forecasting based on VMD and PSO optimized deep belief network [J]. Power System Technology，2018，42（2）：598-606. （In Chinese）

[2]陳宏義，李存斌，施立剛.基于聚類分析的短期負荷智能預測方法研究[J].湖南大學學報（自然科學版），2014，41（5）：94-98.

CHEN H Y，LI C B，SHI L G. A new forecasting approach for short-term load intelligence based on cluster method[J]. Journal of Hunan University （Natural Sciences），2014，41（5）：94-98. （In Chinese）

[3]孔祥玉，李闖，鄭鋒，等.基于經驗模態分解與特征相關分析的短期負荷預測方法[J].電力系統自動化，2019，43（5）：46-52.

KONG X Y，LI C，ZHENG F，et al. Short-term load forecasting method based on empirical mode decomposition and feature correlation analysis[J]. Automation of Electric Power Systems，2019，43（5）：46-52.（In Chinese）

[4]彭顯剛，鄭偉欽，林利祥，等.考慮負荷自適應檢測和修復的魯棒極限學習機短期負荷預測方法[J].中國電機工程學報，2016，36（23）：6409-6417.

PENG X G，ZHENG W Q，LIN L X，et al. Short-term load forecasting method based on outlier robust extreme learning machine considering adaptive load detection and repair[J].Proceedings of the CSEE，2016，36（23）：6409-6417.（In Chinese）

[5]孔祥玉，鄭鋒，鄂志君，等.基于深度信念網絡的短期負荷預測方法[J].電力系統自動化，2018，42（5）：133-139.

KONG X Y，ZHENG F，E Z J，et al. Short-term load forecasting based on deep belief network[J]. Automation of Electric Power Systems，2018，42（5）：133-139.（In Chinese）

[6]彭文，王金睿，尹山青.電力市場中基于Attention-LSTM的短期負荷預測模型[J].電網技術，2019，43（5）：1745-1751.

PENG W，WANG J R，YIN S Q. Short-term load forecasting model based on Attention-LSTM in electricity market[J]. Power System Technology，2019，43（5）：1745-1751.（In Chinese）

[7]蘇學能，劉天琪，曹鴻謙，等.基于Hadoop架構的多重分布式BP神經網絡的短期負荷預測方法[J].中國電機工程學報，2017，37（17）：4966-4973.

SU X N，LIU T Q，CAO H Q，et al.A multiple distributed BP neural networks approach for short-term load forecasting based on Hadoop framework[J]. Proceedings of the CSEE，2017，37（17）：4966-4973.（In Chinese）

[8]楊龍，吳紅斌，丁明，等.新能源電網中考慮特征選擇的Bi-LSTM網絡短期負荷預測[J].電力系統自動化，2021，45 （3）：166-173.

YANG L，WU H B，DING M，et al. Short-term load forecasting in renewable energy grid based on Bi-directional long short-term memory network considering feature selection[J]. Automation of Electric Power Systems，2021，45（3）：166-173.（In Chinese）

[9]龐昊，高金峰，杜耀恒.基于多神經網絡融合的短期負荷預測方法[J].電力自動化設備，2020，40力）：37-43.

PANG H，GAO J F，DU Y H.Short-term load forecasting method based on fusion of multiple neural networks[J]. Electric Power Automation Equipment，2020，40（6）：37-43. （In Chinese）

[10]姚程文，楊蘋，劉澤健.基于CNN-GRU混合神經網絡的負荷預測方法[J].電網技術，2020，44（9）：3416-3424.

YAO C W，YANG P，LIU Z J.Load forecasting method based on CNN-GRU hybrid neural network[J]. Power System Technology，2020，44（9）：3416-3424.（In Chinese）

[11]陸繼翔，張琪培，楊志宏，等.基于CNN-LSTM混合神經網絡模型的短期負荷預測方法[J].電力系統自動化，2019，43（8）：131-137.

LU J X，ZHANG Q P，YANG Z H，et al.Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J]. Automation of Electric Power Systems，2019，43（8）：131-137.（In Chinese）

[12]鄧帶雨，李堅，張真源，等.基于EEMD-GRU-MLR的短期電力負荷預測[J].電網技術，2020，44（2）：593-602.

DENG D Y，LI J，ZHANG Z Y，et al. Short-term electric load forecasting based on EEMD-GRU-MLR[J].Power System Technology，2020，44（2）：593-602.（In Chinese）

[13]王增平，趙兵，紀維佳，等.基于GRU-NN模型的短期負荷預測方法[J].電力系統自動化，2019，43（5）：53-58.

WANG Z P，ZHAO B，JI W J，et al. Short-term load forecasting method based on GRU-NN model [J]. Automation of Electric Power Systems，2019，43（5）：53-58. （In Chinese）

[14]陳振宇，劉金波，李晨，等.基于LSTM與XGBoost組合模型的超短期電力負荷預測[J].電網技術，2020，44（2）：614-620.

CHEN Z Y，LIU J B，LI C，et al. Ultra short-term power load forecasting based on combined LSTM-XGBoost model [J]. Power System Technology，2020，44（2）：614-620. （In Chinese）

[15]孫曉燕，李家釗，曾博，等.基于特征遷移學習的綜合能源系統小樣本日前電力負荷預測[J].控制理論與應用，2021，38（1）：63-72.

SUN X Y，LI J Z，ZENG B，et al Small-sample day-ahead power load forecasting of integrated energy system based on feature transfer learning [J]. Control Theory & Applications，2021，38（1）：63-72 （In Chinese）

[16]張勇，陶一凡，鞏敦衛.遷移學習引導的變源域長短時記憶網絡建筑負荷預測[J].控制與決策，2021，36（10）：2328-2338.

ZHANG Y，TAO Y F，GONG D W. Load forecasting of buildings using LSTM based on transfer learning with variable source domain[J] Control and Decision，2021，36（10）：2328-2338 （In Chinese）

[17] GONQALVES C，BESSA R J，PINSON P. Privacy-preserving distributed learning for renewable energy forecasting[J]. IEEE Transactions on Sustainable Energy，2021，12（3）：1777-1787

[18] KONECNY J，MCMAHAN H B，YUF X，et al. Federated learning：strategies for improving communication efficiency [EB/OL]. https：//arxiv.org/pdf/1610.05492.pdf.

[19] YANG Q，LIU Y，CHEN T J，et al. Federated machine learning[J]. ACM Transactions on Intelligent Systems and Technology，2019，10（2）：1-19

[20]賀文晨，郭少勇，邱雪松，等.基于DRL的聯邦學習節點選擇方法[J].通信學報，2021，42（6）：62-71.

HE W C，GUO S Y，QIU X S，et al. Node selection method in federated learning based on deep reinforcement learning[J]. Journal on Communications，2021，42（6）：62-71 （In Chinese）

[21] MILLS J，HU J，MIN G Y Communication-efficient federated learning for wireless edge intelligence in IoT[J]. IEEE Internet of Things Journal，2020，7（7）：5986-5994

[22] ZHOU C Y，FU A M，YU S，et al Privacy-preserving federated learning in fog computing[J] IEEE Internet of Things Journal，2020，7（11）：10782-10793

[23]鄭楷洪，肖勇，王鑫，等.一個面向電力計量系統的聯邦學習框架[J].中國電機工程學報，2020，40（S1）：122-133.

ZHENG K H，XIAO Y，WANG X，et al A federated learning framework for power grid metering system [J]. Proceedings of the CSEE，2020，40（S1）：122-133 （In Chinese）

[24] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J]. Neural Computation，1997，9（8）：1735-1780

[25] ZHU L G，LIU Z J，HAN S. Deep leakage from gradients[EB/OL]. https：//arxiv.org/pdf/1906.08935.pdf.

[26] HONG T，PINSON P，FAN S Global energy forecasting competition 2012[J]. International Journal of Forecasting，2014，30（2）：357-363