基于深度卷積神經網絡和合作博弈的多微網實時 能量管理策略

陳 靈 陳鄭平 李軍良 米為民 劉銘洋

(1. 國網福建省電力有限公司 福州 350003； 2. 北京科東電力控制系統有限責任公司 北京 100083； 3. 國網新疆營銷服務中心 烏魯木齊 830000)

1 引言

在智能電網(Smart grids, SGs)中，微電網(Microgrid, MG)是由擁有分布式能源(Distributed energy resources, DERs)的電力用戶組成的小型電 力系統，可以獨立運行，也可以與主電網并網運 行[1-5]。其中，DERs是位于終端用戶內部的發電單元[6-8]。在能源需求意外上升、停電和能源生產能力損失的情況下，MG可提供可靠高效的電能，以補充主電網。盡管MG擁有眾多優勢，但也存許多技術上的挑戰，如系統控制和可再生能源(Renewable energy sources, RES)保護，另外，MG的監管和客戶參與等政策方面有待探索[9-10]。為了解決這些技術難題，特別是在高滲透率RES的MG中，文獻[10]和文獻[11]進行一定研究，但大部分工作均集中在日前和實時調度方面。為了應對監管方面的挑戰，文獻[12]比較了不同的規則下對不同利益主體MG運行方法。不同利益主體MG模型包括：主網模型、集中供熱模型、用戶自有模型、代理模型和合作模型。監管方面的挑戰分為信息工具、經濟工具以及命令和控制工具等。

目前，由于可再生能源利用率較低，電力系統正面臨著大量綠色能源的被刪減。為了同時管理多個MG的RES，多微網系統MMG應運而生。MMG系統是指將不同的MG按空間距離進行整合，實現統一控制[13]。其目標是結合不同的DERs，通過有效的能量交換實現系統的高效率和高穩定性。此外，MG的所有者可以根據其能源的發電量、負載量和電價情況，方便地參與電力市場交易。文獻[14]提出了一種MMG系統架構，然而所提框架并沒有考慮MMG中整體能源系統的協調。文獻[15]提出了基于系統體系結構的MMG系統框架。該框架使用雙層優化來處理每個MG作為一個多階段魯棒優化Robust optimization, RO)問題。然而，雙層優化并沒有解決能源供需的不確定性問題。文獻[16]提出了分散鞍點動態二次規劃來解決功率優化問題，所提方法實現了低有功功率損耗和高RES利用率。然而，這需要很復雜的網絡連接，并沒有實現能源成本節約。RES和負荷消耗的波動給MMG的運營帶來了問題。為了實現實時控制，降低MMG的通信成本，文獻[17]提出了一種電壓控制的雙層博弈模型。該模型由Stackelberg博弈的激勵機制構成，該激勵機制在忽略仲裁代理的情況下使各MG的收益最大化。文獻[18]提出了一種適用于MMG的協同能量管理策略，該策略是一種解決耦合約束問題的隨機預測控制。然而，大多數提出的方法是基于確定性條件，處理RES的間歇性非常繁瑣。

博弈論的結果可以是決策理論、概率論或效用理論的形式。每個博弈都以實現全局均衡為目標，即每個博弈方的利益沒有得到進一步的滿足，這就是非合作博弈的納什均衡并以合作博弈為核心地位。在合作博弈中，聯盟優化模型達到全局最優。隨后，成本分配模型實現了利益的合理分配。該聯盟的目的是解決利益相關者的利益沖突。文獻[19-21]討論了合作博弈在SG中的應用。文獻[22]對MG的博弈論的各種概念進行了綜述。然而，對于MMG聯盟合作博弈的應用還沒有得到充分的研究。與合作博弈不同，非合作博弈依賴于個體的整體收益，而忽視了個體的全局收益。文獻[23]提出了基于利益相關者并行化分布優化的MMG分布式調度的嵌套列約束生成(Column generation, C&G)方法。該方法采用了一種增強的解析級聯方法來實現能量優化。然而，不確定性參數和高計算負擔阻礙了該模型的實際運用。為了實現MMG的最優協同，文獻[24]中提出了一種基于兩階段優化的MMG協同運營方法，以最小化MMG的運營成本。然而，該方法的缺點是在優化運行的每個階段都需要計算。文獻[25]的作者提出了一種改進的CC&G方法來解決概率加權RO問題。該模型考慮了風電和微型渦輪機的不確定性，實現了長期規劃的總體利潤最大化。此外，PRO基于最壞情況優化了DERs分配。然而，該方法并沒有對所使用的概率分布提供明確的結論。

基于上述文獻分析，目前相關領域有待研究，本文的目標主要集中在解決現有解決方案的局限性。首先，采用深度RNN，提出一個單一的動態EMMG，以實現長期運營成本的估計。然而，RNN面臨著維數問題。當狀態空間量呈指數增長時，模型的精度和效率都很低。因此，為解決這一問題，本文新增一個機器學習模型，以估計MMG的短期日能源成本。其次，提出了一種BD算法，推導出對公平費用分配不滿意程度較高的聯盟，并求出了合作博弈最優解的上界；然而，BD采用了一種一般化的方法來解決MILP問題，并且以增加約束的數量為代價來減少變量的數量。另外，BD需要多次迭代來收斂，特別是當枚舉方法應用于一個小的聯盟組時。因此，需要通過最小化大聯盟獲得的總費用來解決BD的局限性。此外，所提算法應能夠隨著聯盟數量的增加而減少枚舉的數量。具體來說，本文的主要貢獻如下。

(1) 提出了一個EM系統(Energy management system, EMS)，將無數個MMG轉化為一個連貫、高效的系統，每個MG都可以實現自己的運行目標。所提EMS可實時管理和控制每個MG，同時最小化優化運行每個階段所需的計算量。

(2) 提出一種CGA方法，推導出在合作博弈中提供聯盟成員間費用公平分配的核心解決方案。在合作博弈中，每個MG都是希望通過節省能量成本來最大化自己的收益。

(3) 提出了一種深度CNN來執行短期合計能量成本的進一步估計。所提深度CNN中，采用條件限制玻爾茲曼機(Conditional restricted Boltzmann machine，CRBM)增強全連接層。

2 MMG系統結構

圖1為MMG系統的示意圖。

圖1 多微網示意圖

由圖1可知，該網絡由多個相互連通的單一住宅小區子網組成，各子網之間存在能量交互行為。本文假設每個子網都有光伏、火力發電、風力發電和可調度負荷，每個子網都與子網儲能系統相連。此外，如果子網儲能有剩余能量時，則其可以通過EMS銷售給其他子網或主網。所有子電網均采用雙向AC/DC變換器，保證了整個子電網的穩定性和電壓支持。各子電網通過導線相互連接，而各子電網只有在提供與主電網相同的額定頻率時，才通過公共耦合點(Point of common coupling, PCC)與主電網相連。由于RES的間歇性行為，其能量輸出被認為是所有子網運行的不確定性因素。EMS利用核和Shapley解決方案，管理網絡中每個子網的運行以交換能源，并對每個合理的子網執行協同運行，以實現能源成本節約。這些解決方案構成了合作博弈的核心，其中每個子網格都希望從子網聯盟中最小化其總費用。每個MG的內部拓撲如圖2所示，1、2、8號節點分別連接三個火電機組組成，風電連接到5號節點，光伏接在11號節點，氫能接在13號節點。另外，假設每個RES既是合作博弈中的參與者，也是獨立的MG。

圖2 單個MG內部拓撲圖

3 MMG系統實時能量管理建模

在t時刻，第k個傳統DG的運行成本為火力發電機Ctg(t)、風力發電機Cws(t)、光伏發電機Css(t)和氫能Cssh(t)的總發電成本之和。因此，DGs的總運行成本(t)為

式中，an、bn和Cn為第n個火電機組TG發電成本的參數；t時刻的火電發電量為Etg,n(t)；Gws和Ews(t)分別為風電場直接成本系數和t時刻風電場的輸出功率；Hss和Ess(t)分別為光伏的直接成本和t時刻光伏的輸出功率；Hssh、Essh(t)和Mssh分別為氫能的直接成本系數、t時刻氫能的輸出功率和氫能的直接成本。

3.1 可調度負載模型

由于MMG中需求側負荷的靈活性，可以通過電價影響負荷來滿足供應約束。t時刻的可調度有功和無功負載可表示為

式中，cosφ為功率因數；和分別為第l個可調度負載的最小值和最大值。在高峰日，為了不中斷能源供應，避免給發電廠帶來過多的負擔，用戶的負荷被削減。因此，第l個可調度負載的兩段甩負載的費用分段線性函數由式(8)表示

式中，m0、m1、c0和c1為常數系數。

3.2 儲能系統模型

本文用荷電狀態(State of charge, SOC)定義ESS的充放電運行。對SOC考慮啟發式方法，若τ(t)Preal(t) ≤1.29 元/(kW·h)，則ESS充電；若τ(t)Preal(t)＞ 1.29 元/ (kW·h)，則ESS放電；其中，τ為SOC決策的二進制變量。Preal(t)為實時電價。設ESS的SOC功率為ESOC(t)，EESS(t)為ESS的能量級。式(9)和式(10)為ESS的相關約束

式中，λch=λdch=0.98為充電放電效率。

3.3 電能交互模型

主電網在t時刻與MMG進行能量交換的約束條件為

式中，在某一時刻t，有功和無功交換用 (t)ACTLG和RACTLG(t)表示。而(t)和(t)分別是有功功率交換的最小值和最大值；是從或出售給主電網的最大電量。為了實現系統的能量平衡，配電系統中各母線的能量必須等于該母線上的發電量與負載之間的差值。

式中，dij=di-dj為節點i和節點j間的電壓角差；Vi和Vj分別為節點i和節點j的電壓；和分別為節點i有功和無功的第l負載；bij為節點i和節點j間的電納集合；gij為節點i和節點j間的電導集合。所有發電機的發電約束為

3.4 優化運行成本模型

MG的總運行成本包括傳統發電機成本、可調度負荷成本和減負荷成本的總和。為了保證MMG的高效運行，本文還考慮了從市場上購電的輔助服務成本。因此，它解決了電力偏差的調度問題。t時刻的輔助服務成本AS(t)為

式中，β是一個常數因子。

式中，Δf為頻率偏差；Eloss(t)為能量損耗，定義為

式中，ln為輸電線路數；Vi、Vj分別為節點i、節點j的傳輸線電壓。因此，總運行成本為

式中，ωdg為二進制決策值，“0”表示不使用DG，“1”表示使用DG?？傔\行成本被用作MDP的獎勵函數。MG定義的MDP的作用函數為式(9)在時間步長t時所有可能的作用集合約束。利用式(11)，轉移概率取決于ESS的狀態。DG和實時價格的狀態變量遵循聯合概率分布。t時刻的狀態變量定義為作用下從狀態t-1到狀態t的躍遷定義為Strans=S(t-1)×A(t) →Prob(S(t))，其中Prob()為躍遷概率。DGs和Preal(t)的狀態變量由它們的聯合概率分布決定。目前，MMG的運行目標為降低MMG總運營成本，故優化調度策略定義為

式中，FP是一組可行策略μ，用于在t時刻制定決定行為A(t)的決策規則。狀態轉移遵循馬爾可夫策略，即轉移概率依賴于前一個狀態，定義為

3.5 多微網系統的聯盟運行模式

多微網運行的總體目標函數為發電總成本的最小化。本文提出了一種基于合作博弈的聯盟機制，它可通過公平的成本分配來鼓勵每個參與者參與大聯盟。為此，本研究分別設計Shapley值和核。在MMG成本分配問題中，每個MG都是希望最小化其分配費用的參與者。每個玩家在滿足一些條件后，彼此建立聯盟。合作博弈由三個要素組成，即參與人集合i={1, 2, …,N)，大聯盟N由所有參與合作的參與者組成。設{i}是由單個獨立玩家組成的單聯盟。根據上述定義，成本分攤公式為

式中，SC為每個參與者首先可分離成本；NSC為SC分配給所有參與者后提醒的不可分離成本。合作博弈往往依賴于遵循次可加性概念的大聯盟，而次可加性依賴于成本函數。聯盟越大，聯盟的次可加性就越有效。次可加性意味著每個玩家都有加入大聯盟的動機。擁有非空子集的博弈意味著存在公平的成本分配，前提是所有玩家都接受成為大聯盟的一部分。次可加性對策表示為

式中，?為空集；S和T為兩個不相交的聯盟。因此，次可加性是建立大聯盟的必要條件。本文引入核的概念。核是分配集合必須滿足的條件。它激勵所有參與者參與到合作中來。需要注意的是，核可以稱為個體理性、群體理性和大理性，具體為

個人和群體的理性被定義為分配AL={1l,l2,…,ln}，該核實現了節能降耗。個體或群體理性用于比較聯盟或不參與大聯盟N的玩家。大理性是指每個玩家將獲得的總能量成本，它等于大聯盟的總能量成本。為了使任何聯盟S的最大費用()vS最小，聯盟S對每個玩家PL的費用計算如下

其中，PL的最小化費用定義為

采用Shapley方法計算所有現有聯盟的平均邊際成本，計算結果為

式中，n∈N和s是聯盟中玩家的數量。每個參與游戲的MG都是管理能量并獲得公平分配的玩家。每個參與者的分配由v(S)得到，ALdis的分配定義為

本文采用CGA算法解決了大聯盟問題。每個玩家都希望最大化其收益。隨著聯盟和參與者數量的增加，它變得低效和難以解決，因此，CGA通過減少枚舉的數量來解決這個問題。能源費用分配問題的目標函數定義為

然而，考慮到高效計算，且函數v(c)為非線性的。列生成的基本思想為

S是一個有限向量集。事實上，假設S是離散的，則S*是一個有限的點集合，即表示MMG的集合，p為MMG的總數。Ψ為二進制的，而S*位于其凸包的最大點內，表示為conv(S*)。因此，通過極值點表示有界多面體與Dantzig Wolfe的分解。對于任何MMGmmgS*∈ ，可以設置mmg為

Ψw∈ { 0 ，1}，如果Ψw=1則為大聯盟的成員，Ψw=0不在大聯盟中。所以，w=1, 2, …,p。設rw=mmgw，aw=Ayw，v(w)由列生成形式導出為

圖3為所提CGA的算法流程圖。在流程圖中，CGA的工作原理是將問題分為兩個，即主問題和子問題。原始問題，即主問題，有一個變量子集；而子問題是新問題，也就是新變量。因此，對于每個約束條件，在RMP中得到一個雙變量。如果子問題得到解決，且子問題目標函數值為負，則對RMP應用負的降低代價。RMP被解析，直到RMP創建一組新的非負的雙值。因此，子問題產生了非負的縮減成本集。

圖3 所提CGA的算法流程圖

3.6 深度卷積神經網絡的訓練

CNN是一種多層神經網絡，由卷積算子和最大池化算子等多層網絡構造。由于RES出力的隨機性，確定能量的規律性將是一項極為重要的工作。此外，CNN的神經元連接存在可擴展性問題，因此，本文提出了一種深度CNN，通過將神經元連接到相鄰的神經元來解決這一問題?？紤]到序列數據之間的差異，本文將其作為卷積層的輸入數據。所提深度CNN由三層組成，如圖4所示。第一層是輸入層，接收數據序列。第二層是特征學習層，從輸入數據中提取特征。卷積通過使用輸入數據的最小二乘法來學習特征來保留輸入。校正線性單元(A rectified linear unit，ReLU)使用數據的最小二乘法，并考慮預測數據和實際數據之間的相互影響。按照慣例，ReLU是一個函數，如果接收到任何負輸入，將返回0，如果接收到任何正輸入，將返回相同的值。除了第二層，還有最大池，每個卷積都有一個。每個池返回卷積預期輸出的最大值。第三層是全連接層，表示k個神經元與最大池化的神經元相連。當訓練樣本數量較少，而神經元數量較大時，存在 弱泛化的問題，這可能會導致過擬合或過參數化。為了解決這一問題，本文采用條件CRBM訓練全連通層。因此，CNN的深層架構描述如下。

圖4 所提深度CNN結構圖

4 仿真驗證

所提方案將分別基于IEEE 118節點和IEEE 30節點的兩個測試系統中實現。第一個測試用例是為了驗證MMG聯盟的有效性，而第二個測試用例驗證了所提成本分配方法的有效性。風力發電機和光伏的輸出數據出自文獻[20]。儲能為容量為60 kW/380 kW·h的蓄電池?？紤]的輔助服務價格是實時電價的兩倍。每小時的需求負荷出自文獻[21]，每小時的電價出自文獻[22]。利用Matlab進行仿真，并利用Matpower軟件進行潮流計算，以避免重復建立最優潮流模型，這不是本研究的重點。利用Matlab深度學習工具箱實現深度學習，使用的參數出自文獻[23]。硬件平臺為擁有8GB RAM和1.60 GHz中央處理器的個人計算機。圖5為實際24 h的實時電價和凈負荷。從圖5可以看出，在前1～5個時間段內，用電用戶的凈負荷開始上升。在后續的時間段內，凈負荷有上行和下行的模式，這是由用戶的行為決定的。然而，可以觀察到，實時價格在1～19時段是不穩定的，在21時段急劇下降，最終在24時段上升。原因是在這個時間段內，負載需求是最小的。

圖5 電價及凈負荷

4.1 與其他方法對比

為了驗證所提方法的有效性，本文采用貪婪算法、MPC和ADP作為基準方法進行比較。圖6為不同調度方法的平均累積成本。由圖6可知，所提方法和AD方法的平均累積成本在1～5時段增長較快。購買了額外的電能給電池充電，這意味著實時價格很低(即 ()real Pt＜20美分/(kW·h))。隨著實時電價的上漲，電池的能量將被釋放，以滿足用電用戶的負荷需求，這意味著能源成本的節約。結果表明，與其他方法相比，所提方法在1～24時間段內的平均成本更低。驗證了所提方法的有效性，并能在這些時間段內給出準確的日前調度方案。

圖6 不同調度策略的平均交互成本

表1匯總了日常運行成本的平均值、中值、最小值、最大值、第一個四分位數(Q1)、第三個四分位數(Q3)和標準差(Std)。

表1 每日運行成本的一周測試數據 美元

結果表明，所提方法與同類方法相比，成本降低了168.96美元?？紤]到需求負荷、電價和可再生能源發電量存在波動，MPC和ADP策略方法的均值相對接近，故這些方法可以適應這種波動。表2為DG的日平均運行成本。

表2 DG的日平均運行成本分析 美元

與同類方法相比，所提方法獲得的電網運行成本最小，為166.85美元。從結果來看，ADP策略方法在電網運行成本方面的性能接近于所提方法。請注意，與其他政策方法相比，所提出的最優政策方法在降低所有DG的成本方面取得了更好的性能。

4.2 利用現有模型對所提深度CNN進行評估

圖7和圖8分別為所提模型和不同預測模型的最優函數值的預測結果。

圖7 各模型24 h最優函數值的預測結果

圖8 各模型24 h近似函數值的預測結果

從圖7的結果可以看出，所提深度CNN與實際數據比較接近。而SVM模型的效率并不高。而且，SVM模型不能泛化實際數據。同樣，圖8證實了RNN和SVM模型與所提深度CNN和ANN模型相比，并不能準確預測。編碼器模型高估了實際數據。原因是編碼器模型對于短序列的數據很好，但是對于長序列的數據效率很低，因為編碼器模型很難將整個序列的數據存儲到一個固定大小的向量中。此外，隨著數據大小序列的增加，其性能也相應降低。

采用平均絕對百分比誤差(Mean absolute percentage error, MAPE)和方均根誤差(Root mean square error, RMSE)評價所提深度CNN的性能。誤差值越小，預報精度越高。MAPE和RMSE用于評價所提模型的精度，如表3所示。RNN模型的RMSE值最高，這是由于維數問題造成的。人工神經網絡(ANN)模型的RMSE值接近于所提深度CNN模型；而所提深度CNN模型的MAPE和RMSE值均小于同類模型。其他統計參數如均值和標準差(Std)表明，提出的深度CNN、ANN和編碼器模型有相對接近的值。注意，RNN模型的Std值最小是由于對實際數據的預測不足。此外，平均值作為預測的最優函數值的平均值計算。

表3 不同模型的MAPE和RMSE分析

4.3 合作博弈方法的評價

測試系統為IEEE 30節點配電系統，仿真時間為168 h，以確定MMG聯盟長期行為的經濟性。表4為核和Shapley兩種聯盟方法的最終成本。

表4 每日運行成本的一周測試數據

從表4所示的仿真結果來看，每個MMG都節約了能源成本，這證實了MMG聯盟運營的經濟效益。與采用BD[14]和Shapley[18]模型的核相比，采用CGA模型的核在MMG的高能量成本節約方面取得了更好的性能。由于所提CGA核具有通過降低負能量成本而使最大費用最小化的能力。與其他模型相比，Shapley模型的結果并沒有提供更低的能源成本分配。假設Shapley模型不是核心，它使用可加性，該模型必須單獨找到參與者的費用之和，并計算每個參與者的權重。此外，獨立MG不參與聯盟相比，有較高的能源成本。圖9為實際太陽能發電情況，圖10為獨立運行的氫能機組發電情況。

圖9 太陽能發電

圖10 獨立運行

在獨立運行的情況下，氫能機組需要獨立供電，發電過程中不存在能量交換，能源成本較高。從圖11中可以看出，聯盟運行情況下的氫能機組發電比獨立運行情況下多。原因是在組建大聯盟時，MMG采用氫能機組發電，從MMG獲得能量，太陽能發電量大，用戶負荷需求比獨立的MMG少。

圖11 聯盟運行

5 結論

本文提出了一種將費用公平分配給各MMG的機制，以確保MMG的穩定性。該機制利用CGA獲取合作博弈的核方案。仿真結果表明，采用CGA模型實現核的MMG系統比采用BD、Shapley和無聯盟(即獨立MG)實現核的MMG系統節約了更高的能源成本。隨著MMG數量的增加，仿真時間表明了該方法的有效性。與BD模型的執行時間0.292 0 s、Shapley模型的執行時間41.356 9 s相比，CGA模型執行時間為0.195 5 s的核魯棒性較好。此外，所提深度CNN模型的MAPE值最小為0.70，RMSE值最小為0.34。另外，與已有的貪婪策略、ADP策略和MPC策略進行了比較。與MPC方法降低成本(約為79.52%)、貪心策略方法降低成本(約為73.94%)和ADP方法降低成本(約為79.42%)相比，所提方法使MG的日運行成本降低了87.86%。

在未來的研究中，本研究將采用強化學習的方法對所提出的方法進行改進。這樣，閉環控制策略可以最優地調度ESS運行。