基于群體智能的分布式柔性資源有功平衡調度架構及策略

李亞平，楊勝春，毛文博，高冠中，陸亞楠，黃展鴻

（1. 中國電力科學研究院有限公司（南京），江蘇南京 210003；2. 華南理工大學電力學院，廣東廣州 510641）

0 引言

隨著新型電力系統建設的不斷推進，新能源占比不斷提升，新能源出力的隨機性、波動性給系統平衡和電力供應帶來了嚴峻挑戰。然而，火電機組等傳統電源被大量替代，發電側調節能力相對下降，電力系統需要更多的靈活調節資源。與此同時，在能源互聯網技術和我國能源政策的推動下，分布式電源DG（Distributed Generation）、可控負荷、儲能、電動汽車EV（Electric Vehicle）等柔性資源數量已呈爆發式增長態勢。根據我國能源發展規劃，“十四五”期間，我國分布式光伏裝機有望達到130～150 GW，較“十三五”實現倍增。2030 年新能源汽車保有量將會超過8 000 萬輛。柔性資源為電力網絡提供了額外的有功調節能力，目前已廣泛參與到調峰［1-2］、調頻［3-4］、備用［5］等輔助服務中。

柔性資源具有數量眾多、個體容量較小、地理分布零散的特點。相對于傳統負荷和發電側資源而言，具有更強的時空不確定性。此外，受限于通信和數據處理能力，海量終端設備無法與電網調度中心實現及時互聯互通，直接導致柔性資源參與調度的規模受限、方式單一。同時，柔性資源類型更為多樣化且優化目標各異，海量的優化決策變量將帶來“維數災難”的問題。在此背景下，如何實現海量柔性資源的協同調度亦是亟待解決的問題，受到國內外學者的廣泛關注。為實現海量中小資源的有效整合利用，在實踐應用中多以虛擬電廠VPP（Virtual Power Plant）、負荷聚合商LA（Load Aggregator）、主動配電網ADN（Active Distribution Network）等集群方式，利用分層集中優化模式處理多資源調控問題。文獻［6-7］在總結國內外柔性資源參與調度運行方面研究進展的基礎上，針對居民負荷、商業負荷等中小資源，提出基于LA 的分層架構。文獻［8-9］從調度策略角度出發，提出了LA 參與調峰、調頻等輔助服務市場的架構及優化決策模型。文獻［10］考慮VPP與多代理結構的兼容性，建立了基于多代理系統的VPP 分層控制架構，提出了多VPP 參與電力市場時的雙層協調機制，實現了收益最大化和區域內的電能平衡。文獻［11-12］通過ADN、微電網集群等技術提高計及大量柔性資源接入后的局部電網調控能力或運行可靠性水平?？傮w而言，VPP、LA 等資源聚合方式對個體有較強約束力，一般要簽訂中長期的合約（例如年度），個體相對難以靈活進出。而負荷調節除了受到經濟收益影響外，其背后“人”的因素更為復雜（包括人的主體意愿、心理因素、經濟水平、行為習慣等），體現在資源響應的時變性和不確定性均較為明顯，故而柔性資源的聚合應更靈活。

為了充分發揮資源的主觀能動性，還有一些文獻著眼于“重構”電力系統的資源組織管理和運行架構，提出了“去中心化”或“弱中心化”的調控模式。文獻［13］提出了電力系統“分散自律、集中協調”的能量管理系統族的思想，涵蓋了智能電網中源、網、荷三大環節。歐盟在2015 年提出了微元網WoC（Web of Cell）［14］的概念，美國可再生能源國家實驗室提出了自治能源網AEG（Autonomous Energy Grids）［15］的概念，從自組織協同演化和群體智能（Collective Intelligence）決策角度，對構建“弱中心化”的新型調控架構進行了初步框架設計和探討。文獻［16］以弱中心化WoC 為研究對象，針對電網調度資源呈現信息有限、可控性弱、容量微小、廣泛分布等特點，開展基于信息-物理-社會系統CPSS（Cyber Pysical Social System）和群體機器學習控制技術的研究。從資源組織角度出發，WoC、AEG提出可擴展、可重構和自組織的信息及控制基礎架構設想。在該框架下，個體可以自由進出，靈活度較高，系統可以實時運行，在確?？焖?、經濟、安全、可靠性能的前提下，廣泛地集成各種形式的能源。從調度模式角度出發，弱中心、分散化成為主要的解決思路，傳統集中式調度模式向“分散決策、集中協調”模式轉變。從技術實現角度出發，物聯網、大數據、人工智能、復雜網絡、最優控制等先進的能源互聯網技術成為廣泛使用的主流技術。但總體而言，目前相關研究處于概念和技術框架階段。

基于上述分析，本文沿著能源互聯網的技術思路對海量柔性資源的組織、調控模式進行進一步探索。引入新一代人工智能中的群體智能思想，融合多類型、分布式、柔性資源的不同運行特征，提出基于群體智能的分布式柔性資源協同調控架構。在分層分布集群控制架構下，將每層資源集合看作是不同的智能體，強調柔性資源主體的自治決策和群間協同，整體涌現出群體智能的特征。在此基礎上，提出了群體的外特性建模方法，設計了群內自治策略和群間交互協同策略。最后，通過算例仿真驗證了分布式架構的合理性和智能策略的有效性。

1 群體智能

群體智能是國家新一代人工智能發展規劃中的五大技術方向之一，正成為人工智能領域關注的焦點。群體智能可看作是不同于個體智力的群體型智能形態，它起源于人們對自然界群居生物的行為觀察、分析和研究，該形態下群體所涌現出的整體智能水平往往會超越其組成個體的智能水平。

根據組成個體的智能水平和個體類型差異，群體智能的發展可分為2 個階段［17］。第一階段（又可稱為群體智能1.0）以社會性昆蟲／動物等低智能體為中心，屬于傳統生物啟發式群體智能。常見算法包括蟻群算法、魚群算法、蜂群算法、粒子群優化算法等，已廣泛應用于電力系統規劃、經濟調度、最優潮流、無功優化等領域［18-19］，為優化問題的高效求解提供了算法支撐。

第二階段（又可稱為群體智能2.0）是以人類等高智能體為中心、交互協同為特征的新一代群體智能，更加注重與物聯網、互聯網、大數據、人工智能、云計算等技術的交叉融合，特別適合于在開放環境下，通過競爭與合作等多種自主協同方式來解決復雜系統的決策問題，展現出超越個體智力的智能形態，具備以下優點：①自組織性，群體智能全局性結構是由各個智能體間的交互呈現出來的，交互規則只局限于局部信息，而非全局模式；②交互協同性，個體地位基本平等，群體間的控制是分布式的，各個智能體依靠相鄰智能體間的有限信息分享和交互實現協同優化，較少依賴中心控制；③高可擴展性，群體智能可以通過非直接通信的方式進行信息的傳輸與合作，隨著個體數目的增加，通信開銷的增幅較??；④自主學習性，智能體內部控制通過反饋具有適應和優化能力。

群體智能2.0 與能源互聯網的開放、互聯、對等等特征十分契合?？紤]到新型電力系統環境下終端設備的智能程度不斷增加，將群體智能的協同、共享、學習等思想與海量柔性資源的多樣化類型和優化目標相結合，這不僅有利于充分體現柔性資源自身的利益訴求，而且有利于豐富能源互聯網環境下的電網調控模式，從而實現電網安全、經濟、高效的運行目標。

2 調度框架

2.1 柔性資源的分層組織結構

從海量柔性資源組織、調控的角度，自下而上分為終端、用戶、子群、群體4層，如圖1所示。

圖1 柔性資源的4層組織結構Fig.1 Four-layer organization structure of flexible resource

終端，顧名思義，指的是位于電網最末端的單個分布式光伏單元、EV、風電機組、儲能、空調等資源個體。用戶、子群、群體則是根據不同范圍對個體的集合，柔性資源個體通過不同形式的聚合方式參與電網調控運行，實現終端最優響應。其中，用戶是終端元件不可再分割的利益主體；群體是能夠參與電網調度運行或市場交易的市場主體；子群則由群體根據一定規則（如設備類型、地理位置、電網拓撲等）劃分而形成。

設置用戶、子群、群體3 個層級的目的在于應對一些復雜的場景（如元件數量繁多、類型冗雜、地理位置跨越電網節點等），通過3 個層級的劃分有助于簡化分析計算的難度，而在一些簡單的場景下（如設備數量適中、元件類型明確、利益主體單一），用戶、子群、群體可以是等價的。

2.2 協同調控架構設計

柔性資源分層協同調控架構如圖2 所示。該架構有效整合了集中式架構和分布式架構的優點。

圖2 柔性資源分層協同調控架構Fig.2 Hierarchical coordinated scheduling architecture of flexible resource

將群體、子群、用戶每層看作是不同的智能體，該框架本質上是基于多智能體MAS（Multi Agent System）的分布式集群控制架構，整體遵循“群內自治、群間協調”的分層協同調控思想，核心在于“群調群控”。與現有的分布式協同控制架構相比，基于群體智能的柔性資源分層協同框架的特點體現在以下3個方面：①根據參與調控的柔性資源數量和實際調控需求，群體內部可選擇進一步分為“子群層”和“用戶層”，減少每層調控對象的數量，從而簡化優化決策的復雜性；②在滿足電網安全運行約束的前提下，更強調柔性資源主體的自主決策和群體協同，涌現出群體智能的特征，有助于激發負荷側資源參與電網調控運行的意愿；③強調主體地位的對等性、注重主體的隱私保護需求，通過MAS 之間的分布式信息交互，解決群體控制的敏捷性和可靠性問題。

從調控方向而言，該架構整體分為5 層。調控中心主站層作為最上層，通過集中優化或引導協調方式向下層多個分布式柔性資源群體下發調度需求。群體層既包括同質資源聚合而成的群體，如DG集群、EV 充電站等，也包括異質資源聚合而成的群體，如LA、VPP、工業園區等。對應的決策場景有兩大類：一是調控中心下發調度需求的全局場景，二是群體間存在協同互濟需求的局部場景。針對這2 種不同的場景，群體層負責分解調控中心指令和實現群間分布式協同。子群層是群體根據設定規則采用靜態或動態方式劃分而成的，作用是進一步分解群體的調控任務。對于由異質資源組成的群體，綜合考慮資源類型、地理位置分布、所屬利益主體和從屬關系等進行靜態分群；對于由同質資源組成的群體，一般而言這些資源從屬于同一利益主體，不存在利益博弈問題，根據資源地理位置分布、運行狀態、調節能力等時空特性信息，通過聚類進行子群動態劃分，從而可快速實現群體內部功率分配。用戶層類型分為居民用戶、商業用戶和工業用戶，對應地指一個居民家庭、一棟商業樓宇、一家工廠等，通過用戶層能量管理系統EMS（Energy Management System）與位于設備層的終端控制裝置進行信息交互和終端指令下發。

從控制模式而言，主要有集中式、集中-分層分布式和完全分布式3 種。①集中式。當下層決策對象較少且上層完全掌握下層個體的調節特性時，可采用集中優化模式。②集中-分層分布式。當上層僅掌握下層的外特性調節能力時，可將下層整體作為調控對象，通過集中-分層分布式迭代實現各層子優化問題的并行計算與求解。③完全分布式。對應于群間協同互濟或群內功率快速分配的場景。完全分布式協同控制基于一致性理論，通過通信關聯節點之間的信息交換，實現各節點間所選取的一致性變量的協同一致。

從決策目標而言，對于由單一利益主體構成的同質資源聚合群體，各資源地位對等，決策目標由群體中心統一制定；對于由多利益主體構成的異質資源聚合群體，由于群體中心、子群／用戶存在自身利益，群體中心與子群／用戶之間有必要進行交互和協調，屬于主從框架下的多目標協同決策。此外，柔性資源響應具有較強的不確定性，如何實現群體中心與子群／用戶之間的隨機協同調度決策，也是策略設計需考慮的重點。

3 調度策略

與調度框架相對應，調度策略的設計分為群體的外特性建模、群內自治策略和群間協同策略3 個部分。

3.1 群體的外特性建模

柔性資源類型眾多，針對如DG、EV、溫控負荷等典型資源的聚合建模，國內外學者已開展了一定的研究工作?？紤]到EV、儲能、溫控負荷等“能量存儲型”終端資源均可用“等效儲能”模型描述，本文以分布式光伏和分布式儲能2 類典型資源為代表，推導柔性資源群體的外特性模型。

1）分布式光伏群體模型。

為提高可再生能源利用率，光伏單元往往采用最大功率點跟蹤MPPT（Maximum Power Point Tracking）模式。但為了參與調節控制，光伏單元需要留有一定的備用容量，即將功率輸出在低于最大功率點的其他運行點。

單個光伏單元的備用容量計算公式具體如式（1）所示。

光伏群體的可調節容量等于內部每個發電單元的可調節容量之和，即：

2）分布式儲能群體模型。

單個儲能裝置的荷電狀態SOC（State Of Charge）模型描述如下：

一般情況下，同一節點下的分布式儲能裝置同步進行充電或放電，儲能群體的荷電容量和充放電功率計算公式如下：

需要指出的是，隨著分布式柔性資源的對象類型和數量海量化，柔性資源響應的不確定性、獨立性、隱私性使得群體外特性精準建模充滿挑戰。在具體實踐中，借鑒文獻［20-21］的思路，先通過采集小規模分布式柔性資源的完全信息，利用式（1）—（5）建立小規模柔性資源群體的精準模型，再外推到更大規模的群體，建立近似聚合模型。所建立的柔性資源群體外特性模型能夠提供群體的上調容量、下調容量等調節潛力約束，為群內和群間的智能決策提供模型支撐。

3.2 群內自治策略

群內智能體現在“智能自適應”，即群內自治。針對外部指令分解、群體自身利益、與其他群體之間的分布式協同等關系，群體要做到智能自適應。對于一個群體而言，根據群體對其內部設備特性的不同感知深度、設備之間的通信方式、群體對響應可靠性需求的差異性等因素，自治模式可選擇主從或對等模式。

主從模式下，群體內部存在決策中心（也可由某個子群控制器承擔）。在決策時，決策中心作為領導者（主控制器），其余子群控制器作為跟隨者（從控制器），通過leader-follower 算法實現交互和協調。對等模式下，群體內部不存在決策中心。各子群地位對等，由于其具備采集本地信息的特點，對等模式能夠更好地適應能源互聯網環境下各設備的即插即用和子群的動態劃分。無論是采用主從或對等模式，對于分布式的MAS而言，一個重要問題是MAS的一致性。一致性算法在解決MAS 協同優化問題，特別是功率動態分配問題方面有著方便、快速、實用性強的優點。

為了解決群體內部功率快速分配這一問題，為公平性起見，選擇子群的功率調整率作為一致性狀態變量，子群s的功率調整率可表示為：

式中：ηs(t)為t時刻子群s的功率調節率；Δds(t)為t時刻子群s的功率調節量；dmaxs(t)為t時刻子群s的最大調節容量。

記t時刻子群s的鄰居集為NNR(s，t)，ask表示子群s和子群k之間的連接關系，若?k∈NNR(s，t)則ask(t)=1，否則ask(t)=0。

根據一致性協議，子群s的控制律us(t)可表示為：

式中：ωsk為子群s和子群k之間的連接權重。

在對等模式下，子群s與其鄰居集合中的所有子群地位對等，ωsk可定義為：

上式即為子群s的一致性控制律。隨著算法的迭代，局部一致將擴展到全局一致。

3.3 群間協同策略

群間智能體現在“智能協同”。群間協同的主要任務是實現調度需求在發電機和柔性資源群體間的最優分配，并協調群體間的交換功率。在傳統集中式架構下，調控中心與各群體之間需要建立通信和控制鏈路，在基于群體外特性建模精準的情況下，調控中心收集所有群體的狀態信息并集中優化，能夠快速決策出各群體的調節指令。然而，隨著柔性資源的海量化，調控中心需要處理的數據維度也迅速增大，受限的計算速度、負荷響應的不確定性等因素難以保證實時決策的需要。

深度強化學習DRL（Deep Reinforcement Learning）通過智能體與環境交互試錯的方式進行學習，已被證明是解決無精確模型優化決策問題的有效方法。因此，本文引入多智能體深度強化學習MADRL（Multi-Agent Deep Reinforcement Learning），將DRL的思想和算法用于多個柔性資源群體之間的交互與協同中。

3.3.1 計及多群體的優化調度模型

對于調控中心而言，以全網運行成本最小為目標，計及多個分布式柔性資源群體的地區電網優化調度問題可表示為：

式中：Cg和Cc分別為發電機組g和柔性資源群體c的調節成本；m和n分別為發電機組和柔性資源群體的數量；ΔPg為發電機組g的功率調節量；ΔPc為柔性資源群體c的功率調節量。

發電機組的運行成本用二次函數可表示為如式（11）所示。

式中：ag和bg為發電機組g的成本系數。

根據上文，EV、儲能、溫控負荷等“能量存儲型”資源均能建模成“等效儲能”模型。故而，群體內部資源可等值為DG 和“等效儲能”兩大類。對應地，群體的運行成本分為“等效儲能”部分的運行成本和DG的棄風棄光成本，具體如下：

需要說明的是，式（14）僅列寫了分布式光伏電站的棄光成本，分布式風電場的棄風成本的計算過程與之類似。

約束條件包括網絡的潮流約束、發電機出力上下限約束、群體調節容量上下限約束等，不再贅述。其中，群體調節容量上下限約束可根據3.1節群體的外特性建模計算得到。

3.3.2 MADRL優化模型

將MADRL 應用到上述的優化決策問題中。MADRL 以多智能體馬爾可夫決策過程MAMDP（Multi-Agent Markov Decision Process）為基本框架，博弈模型包括各智能體的狀態空間、動作空間以及獎勵函數，用元組N，S，A，P，R，γ表示。其中：N為智能體數量；S為N個智能體的狀態聯合在一起組成的聯合狀態向量，每個智能體i的狀態為Si，故S=S1×S2×…×SN；A為N個智能體的動作聯合在一起組成的聯合動作向量，每個智能體i的動作為Ai，故A=A1×A2×…×AN；P：S×A×S→[0，1] 為狀態轉移概率；R為獎勵函數的定義空間，滿足S×A→R；γ為折扣因子。每個時間步t，各智能體根據觀測到的狀態st(st∈Si)執行動作at(at∈Ai)并作用于環境，獲得環境的獎勵rt(rt∈R)，并使環境狀態轉變為st+1，至此完成一個訓練回合。通過與環境循環交互，智能體在訓練過程中會對自身策略進行優化，使獲得的累積獎勵逐漸增加直至趨于穩定。

1）狀態空間。

2）動作空間。

動作空間是群體的調節功率指令。群體接到調節功率指令后，再進一步利用3.2節的一致性算法進行群內功率分解，實現群內自治。

3）獎勵函數。

為了實現式（10）—（14）所示的含約束最小化問題，將式中的目標函數和約束條件設計到獎勵函數中。獎勵函數包括系統調節成本以及約束越限懲罰，分別表示為：

式中：r1為系統調節成本；r2—r4分別為對發電機組越限、柔性資源群體調節功率越限、支路潮流越限的懲罰；λ2—λ4分別為發電機組越限、柔性資源群體調節功率越限、支路潮流越限場景下的懲罰因子；Pij、Pmaxij分別為支路ij潮流及其上限；Nline為支路集合；max(·，0)表示取數值(·)和0之間的最大值。

在算法選擇方面，考慮到軟演員-評論家SAC（Soft Actor-Critic）算法使用最大熵值為優化目標，同時最大化智能體獎勵和動作的熵值，算法更加穩定。因此，在本文環境下，將SAC 算法進一步擴展到多智能體軟演員-評論家（MASAC）算法對上述優化模型進行離線訓練。MASAC 算法利用集中訓練和分散執行框架，智能體共享觀察信息和歷史經驗。SAC算法的優化目標J(π)如式（21）所示。

4 算例分析

為驗證多類型柔性資源協同調度框架和群體智能決策方法的有效性，本文算例采用IEEE 10機39節點系統模擬某柔性資源高滲透地區電網環境，其拓撲結構示意圖如附錄A 圖A1所示。選取節點8、15、25分別模擬分布式光伏電站、EV充電站、溫控LA群體。

光伏電站群體內部包括1 000 個光伏單元，EV充電站內有100臺EV充電樁，溫控LA包括超過1萬臺的居民空調設備。調度任務是通過調度系統內發電機組和分布式光伏群體、EV 充電站群體、溫控負荷群體等全網可調資源，維持地區電網內部發用電功率平衡，促進分布式可再生能源就地消納。系統初始負荷如附錄A圖A2所示。

本文設計的MASAC 智能體每輪訓練所獲得的累積獎勵如附錄A 圖A3 所示?？梢钥闯龃蟾庞柧?00 輪之后智能體所獲得的累積獎勵趨于穩定，此時智能體的動作將被限制在合理的區間內。

群體層將訓練穩定后的智能體用于全網資源優化決策。圖3 選取了節點36、38、39 處的3 臺發電機組，展示了典型機組出力分配。圖4 展示了分布式光伏、EV 和溫控負荷3 個柔性資源群體的可調功率分配。圖3和圖4所示的結果表明，通過分布式強化學習算法實現了發電機組和分布式光伏、EV、溫控負荷等多元群體之間功率的最優分配。同時也可以看出在一個地區電網內部，1000個光伏單元、100臺EV 充電樁以及1 萬臺居民空調設備這一分布式柔性資源仿真規模仍然較小，難以與發電機組的調節能力相匹配，因此電網中發用電平衡的任務仍大多由發電側承擔，這一結果與當前柔性資源參與電網調節運行現狀相吻合。但若推算未來每戶家庭有約3臺空調、1輛EV、1個電池儲能系統以及其他具有調節能力的電器，再加上工業園區、屋頂光伏等，一個地區電網中柔性資源數量將可達數千萬以上，則分布式柔性資源的可調能力不容忽略，而在這種海量場景下，更加有必要采用“終端→用戶→子群→群體”的分層分布集群控制架構，簡化各層計算分析的難度。

圖3 發電側功率分配Fig.3 Power distribution of generation side

圖4 柔性資源群體功率分配Fig.4 Power distribution of flexible resource cluster

在群體內部，基于主從框架的一致性算法進一步將功率調整量下發到用戶層直至終端設備。以溫控負荷群體為例，群體內部用戶層經過一致性協同后，各用戶的功率調整率趨于一致。然后，每個用戶根據自身要調整的功率值直接控制其終端空調設備完成設備的啟停。群體內部最終響應結果與該群體接收到的外部調節指令對比結果如圖5所示。

由圖5 可知，通過群體間的協同→群內的自治分解，基于分層分布架構以及多智能決策方法，分布式柔性資源群體能夠快速完成電網調控中心的功率分配指令，有效減輕了集中決策的計算壓力。

圖5 群體一致性響應結果Fig.5 Consensus response results of cluster

需要說明的是，本文僅對海量分布式柔性資源分層組織和調控架構中涉及的集中優化和分布自治的智能算法的有效性進行了初步驗證，在分布式柔性資源群體等值建模、終端用戶最優響應、群間及群內的隨機智能決策等方面還有大量的工作亟待開展。

5 結論

針對DG、可控負荷、儲能等柔性資源海量化所帶來的組織和調度難題，提出基于群體智能的柔性資源分層協同框架。

在調控架構方面，遵循分層分布集群調控模式，將海量資源分為終端→用戶→子群→群體4 層。在技術方法方面，引入新一代人工智能規劃中的群體智能思想，建立了柔性資源群體的外特性模型，為群內和群間的智能決策提供模型支撐；提出了群體內部基于一致性理論的功率快速分配算法，實現群內自治決策；提出了基于MAS 強化學習的優化決策方法，實現群間交互與協同。通過算例分析對智能方法的有效性進行了驗證。本文研究成果旨在利用柔性資源背后“人”的主體所涌現出的群體智能特征為地區電網中各類型可調資源的充分利用和優化運行提供理論和方法參考，從而提升新型電力系統的靈活調節能力。

可以預見，在能源互聯網技術的發展和能源政策的推動下，海量柔性資源將在電力系統電力電量平衡中發揮更加重大的作用。將分布式調控架構和新一代人工智能技術相互融合，是充分發揮柔性資源潛力，實現海量柔性資源“群調群控”的有效手段之一。

附錄見本刊網絡版（http：//www.epae.cn）。