考慮卸載成本的配電網能量管理業務云邊協同調度方法

康逸群，蔡澤祥，曾興，孫宇嫣，胡凱強，岑伯維

(華南理工大學電力學院，廣州510640)

0 引言

隨著電力物聯網和能源互聯網的深度融合，越來越多的電力末端設備接入配電網，對電力系統自動化體系的計算資源配置和數據處理能力提出了更高要求。設備的信息和數據交互更加頻繁，越來越多的可控單元參與到配電網能量管理中，導致配電網能量管理業務計算數據量增大，計算過程復雜，實時性要求高，傳統的業務服務模式難以適應和滿足配電網能量管理業務對實時性、可靠性、安全性的要求[1 - 2]。

基于“云管邊端”架構的電力自動化系統是實現海量信息感知和業務數據高效處理的有效手段，其充足的計算資源和高超的計算能力是電力部門提供配電網業務服務的有效保障。云計算中心對電力大數據進行集中式處理，可以滿足大計算量業務的服務需求。邊緣計算將計算資源部署在配電網靠近用戶的末端設備側，提供能量管理業務的就近、快速處理[3]。一個配電網能量管理業務由若干個微服務組成，由于邊緣計算終端資源的有限性和業務微服務運行模式的獨立性，邊緣計算終端資源不足時，其可將待處理的能量管理整個業務或其中幾個微服務卸載到其余邊緣計算終端或云計算中心進行處理，以實現云邊協同調度。確定配電網能量管理業務的最優卸載路徑是節省網絡帶寬、實現云邊協同計算資源優化并提高能量管理業務響應能力的有效手段，對實現業務穩定實時處理有重要意義。

國內外相繼開展了大量基于邊緣計算的系統能量管理和業務卸載方案的研究。在能量調度和邊緣計算系統能耗層面，文獻[4]提出了一種基于邊緣計算的物聯網系統框架和軟件模型，并在此基礎上提出了一種基于深度強化學習的能量調度方案。文獻[5]研究了帶有能量采集器件的多用戶移動邊緣計算系統的功耗問題，并設計了一種基于Lyapunov優化方法的在線算法來解決具有電池隊列穩定性和QoS約束的功耗最小化問題。文獻[6]研究了虛擬機遷移、任務分配和綠色能源調度的能量代價最小化問題，并提出一種近似最優解的啟發式算法用來解決計算復雜度問題。文獻[7]提出了一種云-霧分層能量管理架構,并利用智能算法實現含多個利益主體的配電系統的能量管理和優化決策。文獻[8]建立了一個任務卸載決策模型，根據通道狀態與任務屬性(例如工作負載和數據傳輸的大小)來決定是否需要卸載任務，該策略能在滿足移動云工作流截止時間的約束下，最大限度地降低移動設備的能耗。

以卸載成本、系統能耗、業務延時等為目標的卸載決策優化和負荷分配也是近年來國內外學者研究的重點領域之一。文獻[9]提出了基于電子商務的智能電網網絡框架，在云中心和終端智能電表之間的網關上部署電子商務服務器以實現任務卸載。文獻[10]提出了一種面向邊緣計算的電力物聯網計算負荷分配機制，該機制能最大限度地減少業務延遲。文獻[11]以卸載成本為優化目標，以隊列穩定性為約束條件構建了優化模型，提出了一種基Lyapunov優化的漂移加成本計算卸載策略，根據隊列積壓量和目標節點的卸載現狀分配任務。文獻[12]研究了一種單用戶無線供電的移動邊緣計算系統，通過聯合優化多天線能量發射器和無線功率傳輸能量分配和用戶處的任務分配，在特定的有限時間范圍內進行本地計算和卸載。文獻[13]研究了基于移動邊緣計算的密集云無線接入網中的任務卸載和資源分配問題，提出了一個隨機混合整數非線性規劃問題，用于聯合優化任務卸載決策、彈性計算資源調度和無線資源分配。

但是現有的研究均未考慮電力物聯網背景下配電網能量管理業務的優化調度，也并未研究容器隊列對云邊資源協同的影響。本文在考慮配電網能量管理業務特性的前提下建立了業務的微服務模型；并以容器為邊緣計算終端中微服務卸載的最小調度單位，建立容器隊列模型；綜合考慮卸載成本和延時約束對微服務卸載的影響，分別建立云計算中心和容器的微服務計算成本、排隊成本、通信成本模型；提出以系統卸載成本最小化為目標的優化函數，求解后得到滿足延時要求的微服務最優卸載路徑；最后通過算例驗證了本文所提方法的有效性，實現了配電網能量管理業務的低成本低延時卸載和云邊計算資源的協同優化。

1 配電網能量管理業務的云邊協同處理架構

1.1 配電網能量管理業務的微服務架構

微服務架構是一種云原生架構方法，即把單個業務應用分解成多個相互協作且可獨立部署的組件或服務。配電網能量管理業務可以分解為一系列微服務，根據微服務功能將其分為3類，如表1所示。

表1 配電網能量管理業務的微服務分類及內容Tab.1 Classification and content of microservices of distribution network energy management applications

配電網能量管理業務微服務依據其功能邏輯關系串行或并行運行，微服務之間的關系可用有向無環圖表示。圖1展示了2種不同的能量管理業務。由圖1可知，采集類微服務將采集到的數據和狀態信息處理之后，輸出結果分別傳送給分析類和控制類微服務以實現相應的功能。各微服務運行的過程是相互獨立的，不受其他微服務運行狀態的影響，且微服務具有可移動性，因此可以被卸載[15]。

圖1 配電網能量管理業務微服務有向無環圖Fig.1 Directed acyclic graph of microservices of distribution network energy management applications

1.2 基于容器技術的云邊資源協同機制

云邊協同機制下，云計算中心和邊緣計算終端呈多邊網狀結構。云中心通過配置虛擬機來實現計算、存儲資源的分配調度，邊緣計算終端可視為一臺邏輯物理機且具備CPU、內存和網絡帶寬資源；通常采用Docker技術構建容器(container，CR)，每個邊緣計算終端可創建多個容器系統，每個容器系統包含多個容器，容器隔離不同的應用運行環境，將用戶服務和電力業務封裝并形成容器鏡像，來實現靈活方便的服務啟停、容器彈性擴容和縮容。

將配電網能量管理業務微服務部署到容器平臺，每個容器只部署一個微服務，各容器的運行相互獨立，各微服務的運行也是相互獨立的，容器可將微服務卸載。云-邊-容器-微服務架構如圖2所示。

圖2 基于容器技術的云邊協同微服務處理模型Fig.2 Cloud-edge collaborative microservices processing model based on docker technology

配電臺區能量管理服務需求產生后，首先由邊緣計算終端就近處理，若業務計算負荷超出邊緣計算終端的計算資源約束，或業務的的延時要求得不到滿足，邊緣計算終端會將一定數量的微服務卸載到云中心或其他邊緣計算終端進行計算。微服務在云中心或其他邊緣計算終端處理完成后，計算結果回傳給初始終端，完成配電網能量管理業務的卸載。

當邊緣計算終端對能量管理業務進行卸載時，其可將整個業務一起卸載到目標設備或將業務中所包含的微服務分別卸載到不同目標設備。由于整個業務的計算負荷和數據量較大，傳輸過程和目標設備進行處理時所需的計算資源、通信資源和延時較高，因此一般采用分別卸載各微服務不同目標設備的卸載方式進行云邊協同調度。微服務有2種卸載路徑：1)卸載微服務到其他邊緣計算終端(圖2中路徑①)；2)卸載微服務到云中心(圖2中路徑②)。

1.3 微服務、容器、邊緣節點的數學模型

一個能量管理業務所包含的全部微服務，用M={m1,m2,m3,…,mn}表示，n為微服務總數。某能量管理業務第i個微服務mi={li,wi,θi,si}，其中li為輸入數據的大??；wi為mi的計算負荷；θi為mi允許的最大延時，si為mi的最低存儲要求。

一個云中心C管轄p個邊緣計算終端，其內配置q個容器，一個微服務同一時段內只能在一個邊緣計算終端的一個容器內計算，因此引入卸載矩陣xijk，xijk=1表示微服務mi被卸載到第j個邊緣計算終端的第k個容器執行，否則xijk=0，如式(1)—(2)所示。

(1)

(2)

容器Cv={bv,rv,Qv,kv}，bv為邊緣計算終端內部容器間的通信帶寬；rv為容器計算微服務的速率，用CPU周期頻率表示；Qv為容器初始微服務隊列長度，用計算所需的CPU周期數表示；kv為容器的單位時間運行成本，與容器計算能力的平方成正比例關系[14]，本文中所有邊緣計算終端的所有容器單位時間運行成本相同，詳見式(3)。

(3)

式中α為與CPU性能相關的能耗系數。

每個邊緣計算終端都是一個邊緣節點(edge node, EN)，E={E1,E2,E3,…,Ep}， 云邊協同電力自動化系統中第p個邊緣節點Ep={Bp,Vp,Rp,Sp}，其中Bp為邊緣節點間的通信帶寬；Vp為該邊緣節點包含的容器數，Vp=q；Rp為邊緣節點的微服務計算速率；Sp為邊緣節點存儲空間大小。

1.4 容器的微服務隊列模型

云中心的計算資源充足，微服務無需排隊便可直接處理；而邊緣節點的計算資源有限，微服務需排隊處理。如節點Ek的容器Ck本身有一個待處理的微服務隊列Qk(t),當另一節點El在運行過程中本地計算資源不足，El可在t時隙內將微服務隊列Yk(t)卸載到Ek中的Ck，這些微服務將進入Qk(t)中。定義Ck當前的微服務隊列為Qk(t+1)，計算負荷總量為Qwk(t+1)，則可得式(4)。

Qwk(t+1)=max(Qwk(t)+Ywk(t)-fkΔt,0)

(4)

式中：Qwk(t)為Ck內積壓的計算負荷總量，是Ck處理Qk(t)個微服務所需的CPU周期數；Ywk(t)為t時隙內到達Ck的微服務計算負荷；fk為t時隙內Ck處理的計算負荷量，即Ck的本地計算速率，在t—t+1的時間間隔內保持不變。Qwk(t+1)由輸入輸出計算負荷量的差值決定，在本文的微服務排隊場景下，其數值應大于等于0。

需要對容器隊列進行約束以防止文件溢出而導致的數據丟失，設置微服務隊列閾值Qmax如公式(5)所示。

Qk(t+1)≤Qmax

(5)

2 云邊計算資源的協同優化決策方法

2.1 卸載成本模型

微服務卸載成本包括通信成本、計算成本和排隊成本。微服務卸載過程中從源節點到目標節點輸送計算數據和從目標節點送回結果的過程中產生的成本共同構成通信成本。計算成本是云中心和邊緣節點容器進行微服務計算的成本。排隊成本是已卸載到目標節點的微服務進入當前容器微服務隊列等待處理的時間內占用容器存儲資源而產生的成本。

2種微服務卸載路徑的卸載成本不同。邊邊卸載時，需要同時考慮通信成本、計算成本和排隊成本；邊云卸載時，只需要考慮通信成本和計算成本。

2.1.1 計算成本

單個微服務的計算成本為云或邊進行微服務計算的成本，與微服務計算負荷大小有關。容器和云中心處理單個微服務mi的計算時間分別為：

(6)

(7)

式中RC為云中心的微服務計算速率[19]。

用kc表示云中心的單位時間運行成本，則邊緣節點和云中心處理微服務隊列的計算成本為：

(8)

(9)

2.1.2 排隊成本

由于待處理的微服務隊列占用容器的存儲資源，故將排隊成本定義為微服務數據量所占用的存儲資源費用，與微服務輸入數據量大小、排隊時間和容器單位存儲成本有關，首先計算排隊時間。

(10)

式中：Ywk,j(t)為t時隙內Ck待處理微服務隊列中第j個被執行的微服務負荷；Rwk(t-1)為t-1時隙內處理Rk(t-1)個任務所需的時鐘周期數。

排隊成本與排隊時間有關，若單獨計算卸載到該容器的每一個微服務的排隊時間再相加，則會重復計算延時。因此，對于卸載到同一容器的微服務隊列，取各微服務排隊延時的最大值用于計算系統排隊成本，所以第j個邊緣節點的第k個容器的排隊時間為：

(11)

位于第j個邊緣節點的第k個容器內的單個微服務的排隊成本可用式(12)計算。

(12)

式中：ks為容器的單位存儲成本，美元/(GB·s)；li為微服務輸入數據大小。

2.1.3 通信成本

通信成本是邊與邊間、邊與云間傳送微服務數據的成本，由于輸出結果數據量遠小于輸入數據量(liout<

云邊、邊邊信道傳輸微服務mi數據的速率為：

Ri=Bijlog2(1+Pijhij/N0Bij),i≠j

(13)

式中：Bij為初始點i到終點j的通信帶寬；云邊、邊邊傳輸帶寬分別為Bce、Bee；Pij為i、j間的傳輸功率；hij為信道增益；N0為高斯白噪聲功率譜密度。

所以微服務mi的通信時間為：

(14)

根據通信信道的建設成本和運維成本可以折算出信道單位時間的通信成本，云邊、邊邊信道單位時間通信成本分別為αce、αee,則系統通信成本為：

(15)

(16)

2.2 目標函數

微服務卸載決策優化的目標函數為系統整體卸載成本Cop；定義微服務在不同邊緣節點之間的卸載成本為C1,邊緣節點到云中心的卸載成本為C2；C1包括容器計算成本、排隊成本和邊邊通信成本；C2包括云中心計算成本和云邊通信成本。

單個微服務的卸載路徑有2種，所以系統卸載成本為2種卸載路徑的卸載成本和。如式(17)所示。

minCop=C1+C2

(17)

18)

(19)

2.3 約束條件

在對能量管理業務微服務的卸載優化函數求解過程中，規定系統的約束條件包括微服務不重復調度約束，存儲空間約束、容器微服務隊列約束和微服務延時約束，如式(20)—(23)所示。

(20)

(21)

Qk(t+1)≤Qmax

(22)

(23)

3 仿真分析

3.1 參數設定

本文采用改進的IEEE 33節點配電網系統作為測試系統，如圖3所示。

圖3 改進的IEEE 33節點系統Fig.3 Improved IEEE 33 system

配電臺區中，4個邊緣計算節點EN1—EN4由同一云中心管理，云邊計算系統的屬性參數及計算參數如表2所示[14,17]。每個邊緣節點配置3～5個容器，各容器的計算能力和初始微服務隊列長度用(rv，Qv)表示，如表3所示。

表2 云邊協同計算架構參數(仿真用)Tab.2 Parameters of cloud-edge computing structure(for simulation)

表3 容器的計算和隊列屬性(rv，Qv)Tab.3 Calculation and queue properties of containers(rv，Qv)

仿真場景為該配電臺區另一邊緣節點EN5發生故障，其所負責的配電網能量管理業務被分別就近部署至其他邊緣節點處理，其中EN1負責處理兩個單獨的能量管理業務，其微服務屬性如表4所示。

表4 兩個能量管理業務的微服務特性Tab.4 Microservice characteristics of two energy management applications

某一時刻18個微服務全部進入EN1的相應容器等待處理，若其全部在EN1排隊處理，加上EN1的原有業務，則EN1所需計算資源和時間會超過EN1的計算資源限制和微服務的最大延時約束。為了滿足容器和邊緣節點的計算資源約束和能量管理業務的延時約束，EN1將微服務卸載到云中心或其他邊緣節點進行處理。

本文采用3種微服務處理方式計算比較系統的整體卸載成本和微服務平均延時：1)不進行微服務卸載，所有微服務繼續在EN1排隊處理。2)將所有微服務都卸載到云計算中心進行處理。3)求解文中的卸載優化目標函數，按最優路徑進行卸載。

3.2 結果分析

方式3中，采用CPLEX工具箱求解優化函數，得到微服務卸載矩陣xijk，各微服務卸載到各邊緣節點各容器和云中心的卸載情況如圖4所示。

圖4 微服務卸載情況Fig.4 Microservice offloading results

圖中藍色(深色)為各容器的初始隊列長度，橘色(淺色)為卸載到該容器的微服務隊列長度，若無橘色(淺色)則表示沒有微服務卸載到該容器。卸載到云中心的微服務無需排隊，因此將云中心的初始隊列視為零。

根據微服務卸載矩陣可知全部微服務的卸載情況：采集類微服務提供數據，在整個能量管理業務中最先執行，所以M1—M4沒有進行卸載，繼續在EN1處理；M17—M18的計算負荷較大，被卸載到計算能力更強的云中心；其余的微服務被分別卸載到邊緣節點EN2—EN4的各容器進行處理。

3種不同的微服務處理方式下單個微服務的平均延時(Λi)和系統的總卸載成本如表5所示。

表5 不同方式下微服務延時和系統卸載成本Tab.5 Microservice average delay and system offloading cost in different ways

由表5可知，方法3的系統整體卸載成本最小，僅為0.998美元；方法1的系統卸載成本僅為微服務處理期間的系統運行成本，為1.235美元；方法2中由于云中心的單位運行成本較大以及云邊通信距離較長，系統卸載成本為三者最高。

方法2的單個微服務的平均延時最小，僅為226 ms；不進行卸載時的微服務平均延時為1.12 s，超出了微服務最大延時約束500 ms，無法達到能量管理業務的處理要求；進行最優卸載時的微服務平均延時為375 ms，且每個微服務都能夠滿足最大延時約束。

方法3和方法2的微服務平均延時距離微服務的延時約束(500 ms)均有較大裕度，都能充分滿足配電網能量管理業務的延時需求，雖然方法3的微服務平均延時比方法2高出39%，但卸載成本比方法2低59%，所以在方法3也充分滿足微服務延時約束的情況下，認為方法3更優。

由此可知按本文提出的最優路徑卸載可以滿足微服務延時約束并獲得最低的系統卸載成本，解決了邊緣節點計算資源不足的問題，實現了云邊資源的協同調度。

4 結論

本文在電力物聯網的云管邊端架構下，建立配電網能量管理業務的微服務模型，考慮微服務計算延時、通信延時和排隊延時建立相應的成本模型，并以系統整體卸載成本最低為目標建立卸載優化函數，求解得到滿足約束的微服務最優卸載路徑并比較了不同微服務處理方式下系統整體卸載成本和微服務平均延時的大小，分析得到以下結論。

分析配電網能量管理業務的業務特性，將其劃分為3類微服務，實現了業務分解和微服務獨立運行，為微服務的卸載和再分配提供了可能。

在基于容器技術的云邊協同計算架構下，針對微服務的不同卸載路徑，建立微服務卸載過程中的計算成本、排隊成本和通信成本模型，提出以系統整體卸載成本最低為目標的優化策略。

仿真比較3種微服務處理方式的系統卸載成本和微服務平均延時，結果表明本文的最優卸載策略能夠滿足微服務延時約束并實現系統卸載成本最小化，實現高效率、低成本的云邊協同調度。