基于馬爾可夫決策過程的電動汽車充電站能量管理策略

黃帥博，陳 蓓，高降宇

（上海工程技術大學 電子電氣工程學院，上海 201620）

0 引言

全球工業化的加速和人類物質需求的提高，導致化石原料不斷減少及其帶來的環境問題日益凸顯。有數據顯示，2021 年全球能源的消耗量達到1.386 5×1010t 油當量，與此同時，化石燃料直接或間接地產生了3.368×1010t 的碳排放［1］，且仍有增長趨勢。作為典型工業化產物的汽車工業，其發展迅速，私家車的數量顯著增加，對化石原料的消耗不可忽視。目前，我國汽車油耗占全國油耗總量的25%，對國外石油的依賴度已達到60%［2］，長年累月的汽車燃料消耗將進一步加劇能源短缺問題。另一方面，傳統的燃料汽車在消耗不可再生能源的過程中，會不可避免地排放一定量的有害氣體，從而加劇環境惡化，不符合我國目前所倡導的碳達峰、碳中和新發展理念［3-4］。

新能源電動汽車EV（Electric Vehicle）有望成為解決上述問題的有效措施之一。相較于傳統的燃料汽車，EV 的動力主要來源于電能，其具有低／無污染、高能效等優點，因此EV 的大規模使用對于改善環境、增強對可再生能源的消納能力、提升電網的供電質量有積極的促進作用。其中，支持車網互動V2G（Vehicle to Grid）技術［5-6］的EV 能夠作為柔性負荷，連接到電網中進行充放電，此類新型負荷具有“時空”屬性［7］，可以視作移動儲能設備。但受個體用戶行為的影響，其充電位置和充電時間分散且無序。因此，EV 的充電管理面臨著諸多挑戰：①隨著EV 數量的不斷增加，充電需求也增加，且充電負荷會與電網其他負荷的用電高峰重合，導致充電成本過高［8］和供需不平衡問題；②EV 用戶的停車和充電行為具有不確定性，EV 無序充電會導致電網電壓波動，易引起電網的穩定性問題［9］。

針對上述問題，文獻［10］提出了一種實時二進制優化模型，將線性規劃方法和兩階段凸松弛方案相結合，實時計算接近最優的EV 充電計劃。然而，此類方法依賴模型預測估計EV的充電需求、到達時刻、離開時刻，但是在實際中很難得到精確模型。為了減少模型的不精確性對性能的影響，同時考慮到現實中存在的不確定性，近年來以馬爾可夫決策過程MDP（Markov Decision Process）為嚴格數學基礎的強化學習方法被用于解決EV 充電相關的優化調度問題，例如：文獻［11］建立了離線的換電站調度模型，并設計了一種帶基線的蒙特卡羅策略梯度強化學習算法求解近似最優解；文獻［12］建立了基于博弈論的實時電力交互模型，并設計了一種遷移強化學習算法對模型進行求解。

需要指出的是，上述研究工作采用的是基于數據驅動的強化學習方法，所提模型的訓練存在維數災難或迭代次數過多的問題。為了解決隨機環境中高維狀態空間表征的問題，許多學者通過引入神經網絡來提高強化學習模型對數據的擬合能力，例如：文獻［13］提出了經驗存儲的深度強化學習方法，用于克服風電、光伏和負荷的不確定性變化，并以最大化微電網的經濟利益和居民滿意度為目標，但未考慮EV接入微電網所帶來的影響；文獻［14］提出了一種基于最大熵值的深度強化學習的充換電負荷實時優化調度策略，考慮了用戶因素、系統因素和市場因素，制定了不同的應用場景，但未考慮大量電池老化帶來的經濟成本問題。目前，關于電動汽車充電站EVCS（Electric Vehicle Charging Station）參與“車-路-網”［15］的能量交互，并考慮其經濟性和實用性的研究較少。而大規模的EVCS 作為EV 與電網的“中間商”，是實現EV 與未來能源互聯網深度融合的重要組成部分。

基于上述分析，本文從EVCS 的角度出發，考慮分時電價和EV用戶行為的不確定性，將深度Q網絡DQN（Deep Q-Network）應用于并網EVCS，進行EV充放電行為的在線優化調度，實現EVCS 日運營成本最小化。首先，建立了由充電成本、老化成本、懲罰成本組成的傳統成本模型，且考慮到傳統MDP 模型無法處理約束的缺點以及用戶的行為存在不確定性，構建了一個新的有限回合MDP 模型，并基于傳統成本模型提出了MDP 的獎懲回報函數；然后，針對隨機環境下模型訓練遇到的高維狀態空間問題，設計了相應的狀態空間和動作空間，并采用一種卷積神經網絡結構結合強化學習的方法，通過從原始觀測數據中提取高質量經驗來趨近最優調度以達到優化目標；最后，基于某典型的公共社區停車場數據進行算例分析，驗證本文所提基于MDP 模型的能量管理策略在解決EV 充放電調度問題方面的有效性和優越性。

1 EVCS的系統架構

本文研究的EV充放電調度策略由并網的EVCS決策執行，目的是通過區域內EV與電網進行電能交互，實現EVCS 日運營成本最小化。EVCS 的結構示意圖如圖1 所示。EVCS 可視為并網的分布式儲能裝置，其中雙向直流充電樁用于V2G 服務，雙向交直流轉換器在本地電網和EVCS 之間傳輸電力，以保持直流母線的穩定性。EV 充電裝置和電網側的電力轉換器共享1 條直流母線，減少了基礎設施投資，提高了能源轉換效率。

圖1 EVCS的結構示意圖Fig.1 Structure diagram of EVCS

EVCS 通過協調EV 用戶的充電需求、荷電狀態SOC（State Of Charge）、電網的分時電價進行優化調度，使系統日運營成本最小化。調度過程涉及電網運營商、EV 用戶、EVCS 運營商這3 個角色，其中：電網運營商負責維護電網，并提供基礎電力服務，且為了減輕電力需求負擔、降低輸電維護成本，電網運營商傾向于采用分時電價，以鼓勵終端用戶參與需求側能源管理；EVCS運營商在運營過程中被認為是電網的價格接受者，這意味著其不影響電力市場的清算價格，可以通過電價差、提供停車服務獲取利潤。EVCS運營商考慮分時電價和EV用戶行為的不確定性，以日運營成本最小化和延緩電池老化為目標，制定EV的充放電優化調度策略。

2 數學模型

2.1 傳統成本模型

EVCS運營商通過優化調度EV的充放電行為以達到日運營成本最小化的目標，目標函數可以表示為：

2.1.2 EVCS懲罰成本

EVCS 懲罰成本主要是指在運行過程中，若EV在離開EVCS 時電池電量沒有達到目標電量，則EVCS 需向用戶支付的罰款。若EV 離開EVCS 時電池電量大于等于目標電量，則不會產生罰款；若EV離開EVCS 時電池電量小于目標電量，則未滿足的電量將以單價ape進行罰款。則懲罰成本可表示為：

2.1.3 EV電池老化成本

長時間充放電調度會導致EV電池逐漸老化，可用容量不斷衰減，性能下降。因此，EVCS 需要承擔一部分充放電導致的EV電池老化成本，其主要受充放電功率、功率波動等不同因素影響，可表示為：

式中：C1，i、C2，i分別為EVi的自然充電損耗成本、充放電狀態切換造成的老化成本；Δt為EVCS 進行優化調度的時間步長；Pt，i為t時段EVi的充放電功率；δ為電池自然老化系數，是很小的正數；β為充放電狀態切換導致功率變化的老化系數。

電池損耗程度是老化成本的一個關鍵參數，充電功率會導致電池自然老化，但其損耗較??；充放電狀態切換對電池造成的損耗較大，切換狀態相鄰時段的充放電功率波動越大，則對電池造成的損耗越大。雖然電力電子元器件減少了部分損耗，但充放電過程對電池造成的損耗仍不可忽視。

2.1.4 確定性約束條件

EVCS在EV的可調度時段內將其充電至目標電量，在充電過程中需滿足如下確定性約束條件：

式中：Pmax為EV 的最大充放電功率，受充放電設備和電池容量限制，其值大于0 表示充電，值小于0 表示放電；Pgridt為t時段EVCS 與電網交互的充放電功率；zt為t時段EV 接入后的總負荷；Lbt為t時段電網的基礎負荷；LEVt為t時段EVCS 內EV 的綜合負荷；J為t時段進行實時充放電的EV數量。

2.1.5 不確定性約束條件

本文主要考慮了EV用戶行為的不確定性，包括EV 的到達時刻、離開時刻、初始SOC，通常將這些不確定性因素理想化為服從某種概率分布進行數學建模。本文考慮EV充放電更為實際的情況，所提模型不依賴于概率分布，而是對用戶數據集進行隨機采樣，并主動學習得到每輛EV 的初始信息。則EV 需滿足的不確定性約束條件如下：

2.2 MDP模型

傳統成本模型存在如下問題：①式（7）、（8）、（12）、（13）假定了電池老化系數、到達EVCS 的時刻、離開EVCS 的時刻等參數；②當考慮耦合約束條件式（10）和式（11）時，在轉移概率未知的情況下難以在有限的調度周期內獲得最優解。傳統MDP 需要根據約束假定轉移概率矩陣，往往無法應對EV充放電調度任務的廣泛性和復雜性。為了解決上述問題，本文設計了有限回合MDP和相應的狀態空間S、動作空間A，并基于傳統成本模型設計決策過程中的獎懲回報函數R，無需依賴具體的物理模型，可求解得到EV 的實時充放電策略和EVCS 的最優日運營成本。

2.2.1 狀態空間

在單個時段t（t=1，2，…，T）內，EVCS 通過觀察環境的信息特征積累經驗，基于此選擇充放電動作以達到優化目標。本文中的EVCS 日運營成本取決于時間步長Δt內電價、充放電動作和EV 到達／離開充電站時刻的變化，因此可以給出MDP 和智能體的序貫模型，如附錄A圖A1所示。

針對后續求解過程中的狀態空間維數問題，設計一個有限的狀態空間St，如式（17）所示。

式中：Et，i、Eini、Eoffi為電池狀態位，Et，i為t時段EVi的電池電量；xt，i為充放電狀態位，表示t時段EVi的充放電狀態；Oleave，t，i為停車狀態位，表示t時段EVi是否停留在EVCS，若停留則取值為0，若離開則取值為1；fprice為電網的分時電價。

MDP示意圖如附錄A圖A1所示，智能體為接入EVCS 的EV，當EV 數量增多時，系統會出現高維狀態空間，可根據智能體的數量進行空間劃分，將其解耦［16］為多個單獨狀態子空間。因此，每個解耦子模型的狀態空間維數為24×8階，分別對應24個決策節點（各調度時段的開始時刻）的EV狀態信息。

2.2.2 動作空間

在每個決策節點，智能體EV 有充電、放電和不充不放這3 種可能的動作狀態，因此解耦子模型的動作空間為3 元組，在不解耦的情況下t時段的空間大小為3J。顯然，解耦模型顯著減小了優化問題的規模，提高了搜索速度，增強了實用性。

在解耦子模型i（對應于EVi）中，用xt，i表征智能體的充放電行為，具體取值為：

2.2.3 狀態轉移

在隨機環境中，定義狀態轉移函數為St+1=f(St，At)，其中f為MDP 隨機轉移概率函數，其過程較難預測，類似為暗箱模型；下一個狀態St+1由當前狀態St和當前狀態下采取的動作At決定，如式（20）所示。

本文所設計有限回合MDP 的狀態轉移的開始和結束由式（18）決定，充放電狀態轉移邏輯如附錄A 圖A2 所示。由于充放電狀態的轉移很難用準確的概率分布數學模型進行合理的描述，本文采用DQN 算法進行求解，利用訓練模型在經驗樣本中隱式地學習充放電狀態轉移的概率分布。

2.2.4 獎懲回報函數

EVCS 日運營成本的傳統模型以EV 充電成本、EVCS懲罰成本、EV 電池老化成本為優化目標，本節在此基礎上，設計了MDP 的獎懲回報函數。模型最終尋優決策使EVCS 日運營成本最小化，所得智能體EV 的策略由MDP 中的獎懲回報函數進行評價，獎懲回報與智能體在當前狀態的動作空間（搜索過程）中選擇的動作是一一對應的。因此，t時段解耦子模型i的獎懲回報rt，i與當前狀態的電量有關，如式（21）所示。下一時段的電池電量Et+1，i與當前狀態選擇的充放電行為有關，如式（22）所示。

3 DQN算法求解模型

3.1 DQN算法

針對傳統MDP 面臨的維數災難問題，即在環境交互過程中產生的狀態空間很大且連續，無法用普通的查表法來求解每一個狀態-動作價值Q的問題，本文采用DQN 算法，使用深度神經網絡來表示狀態-動作Q值函數，通過與環境交互學習積累經驗以訓練求解模型。

MDP 的常規求解方法包括數值迭代和策略迭代，實時動態規劃算法［17］是改進的啟發式搜索算法，但需要預先設定環境的動力學模型。在本文研究中采用的DQN 算法無需具體的模型處理數據的不確定性。EV 的到達時刻、離開時刻、初始SOC 等信息是難以完美預測的，而本文所提方法不依賴于任何先驗信息的假設，隨機抽取EV 接入EVCS。MDP 模型能同時獲得到達時刻tarri、用戶設定的充電目標電量EOFFi、離開時刻tdepi以及初始SOCesoc，i作為狀態空間S的初始狀態信息，并將到達時刻、離開時刻分別作為有限回合MDP 的開始和結束標志開始訓練模型，通過與環境交互生成經驗樣本(St，At，R，St+1，end)得到最優策略。DQN算法結構如附錄A圖A3所示。

3.2 DQN算法的實現

DQN 算法無需先驗數據進行訓練，而是通過智能體和環境交互記錄相關的數據(St，At，R，St+1，end)并將其存儲為經驗樣本池，利用深度神經網絡來表示Q值函數，且考慮到數據關聯會導致網絡參數不穩定，通過模型隨機更新經驗樣本池。智能體只需要知道當前狀態和動作列表，每個狀態-動作組合都有一個與之相關的值，將其稱為狀態-動作價值Q。Q值函數［18］可表示為：

式中：rt為當前狀態st執行動作at的獎懲回報；γ∈(0，1)為當前狀態預期未來獎勵的衰減因子；策略π(s)為狀態到動作的映射，表示當前狀態st選擇的動作at轉移到下一個狀態st+1；P(st+1|st)為當前狀態st到下一狀態st+1的狀態轉移概率；Qπ(st+1)為執行策略π(s)后下一狀態st+1的狀態-動作價值。

由于MDP 模型中Q值、轉移概率矩陣是未知的，在訓練過程中DQN引入了2個網絡：①固定參數的目標Q值網絡，用于固定步長更新參數；②根據評價策略更新參數的動作值函數逼近網絡，在每一個時段內進行更新逼近，直至完成神經網絡的訓練。更新策略如下：

式中：Qt(st，at)、Qt+1(st，at)分別為當前時段、下一時段的狀態-動作價值；α∈(0，1)為學習率。式（24）表示狀態-動作組合(st，at)的下一個時段Q值為當前時段的Q值加上學習率和下一次估計的誤差乘積。新的估計值是當前時段的Q值與下一個狀態下可能的最大Q值之和。

在本文設計的有限回合MDP 模型中，如果這個回合有終止標識符，則在這個過程中就不再有未來的狀態。因此，式（24）中含γ的項在更新過程中會衰減至0，算法的偽代碼見附錄A表A1。

4 算例仿真分析

4.1 算例設置

本文以某典型公共社區停車場結合某屆“電工杯”的EV 用戶真實數據［19］為算例進行仿真分析，部分數據見附錄B 表B1。算例的仿真規模主要受J、N這2個參數影響，本文設定J的取值范圍為［0，40］輛，N=200輛，即每天接入EVCS的EV總數量為200輛，且各時段EVCS 內的EV 數量不超過40 輛。每天隨機抽取EV 用戶數據，通過仿真驗證本文所提基于MDP 的EVCS 能量管理策略的可行性和有效性。其中EV離開充電站時的目標電量EOFFi由用戶設置，EV電池的容量為20 kW·h，充放電功率為3 kW（充電時功率為正值，放電時功率為負值），充放電效率η=0.95。進行調度決策的周期為24 h，時段間隔為1 h，期間功率不變，模型參數設置如附錄B 表B2 所示。

在EVCS 的運行過程中，采用我國局部地區的分時電價作為購電電價，具體如附錄B 表B3 所示。且考慮到與電網交互功率會產生相關的維護費用，則EVCS 實時地將售電電價asellt設定為購電電價abuyt的95%，如式（25）所示。

采用第3 節所提方法訓練MDP 模型，在運行過程中以EV的到達時刻、離開時刻分別作為有限回合MDP 模型的開始和結束標志。模型中S含有8 個變量，即輸入的初始狀態信息為8 維向量；神經網絡結構采用2層全連接層，每層的神經元個數分別為38、16；輸出變量維數與動作空間維數一致，為3。模型的學習率α=0.002，衰減因子γ=0.8；設置EVCS 未滿足充電需求的懲罰單價ape=1.2 元／（kW·h）。訓練過程共進行12000個回合，每個回合隨機得到EV 的到達時刻、離開時刻、初始SOC。

4.2 成本結果分析

4.2.1 不同成本函數的優化結果

為了驗證所提EVCS 能量管理策略的可行性和有效性，基于真實的用戶數據進行MDP 模型訓練，并以日運營成本最小化為目標進行優化調度，結果如圖2 所示。對模型訓練12 000 個回合，行為策略選用ε-貪心探索，將前4 000 個回合作為經驗樣本池，此時ε=0.8，進行數據初始化后隨機選擇動作，該過程不學習動作的選擇而僅積累經驗；訓練4000個回合之后，模型開始學習搜索最優的動作，ε在該過程中逐漸減少至0.000 1 并保持不變。ε的衰減過程表示智能體EV 從隨機選擇逐漸轉變為“聰明”地選擇最優動作。

圖2 MDP模型的訓練結果Fig.2 Training results of MDP model

從圖2 中的曲線可看出，局部區域存在波動，這是因為各訓練回合開始隨機抽取EV，且用戶的行為存在不確定性，即EV的離開會使電量和功率狀態突然發生改變，該回合的結束環境也需進行初始化，導致各訓練回合存在可控的狀態差異，使得獎懲回報曲線產生了一定的波動。

設置相同的超參數，MDP 模型考慮EV 電池老化成本對求解過程產生的影響結果見附錄B 圖B1。由圖可看出：模型初期訓練的過程大致相同，均在進行隨機探索和經驗積累，是不斷試錯的過程；訓練4 000 個回合左右時，考慮、不考慮EV 電池老化成本的方案基本尋得一致的收斂方向，由于EVCS 需要求解充放電切換造成的電池容量損耗，考慮老化成本會使模型的收斂速度更慢，且收斂過程波動更大，同時前期的經驗存儲也更復雜，這增加了模型的訓練難度；最終考慮、不考慮EV 電池老化成本的方案都能收斂，且考慮電池損耗確實增加了少量的成本，但延緩了電池老化，這更符合實際情況。

總體而言，在超參數相同的情況下，考慮、不考慮EV電池老化成本的方案都能穩定收斂，雖然考慮老化成本的方案在模型訓練前期的難度增大，但隨著訓練回合的進行，考慮老化成本帶來的影響逐漸減小，2 種方案基本在相同的訓練時間內穩定收斂，進行實時調度。

4.2.2 不同策略的成本結果

為了評估本文所提基于MDP 模型的能量管理策略（本文策略）的有效性，將其與隨機延遲充電RND（Randomly Delayed Charging）［20］策略進行對比分析。2種策略下的日運營成本比較如圖3所示（左側、右側條形分別對應本文策略、RND 策略）。由圖可知：相較于RND 策略，本文策略下EVCS 的日運營成本明顯減少，下降了33.6%左右；RND 策略未滿足用戶需求產生的EVCS 懲罰成本普遍高于本文策略，且第二天的懲罰成本最大；考慮了EV 電池老化成本的本文策略利用分時電價差，減少了部分充電成本，但也產生了少量的電池老化成本。

圖3 本文策略和RND策略下的日運營成本比較Fig.3 Comparison of daily operation cost between proposed strategy and RND strategy

2 種策略下EVCS 的具體成本（5 d）比較如表1所示。由表可知：相較于RND 策略，EVCS 在本文策略下運營5 d，考慮了EV 電池老化成本的總運營成本為8 661 元，減少了33.6%左右，其中充電成本在電價差的作用下為6 618 元，減少了16.6%左右，EV電池老化成本和EVCS 懲罰成本之和為2 043 元，減少了43.2%左右；EVCS 經過5 d 的運營，本文策略、RND策略下每輛EV的平均日運營成本分別為8.66、11.56元?；谇拔牡姆治?，本文策略通過獎懲回報和優化調度充放電行為以適應不同的用戶需求，達到了日運營成本最優。

表1 本文策略和RND策略下EVCS的成本比較（5 d）Table 1 Comparison of EVCS cost between proposed strategy and RND strategy（5 days） 單位：元

4.3 充放電行為分析

本文策略以EVCS 日運營成本最小化為目標實時調度EV的充放電行為。為了更直觀地說明EV充放電狀態的變化，選取20 輛EV 的充放電過程進行分析，并驗證考慮電池老化成本的本文策略的有效性。

本文策略下20 輛EV 的SOC 變化曲線如圖4 所示。由圖可知：當EV 到達EVCS 的時刻處于峰時段（10:00—14:00、17:00—20:00）內時，若EV 的初始SOC較高，則采取放電策略，若EV的初始SOC較低，則在滿足充電需求的前提下，采取不充不放策略；當EV 到達EVCS 的時刻處于平時段（07:00—10:00、15:00—17:00）內時，不論EV 的初始SOC 是高還是低，都會采取充電策略?？梢?，在電網峰平谷分時電價的作用下，EVCS 傾向于在峰時段提供V2G 服務，在其他時段為EV 充電，在降低了充電成本的同時，減少了電網峰時段的用電壓力。

圖4 本文策略下20輛EV的SOC變化曲線Fig.4 SOC curves of twenty EVs under proposed strategy

此外，圖4 中EV 充電時SOC 呈上升趨勢，放電時SOC 呈下降趨勢，當EV 的充放電狀態發生改變時，SOC 會保持一段時間不變，這是因為本文策略綜合考慮電池老化和用戶需求，延長了充放電狀態的切換時間，減小了充放電功率的波動。

為了驗證考慮老化成本的本文策略的有效性，同樣選取圖4中對應的20輛EV，比較考慮電池老化成本的基于MDP 模型的能量管理策略（本文策略）、不考慮電池老化成本的基于MDP 模型的能量管理策略（MDP 對比策略）、RND 策略下EV 的充放電功率和功率波動，結果如圖5所示。

圖5 不同的策略下20輛EV的充放電功率比較Fig.5 Comparison of charging and discharging power of twenty EVs among different strategies

由圖5 可知：RND 策略下EV 的充放電功率平緩，波動很小，但由表1 可知該策略下的懲罰成本較高；MDP 對比策略能夠充分利用峰谷電價差，降低運營成本，但是沒有考慮電池損耗，導致在切換充放電狀態前、后的功率波動較大（例如在時段10、14、18）；本文策略能夠明顯減少充放電狀態切換前、后的功率波動，而功率波動的減小有利于延長電池的壽命，更符合實際應用需求，且提高了EV 接入電網時的安全性和穩定性。

總體而言，當EVCS 面對相同的EV 用戶時：由于用戶行為具有不確定性，RND 策略難以滿足部分用戶的充電需求，雖然充放電功率平緩，不產生電池老化成本，但增加了產生懲罰成本的可能性；本文策略針對充電成本，調度EV在峰時段放電，在平、谷時段充電，針對電池老化問題，延長了充放電狀態切換時間，以減小相鄰時段的功率波動，且全程考慮了用戶的充電需求，使日運營成本比RND 策略降低了33.6%左右。

5 結論

本文利用EV可作為移動儲能設備的優點，考慮充電成本、電池老化成本和懲罰成本，降低EV 到達充電站時刻、離開充電站時刻等不確定性因素對優化目標的影響，將有限回合MDP 模型應用于EVCS的能量管理策略。

為了延緩EV 電池老化，本文考慮了EVCS 切換充放電功率造成的電池損耗，適當延長切換時間并采用電力電子元器件進行充放電控制，在一定程度上延緩了電池老化。另外，考慮用戶需求設置了相應的懲罰成本，算例結果表明基于MDP 模型的能量管理策略能基本實時滿足EV用戶的充電需求，具有很強的實用性和擴展性。未來將基于更多的EV 真實數據進行研究，針對不同用戶的特征建立多時間尺度調度模型以進一步完善調度策略，在增強魯棒性的同時，更好地滿足用戶的需求。

附錄見本刊網絡版（http：//www.epae.cn）。