基于強化學習的電動汽車換電站實時調度策略優化

張文昕，栗 然，臧向迪，嚴敬汝，祝晉堯

（1. 華北電力大學 電氣與電子工程學院，河北 保定 071003；2. 國網河北省電力有限公司電力科學研究院，河北 石家莊 050022；3. 國網石家莊供電公司，河北 石家莊 050004）

0 引言

電動汽車（EV）憑借其低碳環保、靈活可控的特點被普遍認為是提高汽車產業競爭力、轉型低碳經濟、保障能源安全的重要途徑［1］。隨著EV 規?；瘧?，大量EV 集中在電網負荷高峰時段接入電網充電，將進一步增大負荷峰值，帶來系統容量不足、影響電能質量等一系列問題。目前，EV 的電能補充模式主要包括整車慢充、整車快充、電池更換3 種。其中，電池更換模式下EV與電池的可分離特性能使電池充電脫離EV的停駛時間限制，更有利于集中管理電池充放電以避免大規模EV 隨機充電對電網運行造成的不利影響［2］。將電池視為電網的分布式微儲能單元對其充放電進行有序調控，可以實現削峰填谷［3］、促進新能源消納［4］、進行電壓和頻率調節［5］等功能，實現EV 與電網的雙向友好互動［6］。同時，相比于電池充電站，在相同的服務容量下電池換電站能為EV 運營商提供更多的經濟收益［7］。故研究在換電站并入電網的情況下站內電池的充放電優化調度已成為智能電網發展的必然趨勢。

已有文獻從不同的角度對上述問題進行了研究，大多先預測EV 在未來時刻的換電需求，然后基于預測結果進行調度決策。文獻［8-9］提出了充／換電站的日前調度優化模型，對次日整天的充放電計劃進行優化。但日前調度只能對次日計劃進行粗略預測，無法考慮EV通勤行為、交通狀態、能源消耗帶來的不確定性。而且這種提前預測十分依賴于對具體應用場景內換電需求的物理過程建模，無法簡單推廣至更多的場景，泛化能力較弱。還有一部分研究將1 d劃分為多個時段，并在每個時段內進行獨立決策，以實現實時調度。文獻［10-11］首先進行日前預測，然后在日內每個時段求解換電站的最優決策；文獻［12-13］建立了換電站和電網的雙層調度模型，先預測每個時段的換電需求，然后對上、下層問題分別進行迭代求解，得到換電站與電網的最優決策。但是求解每個時段的優化問題需要進行大量的迭代計算，算力消耗大且成本高，難以支撐大規模充放電策略的在線計算。上述研究均先進行換電需求預測，并將預測值視為真實值進行調度，這不但需要建立額外的預測模塊，而且該預測模塊也會帶來誤差累積，使得算法無法適應真實的換電需求。此外，上述實時調度都是通過分時段獨立計算來實現“偽”實時決策，相鄰時段的決策之間沒有關聯，這可能會導致決策振蕩問題。

為了解決以上問題，本文提出了基于帶基線的蒙特卡羅策略梯度法的換電站實時調度策略優化方法。策略梯度法［14］屬于無模型（model-free）的強化學習算法，無模型主要體現在：算法不依賴于對環境的準確建模，不需要對換電需求和EV用戶行為進行預測，也不需要人為提供啟發式的決策規則。因此，決策的制定不依賴于任何對未發生事件的假設。決策器通過與環境的交互來學習調度策略以尋求回報最大化。在進行訓練時，采用蒙特卡羅采樣對當前狀態-動作之后時段的回報均值進行無偏估計，然后使用該估計值指導決策器的更新。相比于基于預測的方法只考慮預測值的情況，策略梯度法實際上考慮了當前狀態-動作之后所有可能出現的情形，使得算法具有較強的對換電需求不確定性的適應能力。同時強化學習的數學基礎理論是馬爾可夫決策過程（MDP），使得相鄰時段的決策是相互關聯的，這在理論上能夠緩解決策振蕩問題。

本文所提換電站實時調度策略包含充放電策略和參與調度電池數量兩部分。首先，給出策略梯度強化學習的框架，然后確定換電站實時調度問題的狀態空間、動作空間、獎勵函數、決策器，構建基于蒙特卡羅策略梯度法的換電站實時調度模型。該模型以各時段換電站的充放電狀態、參與調度電池數量為控制變量，綜合考慮電池數量、電量等約束條件對實時調度最優策略進行求解。此外，本文還討論了不同充電功率對調度策略的影響及電池選擇方式對換電站服務可用率、經濟效益和電網基礎負荷的影響。

1 問題構建

換電站的結構示意圖如圖1 所示，其主要由充放電機、配電變壓器、動力電池組及其存放倉、更換裝置等部分構成。

圖1 換電站的結構示意圖Fig.1 Structure diagram of battery swapping station

圖1 描述了換電站的工作模式：到站EV 在動力電池更換裝置上完成電池更換，卸載的電池被存入動力電池存放倉等待調度指令。調度指令分為充放電指令、電池數量指令兩部分，其中充放電指令決定充放電機的充放電狀態，電池數量指令決定新放入插槽的電池數量。接收到調度指令后，被選中的電池接入充放電機。當電池充滿電或放電至允許下限或充放電指令改變時，將電池從充放電機上卸下，并重新存入動力電池存放倉等待下一次調度指令。

作為電網與EV用戶的中間環節，換電站的利潤來自對EV用戶換電所得換電收益、對電網饋電所得饋電收益與電網購電成本之間的差額。在保證換電服務可用率的情況下，換電站通過響應分時電價對站內電池進行統一充放電調度，能減少電網購電成本，增大對電網饋電所得收益，從而獲得更大的利潤空間。因此，換電站的實時調度策略應著眼于安排合理的充放電時間以及接入電網的電池數量。

1.1 強化學習概述

強化學習是一類求解序列決策問題的有效算法，其基本框架見附錄A 圖A1。強化學習框架的主要角色為智能體和環境。時段i環境所處的狀態為si，智能體在某策略下根據該狀態執行動作ai，該動作會影響環境的狀態，使得環境在下一個時段轉移到狀態si+1。同時，智能體會獲得環境的反饋，又被稱為獎勵ri+1。該獎勵在一定程度上衡量了在狀態si下執行動作ai的優劣。若智能體的某個策略獲得了環境的正向獎勵，則之后智能體產生該策略的趨勢會加強?；诖?，在與環境不斷交互的過程中，智能體以“試錯”的方式進行學習，根據獎勵調整策略使整個過程的累計獎勵達到最大。

1.2 帶基線的蒙特卡羅策略梯度強化學習

為了解決傳統換電站調度策略優化方法對預先給定數據、換電需求預測值依賴性高的問題，本文采用策略梯度強化學習對換電站實時調度策略進行優化。將連續時間以時間間隔Δt進行離散化，智能體在每個時段根據當前狀態進行1 次決策。智能體在環境上運行I個時段后得到1 條經驗軌跡τ，其具體構成為s0，a0，r0，s1，a1，r1，…，sI-1，aI-1，rI-1，sI。

式中：“?”表示等號右側為左側的無偏估計；N為從pθ(τ)中采樣的軌跡數量；τj為采樣的第j條軌跡；Gi(τj)為軌跡τj中時段i的回報；Vπθ(si)為動作策略πθ下狀態si的價值。

引入基線雖然不改變策略梯度的期望，但降低了梯度的方差，使算法更加穩定。所以，可采用梯度上升［15］的方法優化J(θ)。算法的偽代碼見附錄C。

1.3 狀態空間

在強化學習中，狀態代表了智能體所能感知到的環境信息。狀態通常由1 個高維向量表示，其每一個元素表示環境的一個可觀測特征，狀態向量全體組成狀態空間。狀態空間的選取標準是盡可能選擇與智能體決策相關的最小環境特征子集?；谠摌藴?，智能體在決策時既有充分的依據，又避免了冗余特征帶來的過擬合和額外計算開銷問題。

1.4 動作空間

本文所提換電站的實時調度策略包含充放電狀態和參與調度的電池數量這2 個動作指令。充放電狀態用一個二進制變量δ表示，δ=1時表示充放電機撥入充電檔位，δ=0時表示充放電機撥入放電檔位。由于換電站的電池庫存眾多，將具體插入的電池數量作為動作之一會使動作空間過大，導致模型難以訓練。為了減小動作空間，本文將u塊電池作為1個動作整體，即在Δt時間內接入充放電機的電池數量只能為0或u。這樣，參與調度的電池數量可用一個二進制變量μ表示，當μ=1 時表示充放電機新接入u塊電池，當μ=0時表示充放電機無新接入的電池。因此，一個完整的動作可表示為2維向量a=[δ，μ]。

1.5 獎勵函數

智能體的目標是最大化累計獎勵總和，通過人為設計合適的獎勵函數可以引導智能體給出合理的換電站調度策略。

式中：β1、β2、β3為權重值，均屬于超參數，可通過網格搜索（grid search）確定其具體取值。

1.6 決策器

本文以Δt為時間間隔對連續的時間進行離散化，換電站在每個時段根據當前狀態進行1 次決策。換電站的決策是隨機的，由條件概率πθ(a|s)描述。

為了學習動作和狀態之間的復雜依賴關系，本文調度策略的決策器πθ(a|s)采用神經網絡的形式，被稱為策略網絡。本文假設充放電狀態指令δ和參與調度的電池數量指令μ在給定狀態s的情況下條件獨立，即滿足式（4）。

式中：πθδ(δ|s)、πθμ(μ|s)分別為狀態s下選擇充放電狀態指令δ、參與調度的電池數量為μu的概率，這2個概率均使用帶2個隱層的神經網絡進行建模，并且在2 個隱層進行參數共享。在輸出概率時，采用Sigmoid 函數對概率值進行歸一化處理。決策器的神經網絡結構示意圖如圖2所示。

圖2 決策器的神經網絡結構示意圖Fig.2 Neural network structure diagram of decision maker

策略網絡的目標是在保證服務可用率的同時，盡可能最大化對電網饋電所得收益和對EV 用戶換電所得收益。該優化目標即為策略梯度強化學習的目標，因此策略網絡的最優參數可由式（5）所示優化問題給出。

2 換電站實時調度策略的數學形式

本節首先描述狀態與環境交互之后進行狀態轉移的數學規則，然后根據換電站的收益明確獎勵函數的具體計算過程。

2.1 電池的狀態轉移

圖3 電池狀態轉移關系示意圖Fig.3 Schematic diagram of battery state transition

2.2 電池的荷電狀態

電池的荷電狀態SOC（State Of Charge）是指電池在一定的放電倍率下，剩余電量與相同條件下額定容量的比值。本文將電池的恒流-恒壓兩階段充放電過程簡化為恒功率過程，SOC的計算公式為：

式中：Qi為時段i電池的SOC；Pc、Pd分別為充、放電功率；ηc、ηd分別為充、放電效率；C為電池額定容量。

為了避免過充過放對電池造成的損害，需要對電池的充放電限度進行約束。限制接入充放電機電池的SOC 上、下限分別為95%、20%，即：若電池的SOC達到95%，則視為滿電電池；若電池的SOC低于20%，則不再參與放電。滿電電池和不再參與放電的電池均從充放電機上拔出并存入動力電池存放倉。

2.3 換電站收益

換電站收益包括對EV 用戶換電所得收益和對電網饋電所得收益。

2.4 排隊意愿和服務可用率

對EV用戶的排隊意愿進行如下假設：當動力電池存放倉內有可用電池但動力電池更換裝置無空閑時，EV 用戶愿意排隊等待；當動力電池存放倉內無可用電池時，EV 用戶拒絕排隊等待電池充滿電即直接離開，被視為未成功換電［16］。在這種排隊意愿下，排隊等待換電的EV數量滿足式（7）。定義日服務可用率ξ為1 d 內成功換電的EV 數量vs與到站EV 總數量vc之比，如式（11）所示。

式中：ε1、ε2分別為換電成功獎勵系數、換電失敗懲罰系數，均為正數。設置該懲罰項的目的在于：懲罰換電站一直向電網饋電，鼓勵其盡可能多地滿足EV 用戶的換電需求，以提高換電站的日服務可用率。ε1和ε2均為超參數，可通過網格搜索確定其具體取值。

3 算例分析

為了驗證本文所提調度策略的有效性，設計了以下2 組實驗進行仿真分析：①可視化動作策略，以驗證基于帶基線的蒙特卡羅策略梯度法的實時調度策略能否通過合理安排充放電時間和接入電池數量來增加獲利空間，進一步討論不同充電功率對調度策略的影響；②給出2 種電池選擇方式，討論不同的電池選擇方式對換電站經濟收益、服務可用率、電網基礎負荷的影響。

3.1 實驗設置

3.1.1 算例參數設置

本文選取小型換電站作為算例，并進行了如下假設：①EV 使用同一型號的電池，且電池的充放電功率恒定；②EV 換電過程所需的時長服從正態分布N（10，2）；③到站換電的EV 電池的剩余SOC 服從（20%，30%）范圍內的均勻分布；④每個時段內到達換電站的EV 數量是一個服從泊松分布P(λ)的隨機變量。算例從柏松分布中進行采樣是對真實EV 到達換電站的場景進行仿真，可使用真實數據對本文所提方法進行訓練。

換電站的相關參數以及到站EV 數量泊松分布的λ取值分別見附錄D 表D1 和表D2。購電電價參考國網北京市電力公司的峰谷分時電價［17］，假設峰時段和平時段的上網電價為購電電價的80%，由于不鼓勵在谷時段向電網饋電，谷時段的上網電價設為0。分時電價數據見附錄D表D3。

3.1.2 電池的選擇方式

當換電站接收到動作指令μ選擇u塊電池接入充放電機時，面臨具體電池的選擇問題。由2.2節可知，在同一充放電功率下，電池的SOC 不同，其充電耗時和放電空間也不同。選擇不同的電池響應動作指令μ可能會對后續的調度指令、換電站的經濟效益產生影響，故設定以下2 種電池選擇方式進行探討。

1）“高先充低先放”方式。

“高先充低先放”方式是換電站的常用電池選擇方式，即為了盡可能在相同時間內獲得更多的滿電可用電池，優先選擇電量高的電池充電；同時，為了盡量維持高電量電池的數量，優先選擇電量低的電池放電。直觀來看，這種選擇方式能夠最大限度地滿足EV 用戶的換電需求［18］。具體而言，在充電模式下，即當δ=1 時，選擇不可用電池中SOC 最大的u塊電池進行充電；在放電模式下，即當δ=0 時，選擇不可用電池中SOC最小的u塊電池進行放電。

2）隨機選擇方式。

隨機選擇方式是指換電站接收到動作指令μ后在動力電池存放倉內隨機選擇電池以響應指令。

3.1.3 訓練過程

本文設置決策時間間隔Δt=2 min，即將1 d分為720 個時段。對于策略網絡πθ(a|s)而言，其輸入維度為狀態空間的維度6，輸出維度為動作空間的維度2。采用帶2 個隱層的全連接神經網絡對策略網絡進行建模，2 個隱層的維度分別為12、10，激活函數為ReLU 函數。對策略網絡進行更新時采用隨機梯度下降SGD（Stochastic Gradient Descent）算法，學習率設為10-3。設置折扣因子γ=0.6，采樣軌跡長度為1 000。服務可用率懲罰項中換電成功獎勵系數ε1=30，換電失敗懲罰系數ε2=50。

選取最大迭代輪數為1000進行訓練，軌跡的平均獎勵變化曲線如圖4 所示。為了更好地呈現平均獎勵的變化趨勢，利用基于移動窗口的加權平均算法對平均獎勵進行平滑除噪，在長度為60 的滑動窗口內對3 階多項式進行最小二乘擬合得到滑動平均獎勵。由圖可以看出：平均獎勵存在一定的局部振蕩，這是因為采用蒙特卡羅采樣估計策略網絡的梯度帶來了誤差；平均獎勵隨著迭代輪數的增大呈現較穩定的上升趨勢，并逐漸收斂穩定。

圖4 平均獎勵的變化曲線Fig.4 Change curves of average reward

3.2 不同充電功率下調度策略對比分析

在3.1節實驗設置的基礎上改變充電功率，對比分析充電功率為6.6 kW和15 kW時的調度結果。對不同充電功率的策略網絡進行訓練和測試的過程中，電池均采取“高先充低先放”選擇方式。

3.2.1 充電功率為6.6 kW時的調度結果可視化

當充電功率為6.6 kW 時，測試日4 種狀態的電池數量如圖5所示。

圖5 充電功率為6.6 kW時4種狀態的電池數量Fig.5 Number of batteries in four states when charging power is 6.6 kW

結合圖5、附錄D 表D2 和表D3，可得到如下結論。

1）谷時段（00:00—07:00、23:00—24:00）的在充電池數量基本保持在25～30 塊，這是因為谷時段的購電電價低且上網電價也較低，換電站通過學習得到“錯峰充電”策略以降低充電費用，同時也為當天的換電需求增加可用電池儲備，避免在未來時段由于沒有足夠的可用電池導致有換電需求的EV 離開而帶來的懲罰費用。在該策略下，00:00—07:00 時段內可用電池數量持續快速上升，從15 塊增加到195 塊；23:00—24:00 時段內可用電池數量從8 塊增加到15塊。

2）峰時段（10:00—15:00、18:00—21:00）的在放電池數量基本保持在25～30 塊，這是因為峰時段的上網電價高，且換電站內有足夠的可用電池儲備支撐換電需求，換電站為了擴大利潤空間，在峰時段選擇集中放電以增加對電網的饋電收益。對比表D2可見，12:00—14:00、18:00—19:00 存在2 個換電需求高峰，因此10:00—15:00 時段內可用電池數量由225 塊迅速減少到90 塊，18:00—21:00 時段內可用電池數量由43塊減少到5塊。

3）平時段為07:00—10:00、15:00—18:00 以及21:00—23:00。07:00—10:00 時段內可用電池數量增幅減緩，這是因為平時段的購電電價較谷時段更高，且該時段的可用電池儲備較充足，換電站雖仍選擇充電但充電力度減弱。07:00—10:00時段內可用電池數量由195塊增加到225塊，占站內電池總數量的90%。為了滿足15:00—18:00、21:00—23:00 時段內的換電需求，站內的充放電機接近滿載。對比表D2 可知，15:00—18:00 時段的換電需求較大，可用電池數量由90塊減少到43塊；21:00—23:00時段內換電需求相對較少，持續為電池充電導致可用電池數量少量增加。

綜上可知，在不同的時段采用本文所提方法可為換電站做出合理的決策。由圖5 可見：充電站內全天均有可用電池庫存，表明本文所提調度策略能夠滿足換電需求；該測試日結束時所?？捎秒姵財盗颗c00:00時刻的初始可用電池數量基本持平，可以認為學習所得策略網絡具有可持續運用的能力。

3.2.2 充電功率為15 kW時的調度結果可視化

當充電功率為15 kW 時，測試日4 種狀態的電池數量如圖6所示。

圖6 充電功率為15 kW時4種狀態的電池數量Fig.6 Number of batteries in four states when charging power is 15 kW

分析圖6可得如下結論。

1）在谷時段00:00—07:00 內，可用電池數量由10 塊增加到250 塊，即換電站能在該時段內完成站內所有庫存電池的充電過程。

2）在平時段07:00—10:00 內，換電站選擇滿載放電，這是因為平時段的上網電價與谷時段的購電電價之間存在電價差，此時換電站能通過放電獲得利潤；而圖5 中由于電池只能慢速充電，07:00 時刻只有195 塊可用電池，因此換電站仍選擇充電來增加可用電池庫存。

3）在時段10:00—24:00 內，圖6 中的調度策略與圖5 總體一致，均能保證站內全天都有可用電池庫存，保障能夠滿足換電需求。

對比圖5 和圖6 可知，2 種不同充電功率下的調度策略整體類似，但較大的充電功率可以縮短電池的充電時間，能在同樣滿足換電需求的基礎上，有更大的“低充高放”利潤空間?？梢?，充電功率的大小會間接影響換電站的調度策略，而本文所提換電站實時調度策略具有一定的通用性。

3.3 電池選擇方式對比分析

在充電功率為6.6 kW 的策略網絡下，分析電池的“高先充低先放”和隨機選擇方式對日服務可用率、換電站收益以及電網基礎負荷的影響。

1）對日服務可用率的影響。

在訓練好的模型參數下分別使用2 種電池選擇方式對策略網絡重復測試1000次，得到的日服務可用率分布直方圖見附錄D 圖D1。由圖可見：在“高先充低先放”選擇方式下，該策略網絡的日服務可用率大多能達到90%以上，其中一半以上的測試能完全滿足換電需求，可認為在該策略網絡下電池采取“高先充低先放”選擇方式能保障換電站的正常運行；而在隨機選擇方式下，該策略網絡的日服務可用率主要分布在（60%，90%）范圍內，為了使電池隨機選擇方式也能滿足換電需求，需增加換電站的電池儲備數量和充放電機數量，這樣就增加了硬件成本。

2）對換電站收益的影響。

在同一策略網絡下，采用2 種電池選擇方式分別測試1 000 次后，可得換電站日收益結果見附錄D表D4，日收益分布直方圖見附錄D 圖D2。由表D4可見，“高先充低先放”選擇方式下換電站的平均日收益更高。由圖D2可見，“高先充低先放”選擇方式下的換電站日收益總體比隨機選擇方式下的日收益更高。這是因為“高先充低先放”選擇方式能滿足更多的換電需求，提高了從EV用戶處獲得的收益。

3）對電網基礎負荷的影響。

為了驗證本文所提調度策略對電網負荷削峰填谷的作用，基于文獻［19］中給出的電網基礎負荷，得到2 種電池選擇方式下計及換電站負荷前、后的電網總負荷，如圖7 所示。由圖可知，在2 種電池選擇方式下，電網基礎負荷疊加換電站負荷后，01:00 時刻的負荷谷值有明顯的增大，12:00時刻的負荷峰值有明顯的減小，21:00 時刻的第2 個負荷峰值有少許減小并稍微后移?？傮w而言，2 種電池選擇方式在換電站基于價格的需求響應模式下均能減小全天的負荷峰谷差，其中“高先充低先放”選擇方式的削峰填谷效果略優于隨機選擇方式，但總體差別并不明顯?？梢?，本文所提考慮換電站需求響應模式的實時調度策略利用站內電池的儲能特性能夠對電網負荷起到一定的削峰填谷作用。

圖7 計及換電站負荷前、后的電網總負荷曲線Fig.7 Total power grid load curves with and without battery swapping station load

上述結果表明，本文所提換電站實時調度策略在“高先充低先放”電池選擇方式下能夠滿足換電需求，獲得較大的經濟收益，且具有削峰填谷的作用。

3.4 訓練與決策時間

本文算例均在Intel（R） Core（TM） i5-9300H CPU@2.40 GHz 的計算機上基于Python 3.8 和Py-Torch 1.5.1編程實現。在此基礎上，1次訓練過程耗時約為26 min，策略網絡的1 次前向傳播僅需5 ms左右。本文所提帶基線的蒙特卡羅策略梯度法的計算復雜度與狀態空間、動作空間、神經網絡大小有關。但相較于計算復雜度隨EV 數量指數增長的傳統方法而言，本文方法在求解換電站實時調度問題上仍有明顯的優勢，降低了對算力的要求，在實際部署時也可以減少硬件設備成本。

4 結論

本文提出了基于強化學習的換電站實時調度策略優化方法，所得主要結論如下。

1）提出了帶基線的蒙特卡羅策略梯度法進行EV 換電站實時調度，測試結果表明所提策略可在保證換電站服務可用率的情況下獲得更多的放電收益，也可在長時間尺度下持續應用。同時，訓練得到的換電站調度策略能在不同時段做出合理的決策。

2）探討了6.6 kW 和15 kW 這2 種充電功率下訓練得到的換電站調度策略，發現這2 種充電功率下的調度策略相似，但較大的充電功率能夠增大換電站“低充高放”的利潤空間，可認為本文所提方法具有一定的通用性。

3）探究了“高先充低先放”和隨機選擇2 種電池選擇方式對換電站服務可用率、經濟效益、電網基礎負荷的影響，發現“高先充低先放”選擇方式能夠在滿足更大服務可用率的同時，獲得更大的經濟效益，同時對電網負荷進行削峰填谷的效果更好。但關于電池的最優選擇方式還有待進一步研究。

4）本文所提模型在換電站實時調度問題上具有通用性，可通過簡單修改進行問題遷移。例如：通過在獎勵函數中增加可再生能源消納率的獎懲項，使其向換電站與可再生能源協同消納問題遷移；將動作空間中的二進制充放電狀態變量修改為多值功率檔位變量，使其向多檔功率充放電問題進移等。

附錄見本刊網絡版（http：//www.epae.cn）。