分布式能源接入后的電動汽車實時電價響應控制策略

牛亞琳李華玥李松嶺楊涌文

1.上海電力大學能源與機械工程學院

2.上海電力大學計算機科學與技術學院

0 引言

綠色發展是建設生態文明、構建高質量現代化經濟體系的必然要求，核心是節約資源和保護生態環境。近年來，為了解決環境污染問題，政府加大了對分布式能源的支持，提高可再生能源的占比，對電動汽車既具備移動負荷又具有儲能特性的設備提出了一系列的政策支持和目標規劃。但大量電動汽車和分布式能源直接入網會造成電網原有的功率平衡破壞，使電網負荷的峰谷變大。因此，如何將電動汽車與分布式能源有機結合，充分發揮分布式能源和大電網之間的協同作用，幫助電網實現削峰填谷成為眾多研究關注的熱點。

如今，針對分布式能源接入后電動汽車實時電價響應控制策略的研究主要集中在分布式能源與大電網的協同優化運行方面。文獻[1]提出了一種發電側與供電側的分時電價聯動模型，并結合實際數據對不同的電動汽車入網方式和放電電價模式進行仿真，驗證了模型的有效性，但其提出的峰谷電價響應度是一個固定值，尚未考慮車主充放電行為受價格信號等因素的影響。文獻[2]根據計及網內可再生能源出力與負荷情況不平衡率所發布的實時電價，通過對比有序充電和無序放電情況下微電網運行情況，驗證了其策略在微網運行優化方面的有效性，但尚未提出當微電網儲能不夠供應汽車充電時應如何進行處理的方案。文獻[3]提出了考慮可再生能源利用率和投資運行成本的多目標優化配置數學模型，通過算例求解，得到不同光伏利用率下的充電站各單元最優容量配置。文獻[4-6]雖考慮了微網內RES出力不確定性，但電價形式較為單一，在反映系統動態供需關系方面有失靈活。文獻[7]提出了一種批量強化學習（RL）算法，從一批轉換樣本中學習最優的降低成本計費策略，并在新情況下進行成本降低的計費決策，使用實際定價數據的模擬結果表明，在使用建議的充電方法時，PEV所有者可節省10%～50%的成本。

綜上所述，隨著分布式能源的規?；瘧?，分布式能源與大電網協同作用的研究日益增多，但在考慮當電動汽車接入后，如何有效運用分布式能源與電網之間的作用，并在微網儲能系統不夠供應汽車充電時應如何進行處理等方面研究甚少。針對以上問題，本文將分布式能源和電動汽車相結合，實現可再生能源就地消納，并提出了一種基于強化學習的電網實時電價控制策略制定科學的實時電價，進一步通過實時電價調控機制，引導用戶有序充電，使分布式能源和大電網之間的協同作用得到充分發揮，從而達到能源的綠色使用。

1 分布式能源接入后電動汽車的充電策略

1.1 風光儲充電站

含有風光儲的充電站微電網如圖1所示。微網內有風力和光伏發電兩種分布式電源，當可再生能源出力小于電動汽車群負荷時，考慮充電站儲能系統和電網兩種電源協同供電。電動汽車負荷通過充電站內充電樁進行充電。充電站管理系統監測各部分的運行情況，合理發布電價，充分調動網內電能。

圖1 風光儲充電站微電網示意圖

1.2 電動汽車負荷模型

為便于研究，引入電動汽車群的概念。電動汽車群是指一定數量的電動汽車聚集體，其起始充電時刻服從于式（1）的充電分布規律。

式中：μs，σs為對應的期望和標準差，x為起始充電時刻。

1.3 能量協同策略

微電網內不平衡功率可以表示為：

1.4 風光儲充電站儲能系統的電價模型

根據調查研究，制定充電站的儲能系統SOC與電價的關系[8]如圖2所示：

圖2 充電站儲能系統SOC與電價的關系

電價隨儲能的減少而線性增加。當SOC=1時，充電站儲能系統電價為0.8元/kWh，與僅靠風光出力時的電價相等；當SOC＜1且Pgap＜0時，此時電網介入協同供電，電費按照儲能系統與電網供電比例綜合收??；當SOC接近0時，此時幾乎完全由電網供電，電價也基本與電網電價一致。

在傳統充電方式中，電動汽車先由風光儲充電站先行供電，當SOC降為0時，再接入電網繼續供電。此類由儲能系統供電直接切換至電網供電方法會導致電網瞬時功率不平衡，影響電網的穩定運行。并且，該充電方式并未考慮到隨著SOC的降低，儲能系統供電的電價將不斷上升，由此將降低總體的經濟性。因此，我們考慮儲能系統和電網協同給電動汽車供電，從而有效地解決了以上問題。

2 基于強化學習的實時電價調控策略

當微網儲能系統不足以供電動汽車充電而接入電網時，本文提出了一種基于強化學習的電網實時電價控制策略。通過實時電價調控機制，鼓勵用戶在谷時段充電。

強化學習是智能體以“試錯”的方式進行學習，通過與環境進行交互獲得的獎賞指導行為，目標是使智能體獲得最大的獎賞，強化學習不同于連接主義學習中的監督學習，主要表現在教師信號上，強化學習中由環境提供的強化信號是對產生動作的好壞作一種評價(通常為標量信號)，而不是告訴強化學習系統RLS如何去產生正確的動作。由于外部環境提供的信息很少，RLS必須靠自身的經歷進行學習。通過這種方式，RLS在行動-評價的環境中獲得知識，改進行動方案以適應環境。

2.1 模型的建立

在強化學習中，我們定義算法的狀態空間

我們希望電網負荷能穩定在一個可控范圍內，因此制定一個基準負荷l，并將回報函數定義如下：

其中，ta為初始時刻。

遺憾的是，由于電價的不確定性，我們很難對其進行有效的預測。因此，采用Q-learning算法，其中，Q函數可以定義為：

由上式，我們可以得到一個最優策略：

即為在系統狀態g下，能夠最大化Q函數的策略。

2.2 算法流程

算法流程見表1。

表1 基于強化學習電網實時電價算法流程

3 算例分析

以某地區的微網為例，該微網分布式能源由800個光伏陣列和50臺風力發電機組成。光伏陣列由4×5光伏電池板組成，其額定功率為4kW，光電轉化效率為20%。風機的容量為6MW，切入風速、切出風速和額定風速分別為3.5m/s,25m/s,15 m/s。該地區使用充電服務的電動汽車數量為2 000輛，其電池容量為20 kWh，充電功率為6kW，充電效率為85%。

為驗證分布式充電站與電網聯合運行策略的有效性，我們對聯合運行和無聯合運行時電網負荷分別做了仿真模擬如圖3所示。

圖3 聯合運行和無聯合運行時電網的負荷情況

從圖3中可以看出，當無聯合運行時，由于在開始僅使用儲能供電，在凌晨5∶00時，當充電站儲能被消耗完，此時如果將充電汽車直接接入電網，會造成電網負荷的迅速上升，給電網造成極大沖擊。同理，雖然白天用戶較少，且光伏為儲能充電，但由于中午充電需求較大，依然會在短時間造成較大的峰谷差。在使用分布式充電站與電網聯合運行并利用強化學習算法實時調整電價后，當充電站儲能較少時，由電網提前介入分擔部分充電壓力，防止儲能消耗殆盡，使電動汽車充電負荷對電網沖擊相對平緩；同時，因在儲能充足時電價較為經濟，使充電站儲能得到及時高效的利用。

4 結論

本文基于風光儲的微電網系統與大電網的交互，提出一種不同于電動汽車分時電價的動態響應控制策略。首先考慮了分布式能源接入后，通過計算微網不平衡功率，提出了一種儲能系統與電網協同運行的策略，既實現了可再生能源的就地消納，又有效地防止了電網瞬間接入可能造成的電網負荷迅速上升，造成峰谷差過大的問題。針對電動汽車接入電網充電部分，通過強化學習算法，得到了電價控制模型。綜合考慮了可再生能源出力及負荷的波動，根據微電網的實時運行情況進行調整，適用性較強，并得出以下結論：

(1)本文所提及的動態電價調整策略相比分時電價策略能更好地發揮電動汽車的儲能特性，且提高了新能源利用率，實現了微電網中分布式電源和電動汽車的協調控制。

(2)電動汽車有序的充放電使日用電負荷曲線變得平緩，更利于微電網與大電網的穩定運行。

(3)電動汽車的有序充放電可以減少微電網中儲能的配置，相比無序充電可以配置更少的儲能裝置，提高資源利用率，使微電網運行更經濟。