智能電網中電動汽車充電的自適應電價控制方法

周文輝，鐘偉鋒，余 榮

(1. 電子科技大學中山學院 廣東 中山 528402; 2. 廣東工業大學自動化學院 廣州 510006)

智能電網中電動汽車充電的自適應電價控制方法

周文輝1,2，鐘偉鋒2，余 榮2

(1. 電子科技大學中山學院 廣東 中山 528402; 2. 廣東工業大學自動化學院 廣州 510006)

針對電動汽車的充電提出一種電價控制策略。聚合管理者集中管理電動汽車的電池，并且考慮用電高峰時電網的電能供給有限，通過電價控制調整充電的需求量。采用自適應動態規劃，通過在線網絡訓練，得到最優的電價策略。仿真結果表明，該自適應電價控制方法能夠通過學習電動汽車的移動性和充電過程，從而調整實際充電需求量至期望水平，保證智能電網的穩定運行。

自適應動態規劃; 電動汽車; 電價控制; 智能電網

智能電網促進綠色低碳經濟，是電網發展的大勢所趨。各國政府已認識到智能電網在促進開發低碳技術方面的重要意義，智能電網的建設逐漸成為一項戰略性基礎設施投資[1-2]。電動汽車作為零排放的環保節能交通方式，符合智能電網低碳低能耗的要求，而且電動汽車接入電網作為智能電網用電管理技術的一部分，對智能電網的發展起到了重要的支持和推動作用[3]。

然而，隨著電動汽車大范圍的普及，大量電動汽車同時充電會給電網帶來巨大的充電負荷，影響電網的用電安全，導致過載、壓降、功率損耗等負面影響[4-5]。

電價控制能有效地控制電動汽車的充電負荷。電價控制是通過實時調整電力價格，改變電動汽車用戶的充電電量和時間，以達到“消峰填谷”的效果。文獻[6]采用基于使用時間的電價，最小化電動汽車的充電成本，實現消鋒用電。文獻[7]采用實時電價動態地調整用戶的用電需求量；再根據總用電量重新計算電價，實現自動的需求響應。然而，上述文獻并未考慮電網電能供給的有限性，以及電動汽車移動性所帶來的影響。實際上在用電高峰期，電網的電能供給總量通常是有限的，同時電動汽車的移動性難以被準確預測，對電價控制造成影響。

基于上述分析，本文提出一種適合于智能電網中電動汽車充電的電價控制策略。在雙向通信網絡的支持下，智能電網中的聚合管理者(aggregator)集中管理電動汽車的電池，并且優化計算電力價格控制電動汽車在不同時間段的充電的需求量[8-9]。采用自適應動態規劃，聯合考慮電網電能供給的有限性和電動汽車的移動性，通過在線網絡訓練，從而得到最優的電價策略。仿真結果表明，本文提出的電價控制策略能通過動態學習電動汽車的移動性和充電過程，從而調整實際充電需求量至期望水平，保證智能電網的穩定運行。

1 系統模型

智能電網中，電動汽車的充電場景如圖1所示。聚合管理者是電動汽車與電網之間的接口，提供電池管理和充電服務。在智能電網中，一個聚合管理者為一個商業區或一個城市內的車輛提供服務。該區域內的每一個停車位置都有一個充電樁。充電樁是電動汽車與聚合管理者之間的接口，提供雙向通信和充電電能。圖1并不表示車輛必須在同一個充電站充電。車輛在各自的車位進行充電，而聚合管理者通過雙向通信來控制充電。聚合管理者把區域內所有連接的車輛的電池聚合起來，形成一個聚合電池。聚合電池的充電需求量表示其覆蓋區域內連接車輛的總充電需求量。

圖1 智能電網中電動汽車充電場景

在不同的時間段，區域內的電力需求是不一樣的。在白天，電力供給要滿足商業、工業、生活用電負荷等，此時電動車充電需求可能無法完全得到滿足。在某個時間段，當聚合電池充電需求量大于期望值時，就需要實施電價控制，以此減低電動汽車在該時間段的充電需求量。白天未充滿電的電動汽車可以在夜間電能充裕的時候再進行充電。

實施電價控制時，聚合電池會根據自身的電量(state of charging, SOC)和電價來調節充電需求量。然而，車輛的到達和離開會造成聚合電池的容量和電量的動態變化。電動汽車的移動性使聚合管理者難以預測聚合電池的狀態，從而影響電價控制的效果。本文采用自適應動態規劃，通過在線學習電動汽車的移動性和充電過程，得到最優的電價策略。

2 問題描述

2.1 電動汽車充電需求

電動汽車用戶會根據自身狀態和實時電價，動態地調整充電的需求量，從而最大化自身的效益[7]。本文中，聚合電池的充電需求量表示所有連接的電動汽車的總充電需求量。聚合電池的充電需求量為：

式中，d(t)表示在t時隙聚合電池的充電需求量；p(t)表示電價；γ表示用戶對電價的敏感程度；ω(t)表示支付意愿度。支付意愿度與電池電量的關系如下[10]：

式中，SOC(t)是聚合電池的剩余電量。對于單用戶，β為常數；對于多用戶的聚合電池，β與用戶數量成正比，β(t)∝S(t)。當電池剩余電量越低時，支付意愿度就越高，電動汽車充電需求也會越高。然而，聚合電池的電量會受到電動汽車的移動性所影響。聚合電池電量為：

式中，Q(t)表示聚合電池的電能存儲量；S(t)表示聚合電池的總容量；Sm(t)表示由車的移動性所造成的聚合電池總容量的變化量；Qm(t)表示由車的電能轉移所造成的聚合電池存儲電能的變化量。Sm(t)和Qm(t)的表達式分別如下：

式中，Si(t)和So(t)分別表示到達車輛和離開車輛的總電池容量，且Si(t)≥0，So(t)≤0；SOCi(t)為到達車輛的平均電量，而離開車輛的平均電量等于聚合電池的電量。

在整個充電過程中，電動汽車的移動性使Sm(t)和Qm(t)持續變化。聚合電池的電量SOC(t)也隨之變化。聚合管理者難以預測SOC(t)在未來時隙中的變化情況，影響電價控制的性能。

2.2 代價函數

由式(1)可知，當ω(t)?d(t)p(t)=0時，充電需求將會穩定，所以管理者將電價控制為：

式中，dE(t)是期望的充電需求量，由電網供給所決定。通過對電動汽車的剩余電量的實時監測，管理者可以知道SOC(t)。β值可以通過歷史數據計算或者用戶設定得到，從而得到ω(t)。設在t時隙中的系統狀態為x(t)={d(t),SOC(t),β(t),dE(t )}，每個時隙的代價為：

式中，e為實際需求量與期望值之間的允許誤差值。給定系統狀態x(t)和電價p(t)，就可以計算出時隙t結束時(或者時隙t+1開始時)的實際需求量d[x(t),p(t)]。為了電網的長期穩定運行，應該最小化整個充電過程的系統代價。長期系統代價為：

電價控制的目標就是計算出整個充電過程在不同時隙的最優電價策略{p?(1),p?(2),,p?(N )}，以獲得最小的電網的長期系統代價J?。

3 自適應動態規劃

根據Bellman方程，t時隙的最優電價為：

對于無限時隙的系統，J?(t +1)+無法用逆向遞推方法得到。而且，即使系統時隙數量有限，但系統狀態空間龐大，造成維數災難，計算機無法負擔如此大的計算量和存儲量。因此，本文采用自適應動態規劃(adaptive dynamic programming, ADP)理論，通過網絡訓練以獲得J?(t +1)+的近似值。為了獲得近似值，長期系統代價函數改寫為：

式中，σ是折扣因子，0≤σ ≤1。當0σ=時，只考慮當前時隙的代價；當σ=1時，所有未來時隙的代價都被認為同等重要；只有當0≤σ<1時，才能夠估計出長期系統代價。

3.1 啟發式動態規劃結構

本文采用自適應動態規劃中啟發式動態規劃結構(heuristic dynamic programming, HDP)[11-13]，如圖2所示。

圖2 啟發式動態規劃結構

該結構包含電價控制器，聚合系統和評價網絡。對于電價控制器，其輸入是系統狀態x(t)和評價網絡的輸出部分，然后輸出電價p(t)。電價控制器的運作表示為：

聚合系統描述的是系統狀態的變化，其輸入為電價p(t)和狀態x(t)，輸出為下一個時隙中系統狀態的估計值(t +1)。系統狀態包括4個分量，其中聚合電池的需求量d(t)的變化由式(1)表示，電量SOC(t)的變化由式(3)表示，dE(t)的變化由電網決定，β(t)的變化為：

式中，c為常數。

評價網絡采用BP神經網絡。其輸入是系統狀態，輸出是近似系統代價。通過在線網絡訓練，其輸出量會趨向于最優系統代價。

3.2 評價網絡的在線訓練

評價網絡的訓練采用梯度下降法，目標就是最小化如下誤差函數，即：

以上推導得到的正是系統代價函數式(10)。因此，訓練網絡時，最小化誤差式(13)可以在下一個時隙得到近似的系統代價。評價網絡的權重更新為：

式中，lc是學習率，lc>0。上述的啟發式動態規劃結構通過在線的神經網絡訓練，能估計出長期的系統代價。同時進行電價控制，最小化長期系統代價，從而得到最優的電價策略。

4 仿真結果

4.1 仿真設定

本文采用家庭出行調查數據庫[14]所提供的信息來描述車的移動性。選定美國舊金山的某個商業區，并記錄該區域的到達和離開車輛的數量隨時間的變化，如圖3所示。圖3只截取了需要進行電價控制的時間段(白天)。對電動汽車的電量進行歸一化處理，假設到達的電動汽車的初始電量在[30%,50%]區間內。而離開的電動汽車的平均電量等于聚合電池的電量。每個時隙對應一個小時。

圖3 某商業區白天時段的車流量(只包含參與調查的車輛)

啟發式動態規劃結構的評價網絡采用4-8-1結構的BP神經網絡，有4個狀態輸入神經元，8個隱藏層神經元，1個輸出神經元。輸出層采用線性函數purelin，隱藏層采用雙極性函數sigmoidal。

4.2 收斂性能

評價網絡的學習率設為lc=0.1。圖4給出了評價網絡的輸出曲線。由圖可見，系統代價能夠收斂至最小值，說明本文提出的啟發式動態規劃結構可以得到最優的電價策略。圖4a和圖4b分別設置了不同的折扣因子σ。由圖可見，減小折扣因子可以提高系統代價的收斂速度，但是只考慮未來短期的代價。提高折扣因子可以考慮未來長期的代價，但犧牲了收斂速度。

圖4 評價網絡輸出

4.3 電價控制性能

評價網絡的輸出量是近似的最優系統代價。由于未來時隙內的電動車信息是未知的，電價控制難免會有誤差。一個地區內的車流量的大小會影響電價控制的效果，如圖5所示。圖中縱坐標表示實際充電需求量與期望值之間誤差的絕對值的累計量。對圖3的車流量設置了不同倍數。由圖可見，車流量越大，控制誤差越大。用戶對電價的敏感程度γ也會影響電價控制的效果，如圖6所示。由圖可見，用戶對電價越敏感，控制誤差越大。

圖5 不同車流量造成的需求量累計誤差

圖6 不同電價敏感度造成的需求量累計誤差

5 結 論

聯合考慮用電高峰時電網的電能供給有限，以及電動汽車移動性的難預測特征，本文提出一種電價控制策略，通過電價控制調整不同時隙的電動汽車充電的需求量。采用自適應動態規劃，通過在線網絡訓練，從而得到最優的電價策略。仿真結果表明，本文的自適應電價控制方法能通過學習電動汽車的移動性和充電過程，從而調整實際充電需求量至期望水平，保證智能電網的穩定運行。

[1] YU Y, YANG J, CHEN B. The smart grids in China—a review[J]. Energies, 2012, 5(5): 1321-1338.

[2] 王益民. 堅強智能電網技術標準體系研究框架[J]. 電力系統自動化, 2010, 34(22): 1-6. WANG Yi-ming. Research framework of technical standard system of strong & smart grid[J]. Automation of Electric Power Systems, 2010, 34(22): 1-6.

[3] 韓鵬. 智能電網中電動汽車充電的優化調度研究[D]. 沈陽: 東北大學, 2012. HAN Peng. Research on the optimized scheduling of plug-in electric vehicle charging in the smart grid[D]. Shenyang: Northeastern University, 2012.

[4] SHAFIEE S, FOTUHI-FIRUZABAD M, RASTEGAR M. Investigating the impacts of plug-in hybrid electric vehicles on power distribution systems[J]. IEEE Transactions on Smart Grid, 2013, 4(3): 1351-1360.

[5] HADLEY S W, TSVETKOVA A A. Potential impacts of plug-in hybrid electric vehicles on regional power generation[J]. The Electricity Journal, 2009, 22(10): 56-68.

[6] CAO Y, TANG S, LI C, et al. An optimized EV charging model considering TOU price and SOC curve[J]. IEEE Transactions on Smart Grid, 2012, 3(1): 388-393.

[7] FAN Z. A distributed demand response algorithm and its application to PHEV charging in smart grids[J]. IEEE Transactions on Smart Grid, 2012, 3(3): 1280-1290.

[8] MWASILU F, JUSTO J J, KIM E K, et al. Electric vehicles and smart grid interaction: a review on vehicle to grid and renewable energy sources integration[J]. Renewable and Sustainable Energy Reviews, 2014, 34: 501-516.

[9] SIANO P. Demand response and smart grids—a survey[J]. Renewable and Sustainable Energy Reviews, 2014, 30: 461-478.

[10] YU R, DING J, ZHONG W, et al. PHEV charging and discharging cooperation in v2g networks: a coalition game approach[J]. IEEE Internet of Things Journal, 2012, 1(6): 578-589.

[11] WANG F Y, ZHANG H, LIU D. Adaptive dynamic programming: an introduction[J]. IEEE Computational Intelligence Magazine, 2009, 4(2): 39-47.

[12] LIU D. Approximate dynamic programming for self-learning control[J]. Acta Automatica Sinica, 2005, 31(1): 13-18.

[13] WERBOS P J. Approximate dynamic programming for real-time control and neural modeling[J]. Handbook of Intelligent Control: Neural, Fuzzy, and Adaptive Approaches, 1992, 15: 493-525.

[14] National renewable energy laboratory. Transportation secure data center[DB/OL]. [2015-01-15]. http://www. nrel.gov/tsdc.

編輯黃 莘

Price Control for Electric Vehicle Charging in Smart Grid: Adaptive Dynamic Programming Approach

ZHOU Wen-hui1,2, ZHONG Wei-feng2, and YU Rong2
(1. Zhongshan Institute, University of Electronic Science and Technology of China Zhongshan Guangdong 528402; 2. Faculty of Automation, Guangdong University of Technology Guangzhou 510006)

With the rapid growing of electric vehicles (EVs), it is necessary to implement the charging control for huge number of EVs to ensure the reliability of smart grid. In this paper, a strategy of price control is proposed for EV charging. The aggregator manages EV batteries centrally and controls the EV charging demand through price. EV users change their charging demand based on the price information. However, the EV mobility is unknown in advance, which causes the inaccurate prediction of EV state and impacts the performance of price control. Thus, adaptive dynamic programming (ADP) is leveraged to achieve the optimal price policy by using online network training. Simulation results show that the proposed method is able to tune the EV charging demand close to the expected level by learning from the EV charging process and the EV mobility, which ensures the smart grid runs steadily.

adaptive dynamic programming; electric vehicle; price control; smart grid

TP273

A doi:10.3969/j.issn.1001-0548.2015.04.028

2015 ? 01 ? 30；

2015 ? 05 ? 29

國家自然科學基金(61422201, 61370159, U1201253)；廣東省優秀青年教師培養計劃(YQ2013057)

周文輝(1972 ?)，男，副教授，主要從事智能電網方面的研究.