智能電網電力大數據技術研究

李 娜 王天祺 尚飛宏

內蒙古電力（集團）有限責任公司巴彥淖爾電業局信息通信處 內蒙古 巴彥淖爾市 015000

【摘 要】智能電網系統在我國的應用日漸廣泛，大數據處理技術已然是智能電網安全運行的有利武器。但在電網智能化的發展進程中，實時、隱私等方面的性能需求對大數據技術本身提出了更嚴峻的挑戰，鑒于此，本文對智能電網電力大數據技術進行了分析探討。

【關鍵詞】智能電網；大數據；技術

一、智能電網中大數據的特點

智能電網業務中的基本數據按內容可以劃分成三大類。

（1）運行數據、設備檢測數據、設備實時狀態參數數據。

（2）電力企業營銷數據（用電客戶、電量報價等）。

（3）電力企業管理數據。在上述類目可以再次細化為結構化數據和非結構化數據兩大類。但無論基于何種分類方式，大數據在智能電網中體現出來的特點是不變的，簡單概括為體量大、類型多，具體如下：（1）數據體量大：即數據的數量和體積較為龐大。在智能時代的推動下，電網在數據吞吐量的級別已經從以往的TB級飆升為PB級。（2）數據類型繁雜：由于電力企業自身存在的特殊性，加之其地理分布情況在區域上的差異性，電網企業涉及到的數據有著極為復雜的類別劃分，細分后的子類和子項同樣在數量上非常龐大，也正是由于這一特點，不同的數據類別對服務器端硬件設備及用戶端的系統平臺均有不同程度的配置、性能及處理需求，從而更是增加了電網企業內網及外設雙重建設項目的難度。

（3）數據價值密度低：異常數據出現的頻率低，同時也是對電網軟、硬件設備維修和檢測最有價值的。

二、智能電網大數據關鍵技術

1、多源異構數據的聚合管理技術

電力大數據的數據集成管理技術，包含關系型和非關系型數據庫技術、數據融合和集成技術、數據抽取技術、過濾技術和數據清洗等。電力大數據的來源極其廣泛，數據類型極為繁雜，且數據質量不高，準確性、及時性均有所欠缺，對于這種多源異構數據的聚合管理技術也提出了更高的要求。首先必須對數據源的數據進行抽取和集成，現有的數據抽取與集成方式主要是基于ETL引擎的方式和基于搜索引擎的方式等，首先把數據抽取成文件，再對數據文件進行轉換和清洗，最后生成多維度、多粒度的分析型數據并存儲到數據倉庫中。云計算技術中的分布式存儲技術滿足了電網海量數據的存儲需求，因此云計算技術推出不久，電力云的概念就被提出來?？尚诺脑拼鎯δＰ偷慕?，解決了結構化和非結構化數據的統一存儲與安全管理問題。雖然分布式計算方法可以大大提高計算機的存儲空間，但是不能滿足電力數據的實時性要求。因此存儲時需要對數據進行分級、分類，如對性能要求高的實時數據需采用實時數據庫系統進行存儲，對歷史數據采用分布式文件系統存儲，對核心業務數據則使用傳統的并行數據倉庫系統存儲，形成完整的數據庫分級存儲系統。這種層次式和分布式存儲和集成系統，利用海量多源異構數據存儲、組織、管理最新技術，保證了數據存儲的完整性與訪問的高效性。

2、復雜數據處理技術

電力大數據處理技術主要解決大數據的實時處理和批處理問題。目前主要采用分布式計算技術、內存計算技術、實時流數據計算技術等來解決大數據的處理問題。分布式計算主要解決計算機分布式計算和存儲的問題。分布式計算典型的例子是Google文件系統（Google File System，GFS），隨后Yahoo開發了該系統的開源版本Hadoop，Hadoop集群系統具有成本低廉、靈活性強等優點，同時還支持海量數據存儲和計算。已有研究針對智能電網狀態監測的特點，基于Hadoop并利用其它虛擬化技術和分布式存儲技術存儲和管理數據，以實現對電力大數據的高效管理。

內存計算技術主要解決大數據的實時處理問題。SAP HANA是基于內存計算技術的高性能實時數據計算平臺，有研究表明SAPHANA可以提高計算速度幾十到上百倍。隨著內存價格的不斷下降，內存計算已經具備物質基礎，這也在一定程度上解決了海量數據的實時處理問題。文獻中介紹了使用改良ApacheSpark作為執行引擎的內存計算引擎計算框架，采用輕量級的調度框架和多線程計算模型，與傳統的Mapreduce框架相比，消除了頻繁的I/O磁盤訪問并降低了調度與啟動開銷。電力大數據包括實時監測數據、企業營銷數據等，它們以一種順序、大量、快速的方式呈現，可以被看作一種流式數據。流式大數據呈現出實時性、易失性、突發性、無序性、無限性等特征，對系統提出了很多新的更高的要求。S4流式計算系統和Storm流式計算系統的推出，在一定程度上推動了大數據流式計算技術的發展和應用。但是，這些系統在可伸縮性、系統容錯、狀態一致性、負載均衡、數據吞吐量等諸多方面仍然存在著明顯不足。目前，分布式數據流實時計算系統在學術界和工業界都處于初步探索階段。大數據流式計算技術應設計分布式多模態計算框架，選擇能與Hadoop架構兼容的計算框架，調整各種計算框架中數據及索引訪問模塊，二次開發統一的計算任務調度模塊，設計并開發統一的分布式環境。將流數據技術應用于電力系統可為決策者提供即時依據，滿足實時的分析需求。

3、智能電網大數據展現技術

由于電力信息平臺中信息體量大、且隨時間不斷變化，難以將所有信息一次性呈現給用戶，所以要切實通過可視化技術對這些數據進行處理，使得異常數據在屏幕上較為清晰的呈現出來。針對不同類型的電力大數據，可視化方案也有所區別：首先對于電網運行數據，根據其高維、時序、快速的特點，應采取信息可視化與可視分析結合的技術方法進行處理。針對電力客戶數據，客戶數據主要來自用電終端信息采集系統。將用戶電量信息與用戶地理區域對應起來，可實現用戶用電行為分析與負荷特性的可視分析。另外還可以結合地理信息系統繪制地區電力客戶地圖，并按照一定的權限向公眾開放該全景分析圖，實現用戶的用電互動服務，實時反饋購、用電信息。最后是面向電網企業管理數據，可根據其不同業務部門的特點進行不同的可視化分析。

由于三維模型數據量較大，需要盡可能減小三維模型數據量，研究表明從紋理與幾何兩個方面對模型進行壓縮，生成多種細節層次模型，以支持三維模型的動態可視化。而多細節層次技術需要解決的問題之一是如何快速地對多邊形網格進行簡化，以生成多分辨率模型，采用簡化網格模型的算法，針對實時的虛擬場景中，保證了簡化模型的連續性、實時性、保持外觀特征性，使得原有的數據存儲結構得以重復利用。已有研究提出基于模型組件化動態WEB 3D虛擬現實場景的搭建方法及系統，模型可以在虛擬現實項目中進行復用，減少在場景搭建中模型使用的冗余，并提高用戶體驗。

目前電網企業大數據挖掘分析工作雖然不斷取得新的突破，但是將相關數據繪制成高精度、高分辨率的圖片的業務模型、智能算法和交互式圖形處理工具開發的研究才剛起步，相關可視化系統的功能實現需要進一步予以研究開發。

結束語

本文闡述了智能電網中大數據的數據特點以及應用價值，重點介紹了目前智能電網中大數據聚合管理、分析處理以及數據展示的關鍵技術，為我國智能電網大數據處理提供參考。

參考文獻：

[1]李鵬.智能電網運營管理風險元傳遞模型及決策支持系統研究[D].華北電力大學，2014.

[2]魏亞楠.智能電網中多種發電模式聯合調度模型及效益評價研究[D].華北電力大學，2014.