電力統計大數據質量可視化控制方法研究

李冰若,鐘 彬

(1.國網上海市電力公司市北供電公司,上海 200122;2.國網上海市電力公司,上海 200122)

隨著當前智能化信息時代的發展,打破了數字符號的界限,社會高度信息化,數據作為一種記錄符號,逐漸形成由語句、位置等多源數據構成的大數據模式,且數據量規模呈指數級增長[1]。這雖然推動了數據的自動化與智能化進程,但卻使數據之間的邏輯關系越來越復雜。在大數據時代中,數據是制定決策的重要參考依據,數據質量對決策的最終效用起著至關重要的作用[2]。

海量數據內摻雜的問題數據不斷降低數據質量,使之演變為各個領域亟待解決的問題,研發出適用于不同領域的數據質量控制技術。例如：王娟等[3]與周琦等[4]分別就政府開放數據與全球地理信息數據,應用演化博弈理論與分布式并行處理技術,準確且有效地控制數據質量。隨著可持續發展戰略目標的提出與落實,在社會生產生活中占據著核心地位的電力行業,亟需向智能化、信息化以及節能化方向轉型。除大數據時代本身給電力行業帶來的海量數據外,龐大的電網覆蓋規模與用戶量也加劇了數據量,為保證數據質量增加了巨大的難度。因此,面向電力統計大數據,設計可視化的質量控制方法?？梢暬夹g因大數據時代興起,在數據質量控制方面具有一定的應用價值,有助于保障所用數據準確可靠、實時有效。

1 電力統計大數據質量控制算法

假設電力統計大數據集合是{G1,G2,…,GM},其中,M表示數據量,各數據對應的先驗概率集合與離散概率函數集合分別是{q1,q2,…,qM}、{f1(y),f2(y),…,fM(y)},采用貝葉斯公式,解得電力數據Gj的后驗概率p(Gj)：

(1)

式中：j=1,2,…,M;qj、fj(y)分別為數據Gj的先驗概率與離散概率函數。

選取N個數據樣本,得到下列對應觀測數據的矩陣形式：

(2)

該矩陣中,元素g*表示數據樣本的觀測結果。

采用下列計算公式求解出各觀測數據的總均值向量：

(3)

推導出各數據樣本的均值向量概率運算式,如下所示：

(4)

式中：j=1,2,…,N。

由此得出任意數據樣本的類內離差矩陣元素計算公式,如下所示：

(5)

采用下列形式解得所有數據樣本的總類內離差矩陣元素：

(6)

引入數據變量gh,建立其對應的類內離差矩陣與總類內離差矩陣,分別如下所示：

(7)

(8)

若方程組(9)成立,則為達成質量控制目標而引入數據變量gh的實現形式如式(10)所示：

(9)

(10)

若控制數據質量時需去除數據變量gh,則其實現形式如下所示：

(11)

2 電力統計大數據質量控制可視化實現

2.1 可視化實現平臺與單元

大數據時代讓電力統計數據演變成了更復雜、更具層次性的高維數據結構,以往的單向數據可視化表現形式無法滿足此類數據結構的可視化需求?；陔娏y計大數據質量控制算法,結合地理信息系統技術與Web端口[5-6],構建出由Web端口連接地理信息系統中各組成部分的平臺,實現電力統計大數據質量的可視化交互控制。平臺的基本架構如圖1所示。

圖1 可視化實現平臺架構圖

視覺通道作為實現可視化的主要環節,也是控制數據標識的一種表現模式。不同的視覺通道用于呈現不同的統計大數據。根據可視化的數據標識性質,可將其分為定性、定量、分組等三種,各類數據標識的具體屬性與應用的視覺通道如表1所示。

表1 電力統計大數據類別

在地理信息系統技術與Web端口構成的可視化實現平臺上,融入B/S架構[7],組建出由設計工具模塊、組件設計模塊以及表現模塊組成的可視化實現單元,如圖2所示。

圖2 可視化實現單元架構圖

2.2 可視化控制實現流程

在可視化交互控制平臺上,建立卷積神經網絡結構,有效處理與連通可視化單元各模塊之間的邏輯關系,減小可視化控制過程中產生的數據誤差。

神經網絡的前兩層分別是數據特征的提取層與展示層,在輸入層提取數據子塊后,形成一組適用于電力統計大數據結構的高維數據向量;第三層網絡為非線性映射層,用于獲取高維數據向量的映射向量;第四層網絡是重構層,利用求和與加權平均等運算法則[8-9],得到經過控制的數據塊,在輸出層輸出最終的控制結果。

假設除輸入層與輸出層外的網絡層分別是U1、U2、U3、U4,各層均含有m個網絡節點,分別是x1,x2,…,xm,網絡層對應的可學習權值與偏置分別為a1m、a2m、a3m、a4m以及b1、b2、b3、b4,則該卷積神經網絡結構的界定公式如下所示：

(12)

若各卷積層均含有n個大小為Xi(i=1,2,3,4)的卷積核,則通過下列計算公式求解出神經網絡結構的運算復雜度：

(13)

為縮短網絡訓練時長,提升質量控制精準度,在網絡的非線性映射層前后,分別添加特征縮小網絡層與擴展層,構建出六層結構的卷積神經網絡。

各網絡層的具體設計內容如下所述：

(1)提取層與展示層：卷積運算網絡層的卷積核與提取到的數據子塊,并轉化為高維數據特征向量。由于Sigmoid非線性激活函數[10]能夠在負數部分存在多個可學習參數,故將其作為兩個網絡層的激活函數,以防止節點在學習時不被激活,使網絡參數作用都得到最大程度發揮。提取層與展示層的計算表達式分別如下所示：

U1=Sigmoid×a1m(x1+x2+…+xm)+b1

(14)

U2=Sigmoid×a2m(x1+x2+…+xm)+b2

(15)

(2)縮小層：因前兩層得到的高維數據向量維度過大,會大幅增加非線性映射的運算開銷,故添設縮小層。利用1×1×1卷積核縮小展示層的輸出特征,降低映射復雜度[11-12]。該層的卷積核數量需小于n,由計算表達式(14)、式(15),推導出如下的縮小層U′求解公式：

(16)

(3)非線性映射層：為確保在少量參數下也能感知域大小,避免過擬合,界定各網絡層的輸入通道個數相同并呈卷積疊加。則非線性映射層的計算形式為下列等式：

U3=Sigmoid×a3m(x1+x2+…+xm)+b3

(17)

(4)擴展層：該層是縮小層的逆操作階段,若直接采用降低后的數據維度進行處理,極有可能形成控制誤差。故通過擴展層提高數據維度,利用1×1×1卷積核通過下式完成該網絡層的邏輯處理：

(18)

(5)重構層：作為卷積神經網絡的最后一層,重構層卷積核的主要作用是組合數據特征、平均濾波、得到輸出數據。網絡輸出結果的推演表達式如下：

U4=Sigmoid×a4m(x1+x2+…+xm)+b4

(19)

可視化單元利用開發工具調用設計的組件與控件后,經過卷積神經網絡逐層的邏輯處理與連通,通過表現模塊將輸出結果呈現給用戶。

3 電力統計大數據質量可視化控制實驗研究

3.1 評估指標選取

基于控制方法的研究目標,分別從控制后數據的準確性、實時性、一致性以及完整性四個方面,綜合評價可視化控制統計大數據質量的有效性與優越性。各指數類評估指標的數值越大,數據質量越好,控制效果越理想,具體內容如下所述：

(1)準確性(accuracy)：該指標用于判定數據控制結果是否存在異常狀況。假設總數據量有Sz個,若控制過程中產生Sl個錯誤數據,則準確性評估指標的計算公式如下所示：

(20)

式中：r為修正因子。

(2)實時性(timeliness)：該指標根據數據控制的延時時長與數據量,判定方法時效性。若有St個數據被延時控制,完成電力數據控制的所需小時數為t,則實時性評估指標式如下：

(21)

(3)一致性(consistence)：該指標描述各電力數據間的邏輯關聯強度。當不符合外鍵、等值依賴、邏輯、等值一致、存在一致等約束條件的數據量分別是Sk1、Sk2、Sk3、Sk4、Sk5時,一致性評估指標由下列表達式解得：

(22)

(4)完整性(integrity)：該指標反映控制后是否有缺失字段信息的電力統計數據。若缺失信息的數據量是Sd個,則完整性評估指標的求解式如下所示：

(23)

3.2 電力統計大數據質量可視化控制仿真效果分析

因時間限制,僅從某市的統計年鑒數據中,選取某一天中12個時段的電能價格、總產值、電力能耗等三種電力統計大數據作為實驗對象。為減小數據自身所帶來的負面影響,設定因變量為電能價格,自變量為總產值與電力能耗,采用最小二乘估計法與數據回歸分析法,去除高相關度與無法解釋因變量的數據元素?；谔幚砗蟮慕y計數據建立可視化控制仿真模型,模擬本文方法對電能價格、總產值以及電力能耗等三類統計數據質量的控制情況。在無異常情況的初始數據中,各添加5個問題數據,以檢驗方法控制性能。各數據質量控制的仿真結果如圖3所示。

圖3 不同統計數據的質量控制示意圖

通過對比控制方法應用前后的數據值走勢情況可以看出,本文方法基于設計的貝葉斯統計大數據質量控制算法,在B/S架構上結合地理信息系統技術與Web端口,可視化交互控制了統計數據,利用含有六層結構的卷積神經網絡,有效處理與連通了可視化單元各模塊之間的關系邏輯,使各類別包含的大部分問題數據均得以有效去除。

就控制后電能價格、總產值、電力能耗等數據的準確性、實時性、一致性以及完整性等指標值,更客觀、更全面地評價演化博弈論、并行處理以及本文方法的數據質量控制能力。各方法指標實驗結果對比情況如圖4所示。

圖4 各方法評估指標比對圖

從三種方法的指標值比對結果可以看出,本文方法的各指標值均處于較高水平。這說明該方法在網絡的非線性映射層前后,分別添加特征縮小網絡層與擴展層,通過六層卷積神經網絡結構的可視化控制,減小了數據誤差,故較演化博弈論與并行處理的數據質量控制方法,賦予數據更高的準確性、一致性、完整性以及實時性,進一步提升了數據質量。

4 結 論

日新月異的信息技術大力推動著社會上各個領域的信息化建設進程,尤其是電力行業的智慧電網建設中,不斷涌現出了大量的智能信息管控系統,在實現自動化管理的同時,節省電力運維成本。大數據時代的數據產生源頭較多且結構多樣,大規模的數據傳輸、存儲處理,極易發生數據錯誤、缺失、冗余等問題,令數據質量降低甚至失效,影響科學、精準地制定用電決策。因此,針對電力統計大數據,提出數據質量的可視化控制方法,及時發現數據問題并予以改善。為更精準地把控電力運行狀態,增長電力企業的經濟效益,存在以下幾個方面有待改進：應根據電力統計大數據屬性,建立針對性控制條件,提升可視化控制的綜合性;需采用機器學習等錯誤數據修復技術,更理想地處理問題數據,增加數據質量;應嘗試采用超高清可視分析技術,強化用戶的可視化控制體驗感。