CNCP：一種新型仿生的輕量級電能質量擾動信號分類模型

簡獻忠，賴左略

(上海理工大學 光電信息與計算機工程學院，上海 200090)

1 引 言

隨著越來越多的電子設備在日常生活中的廣泛應用，公共電網中產生了大量的電能質量擾動信號[1]，包括暫升、中斷、閃爍和尖峰等.這些大量的信號不僅影響到工業生產和生活中正常用電，甚至對電網的安全運行產生了威脅.因此，為了提高電能質量，對電能質量擾動信號進行準確識別至關重要[2].

電能質量擾動信號分類方法分為特征提取和分類決策兩部分.針對特征提取的問題，深度學習中常使用的卷積操作已被證明具有優越性[3]，并且在圖像分割[4]，圖像分類[5]，信號分類[6]中被廣泛使用，有效的避免了維數災難并且提高了分類的準確度.文獻[7]提出了一種利用維格納-維爾分布將一維信號轉換為二維圖像再通過卷積神經網絡(CNN)實現信號分類的模型.文獻[8]，與文獻[7]相似，提出了一種利用相空間重構將一維信號轉換為二維圖像再通過CNN實現信號分類的模型.文獻[7，8]將一維信號轉換為二維圖像的過程中人為添加了冗余信息，給CNN提取信號特征增加了難度同時增添了不必要的網絡參數.針對分類決策問題，循環神經網絡(RNN)可以挖掘信號中的時序信息作為分類策略實現信號分類[9，10]，但是在長序列訓練的過程中容易出現梯度消失和梯度爆炸的問題.長短期記憶神經網絡(LSTM)通過引入細胞狀態并且更新細胞隱藏層的輸出[11，12]，有效的解決了RNN在訓練過程中可能出現的問題并且具有更強的泛化能力但也使得網絡模型更加復雜，參數更多.總的來說，文獻[7-12]對以往方法都有改進，提高了電能質量擾動信號分類的準確率，但為了提取到更加深層次的信號特征以及設計更合理的分類策略，整個電能質量擾動信號分類網絡模型變得越來越復雜，所需要的參數越來越多.因此，在網絡模型設計上還有提高的空間.

為了減少神經網絡模型的冗余參數并且有效的提取樣本中的時序特征，Mathias Lechner和Thomas A.Henziger等人受到線蟲等小型生物大腦神經網絡結構的啟發，設計了一種輕量級神經回路決策(NCP)[13]神經網絡模型.目前，NCP已經在自動駕駛領域對二維圖像的實時處理能力取得了不錯的結果[13].但是，在一維信號分類上沒有相應的研究.為了減少電能質量擾動信號分類模型的復雜性，本文提出了一種基于NCP的信號分類模型(CNCP)，實現了NCP在電能質量擾動信號分類問題上的首次探索.該模型由特征提取，預分類和分類優化3個模塊構成.特征提取模塊引入一維卷積代替二維卷積來更有效的提取信號的時序特征.預分類模塊中優化了NCP中各層的神經元數量，優化后的NCP網絡具有參數少，分類決策能力更強等優勢，減少了在特征處理過程中信息的損失，更加直觀的反應分類結果.分類優化模塊，由全連接層組成，防止訓練過擬合，提高模型的泛化能力.通過使用IEEE-1159電能質量擾動信號數據集進行驗證，CNCP的準確率為98.6%，模型參數為14188個，表明本文提出的模型具有較高的分類準確性及輕量化，更適合在嵌入式設備上實現部署.

2 NCP算法原理

NCP的網絡結構如圖1所示，圖中的神經元之間的粗線表示處于激活狀態的突觸，細線表示處于抑制狀態的突觸.感知層的作用是接受信息，對輸入進行預處理，實現數據標準化，加快網絡的收斂速度.連接層位于決策層和感知層之間，它的作用是對輸入信息進行過濾，提取有效特征，避免無效特征對結果進行干擾，同時減少模型參數.決策層被設計成一種特殊的RNN網絡模型，特別的是，這一層中各個神經元之間具有突觸連接.它的作用是將表層特征提取成有利于最終決策的深層特征.執行層將深層特征進行整合，轉化為最終任務的結果.同時神經元之間的連接突觸采用激活機制，處于抑制狀態的突觸將會失效，不會傳遞任何數據.為了構建NCP網絡結構，總結出4項基本原則：

圖1 NCP網絡架構

1)NCP的網絡結構可以分為感知層，連接層，決策層和執行層.

2)前一層的神經元與后一層的神經元之間以二項分布Bin～(n，p1)的方式隨機連接，形成突觸.突觸的極性隨機分為興奮和抑制，其分布滿足伯努利分布Ber～(p2).

4)決策層的每一個神經元，以二項分布Bin～(n，p4)的方式隨機連接，形成的突觸極性滿足伯努利分布Ber～(p2).

p1，p2，p3，p4是對應分布的概率，n是后一層神經元的數量.

3 CNCP模型

CNCP整個網絡架構分為特征提取，預分類，分類優化3個部分，如圖2所示.

圖2 CNCP模型整體架構

1)特征提取，由卷積神經網絡構成.其作用是從原始電能質量擾動信號中提取出最具有代表性的局部特征，從而實現特征降維和避免維數災難.由于電能質量擾動信號是一維的，針對這類具有時序特征的樣本數據，常采用一維卷積網絡代替二維卷積網絡來更好的提取潛在的時序特征，提高分類準確率.并且信號處理以及自然語言處理中得到了廣泛的應用[14].在一維卷積網絡模型如圖3所示.一維卷積與二維卷積的大小一樣也可以是二維的，但是只能向一個方向移動，然后對該行或者列計算點乘求和.

2)預分類模塊，由改進后的NCP組成.其作用是可以根據改進后的NCP的分類策略對提取到的信號特征實現預分類.改進后的NCP網絡如圖3所示.圖中的神經元之間的粗線表示處于激活狀態的突觸，細線表示處于抑制狀態的突觸.感知層，連接層，決策層，執行層分別用圓形，正方形，菱形，三角形.實現表示處于抑制狀態的突觸，虛線表示處于興奮狀態的突觸.為了使改進后的NCP能夠針對電能質量擾動信號實現多分類任務，將執行層的神經元優化為信號的總類別數，使得預分類結果能夠初步反映各種信號分類可能性，而不是一個簡單的標量直接來直接反應樣本類別，增加了信息維度有利于提高分類準確率.同時為了防止中間層和決策層特征處理過程中的信息損失，將中間層和決策層的神經元都優化為執行層神經元數量.

圖3 改進后的NCP網絡架構

3)分類優化模塊，由一層全連接層組成，其作用是將預分類結果進行優化，同時提升模型的泛化能力和魯棒性.優化分類結果通過softmax激活函數輸出模型預測到各類別的概率softmax計算方式如公式(1)所示：

(1)

xi表示未經過softmax前得到的該類的預測值，outi表示進過softmax激活函數后的輸出概率，softmax的作用就是將網絡的預測值轉化為該類別預測值的指數與所有類別預測值的指數和的比值，得到每個分類被取到的概率.保證了每一個類別的預測概率處于0-1之間，所有類別的的預測概率和為1. 在多分類問題中，softmax常與交叉熵損失函數搭配，交叉熵能夠衡量同一個隨機變量中的兩個不同概率分布的差異程度，在深度學習中就表示為真實概率分布與預測概率分布之間的差異.交叉熵的值越小，模型預測效果就越好.具有求導更快，加速網絡收斂的優勢.因此選用交叉熵作為模型訓練損失函數，計算如公式(2)所示：

(2)

m代表樣本數，k代表類別數，p(xij)代表第m個樣本的第k類的真實分類標簽，q(xij)代表第m個樣本的第k類的預測分類結果.通過交叉熵損失函數訓練CNCP后，本文輸入驗證集并通過softmax獲得每個類別的概率，將概率的最大值作為最終分類結果.

4 實驗結果分析

4.1 數據集

根據IEEE-1159[15]制作暫升(S0)，尖峰(S1)，暫降(S2)，周期缺口(S3)，振蕩(S4)，中斷(S5)，中斷與諧波(S6)，正弦波(S7)，諧波(S8)和閃變(S9)共10類電能質量擾動信號.表1中詳細的注明了不同信號的制作方法.然后對信號進行采樣，頻率為6.4KHz，每個樣本總共采集到1280個采樣點作為樣本特征，結果如圖6所示.每一種類型信號取1000個訓練集，200個測試集，200個驗證集，共14000個樣本，同時為了驗證CNCP的抗噪性，制作了信噪比由30dB至50dB的電能質量擾動信號，制作好的數據集如表2所示.

表1 電能質量擾動信號的數學模型

表2 數據集

4.2 訓練網絡以及評價指標

CNCP的網絡結構如表3所示，包含了每一層的名稱，輸出的形狀和參數.第1-7層是卷積神經網絡，用于特征提取，由一維卷積層和最大池化層組成.第8層是改進后的NCP，用于預分類.第9層是全連接層，用于分類優化.參數共計14188個.

表3 CNCP網絡模型

為了評估CNCP在電能質量擾動信號分類問題上的性能，本文根據表2中的數據對網絡進行訓練，圖4顯示了網絡訓練過程中損失和性能的變化.

圖4 訓練過程圖

如圖4(a)所示，在訓練輪次進行到50次時，CNCP基本達到收斂，訓練損失約為0.327.而此時的準確率如圖4(b)所示達到了97%，同時訓練集與測試集的準確率曲線基本吻合，說明不存在過擬合現象.證明了CNCP具有較強的泛化能力.網絡模型訓練達到收斂之后，需要對模型進行評價，因此利用訓練好的模型對驗證集里的2000個樣本進行分類，根據分類結果和真實標簽計算召回率和準確率，計算公式如式(3)和式(4)所示，TP表示樣本真實標簽和預測標簽都是正例的情況，FP表示真實標簽是反例，預測結果是正例的情況，FN表示真實標簽是正例，預測結果是反例的情況.

(3)

(4)

4.3 分類正確率比較

為了驗證CNCP在電能質量擾動信號分類的可行性，我們以召回率和準確率作為評價指標，將CNCP與其他電能質量擾動信號分類算法進行統一比較.結果如表4所示.小波變換和k最鄰相結合的傳統分類算法的準確率最低，只有93.1%，低于所有的深度學習分類模型.這是因為深度學習對信號的特征提取以及分類策略都要優于傳統方法.CNN的特征提取能力比傳統算法更強，因此準確率更高.RNN和LSTM都針對分類策略進行了改進，因此準確率都高于CNN.CNCP進一步優化了RNN網絡結構，結果顯示其分類準確率要略微高于其他深度學習分類模型.證明了CNCP相較于其他電能質量擾動信號分類方法在分類準確率上優越性.

表4 電能質量擾動信號分類方法的正確率比較(單位：%)

4.4 模型大小及參數對比

為了驗證CNCP的模型輕量化程度，我們比較了所用到的網絡模型的存儲空間，參數，RNN神經元的數量和RNN參數.結果如表5所示.CNN所需的參數數量和模型存儲空間較多.這是因為CNN的結構相對簡單，為了實現電能質量擾動信號的精確分類，必須要加深網絡深度，同時CNN中不存在循環網絡結構，因此不統計其RNN核數和RNN參數.CNCP與LSTM都是特殊的RNN網絡模型，CNCP模型所需總參數相比RNN減少了大約70%，相比LSTM減少了大約90%.CNCP主要在改進后的NCP網絡進行參數優化，因此我們在RNN核數進行比較發現了CNCP相比RNN和LSTM減少了85%.在RNN參數上進行比較發現了CNCP與RNN相比減少了約82%，與LSTM相比減少了95%.由此證明CNCP是一種輕量級電能質量擾動信號分類網絡.

表5 不同網絡之間模型大小比較

4.5 抗噪性測試

在實際工作中電能質量擾動信號多數是包含噪聲的，這將會影響分類方法的準確性，因此對信號分類方法設計了的抗噪性實驗.首先根據表2得到信噪比分別為30dB，35dB，40dB，45dB，50dB的電能質量擾動信號各2000個，信噪比為30dB的電能質量擾動信號如圖8所示.然后通過不同的分類方法進行分類準確性比較.得到的抗噪性實驗比較結果如表6所示.從表中可以看出CNN和RNN受到噪聲影響較大，對信噪比為30dB的信號進行分類時準確率都低于90%.小波變換和k最鄰相結合的傳統分類算法基本不受噪聲影響，但是算法本身的分類準確率低.深度學習方法中LSTM和CNCP在信噪比降至30dB時，準確率都能夠保持在96%以上，呈現出極強的抗噪性，但是LSTM網絡模型所需參數遠多于CNCP.由此可見CNCP相較于其他電能質量擾動信號分類方法具有較強的抗噪性.

表6 PQD分類方法的抗噪性比較

4.6 特征分析

波形偏離對稱正弦形成的，因此第1個主成分(PC0)反應了信號的整體結構，其余的主成分(PC1-PC9)反應了由于擾動因素而產生的各類電能質量擾動信號在細微處的差異.不同網絡模型最高主成分貢獻度比較如表7所示.從表中可以看出，通過CNN得到的信號特征的最高主成分重要度最高，CNCP最低.這表明CNN提取到的信號特征更多的表示信號整體結構，而CNCP更多的表示在信號細微處的差異.因此CNCP比CNN，RNN和LSTM在電能質量擾動信號上分類準確率高.

表7 不同網絡之間最高主成分貢獻度比較

[16]

圖5 不同網絡之間各個主成分貢獻度比較

5 總 結

本文設計了一種基于NCP的輕量級電能質量擾動信號分類模型CNCP，實現了NCP在分類問題上的首次探索.實驗結果表明：1)CNCP比wavelet+knn算法分類準確率要高大約5%，比CNN，RNN，LSTM準確率要高大約1%；2)CNCP相比CNN，RNN，LSTM所需要的模型參數和存儲空間要少大約65%-90%；3)CNCP在電能質量擾動信號信噪比不低于30dB時，分類準確率能夠一直維持了96%以上；4)CNCP提取到的信號特征最高貢獻度要低于CNN，RNN，LSTM，表明了CNCP更多的關注在信號細微處的差異，解釋了CNCP分類準確性高于其他分類方法的原因.

與其他常用的電能質量擾動信號分類模型相比，本文提出的CNCP模型能夠在模型參數較少的情況下具有較高的分類準確度，更加適合在嵌入式設備上部署，為公共電網中電能質量擾動信號的識別問題提供了一種思路.下一步工作將以CNCP為基礎，嘗試使用ResNet殘差網絡作為特征提取模塊加速模型擬合，從而使用更少的網絡層和訓練參數，使得模型更加輕量化.