深度卷積神經網絡在混沌振動識別中的應用研究

唐宇思， 王偉豪， 崔漢國， 劉樹勇， 柴 凱

(1.海軍工程大學 動力工程學院，武漢 430033； 2.海軍工程大學 艦船與海洋學院，武漢 430033)

混沌振動信號快速識別是混沌應用的關鍵問題，國內外學者開展了深入研究。Robinson[1]利用Poincaré截面將復雜的動力系統轉化到低維的空間中進行研究，從而深入、直觀地展示了系統全局動力學特點；Mcdonough等[2]提出了周期軌道檢測法，其主要思想是通過統計吸引子中的短周期軌道重復的時長來識別混沌信號，但該方法容易受到噪聲影響；廖明等[3]通過計算功率譜是否具有1/f特征來判斷時間序列是否混沌；任輝等[4]研究了學習向量量化(learning vector quantization,LVQ)對Jeffcott轉子碰摩模型的非線性混沌時間序列的分類能力，實現了對這類混沌信號和其它響應信號數據的聚類，為非線性信號分類識別提供了一種方法；江亞東等[5]在對混沌時間序列與隨機序列的不同特征進行分析的基礎上，給出了一種基于小波神經網絡的混沌時間序列判定-預測算法；Xie等[6]應用辛幾何譜方法對非線性時間序列中的確定性機制進行識別，該方法比傳統的奇異值分解(singular value decomposition, SVD)法更能揭示信號的本質特征；席劍輝等[7]運用擴展卡爾曼濾波算法的跟蹤辨識特性，實現了對混沌系統主動態方程的參數識別和多變量混沌序列的精確預測。

然而在信號的實時識別過程中，上述方法都存在計算量大、耗費時間長等問題，特別是在艦艇輻射水聲混沌譜控制過程中，由于系統工況變化，需要實時調整混沌參數、控制區域時，傳統方法不能為在線調整提供快速識別。近年來興起的深度卷積神經網絡(deep convolutional neural network，DCNN)模型在圖像識別領域獲得巨大成功，引起人們的極大關注[8]。因分類準確率高、響應速度快，DCNN同樣適用于振動信號的識別?；谝陨显?，本文設計了一種針對振動信號分類的DCNN模型，可實現混沌信號的快速識別。

1 DCNN模型設計

1.1 DCNN結構分析

Fukushima[9]首次將互相關運算引入神經網絡，開啟了利用卷積神經網絡處理圖像的新紀元。典型的DCNN結構如圖1所示。其構建了多個能夠提取輸入數據特征的卷積層，通過共享權重和空間下采樣來獲得輸入數據平移及縮放不變的特征表示，最后利用多層全連接神經網絡對特征分類，輸出分類結果。

圖1 典型的DCNN結構

(1)

在卷積運算前，為了保證每次運算后卷積層的寬度不至于縮減過小，對輸入數據的前后做補全(pad)運算。同時為了用較少的權重元素來感知較大坐標范圍的輸入，對卷積核進行膨脹(dilate)。設輸入數據每行前補全Pr個元素，每列前補全Pc個元素，采樣步幅(stride)為S，膨脹系數為d，式(1)改進為

(2)

其中，當X的下標小于1或大于其自身尺寸時，表示補全的元素。為了便于計算，將輸入數據添加一個數值全為1的通道，從而用這一通道的權值矩陣表示偏置B。因此，式(2)進一步優化為

(3)

為了引入非線性特征，在卷積運算后，將每個元素輸入一個非線性的激活函數，激活后的值作為卷積層的輸出。常用的激活函數為整流線性單元(rectified linear units, ReLU)，其數學表達式為

f(x)=max{0,x}

(4)

為了使用某一位置相鄰輸出的總體統計特征來代替網絡在該位置的輸出，設置了池化(pooling)操作。常用函數為最大池化函數，即給出相鄰矩形區域內的最大值，其數學表達式為

(5)

DCNN應用多個卷積層完成對輸入數據的特征提取，然后利用全連接層(fully connected layer)對特征進行分類。全連接層中的每一級運算可表示為

z=g(wTx+b)

(6)

(7)

式中，i=0,1,…,n，n為分類數量。

1.2 混沌振動信號識別DCNN模型

由于DCNN在直接用于處理一維的振動信號時，不僅需要確定時間序列的采樣點數，還要通過加大卷積核的尺寸來獲得序列前后的關聯特征，將導致網絡收斂過慢和過擬合問題。因此，本文通過對二維混沌吸引子的特征提取來識別信號。首先通過相空間重構(phase space reconstruction)[10]獲得振動信號的相空間吸引子，再利用DCNN對信號的吸引子圖分類，不僅有利于DCNN的建模，還能清晰地突顯故障狀態下的系統動力學特征，從而提高模型分類的準確率。

對于時間序列x，在坐標系pOq中，使用延遲重構法得到的吸引子圖，可以表示為一組直線段方程

(8)

式中,τ為延遲時間。為了滿足卷積神經網絡的輸入要求，需要將吸引子圖映射到一個大小為W×H的二維像素圖，表示為張量A，即對矢量圖形做柵格化(rasterization)處理。計算圖形的橫向采樣序列r和縱向采樣序列c，以r為例

(9)

(10)

若kn>1或xn-xn+1=0，則將變量r和c,w和h位置互換，重復上述計算。最終得到輸入卷積模型的數據

(11)

卷積層和全連接層的設計參照AlexNet[11]的結構參數，并加入dropout層[12]來防止過擬合?？紤]到識別吸引子圖時，不存在物體與背景的邊緣識別問題，因此減小前兩層的通道數以獲得更好的性能。全連接層的分類識別中，由于本文需要實現的振動信號分類數量遠小于AlexNet設計的分類數量(1 000)，因此逐層減小神經元數量，從而減少特征冗余并防止過擬合。

根據以上闡述，設計模型結構如圖2所示。

圖2 模型結構示意圖

1.3 權值優化方法

DCNN中各個神經元的權重系數不能直接求得準確解，本文通過標簽數據對模型的訓練得到最優值，并利用批量梯度下降法訓練模型。

(12)

利用Adam(adaptive moment estimation)算法[13]來更新網絡參數，即權重和偏置。其本質是梯度隨機目標函數優化算法，通過基于低階矩的自適應估計，從而自適應調整學習率，可達到良好的訓練效果。

2 仿真研究

2.1 仿真信號設計

設計如下不同的仿真信號

y1=sin 15πt

(13)

(14)

y3=(1+sin πt)·sin 25πt-1

(15)

τ≤t<τ+1

(16)

(17)

式中，t≥0，τ∈(N)。對上述5個信號進行采樣，采樣頻率為1 kHz，采樣點數為10 000，得到時間序列xi，(i=1,2,3,4,5)。對混沌信號，采用Lorenz系統

(18)

應用Runge-Kutta法求解式(18)，步長為0.01，舍去前3 000個點，取x分量的10 000個離散值作為序列x6。得到的6組仿真信號如圖3所示。

圖3 仿真信號時域圖

應用第一最小互信息法[14]求延遲時間，重構仿真信號的相平面吸引子圖，如圖4所示。

圖4 仿真信號的吸引子圖

2.2 生成數據集

為了提高分類模型的魯棒性，在原信號中疊加噪聲信號，生成多個數據樣本。具體步驟為：

步驟1選取采樣信號的第2 001～4 000點作為初始樣本。

步驟2針對每個樣本，隨機生成100個均值為0，方差為s(0≤s≤S)的高斯噪聲序列

(10)

式中:E(x2)為樣本序列的均方值;RSN為信噪比(signal noise ratio,SNR)，這里設RSN=20。將這些噪聲序列疊加到樣本中，共得到600個不同的含噪樣本。

步驟3將600個樣本按照14∶3∶3的比例隨機劃分為訓練集，驗證集和測試集，得到的數據集如表1所示。

表1 仿真信號數據集

2.3 訓練模型與結果分析

模型訓練的參數設置如下。學習率(learning rate)：0.000 1；批尺寸(batch size)：420，即全數據集輸入；迭代次數(epoch)：80。每迭代一次后，更新模型參數，計算模型在測試集上的損失值和準確率，以及模型在驗證集上的準確率。訓練過程中，模型的訓練損失、訓練準確率和測試準確率如圖5所示。

(a) 損失函數隨迭代次數增加而逐漸下降

由圖5可知:損失函數隨迭代次數的增加而減小，經過80次迭代之后，最終趨近于0；訓練集和驗證集的分類準確率隨迭代次數增加波動上升，在迭代次數超過60次后，穩定收斂到100%。用測試集中的樣本檢驗訓練后的模型，分類準確率如表2所示。

表2 仿真信號分類準確率

不難看出，本文所提模型對6類仿真信號均能準確識別。

3 試驗研究

本文采用雙勢阱單端磁吸式混沌振動裝置[15]生成多種振動信號，試驗裝置原理圖如圖6所示。該裝置通過調節激勵幅值和激勵頻率，能夠觀察到系統中出現的次諧波現象、超諧波現象以及系統中周期1運動的不同模式，并能在一定頻率和激勵幅值條件下產生持續穩定的混沌振動。

圖6 雙勢阱單端磁吸式混沌振動裝置結構圖

3.1 試驗數據

前期試驗發現，激振系統增益大于0.95時，系統的動力學行為非常豐富，可以產生包括混沌振動在內的不同模式。本節試驗將激振系統的增益固定為 1，由小到大增加系統的激勵頻率，得到20組試驗信號，其中混沌信號10組，非混沌信號10組，采樣頻率為2 kHz，采樣時長為5 s。部分信號及其吸引子圖如圖7所示。

圖7 部分試驗信號時域圖及吸引子圖

3.2 生成數據集

為了得到更多的數據樣本，對采集到的信號作數據增強處理后，再劃分數據集。具體步驟為：

步驟1選取試驗信號采樣點的[(i-1)·S+1,(i-1)·S+L]段作為數據樣本，這里令S=600，L=3 200，共獲得80個信號樣本。

步驟3將這1 560個樣本按照14∶3∶3的比例隨機劃分為訓練集、驗證集和測試集，得到的數據集如表3所示。

表3 試驗信號數據集

3.3 模型訓練與結果分析

模型訓練參數為：學習率：0.000 05；批尺寸：546；迭代次數：200。由于數據集尺寸過大，每一次迭代數據需要分兩批依次訓練，每批數據訓練完后更新模型參數，每迭代一次后，計算模型在測試集上的損失值和準確率，以及模型在驗證集上的準確率。訓練過程中，模型的訓練損失、訓練準確率和測試準確率如圖8所示。

(a) 損失函數隨迭代次數增加而逐漸下降

由圖8可知，損失函數隨迭代次數的增加而減小，經過200次迭代之后，最終趨近于0；訓練集和驗證集的分類準確率隨迭代次數增加波動上升，在迭代次數超過150次后，測試準確率穩定收斂到100%，驗證準確率在98.72%和99.15%之間波動。用測試集中的樣本檢驗訓練后的模型，分類準確率如表4所示。

表4 試驗信號分類準確率

試驗表明，本文所提模型能夠快速準確識別混沌信號。

4 結 論

(1) 針對混沌振動信號識別中傳統方法難以快速識別的問題，提出了一種基于相空間重構和深度卷積神經網絡的智能識別方法。針對卷積神經網絡對二維圖像識別能力強的特點，利用時間延遲法將振動信號映射到二維像素圖中，隨后基于AlexNet設計DCNN模型對得到的像素圖進行分類識別。與傳統的計算混沌特征指數的方法相比，所提方法計算量小、識別速度快，可有效地應用于混沌信號的實時識別。

(2) 通過試驗數據測試，所提方法能達到98%以上的識別準確率，響應快、實時性好。因此，在工程實際中具有極強的潛在應用價值。