基于自注意力CNN-BiLSTM的滾動軸承剩余使用壽命預測

惠憬明,王健,吳雙,黃永明,王梓齊

(1.內蒙古霍煤鴻駿鋁電有限責任公司,內蒙古 通遼 029200;2.湖南中融匯智信息科技股份有限公司,長沙 410221;3.浙江大學 控制科學與工程學院,杭州 310027)

滾動軸承是旋轉機械設備的重要部件,如風電機組的齒輪箱和發電機軸承[1]、高速列車的軸箱軸承[2]、碼垛機器人和扒渣機器人中的伺服電機軸承[3]等。滾動軸承的運行狀態直接影響著機械設備的性能、可靠性,軸承是部分設備的故障多發點:據統計,軸承故障占風電機組齒輪箱和發電機總故障的21%和41%[4],約50%的感應電動機故障由軸承引起[5];因此,有必要對滾動軸承的運行狀態進行監測以預防相關故障的發生。故障預測與健康管理(Prognostic and Health Management,PHM)是對設備運行狀態進行診斷、評估、預測以及對設備的使用計劃、維修資源等進行管理的多學科交叉技術[6]。剩余使用壽命(Remaining Useful Life,RUL)預測是PHM的核心技術,目的是預測設備的健康情況以減小突發故障造成的損失,最終實現預測性維修[7]?，F階段滾動軸承RUL預測方法可分為失效機理法和數據驅動法兩大類:失效機理法[8]根據機械運行原理和故障失效機理進行理論或試驗建模,但在機械結構復雜,運行工況多變,失效模式多等不利條件下建立準確的機理模型難度較大;數據驅動法[9]基于歷史監測數據建立數據驅動預測模型以學習設備的退化行為,適應性和易用性較強。

由于較強的特征提取和非線性映射能力,基于深度學習的數據驅動滾動軸承RUL預測方法近年來得到了廣泛的研究與應用,特別是卷積神經網絡(Convolutional Neural Network,CNN)和長短期記憶網絡(Long Short-Term Memory, LSTM):文獻[10]使用自編碼網絡提取特征,使用時間注意力CNN實現滾動軸承的RUL預測;文獻[11]將1D-CNN與2D-CNN融合以充分提取軸承振動信號的時頻域退化特征并實現RUL預測;文獻[12]直接將原始振動信號輸入雙向長短期記憶網絡(Bidirectional LSTM,BiLSTM)提取特征,并使用注意力機制對特征分配不同的權重以提升預測精度;文獻[13]提出了一種基于LSTM的軸承RUL預測方法,并改進了訓練過程中的Dropout模塊以提高精度。

軸承的振動信號屬于一維時間序列數據,信號隨時間變化的趨勢蘊含著退化信息,對于RUL預測有著重要作用。由于振動信號的非平穩性、噪聲等問題,通常需要根據振動數據計算不同的時域指標作為RUL預測模型的輸入。在同一時間窗的多維時域指標數據中蘊含著反映指標間關聯關系的空間信息,同樣有助于RUL預測。在常用的深度學習算法中,LSTM適合處理和提取時序數據中的趨勢、周期性等時間特征信息,而CNN對多維數據中空間特征信息的提取能力較強。因此,本文將CNN與LSTM結合使用,分別提取并綜合利用多維時序數據中的空間信息和退化信息以提升軸承RUL的預測精度。另一方面,深度神經網絡提取的不同特征對RUL預測的貢獻通常是不同的,有必要對高價值的特征分配更大的權重,使模型更關注這些重要信息從而提升整體性能。因此,本文在CNN-LSTM網絡的基礎上引入自注意力機制并進行針對性改進,利用特征與輸出間的相關性進行權重的自適應分配,使模型生成更穩定的特征重要度,更趨向于收斂至全局最優,實現更精確的滾動軸承剩余使用壽命預測。

1 理論背景

1.1 卷積神經網絡

卷積神經網絡是一類含有卷積運算,具有多層深度結構的前饋神經網絡[14],其網絡結構如圖1所示,主要由卷積層、池化層、全連接層3個部分組成。

圖1 卷積神經網絡示意圖

卷積層利用卷積核進行特征提取,包括權重、偏置參數;池化層通過降低數據的分辨率聚合特征信息,從而控制參數量和過擬合,本質上屬于降采樣操作。實際應用中,CNN通常會串連并交替使用多個卷積層和池化層,從而提取更豐富的特征。

1.2 長短期記憶網絡

長短期記憶網絡是一類特殊的遞歸神經網絡(Recurrent Neural Network,RNN),能夠有效改善常規RNN面臨的梯度消失、長周期依賴等問題[15]。LSTM網絡結構如圖2所示。

圖2 長短期記憶神經網絡示意圖

LSTM由輸入門、遺忘門和輸出門構成:輸入門使用Sigmoid函數控制新信息的輸入,遺忘門控制信息的保留和遺忘,輸出門則控制記憶單元中信息的輸出。

BiLSTM是LSTM的一種改進結構,包括前向LSTM和后向LSTM兩部分,可以從正反2個方向提取時間序列數據的雙向特征,從而得到更好的效果。BiLSTM的結構如圖3所示:BiLSTM的輸出向量ht由前向LSTM的輸出向量hf和后向LSTM輸出向量hb兩部分連接而成。

圖3 雙向長短期記憶神經網絡示意圖

2 基于自注意力CNN-BiLSTM的滾動軸承RUL預測方法

2.1 自注意力機制

注意力機制是一類模擬人腦關注機制的算法,核心思想是根據數據的概率分布,變量的相互關系等以權重等形式突出輸入數據中與輸出任務關聯性更大的部分[16],從而抽取更加重要和關鍵的信息以提升網絡模型整體的性能。注意力機制分為位置注意力、輸入序列注意力、自注意力、協同注意力等不同的類型。本文重點研究自注意力機制,其僅從輸入自身中提取信息而不使用其他額外信息,具備參數少,計算速度快等優點[17],更適合實際工程應用。

自注意力機制的結構如圖4所示:首先,輸入數據分別通過3個線性層計算得到查詢矩陣Q、鍵矩陣K和值矩陣V;然后,將Q和K的轉置相乘,除以縮放因子后經Softmax運算得到自注意力權重矩陣A;最后,將V和A相乘得到自注意力加權后的結果。也可僅使用2個線性層得到矩陣Q和K,并直接將輸入與A相乘后輸出。

圖4 自注意力機制的結構

自注意力機制的計算過程可表示為

(1)

式中:Aattn(h)為輸入h經自注意力加權后的結果,即自注意力機制的輸出;dk為縮放因子,用于控制矩陣乘積的結果不會過大。

2.2 新型自注意力CNN模塊

針對滾動軸承RUL預測的特點,本文對已有的卷積注意力模塊(Convolutional Block Attention Module,CBAM)[18]進行改進,提出了一種新型自注意力CNN模塊。

卷積注意力模塊針對圖像分類問題提出,模塊中串連使用了通道注意力和空間注意力且注意力機制主要依賴池化操作,這是由于圖像特征集中分布于一些局部區域,池化有助于去除冗余信息從而更關注局部的重要信息,然而,對于滾動軸承RUL預測問題,輸入是“指標-時間窗”的二維數據、特征分布較廣泛,針對局部區域的池化操作難以提取特征間的遠程依賴關系,容易丟失重要信息。因此,本文在CBAM的基本結構上進行改進,提出了一種新型自注意力CNN模塊:

1)由于軸承振動信號時域指標數據中不包含多通道信息,新型模塊僅使用CBAM中的空間注意力機制,從而降低了網絡的復雜度。

2)相比池化操作,自注意力機制具備全局的感受野,經自注意力加權后的輸出考慮了所有特征的信息,能夠實現不同位置特征間的直接點乘融合且不受特征間距離的影響,從而能夠得到更全局的特征提取效果。因此新型模塊使用自注意力機制替代CBAM中基于池化的注意力機制。

新型自注意力CNN模塊的結構如圖5所示:首先,自注意力CNN通過2個卷積層分別計算輸入數據的卷積特征fA和fC;然后,將特征fA輸入僅含有矩陣Q和K的自注意力機制,計算得到權重矩陣A并與fA相乘,得到加權后的特征fB;最后,將fB和fC相加后輸出。

圖5 新型自注意力CNN模塊的結構

2.3 網絡整體結構和RUL預測流程

自注意力CNN-BiLSTM網絡的整體結構如圖6所示,使用該網絡進行滾動軸承RUL預測的具體流程如下:

圖6 自注意力CNN-BiLSTM網絡結構

1)根據給定的時間窗長度劃分軸承一維振動數據,計算時間窗內振動數據的不同時域指標,得到用于軸承RUL預測的數據集。

2)將數據集劃分為訓練集和測試集,設置網絡中不同功能層的超參數后,進行模型訓練。

3)將測試數據輸入訓練好的模型,自注意力CNN模塊提取輸入數據中相同時間窗內各時域指標間的空間特征信息并進行自注意力加權以強化特征提取效果。

4)BiLSTM層提取不同時間窗內加權空間特征構成的時序數據中的退化特征信息,經全連接層后輸出軸承RUL的預測值。

5)根據軸承RUL的真實值和預測值計算RUL預測的各類評價指標,評估模型性能。

3 試驗分析

3.1 數據描述

本文使用的數據集為IEEE PHM 2012數據挑戰賽中提供的FEMTO-ST滾動軸承全壽命數據集[19],該數據集包含3種不同運行工況(表1):對于工況1,采用軸承1-2,1-3和1-5的數據進行訓練,軸承1-1的數據進行測試;對于工況2,采用軸承2-1,2-4和2-7的數據進行訓練,軸承2-6的數據進行測試;對于工況3,采用軸承3-1和3-2的數據進行訓練,軸承3-3的數據進行測試。

表1 軸承運行工況

軸承1-1的全壽命振動數據如圖7所示:按照振動水平可將軸承的生命周期粗略分為4個階段:正常工作階段,信號的幅值較低;早期退化階段,信號的振幅逐漸增大,此時可以開始RUL預測工作;中期退化階段,信號的振幅持續增大;后期退化階段,信號的振幅顯著增大,此時軸承已經失效。

圖7 軸承1-1的全壽命振動數據

3.2 建立RUL預測模型

本文使用10個振動信號時域指標作為RUL預測模型的輸入,見表2。其中,xi為軸承的一維振動信號,N為時間窗的長度。

表2 軸承振動信號時域指標

設置時間窗長度為200 s,對原始軸承振動數據進行劃分并根據表2計算時域指標,得到維度為20×10的輸入數據。試驗中對時域指標和RUL值均進行了量綱一化。

除本文所提自注意力CNN-BiLSTM方法外,選擇CNN,BiLSTM以及不含自注意力機制的CNN-BiLSTM模型作為對比方法,各模型的結構和超參數如下:

1)CNN模型,使用2D-CNN,卷積核尺寸依次為3-5-3,濾波器數量為10,使用核尺寸為2的平均池化,全連接層的尺寸為60-32-16-1。

2)BiLSTM模型,隱含層及輸出尺寸為16,全連接層的尺寸為32-16-8-1。

3)CNN-BiLSTM模型,使用1D-CNN,卷積核尺寸為1,濾波器數量依次為10-20-40,BiLSTM層的隱含層及輸出尺寸為16,全連接層的尺寸為32-16-8-1。

4)自注意力CNN-BiLSTM模型,使用1D-CNN,卷積核尺寸為1,濾波器數量依次為10-20-40,BiLSTM層的隱含層及輸出尺寸為16,自注意力的縮放因子dk為4,線性層的尺寸為40-20,全連接層的尺寸為32-16-8-1。

所有模型訓練過程中的損失函數都設置為均方誤差,選用Adam優化器且參數選取默認值,學習率設置為0.001。試驗的軟件環境為torch 1.6和Python 3.8,模型僅使用CPU進行訓練,CPU型號為i7-8550U,內存為16 GB。

3.3 試驗結果

在不同的工況下,分別進行上述4個模型的訓練和測試。不同模型的RUL預測值如圖8所示:

(a) 工況1

1)對于工況1,在測試集前段,CNN和BiLSTM的預測精度接近,測試集中段時BiLSTM的精度優于CNN,說明時序數據中的退化特征價值相對較大;CNN-BiLSTM在測試集中、后段的精度顯著優于BiLSTM,說明時空特征的融合在一定程度上改善了RUL預測精度;而在引入自注意力機制后,模型精度在整個測試集上均得到了改善,說明自注意力加權改善了網絡的特征提取能力,且自注意力CNN-BiLSTM模型在測試集中、后段進行了更多的提前預測(RUL的預測值小于真實值),有利于實際應用中開展預測性維修,體現了自注意力機制在軸承RUL預測問題上的有效性。

2)對于工況2,在測試集前段,自注意力CNN-BiLSTM模型的預測值基本能夠反映RUL真實值的趨勢,精度顯著優于其他3類模型;但在測試集的第500～900 s,各模型均出現了不同程度的RUL高估情況。

3)對于工況3,在測試集前段,CNN-BiLSTM的誤差較大,CNN和BiLSTM則在測試集中、后段時誤差較大;除測試集第250 s附近樣本上的誤差相對較大以外,自注意力CNN-BiLSTM模型的整體精度優于其他3類模型,體現了該方法的適應性。

值得注意的是,不同模型在工況2和工況3上的精度普遍低于工況1,RUL預測值的波動幅度也相對較大,該現象與后2個工況中使用的訓練數據較少,模型訓練不充分直接相關。

使用均方根誤差IRMSE、平均絕對誤差IMAE和評分函數IS這3個指標對模型的RUL預測結果進行定量評估。IRMSE和IMAE越低,說明RUL的預測值與真實值之間的誤差越小;IS越高則說明模型的RUL預測效果越好且更傾向于做出超前預測。各指標的定義為

(2)

(3)

(4)

(5)

(6)

上述4個模型在不同運行工況上的評價指標見表3:在不同運行工況下,自注意力CNN-BiLSTM模型的各項性能指標均優于其他模型,特別是IS指標,說明其在軸承RUL預測問題上的性能更優;與圖9中的結果一致,各模型在工況2,3上的性能指標相比工況1均有不同幅度的下降。除訓練數據較少等建模方面的因素以外,從軸承運行機理的角度分析,工況2,3的徑向載荷相比工況1更大,導致振動信號的振幅增大,平穩性降低,噪聲水平升高,同時也將顯著加速軸承失效,增加了RUL預測的難度。

表3 不同運行工況下各預測模型的評價指標

4 結束語

本文提出了一種基于自注意力CNN-BiLSTM的滾動軸承RUL預測方法,改進的自注意力CNN模塊可提取振動信號不同時域指標間的空間特征并進行自注意力加權以強化特征提取效果,BiLSTM模塊則可以提取時序數據中的退化特征。FEMTO-ST滾動軸承全壽命數據集的試驗結果表明自注意力CNN-BiLSTM模型在RUL預測誤差和評分函數上均優于其他對比方法且更傾向于做出超前預測,模型結構也較為簡單,有利于滾動軸承RUL預測的工程實踐。

自注意力CNN-BiLSTM模型的局限性在于僅對空間特征進行了自注意力加權,且在少樣本、高載荷等場景下的性能欠佳;未來將進一步研究自注意力機制與時序退化特征的結合以提升特征提取能力,并引入少樣本學習、遷移學習等策略改善模型在特殊場景下的性能。