基于NLMS和Autoformer的滾動軸承RUL預測

劉康寧,徐遵義,李 晨,閆春相

(山東建筑大學 計算機科學與技術學院,山東 濟南 250101)

0 引 言

滾動軸承是建筑機械設備中應用非常廣泛的關鍵零部件。由于建筑機械設備運行條件惡劣,滾動軸承較易發生故障。軸承故障輕則造成經濟損失,重則危及生產安全[1]。準確預測滾動軸承剩余使用壽命(Remaining Useful Life,RUL)對維護設備穩定運行、保障生產安全具有重要的現實需求和應用價值。

隨著傳感器技術與信號處理技術的發展,根據大量歷史傳感器數據對滾動軸承退化信息進行建模的數據驅動方法,尤其是深度學習方法,已成為滾動軸承RUL預測主流發展方向[2]。根據深度學習模型結構可分為基于循環神經網絡(Recurrent Neural Networks,RNNs)模型的RUL預測方法和基于Transformers長序列預測模型的RUL預測方法。RNNs模型雖已在滾動軸承RUL預測領域取得較好效果[3-4],但囿于模型結構,此類模型難以建模長距離依賴關系,無法充分利用長輸入序列中隱含的退化特征;同時,RNNs模型的串行計算方式嚴重制約了模型運行速度[5]。Transformer模型采用自注意力機制(Self-attention Mechanism)捕捉輸入序列中任意向量之間的依賴關系,在解決RNNs模型的長距離依賴問題的同時實現了并行計算[6]。周哲韜等提出基于Transformer模型的滾動軸承RUL預測方法,較好地提升了預測準確率[7]。Zhou等對Transformer模型的自注意力機制與解碼方式進行改進,提出了Informer模型[8]。李廣福等使用Informer模型挖掘出退化指標與滾動軸承退化趨勢的復雜映射關系,通過實驗證明了該方法相對GRU(Gated Recurrent Unit),LSTM(Long Short-Term Memory)等RNNs模型方法的先進性[9]。然而,Transformer,Informer等模型中的自注意力機制難以從復雜長時間序列中分解出可靠的時序依賴,且此類逐點聚合特征的方式會造成信息利用瓶頸。

Autoformer模型是對Transformer,Informer等模型的有效改進：提出一種序列分解模塊(Series Decomposition Block),可從復雜時間模式中漸進地分解出趨勢項(trend-cyclical)與周期項(seasonal);提出一種自相關機制(Auto-Correlation Mechanism)代替自注意力機制,使用序列級連接聚合周期依賴項(Period-based dependencies),打破信息利用瓶頸的同時實現了O(LlogL)復雜度[10]。

鑒于振動信號具有對軸承狀態變化響應迅速、容易提取等優點,該文采用振動信號進行滾動軸承RUL預測。在實際生產環境中,采集到的振動信號往往具有非線性、非平穩和低信噪比等問題,因此需對其進行降噪處理。自適應濾波器使用自適應算法根據輸入信號的時變統計特性自動調整數字濾波器權重,其參數設置受人為因素影響小,魯棒性佳[11];相對于LMS(Least Mean Square)自適應算法,NLMS(Normalized Least Mean Square)自適應算法收斂速度更快、同時可避免長輸入信號下的噪聲梯度放大問題,更為適合對滾動軸承振動信號進行降噪。

該文將Autoformer模型引入滾動軸承RUL預測領域,提出一種基于NLMS自適應濾波器和Autoformer長序列預測模型的滾動軸承RUL預測方法。使用NLMS自適應濾波器對采集到的滾動軸承原始振動信號進行降噪,從降噪振動信號中分段提取時域特征,采用Spearman相關系數篩選出對滾動軸承RUL預測貢獻較大且獨立性較強的特征列,經歸一化后形成多維特征集;利用Autoformer模型中序列分解模塊與自相關機制建立多維特征集與滾動軸承RUL之間的分段非線性映射,實現滾動軸承RUL預測。

1 相關理論

1.1 NLMS自適應濾波器

NLMS自適應濾波器主要由參數可調數字濾波器與NLMS自適應算法組成[11],其結構如圖1所示。

圖1 NLMS自適應濾波器結構

NLMS自適應濾波器工作流程為：

(1)初始化濾波器權重w(0)、階數L、步長因子μ與修正因子σ,確定輸入信號x(n)、期望信號d(n);

(2)將x(n)輸入濾波器,得到輸出信號y(n);

(3)將d(n)與y(n)作差,得到噪聲信號e(n);

(4)NLMS自適應算法使用x(n)的歐氏范數的平方對w(n)更新量進行歸一化,以梯度下降的方式更新w(n),計算方法如式1所示。

(1)

其中,μ用于控制算法收斂速度;

(5)重復步驟2～步驟4至最大迭代次數或算法收斂,得到最優濾波器權重。

1.2 Autoformer模型

Autoformer模型主要由編碼器、解碼器組成[12],模型架構如圖2所示。

圖2 Autoformer模型架構

每層編碼器與解碼器中堆疊序列分解模塊、自相關機制、前饋網絡(主體為一維卷積)。編碼器的輸入為歷史時間序列,通過序列分解模塊逐步分離并輸出歷史周期性信息;解碼器的輸入為周期項與趨勢項信息,對趨勢項與周期項分別建模：對于周期項,使用多頭自相關機制聚合周期依賴項;對于趨勢項,使用逐步累積方式從隱變量中提取趨勢信息;最終輸出模型預測結果。

1.2.1 序列分解模塊

Autoformer模型中的序列分解模塊用于從復雜時間模式中漸進地分離出趨勢項與周期項。趨勢項與周期項計算方法如式2和式3所示。

χt=AvgPool(Padding(χ))

(2)

χs=χ-χt

(3)

其中,χ為時間序列中的待分解隱變量,χt與χs分別為趨勢項與周期項;Padding()操作用于維持序列長度,AvgPool()操作用于平滑周期項,從而突出趨勢項。

1.2.2 自相關機制

自相關機制基于序列周期性設計。多頭(multi-head)版本的自相關機制結構如圖3所示。

圖3 多頭自相關機制

基于隨機過程理論,通過計算原序列{χt}與τ滯后序列{χt-τ}的自相關系數Rχχ(τ)發現周期依賴項?；赪iener-Khinchin理論,自相關系數Rχχ(τ)可通過快速傅里葉變換(Fast Fourier Transform,FFT)得到,Rχχ(τ)計算方法如式4～式5所示。

(4)

(5)

其中,τ為滯后項,Sχχ(f)為信號的頻域表示,F與F-1分別表示FFT及其轉置運算,F*表示F的共軛運算。

使用TopK()操作取前k個使得自相關系數最高的周期長度,避免挑選到無關甚至相反相位;然后根據估計的周期長度使用Roll()操作進行信息對齊,之后聚合不同周期下相似子序列的時延信息。時延信息聚合過程如式6～式8所示。

τ1,…,τk=argTopk(RQ,K(τ)),τ∈{1,2,…,L}

(6)

(7)

AutoCorrelation(Q,K,V)=

(8)

2 基于NLMS和Autoformer的滾動軸承RUL預測

基于NLMS自適應濾波器和Autoformer模型的滾動軸承RUL預測流程如圖4所示。

圖4 基于NLMS和Autoformer的滾動軸承RUL預測流程

具體流程為：

(1)數據準備。

(a)獲取滾動軸承原始振動信號;

(b)根據滾動軸承原始振動信號各樣本段采樣時間構建歸一化剩余使用壽命(Normalized Remaining Useful Life,NRUL)列作為數據集標簽;

(2)數據預處理。

(a)數據降噪：使用NLMS自適應濾波器對滾動軸承原始振動信號進行降噪;

(b)特征提?。簭慕翟胝駝有盘栔蟹侄翁崛〕Ｓ脮r域特征;

(c)特征篩選：對各時域特征列結合NRUL列進行Spearman相關性分析,篩選出對滾動軸承RUL預測貢獻較大且獨立性較強的特征列;

(d)數據集劃分：對選取的各時域特征列經歸一化后形成多維特征集;將多維特征集按比例劃分為訓練集與測試集;

(3)模型搭建與訓練：初始化Autoformer模型超參數;將訓練集作為Autoformer模型的輸入,NRUL預測值作為模型的輸出,對Autoformer模型進行訓練;

(4)模型評估：將測試集輸入訓練完畢的Autoformer模型,使用均方根誤差(Root Mean Squared Error,RMSE)、平均絕對誤差(Mean Absolute Error,MAE)兩個評價指標對模型預測效果進行評估。

3 實驗驗證與分析

該文采用FEMTO-ST研究所(法國貝桑松)提供的PHM 2012數據集進行仿真實驗。PHM 2012數據集由PRONOSTIA實驗平臺通過多次加速軸承退化實驗采集,實驗平臺結構如圖5所示[13]。

圖5 PRONOSTIA實驗平臺

PHM2012數據集包含三種工況(徑向載荷力和轉速)下軸承振動數據與溫度數據,其中徑向載荷力用于加速軸承退化過程,各工況參數設置如表1所示。

表1 PRONOSTIA實驗平臺三種工況參數設置

振動信號由水平方向與垂直方向的兩個加速度傳感器進行采集,采樣頻率為25.6 kHz,采樣間隔為10 s,一個采樣周期長度為0.1 s。當振動信號水平振幅超20 g時認為軸承失效,獲得軸承全壽命周期振動信號。該文取分屬三種工況的軸承1_1、軸承2_1及軸承3_1的全壽命周期振動信號作為研究對象。軸承1_1全壽命水平振幅如圖6所示。

圖6 軸承1_1全壽命水平振動信號波形

由圖6可知,可按振動信號振幅變化將軸承1_1全壽命周期大致分為3個階段[14]。第1樣本段至第1 150樣本段為健康階段：此階段信號振幅基本保持平穩;第1 151樣本段至第2 710樣本段為退化階段：由于退化事件(如磨損、點蝕等)的發生,此階段信號振幅較前一階段逐漸增大;第2 711樣本段至第2 803樣本段為失效狀態：由于退化事件進一步發展,此階段信號出現跳變,信號振幅急劇增大,軸承失效。

不同類型、不同工況下的滾動軸承RUL衰減規律不盡相同。為保持模型的泛用性,該文構建NRUL真實值列作為數據集標簽。各樣本段對應NRUL真實值計算公式如式9所示。

(9)

其中,STt表示第t樣本段采樣時間?？梢妼τ谳S承全壽命周期數據,軸承初始狀態即ST1時對應NRUL真實值為“1”,軸承退化至失效(Run-to-Failure,RTF)狀態即STn時對應NRUL真實值為“0”;可較好地描述NRUL真實值隨時間衰減規律。

3.1 數據預處理

數據預處理的主要過程包括數據降噪、時域特征提取及篩選、數據歸一化等。

3.1.1 數據降噪

為抑制背景噪聲、凸顯退化信息,使用NLMS自適應濾波器對滾動軸承原始振動信號進行降噪。

期望信號的選擇對自適應濾波器性能有較大影響,為引導滾動軸承原始振動信號向期望信號靠攏的同時保留更多關鍵信息,在以滾動軸承原始振動信號為輸入信號的前提下,該文選用經滑動平均處理的輸入信號作為期望信號。采用的NLMS自適應濾波器階數設置為32,步長因子設置為1e-4,修正因子設置為1e-3。軸承1_1第1樣本段水平振幅經上述參數設置的NLMS自適應濾波降噪前后對比如圖7所示。

圖7 軸承1_1第1樣本段振動信號降噪前后波形對比

由圖7(a)、圖7(b)可知,經NLMS自適應濾波降噪后,高頻率與高幅值的噪聲組分被有效抑制,數據振蕩現象得到極大緩解,軸承振動信號變得更為集中與平滑;同時,原始振動信號的時變趨勢、跳變等有用信息得到較好保留。故NLMS自適應濾波器可較好地對滾動軸承原始振動信號進行降噪。

3.1.2 特征提取及篩選

分段聚合近似(Piecewise Aggregate Approximation,PAA)將序列均分成段,每個分段使用一個或多個特征值來表征,最終得到新的特征序列,可同時起到壓縮數據量與進一步降噪的作用[15]。該文基于PAA的思想對滾動軸承振動信號進行特征提取。

滾動軸承振動信號時域統計特征可解釋性強、易于提取且計算量小,多維時域特征可直觀、全面地反映軸承退化狀態[16]。為維持數據量與預測效果的平衡,對分段長度為8的振動信號序列分別提取多維振動信號時域特征。參考文獻[17-18],該文選擇的初始時域特征如表2所示。

表2 初始時域特征

冗余特征不僅會增加計算量、降低模型運行速度,還可能影響軸承RUL預測的準確率。該文通過計算各特征列與NRUL真實值列之間的Spearman相關系數進行特征篩選。

特征篩選過程中,保留與NRUL真實值列相關系數絕對值較大的特征列。同時,若特征列兩兩之間相關性較高,則僅保留兩者中與NRUL真實值列相關性更高的一列,刪除另外一列。最終選擇的對滾動軸承RUL預測貢獻較大且獨立性較強時域特征為：方根值、峰值、峭度值、脈沖因數、峭度因數。

將保留的各列時域特征分別進行數據歸一化,形成多維特征集。按照3∶1的比例將多維特征集劃分為訓練集與測試集。

3.2 模型訓練與結果分析

該方法中Autoformer模型基于Pytorch 1.12.0框架實現,使用CUDA 11.6在NVIDIA GeForce RTX 3090 GPU中進行訓練與測試。

將訓練集輸入Autoformer模型進行訓練。采用的Autoformer模型由2層相同的編碼器與1層解碼器組成,模型維度為512;采用ADAM優化算法自適應調整學習率,初始學習率設為1e-4并隨機初始化權重矩陣,設定值為0.05的Dropout防止模型過擬合,采用均方誤差(Mean Squared Error,MSE)為損失函數,選定GELU(Gaussian Error Linear Unit)為激活函數。

將測試集輸入訓練完畢的Autoformer模型,根據輸出的滾動軸承NRUL預測值計算RMSE和MAE,對模型預測效果進行評估。兩種評價指標均可防止正負誤差相互抵消,且數值越小代表預測效果越好。兩種評價指標計算如式10、式11所示。

(10)

(11)

其中,n為測試集樣本總數量,NRULT為滾動軸承NRUL真實值,NRULP為滾動軸承NRUL預測值。

文獻[7]、文獻[9]已分別證明Transformer模型、Informer模型相對GRU、LSTM、雙向LSTM等主流RNNs模型在滾動軸承RUL預測領域的先進性。使用與Autoformer模型參數一致的Transformer模型、Informer模型與文中Autoformer模型建立對比實驗,以驗證Autoformer模型在滾動軸承RUL預測領域的有效性與先進性。上述三種模型預測效果如圖8所示。

圖8 各模型預測效果

為便于觀察,圖中預測曲線經窗口尺寸為8的滑動平均處理。由圖8可知,三條預測曲線整體呈現與NRUL真實值曲線相似的下降趨勢,表明Transformers模型在滾動軸承RUL預測領域具有巨大潛力;其中,Autoformer預測曲線最為貼近NRUL真實值曲線,且隨著預測長度的增加,該曲線起伏逐漸減小;同時,觀察到Autoformer預測曲線出現周期性尖銳跳變,而Transformer預測曲線與Informer預測曲線中此種現象不明顯,推測這是由于Autoformer模型捕獲到了軸承退化過程中的長周期性退化特征。證明了Autoformer模型相對其他Transformers模型在滾動軸承RUL預測領域的有效性與先進性。

此外,為驗證NLMS自適應濾波器對降低預測誤差具有重要作用,使用未降噪方法與文中方法進行對比。除在數據預處理階段未對原始振動信號使用NLMS自適應濾波器進行降噪外,所述未降噪方法其余流程與文中方法相同。

Transformer模型方法、Informer模型方法、未降噪方法與文中方法在三種工況測試集上的評價指標值如表3所示。

表3 PHM 2012數據集下各方法評價指標值

由表3可知：

(1)在經過相同的數據預處理后,與Transformer模型方法、Informer模型方法相比,文中方法預測誤差在RMSE均值方面分別降低了43.60%和21.84%,在MAE均值方面分別降低了55.94%和34.05%;在三種工況中均可取得最低預測誤差。進一步證明了基于Autoformer模型的滾動軸承RUL預測方法的有效性、先進性與泛化性。從模型設計思想分析：Transformer,Informer等模型的自注意力機制實現的是逐點特征聚合,此類離散方式未充分利用時間序列的連續性;而Autoformer模型的自相關機制實現的是高效的序列級連接,提升了信息利用率,更適用于滾動軸承RUL預測此類連續過程;從軸承退化機理分析：磨損是軸承退化的最主要形式,使得軸承振動信號振幅具有緩慢增大的趨勢性;磨損、剝離等軸承內表面損傷通常會激起重復性的瞬態沖擊,使得振動信號相應地表現出周期性瞬態脈沖;而Autoformer模型可很好地處理此類蘊含趨勢性與周期性的長時序數據。

(2)在使用相同參數設置的Autoformer模型作為預測模型的情況下,與未降噪方法相比,文中方法預測誤差在RMSE均值和MAE均值方面分別降低了8.32%和18.05%?？梢奛LMS自適應濾波器濾除了原始振動信號中混雜的大量噪聲,避免了預測模型學習到無關甚至有害特征,從而降低了滾動軸承RUL預測誤差。

為驗證文中方法相對已有方法的先進性,將其與文獻[9,19-20]所提方法在軸承1_1振動數據上的RUL預測評價指標值進行對比,如表4所示。

表4 文中方法與已有方法評價指標值

由表4可知,與已有方法中預測誤差較低的文獻[9]所提方法相比,文中方法預測準確率在RMSE與MAE兩個評價指標上分別獲得了24.4%與47.2%的提升,證明了文中方法的先進性。

為進一步驗證文中方法的有效性與泛化性,使用西安交通大學與浙江長興昇陽科技有限公司提供的XJTU-SY滾動軸承加速壽命試驗數據集進行實驗。該數據集共包含3種工況下15個滾動軸承的全壽命周期振動信號。振動信號由水平和豎直方向上兩個加速度傳感器采集,采樣頻率為25.6 kHz,采樣間隔為1 min,一個采樣周期長度為1.28 s[21]。取分屬三種工況的軸承1_1、軸承2_1及軸承3_1的全壽命周期振動信號作為研究對象。經數據降噪、特征提取及篩選、數據集劃分等步驟后,分別對與前述Autoformer模型參數一致的Transformer模型、Informer模型和Autoformer模型進行訓練及測試。三種模型方法在三種工況測試集上的評價指標值如表5所示。

表5 XJTU-SY數據集下各方法評價指標值

由表5可知,文中方法相較Transformer模型方法、Informer模型方法在RMSE值分別降低了41.16%和2.81%,在MAE值分別降低了42.97%和4.56%,進一步證明了文中方法的有效性與泛化性。

4 結束語

提出一種基于NLMS自適應濾波器和Autoformer模型的滾動軸承RUL預測方法。經過實驗分析,得到以下結論：

(1)NLMS自適應濾波器對降低預測誤差具有重要作用。實驗證明NLMS自適應濾波器可較好地對滾動軸承原始振動信號進行降噪;在使用相同參數設置的Autoformer模型作為預測模型的情況下,文中方法在評價指標上的表現優于未降噪方法;

(2)基于Autoformer模型的滾動軸承RUL預測方法具有有效性與先進性。實驗證明Autoformer模型可有效建立多維特征集與滾動軸承RUL之間的復雜映射,文中方法的預測曲線與真實曲線最為貼合,與對比方法、已有方法相比預測誤差最低,可更為準確地預測滾動軸承RUL。

盡管文中方法在滾動軸承RUL預測領域取得了較好效果,但仍未避免滯后預測現象的發生,后續可通過改進模型結構等措施減輕或消除滯后預測現象。