基于雙通道模型的航空發動機剩余壽命預測

車魯陽,高軍偉,付惠琛

(1.青島大學自動化學院,山東青島,266071;2.山東省工業控制技術重點實驗室,山東青島,266071)

航空發動機作為航空飛行器關鍵部件之一,其健康狀態直接影響飛行安全[1]。由于發動機長期工作在高溫、高壓、強振動等極端環境下,其剩余使用壽命(remaining useful life,RUL)呈現非線性、波動大的特點,使得運營維護問題變得尤其突出[2]。隨著工業互聯網的發展,各式傳感器監測數據爆發式增長,如何有效地對其加以利用成為了解決問題的關鍵。

目前,對于剩余壽命預測基本分為2種方法:基于物理模型預測和基于數據驅動預測[3]。前者只有當模型參數能夠輕松準確地得到,并且有足夠的計算資源實時實現時,才有可能取得符合預期的理想精度,且模型的泛化能力差、成本高;后者由于采集技術的不斷發展,能夠充分挖掘數據特征進行預測,不依賴物理模型且精度越來越高,這些年被廣泛研究。

對于數據驅動方法,早期的機器學習方法,如馬爾可夫模型[4]、支持向量機[5]、人工神經網絡等方法已經展露出不錯的數據處理能力,但由于結構簡單導致預測精度并不高。隨著硬件成熟和人工智能技術發展,深度學習憑借著深層網絡結構,能夠更好地追蹤壽命退化趨勢而被廣泛應用[6]。文獻[7]利用卷積神經網絡(convolutional neural networks,CNN)的稀疏連接和參數共享的特點,將其應用在預測發動機剩余壽命上,但是有著容易產生過擬合以及對輸入大小敏感的問題。文獻[8]運用長短時間記憶網絡(long short-term memory network,LSTM),提取設備的時序特征,增強特征與目標的關聯性,但同時也存在著模型復雜度高、計算量大的問題。

隨著研究的深入,在基礎卷積的基礎上,文獻[9]引入時間卷積網絡(time convolutional networks,TCN),利用膨脹卷積和殘差結構,獲得更大感受野和更快的計算速度。文獻[10]利用卷積長短時間記憶網絡(convolutional long short-term memory network,ConvLSTM)對基礎LSTM進行改進,不僅有著稀疏連通性和參數共享的優點,還能夠捕獲數據長期依賴關系。文獻[11]從Transformer模型中提取出多頭注意力機制(multi-attention mechanism,MA),將特征映射到獨立的子空間,重新分配特征權重,在航空發動機壽命預測中也取得了不錯的效果。但是上述深度神經網絡都將重點放在單一網絡模型的研究,而每種網絡都有一定的局限性,對于退化特征的學習是有限的,因而導致精度難以進一步提升。

為充分利用上述所提網絡模型的優勢,并彌補其不足,本文開發建立了一種雙通道網絡的航空發動機剩余壽命預測模型。引入TCN和ConvLSTM,使其分開學習航空發動機退化特征向量,再各自添加多頭注意力機制,將所學習特征映射到獨立子空間并重新分配權重,重點關注對于發動機退化影響大的特征向量。最后構建一個特征融合框架將兩通道網絡結合,充分考慮2個網絡各自學到的特征權重,用于最終的剩余壽命預測并進行實驗驗證。

1 理論基礎

1.1 時間卷積神經網絡

時間卷積網絡(TCN)是卷積神經網絡(CNN)的一種變體,由膨脹因果卷積和殘差模塊組成。

在解決時序問題上,需要追溯歷史信息,歷史信息越久遠,隱藏層越多,計算量越大。為了增大感受野又不使得隱藏層過多,膨脹因果卷積引入了一個新的超參數——擴張率d。在不損失信息的情況下,允許模型間隔采樣,最下面一層d=1,表示輸入時每個點都采樣,中間層d=2,表示輸入時每2個采樣點作為一個輸入,通常層級越高所采用的擴張率越大。設一維序列的輸入是l={s1,s2,…,sn-1}∈Rn與卷積核f:{0,1,…,n-1}→R,其序列元素s的卷積運算F的表達式為:

(1)

殘差模塊使信息能夠跨越層數傳遞,從而避免層數過多而造成信息損失。引入批標準化,將每一層網絡輸入歸一化。標準化層后添加激活函數來保證模型擬合非線性數據并用正則化降低模型過擬合的風險。為保持輸入和輸出一致性,使用1×1卷積置于卷積層后。

1.2 卷積長短時間記憶網絡

卷積長短時間記憶網絡(ConvLSTM)是在長短時間記憶網絡(LSTM)結構的基礎上引入了卷積結構,不僅有著稀疏連通性和參數共享的優點,還能夠捕獲數據長期依賴關系。

其內部運算公式如下所示:

(2)

(3)

(4)

(5)

(6)

ht=go⊙tanhCt

(7)

式中:*表示卷積運算;gt、gi、go分別為ConvLSTM中3個門控機制;(Wf,bf)、(Wi,bi)、(Wo,bo)代表對應門控機制卷積運算中的卷積核和偏差;σ為sigmoid激活函數;tanh為激活函數;xt表示t時刻的輸入數據;ct、ht-1、ht分別表示當前時間點的內存向量、前一個時間點和當前時間點ConvLSTM單元的狀態輸出向量;⊙表示矩陣元素相乘。

1.3 多頭注意力機制

將多頭注意力機制與TCN和ConvLSTM 2種深度學習算法融合,模型框架如圖1所示。兩通道網絡在每個時間步長都會學習到一個特征。假設某個樣本經過網絡學習到的特征表示為:

圖1 多頭注意力機制融合框架

H={h1,h2,…,hn}

(8)

查詢矩陣Q、關鍵字矩陣K、和值矩陣V均為H的線性映射,n為子空間關鍵個數?？s放點積注意力是多頭注意力機制的重要組成部分,其定義如下:

(9)

式中:Q、K和V分別是線性映射格式,定義為Q=Wqei,K=Wkei和V=Wvei;dk表示投影的尺寸。

多頭注意力機制通過式(9)的多重自注意力操作將輸入特征映射到不同的子空間,獲取多個子空間的注意向量,然后將其組合,從而可以多個角度分析嵌入方式之間的相關性,提高模型性能。多頭注意力定義如下:

Multihead(Q,K,V)=

Concut(head1,head2,…,headn)

(10)

(11)

2 模型搭建

提出基于雙通道模型的航空發動機RUL預測方法框架如圖2所示,主要包括數據預處理和網絡預測2部分。數據預處理包含傳感器數據選擇、標準化及時間窗處理,將預處理后的特征輸入到搭建的雙通道融合網絡中,得到最終的預測值。

圖2 航空發動機剩余壽命預測方法框架

2.1 雙通道網絡融合

本文構建的雙通道網絡融合,經多頭注意力機制優化的TCN和ConvLSTM神經網絡將各自學習到的時序特征和時空特征通過全連接神經網絡進行抽象提取,再經過Concatenate函數實現特征融合,最后對剩余壽命進行預測。

2.2 參數設置

經過多次實驗,模型中TCN模塊和ConvLSTM模塊的主要參數設置如表1和表2所示。表中K、N、d、n分別表示卷積核大小、濾鏡數、擴張率大小、神經元數目。卷積核設定為3,濾鏡數設定為16。網絡超參數設置:迭代次數epochs=100,批大小Batch size=32,模型初始學習率lr=0.01,優化器為Adam,損失函數為均方誤差函數(mean squared error,MSE),采用早停法進行訓練,監控驗證集的損失函數,當損失不再下降時提前停止訓練,防止模型過擬合并提高泛化能力。

表1 TCN主要模塊參數設置

表2 ConvLSTM主要模塊參數設置

所提模型中的多頭注意力機制涉及注意力頭數的選擇,不同頭數對于預測精度是有一定影響。為了探究精度最高的參數設置方案,本文設置不同注意力頭數:1、2、4、8、16、32、64、128共8種情況。為了防止偶然性,對每一種情況運行實驗5次取平均值,得到其預測結果的MAE值和RMSE值如圖3所示?？梢钥吹?不同注意力頭數對應的預測精度不同且差異較大,注意力頭數的增加與準確度的提高沒有正負相關性,在本文實驗中,當注意力頭數為4時的預測模型精度最高,因此后續的實驗都在這個參數的基礎上進行。

圖3 不同注意力頭數對比

3 實例分析

為驗證雙通道模型在發動機剩余壽命預測中的有效性,基于python3.8和Tensorflow2.0框架進行實驗驗證。

3.1 C-MPASS數據集描述

本實驗所用數據來自NASA的C-MAPSS航空發動機數據集。該數據集包含FD001～FD004組數據,本文選取包含一種工況條件和一種故障模式的FD001子數據集作為測試驗證所提模型的效果,如表3所示。該子數據集包含訓練集和測試集,其中訓練集包含從初始到損壞的全壽命數據,而測試集采用的是完整生命周期的部分數據,且對應有相應的RUL標簽,關于模塊具體信息詳見文獻[12]。

表3 FD001子數據集

3.2 數據選擇

實驗采用的FD001子數據集包含的訓練數據和測試數據記錄了若干運行周期下的s1～s21共21類傳感器監測數據。根據參考文獻[12]可知,傳感器采集的監測數據在發動機整個壽命周期中幾乎沒有變化,對于RUL預測沒有幫助甚至會帶來干擾,因此予以剔除。剩余14個傳感器數據:在發動機的退化過程中,呈現出明顯的上升或下降趨勢,可作為有效輸入數據對RUL進行預測。

3.3 退化標簽設計

在發動機壽命預測問題中,發動機的運行時間越久,退化程度越高,并且這種退化趨勢通常不是線性的。因此,在預測發動機壽命時,需要考慮這種非線性的退化趨勢,并將其納入預測模型中。在訓練過程中常有發動機的壽命周期循環大于100次或者125次,因此文獻[13]中退化標簽下降的循環數通常設為125,如圖4所示。

圖4 發動機退化標簽

將擁有200個循環次數的發動機的剩余使用壽命進行分段處理,前75個循環設定同一剩余使用壽命周期。這表示,在模擬發動機運行75個循環之后,其退化程度將會發生明顯的變化,按照線性規律退化直至壽命為0。這樣的設計可以更好地模擬發動機的實際壽命變化,從而提高預測的準確性。

3.4 評價指標

為了評價比較模型精度,引用了其它相關研究常用的平均絕對誤差(mean absolute error,MAE)、均方根誤差[14](root mean square error,RMSE)、和PHM競賽中的評分函數(score function,Score)[15]3個性能指標。式中MAE和RMSE由(12)和(13)定義,式中Et=RULact-RULpred,即為實際RUL與預測RUL之間的誤差,n是樣本數。

(12)

(13)

在實際工業生產中,對于剩余壽命的低估和高估對機器操作的影響不同。低估會導致多余的停機時間,造成資源的浪費;而高估則可能會導致人員傷亡等安全事故。因此高估應該受到比低估更嚴重的懲罰。因此為了客觀和全面地評估預測模型設計了一個評分函數,來考慮低估和高估對軸承整個生命周期的影響。評分函數定義如下:

(14)

式中:di為預測值與真實值的差值,由定義可知Score值越小,證明懲罰越小,預測效果越好。

3.5 實驗設計及結果分析

3.5.1 消融實驗

根據上述網絡參數、基礎環境搭建模型,利用訓練集進行訓練并在其中抽取20%作為驗證,對測試集100臺發動機的剩余壽命進行預測。

將本文模型進行部分模塊拆解,構成3種消融模型:

1) TCN+多頭注意力:去掉ConvLSTM網絡通道,構建結合多頭注意力機制的TCN單通道網絡模型;

2) ConvLSTM+多頭注意力:去掉TCN網絡通道,構建結合多頭注意力機制的ConvLSTM單通道網絡模型;

3) 普通雙通道模型:去掉多頭注意力機制,構建ConvLSTM和TCN的雙通道網絡模型。

圖5展示了3個消融模型和本文模型在測試集100臺發動機上的預測結果,其中圖5(a)、(b)、(c)在某些發動機上預測效果較好,但是部分發動機存在預測差值大的情況。圖5(d)是本文提出的最終模型,總體上預測值與真實值之間誤差較小,且幾乎都小于真實值,證明該模型能充分地挖掘故障特征并在發動機失效之前提出預警,提高了在實際運營生產環境中的安全性。

(a) TCN+多頭注意力模型

定義預測誤差等于預測值與真實值差值的絕對值,對4種模型在測試集上的100臺發動機進行預測誤差求和對比,結果如圖6所示,可以更加清晰地看出所提模型的總體誤差更小,預測精度更高。

圖6 發動機壽命預測總誤差

為了更加具體地說明所提模型的有效性,引入評價指標,對上述的4種模型進行量化評估。評價結果如表4所示,可以看出相對于添加多頭注意力機制的TCN和ConvLSTM單通道模型,所提模型在MAE、RMSE、Score值上明顯降低,這說明將二者結合有助于預測性能的提升。與未加多頭注意力機制的普通雙通道模型相比,所提模型在MAE、RMSE、Score值上分別降低了14.95%、7.6%、21.02%,這說明通過引入多頭注意力機制優化重點特征權重分配,可以提高預測精度。綜上,證明所提方法能夠很好地捕捉航空發動機退化特征的時序特性,對于剩余壽命作出更為準確的預測。

表4 消融實驗評價指標

為了更加直觀地顯示所提模型與其它消融模型的剩余壽命預測效果,從100臺測試發動機中隨機抽取4臺進行完整壽命預測,預測結果如圖7所示?？梢钥吹?本文模型主要貢獻在壽命還未開始退化的早期,由于特征信息少,單通道網絡模型對于數據的挖掘力度不足導致預測嚴重偏離真實壽命,而普通雙通道和本文模型能夠解決這個問題,并且本文模型更加接近真實壽命,初步證明所提方法的性能提升。在壽命正式開始退化時,也是預測值波動劇烈的地方之一,本文模型在4臺發動機上表現最好。隨著壽命周期臨近終點,故障信息增多,網絡學習到的信息隨之增多,4種模型基本都能較好地追蹤壽命退化趨勢,這是因為本文所對比的消融模型相對于傳統網絡模型已經有著較大的改進。需要注意的是,部分發動機由于信號噪聲大等原因,導致預測結果波動大、預測精度低如圖7(b)所示,傳統網絡誤差大尤其是TCN在整個壽命周期的預測中表現最差,而本文模型預測曲線雖然在未開始退化時期波動較大,但也能隨著退化信息的增多而逐漸收斂,證明了一定的魯棒性。綜合來看,本文模型在發動機整個壽命周期的預測過程中,最貼近真實退化曲線,預測準確率較高,具備一定的工業價值。

(a)34號發動機

3.5.2 對比實驗

為了驗證本文提出模型的優越性,分別構建了其它文獻中提出的優秀深度學習方法:CNN-BiLSTM模型[16]、多特征注意力模型[17]、多頭注意力模型[18]、CNN-GRU[19]作為對比模型。在FD001測試集上進行誤差比較,所得結果如表5所示。其中,文獻[16]和文獻[19]是基于CNN-LSTM的2種網絡改進,本文模型相對于2者中表現更好的CNN-BiLSTM模型在MAE、RMSE、Score值上分別降低了:34.63%、31.31%、37.66%,這說明雙通道模型的確在預測準確性上優于單通道網絡模型。文獻[17]所提模型考慮了多通道提取特征的情況但是本身對于特征的挖掘深度還不足,而文獻[18]雖然增加了多頭注意力來對特征權重進行再分配,但跟文獻[16]、[19]一樣缺少對于多模型組合的探索,導致精度無法進一步提升。相對于表現最好的多特征注意力模型,所提模型在MAE、RMSE、Score值上分別降低了10.08%、7.89%、13.37%。

表5 對比實驗評價指標

4 結語

本文提出一種雙通道結合多頭時序注意力機制的航空發動機剩余壽命預測模型。首先,將原始發動機監測信號提取出來,從中選取能夠表征退化的特征數據;其次,建立雙通道模型,利用TCN更大的感受野和計算速度的優勢以及ConvLSTM能夠捕捉特征時序特性的特點各自獨立處理特征向量;最后,引入多頭注意力機制,降特征向量映射到獨立子空間,重新賦予權重,關注重點向量,提高預測精度。使用C-MAPSS數據集對模型進行仿真驗證,并與原始模型和其它文獻中的模型比較,結果表明該模型預測精度更高,綜合性能優于其它模型,為航空發動機的剩余壽命預測提供了一種新思路。

未來將在變換工況的情況下,進一步驗證所提模型的有效性,嘗試通過遷移學習等手段提高模型的泛化性。