基于混合域殘差注意力網絡的滾動軸承智能故障診斷方法①

賈立新 陳永毅 倪洪杰 張丹

(浙江工業大學信息工程學院 杭州310023)

隨著工業生產和生活對機械裝備功能要求越來越高,工業裝備的內部組件變得越來越復雜,在系統運行過程中極易發生故障。只有構建安全可靠的工業裝備與系統,才能滿足工業生產的需要。滾動軸承是旋轉機械的重要組成部分,其健康狀況對工業機械的實用性和可用性有重大影響。同時,軸承也是旋轉機械中最脆弱的部件之一,軸承故障是導致機械故障的主要原因[1]。軸承故障可能會導致機器的嚴重損壞,進而迫使重要機械的不可用,導致經濟損失和嚴重的安全隱患。因此,滾動軸承的早期故障診斷是保證機器不間斷運行的關鍵。為了管理機械設備的潛在故障,軸承的故障檢測和診斷已經引起了研究者的極大關注。研究人員引入了不同的方法來診斷滾動軸承的缺陷,其中時域、頻域和時頻域的振動信號分析方法應用最為廣泛[2-3]。然而,這是一個面向專家的任務,在快速響應大量數據方面,人工檢測通常不是最有效的手段。為了減少對維護人員的依賴,智能狀態監測技術正受到越來越多研究人員的關注。

在過去的20 年中,研究人員提出了許多與人工智能技術或傳統的機器學習技術[4]相關的新方法,如使用人工神經網絡(artificial neural network,ANN)進行滾動軸承故障診斷[5]、基于主成分分析(principal component analysis,PCA)的機器缺陷分類特征選擇方案[6]、基于支持向量機(support vector machine,SVM)的機器狀態監測和故障診斷方法[7]和基于神經網絡和SVM 的軸承缺陷診斷方法[8]。近年來,也有研究者將機器學習算法與遺傳算法相結合[9],實現對軸承的智能故障診斷。例如,文獻[10]采集了不同工況下的振動和電流數據,首先從振動和電流信號中提取時域、頻域和時頻域特征;并采用自動編碼器進行特征學習;最后通過特征融合集成不同領域的信息,利用softmax 層進行最終分類。文獻[11]提出了一種基于變分自編碼器和隨機森林方法的多源信息融合算法,用于有限標注情況下的軸承故障診斷。文獻[12]提出了一種基于電機電流信號的軸承故障診斷方法,利用卷積神經網絡(convolutional neural networks,CNN)和信息融合技術從當前信號的灰度圖像中自動提取特征。在應用信息融合技術后,采用經典的機器學習算法進行分類,能夠準確定位故障位置。盡管故障診斷方法在軸承預測性維護方面取得了重大進展,但仍然存在一些局限性。一方面,基于機器學習的經典方法對復雜系統的表征能力有限,性能較差[13-14];另一方面,這些方法高度依賴輸入數據的故障特征,特征提取能力較弱。

為了解決上述故障診斷的挑戰,深度學習(deep learning,DL)技術在近幾年被廣泛應用于機電系統的故障診斷[15-16]。DL 通過使用具有多層的神經網絡和非線性變換[17],從數據中提取復雜的關系。與基于機器學習算法[18]的手工特征提取過程不同,DL以有效和自適應的方式深化輸入數據特征的表征,能夠顯著提高故障診斷的準確率。卷積神經網絡[19]、長短期記憶網絡(long short term memory,LSTM)[20]以及深度自編碼器(deep-autoencoders,DAE)[21]在故障診斷中得到了廣泛的應用。文獻[22]通過CNN 提取混沌序列中的高級抽象特征,并將提取的特征輸入到LSTM 作進一步處理,最后采用灰狼算法優化的SVM 進行故障診斷,在噪聲條件下取得了較高的準確率。文獻[23]設計了一種基于雙向LSTM 的故障診斷模型,相比于CNN,能夠提取更多的故障特征信息,實現了端到端的故障診斷。

傳統深度學習網絡雖然能夠準確診斷軸承故障類型,但容易受到噪聲干擾。為了進一步提高故障診斷網絡的魯棒性,研究人員開始將計算機視覺中的注意力機制引入到故障診斷領域。文獻[24]將一維振動信號時間序列轉化為二維圖像,并將圖像數據作為網絡的輸入傳入到所構建的多尺度注意力卷積神經網絡模型中,通過注意力機制對不同的故障特征賦予不同的權重,使模型更關注于最具類別區分度的區域,從而提高模型的特征學習能力,在強噪聲環境下表現出良好的魯棒性。文獻[25]將加權密集連接網絡和注意力機制相結合,將不同空間級別的特征進行融合,使故障診斷模型具有較高的魯棒性。文獻[26]在CNN 提取特征的基礎上,采用帶有注意力機制的雙向長短期記憶網絡單元給CNN 提取的特征賦予不用的權重,穩定性優于其他基于深度學習的診斷模型。文獻[27]針對滾動軸承在強噪聲環境下故障診斷效果不佳的問題,設計了一種具有通道注意力機制的多尺度卷積網絡,在不同的噪聲環境下均取得了較高的準確率。

雖然基于深度注意力機制網絡的故障診斷方法在噪聲條件下的魯棒性得到了大幅度增強,但隨著噪聲的進一步增大,精度開始明顯減小。為了更加充分地提取振動信號中的故障特征,本文提出了基于混合域殘差注意力網絡(mixed domain attention residual network,MDARN)的滾動軸承智能故障診斷方法。該網絡是由3 個注意力模塊堆疊而成,堆疊方式采用的是殘差網絡的堆疊方式,能夠避免直接疊加導致模型性能明顯下降的問題。同時,采用最大池化層和上采樣層模擬自下而上的快速前饋過程和自上而下的注意力反饋過程,能夠顯著提高故障診斷網絡的魯棒性。最后在滾動軸承故障診斷試驗臺上進行測試,驗證了所提方法相比于現有方法的優越性。

1 殘差網絡

1.1 殘差網絡基本組件

殘差網絡具有與傳統深度卷積網絡相同的一些基本組件,包括卷積層、整流線性單元(rectified linear units,ReLU)激活函數、批歸一化(batch normalization,BN)層、全局平均池化(global average pooling,GAP)層和交叉熵誤差函數。下面對這些基本組件的概念作進一步詳細介紹。

卷積層是使CNN 區別于傳統的全連接(fully connected,FC)神經網絡的關鍵部分。由于卷積層通過卷積操作進行數據特征提取,而不是采用矩陣乘法進行運算,因此卷積層可以大大減少需要訓練的參數量。此外,由于可訓練參數較少,深度學習方法發生過擬合的可能性較小,因此可以更容易地對測試數據集產生較高的精度。輸入特征映射與卷積核的卷積,加上偏置項可以表示為

式中,xi為輸入特征圖的第i個通道,yj為輸出特征圖的第j個通道,k為卷積核,b為偏置,Mj為計算輸出特征圖的第j個通道的通道集合。

特征的分布往往在訓練迭代過程中不斷變化。在這種情況下,卷積層中的參數必須不斷更新以適應變化的分布,這增加了訓練的難度。BN 是一種特征規范化技術,作為可訓練過程被插入到深度學習體系結構中。BN 的目的是減少內部協變位移,BN 首先將特征歸一化為平均值為0、標準差為1 的固定分布,然后將特征調整為在訓練過程中學習到的理想分布。BN 的過程可表示為

其中,xn和yn分別表示小批量第n個觀測的輸入和輸出特征;μ和σ2是小批量的均值和方差,Nbatch是批量大小;γ和β是2 個可訓練的參數來縮放和移動分布;ε是常數,接近于0;表示批歸一化后的。

在卷積層和BN 之后一般緊跟激活函數,對提取到的特征進行非線性變換。激活函數通常是神經網絡的一個重要組成部分,用于非線性變換。在過去的幾十年里,已經開發了各種激活函數,包括sigmoid、tanh 和ReLU。ReLU 激活函數由于能有效地防止梯度消失,近年來受到廣泛關注。ReLU 激活函數在負數部分的值恒為0,此時導數為0;而在正數部分的值為x,導數為1,這有助于保持特征在網絡層間流動時的范圍不變。ReLU 激活函數如式(6)所示。

其中,x和y分別為ReLU 激活函數的輸入和輸出。

1.2 殘差網絡設計

殘差網絡是近年來備受關注的一種新興的深度學習方法,其中殘差塊是殘差網絡基本組成部分。如圖1 所示,殘差塊由2 個BN、2 個ReLUs、2 個卷積層和1 個跳躍連接組成。跳躍連接是殘差網絡優于一般深度卷積網絡的部分。隨著神經網絡變得越來越復雜,網絡深度越來越深。隨著網絡層數的逐漸增加,傳統的CNN 會產生梯度消失和梯度爆炸現象,嚴重影響網絡的學習。

圖1 殘差塊

為了使深度神經網絡能夠更好地學習,殘差塊添加了跳躍連接,使輸入特征能夠直接傳輸到輸出端,防止信息的快速流失。在使用了跳躍連接以后,梯度可以有效地流向較早的層,這些層接近輸入層,因此可以更有效地更新參數,有效解決了梯度消失和梯度爆炸問題。

2 混合域殘差注意力網絡

2.1 注意力機制

振動信號中含有大量與故障不相關的信息,這些信息會嚴重干擾故障診斷網絡的學習,使得故障診斷網絡無法作出準確的判斷。為了提高網絡的抗干擾能力,研究者們開始將研究重心集中在注意力網絡上。CNN 的典型注意力機制主要包括通道注意力和空間注意力。與傳統的CNN 不同的是,在注意力機制增強的CNN 中,前一個卷積層輸出的特征圖在進入下一個卷積層之前會根據注意力系數進行加權,而不是直接輸入到下一層。在通道注意力方面,首先采用全局平均池化(GAP)和全局最大池化(global maximum pooling,GMP)對通道維度上的特征映射進行壓縮;然后將得到的特征映射送入一個權值共享的多層感知器(multilayer perceptron,MLP)中生成兩組權值;最后,將兩組權重之和作為注意力權重。在空間注意力方面,采用平均池化和最大池化的方法沿著空間方向壓縮特征圖。將得到的特征映射疊加成雙通道格式后,由輔助卷積層生成代表不同區域重要性的空間注意力權值。注意力機制的引入改變了原來的等權模式,對網絡的不同通道或空間區域賦予不同的權值,能夠使網絡更加關注對預測任務重要的特征,進而降低了噪聲信息對預測任務的干擾。

本文在殘差網絡基礎上,構建如圖2 所示的基于混合域殘差注意力網絡的故障診斷模型。該模型對振動數據采用掩碼方式進行特征提取,削弱噪聲信息對特征提取的干擾,提高網絡的診斷精度?；旌嫌驓埐钭⒁饬W絡是通過堆疊多個注意力模塊進行構建[28]。每個注意力模塊整體結構類似于殘差塊,分為2 個路徑:軟掩碼路徑和主路徑。主路徑由2 個殘差塊組成,負責對輸入數據進行特征提取。軟掩碼路徑模擬自底向上和自頂向下的結構學習相同大小的掩碼,以此實現快速前饋和反饋的注意力過程。

圖2 混合域殘差注意力網絡

2.2 軟掩碼路徑

注意力網絡通過軟掩碼路徑求取注意力系數,整個軟掩碼路徑包含快速前饋掃描和自頂向下的反饋步驟[28]。前者快速掃描整個特征圖的全局特征,后者則用來整合全局信息和原始特征圖。

軟掩碼路徑首先將輸入數據x輸入到連續2 個最大池化層和殘差塊中,進行下采樣操作,能夠迅速增大網絡層的感受野,實現對振動信號長期依賴信息的捕獲。輸入數據x在殘差塊中的處理過程如下:

在感受野足夠大后,再對稱于下采樣過程,連續堆疊2 個殘差塊和上采樣層,對提取的特征進行上采樣。全局信息通過對稱的自頂向下架構進行擴展,以指導每個位置的輸入特征。從圖2 中的軟掩碼中可以看到,在自下而上和自上而下之間添加了跳躍連接,以此來捕獲來自不同尺度的信息,使捕獲的信息更加豐富[28]。針對每個通道和空間位置上的特征FM,通過Sigmoid 激活函數求取混合域注意力系數M(通道域和空間域),將注意力系數限制在[0,1]之間,以此防止出現過大的注意力系數,導致網絡訓練的崩潰。

2.3 混合域殘差注意力模塊

在獲得注意力系數M之后,通過將主路徑的特征FA與注意力系數M進行逐元素相乘,便可得到輸入數據x的注意力特征Fatt。

其中,M是軟掩碼的注意力參數,取值范圍是[0,1]。

隨著注意力模塊的疊加,輸出的注意力特征圖會越來越小,有可能打破網絡原有的特性,使網絡性能降低。為了解決這個問題,求取的注意力特征Fatt參照ResNet 恒等映射的方法,將求取的注意力特征與主路徑提取的特征進行相加,在確保注意力特征不損壞的前提下,保證了注意力模塊輸出的特征不會太小:

其中,H是注意力模塊的輸出。這就構成了混合域殘差注意力模塊,能將振動數據的特征和加強注意力之后的特征一同輸入到下一模塊中。注意力模塊通過主路徑和軟掩碼路徑,既能獲取輸入數據中的最具類別區分度的關鍵特征,又能使其繞過軟掩碼路徑,保持原始數據的良好特征,削弱軟掩碼路徑的特征選擇能力,使注意力模塊的輸出特征具有較強的抗干擾能力。

通過上述操作,網絡在不損失振動信號原有特征的基礎上,確保了重要特征能在所有特征中占據更大的比重,進而削弱噪聲信息對故障診斷模型的干擾,增大不同故障數據間的可區分度。

2.4 混合域殘差注意力網絡設計

混合域殘差注意力網絡由3 個連續的混合域殘差注意力模塊堆疊而成。通過堆疊注意力模塊可以逐漸細化特征圖。如圖2 所示,輸入數據首先經過具有大尺寸卷積核的卷積層,用于削弱振動信號中的高頻噪聲;隨后將壓縮后的特征輸入到連續的注意力模塊和殘差塊中。隨著網絡深度的加深,特征變得越來越清晰,可以持續提高殘差注意力網絡的性能。網絡的具體參數如表1 所示。

表1 MDARN 的網絡參數

3 實驗及結果分析

3.1 實驗數據采集

如圖3 所示,采用滾動軸承故障測試實驗平臺進行實驗數據采集。該實驗臺主要由電動機、液態水冷器、盤式渦流制動器和轉速調節器組成。無線振動傳感器安裝在電動機風扇端的上方,用于對滾動軸承振動信號進行采集。實驗過程中的采樣頻率為16 000 Hz。如表2 所示,本文考慮了電動機滾動軸承的10 種健康狀況,包括1 種健康狀況,3 種不同損傷程度的軸承故障,損傷程度分別為0.1 mm、0.3 mm和0.5 mm。

表2 故障類型

圖3 滾動軸承故障測試實驗平臺

對于每種健康狀態,實驗中考慮了如表3 所示的不同轉速(20 Hz 和30 Hz)和負載(1 A 和2 A)的運行工況,共采集了4 種運行工況的數據集。在每個特定轉速和負載下,收集不同健康狀態下的振動信號。同時,采用滑動窗口的方法將振動信號分割為長度為4 096 的數據樣本,并按照7 ∶3 的比例分為訓練集和測試集。值得注意的是,為了驗證所提出方法的有效性,使用這種短信號進行故障診斷任務更具挑戰性。在實際應用中,可以使用數據點較多的長信號。為了驗證所開發的MDARN 在不同背景噪聲下診斷機器故障的有效性,首先將高斯白噪聲加入到每個信號中,其信噪比分別為-2～10 dB。具體地說,對原始振動信號進行噪聲相加。然后,在深度學習模型優化過程中保持噪聲振動信號不變。其中,每個噪聲都是獨立產生的,因此對振動信號所添加的噪聲是不同的。

表3 實驗數據參數

3.2 實驗流程

本文所提出的故障診斷算法整體流程(圖4)如下。

圖4 基于混合域殘差注意力網絡的滾動軸承故障診斷算法流程圖

步驟1 通過更換電機故障軸承模擬不同健康狀態下的軸承故障。待電機平穩運行后開始接收無線傳感器采集到的振動信號。

步驟2 將采集到的振動信號進行分割,獲得適用于網絡輸入的數據樣本,并將每種故障類型的數據分為訓練集和測試集。

步驟3 將訓練樣本輸入到MDARN 中進行網絡訓練。訓練集按照批處理大小為10 依次輸入到網絡中,先后通過3 個混合域殘差注意力模塊,提取振動信號中的故障特征。

步驟4 將提取的故障特征最終輸入到具有softmax 激活函數的全連接層中進行故障類型預測。將預測的結果與真實標簽一同輸入到交叉熵損失函數中進行損失計算,并將損失值通過反向傳播調節各層網絡參數。

步驟5 迭代結束,保存網絡參數。

步驟6 將保存的網絡參數加載到MDARN 中,并將測試集輸入到MDARN 中進行模型性能測試。

3.3 實驗結果分析和比較

將MDARN 與現有先進故障診斷方法進行比較,以進一步說明所提方法的優越性。為了在接下來的實驗中使每種方法得到公平的比較,每種診斷方法對每個故障診斷任務運行10 次,取10 次實驗的平均結果作為最終的實驗結果。對比方法的架構基準和超參數設置與MDARN 相同。一方面,為了驗證混合域殘差注意力網絡的優點,本文使用了2個相似的注意力網絡SEnet[29]和CBAM[30]進行比較。SEnet 僅使用通道域注意力對輸入數據進行特征加強,而CBAM 則同時考慮了通道域和空間域注意力。此外,采用經典的基于CNN(ResNet、WDCNN[31])的故障診斷網絡進一步加強實驗的說服力。

從表4 可以看出,首先,MDARN 在不同信噪比(signal noise ratio,SNR)噪聲影響下都取得了較好的結果,優于其他網絡。與經典的通道注意力網絡(SEnet)和混合域注意力網絡(CBAM)相比,自下而上的快速前饋過程和自上而下的注意力反饋過程能夠更好地捕捉到振動信號的長期依賴信息,從而使網絡能夠捕獲到更多的關鍵特征,這在SNR 較低情況下尤為明顯。對于不使用注意力機制網絡的故障診斷模型(ResNet、WDCNN),雖然采用CNN 在無噪聲條件下取得了較高的準確率,但隨著噪聲的逐漸增強,普通的卷積神經網絡將無法從損壞的振動信號中提取出故障信息,使得不同類的故障數據無法有效分離。

此外,引入混淆矩陣來評價每種故障的診斷性能,4 種工況下的故障診斷結果的混淆矩陣如圖5所示。從圖5 中可以看到,MDARN 在數據集A1 中正常軸承數據會被識別為外圈高度損壞,內圈低度損壞會被識別為滾動體中度損壞和內圈中度損壞,滾動體低度損壞則會被誤判為內圈低度損壞和滾動體中度損壞。而在數據集A2、A3和A4 中,各個類別的故障診斷準確率都取得了不錯的結果,誤判率較低。同時,MDARN 在4 種工況下均沒有出現將故障數據誤判為正常數據的情況,能夠實現軸承故障的準確預警。

圖5 混淆矩陣

為了更好地評價MDARN 提取的特征是有效的,采用主成分分析的方法將特征層的特征維數降至二維。數據集A2 的二維特征如圖6 所示。通過分析圖6 可以得出結論,同一故障類別的特征緊緊聚集在一起,不同故障類別的特征能夠有效地分離。這意味著MDARN 能夠有效識別每種類型的軸承故障,展現出了MDARN 優越的故障診斷性能。

圖6 MDARN 的特征可視化

為了進一步驗證所提方法的性能,本文在一個更大的數據集——凱斯西儲大學(Case Western Reserve University,CWRU)軸承故障數據集上[32]對MDARN 進行實驗驗證。在CWRU 數據集中,采樣頻率為12 000 Hz。共設置了4 種不同的運行工況:數據集A(1 797 rpm,0 hp)、數據集B(1 772 rpm,1 hp)、數據集C(1 750 rpm,2 hp)和數據集D(1 730 rpm,3 hp)。每個數據集包括正常數據、內圈故障、外圈故障和滾動體故障,故障直徑分別為0.18 mm、0.36 mm和0.54 mm。MDARN的實驗結果如表5 所示,可以看出,隨著噪聲強度的增加,MDARN 仍能保持較高的故障診斷精度,驗證了所提方法的有效性。

4 結論

為了克服滾動軸承故障診斷中的抗干擾能力弱的問題,構建了一種基于混合域殘差注意力網絡的故障診斷模型。首先,采用自下而上和自上而下的結構捕獲振動信號的長期依賴信息,并根據殘差網絡的結構特點,構建了注意力模塊。其次,為了加深網絡,提高網絡的泛化能力,連續堆疊了3 個注意力模塊。最后,將提取的注意力特征輸入到3 個連續的殘差塊中作進一步細化,實現對軸承故障類型的準確識別。對比結果表明,與其他基于深度學習的故障診斷模型相比,MDARN 具有更好的診斷性能和有效性。