基于改進交替遷移學習的滾動軸承故障診斷算法

王 鵬,李丹青,王 恒

(南通大學 機械工程學院,江蘇 南通 226019)

滾動軸承是機械旋轉設備的關鍵零部件,機械設備的整體性能和工作效率與滾動軸承的運行狀態息息相關,持續的損傷誘因和惡劣的運行環境都會導致軸承發生故障,使得實際的生產效率大大降低[1]。

傳統的滾動軸承故障診斷方法利用信號分析的方法對軸承的振動信號進行特征提取[2]。不足之處在于過多依賴于人工的先驗知識[3],并且往往需要針對特定的診斷任務調整計算過程中的參數,很難具有良好的泛化能力[4]。近年來,基于深度學習的軸承故障智能診斷,以卷積神經網絡(convolutional neural network,CNN) 為代表的方法可以特征自提取以完成故障診斷[5]。雷春麗等[6]提出一種基于馬爾科夫轉移場(Markov transition field,MTF) 與條紋池化卷積神經網絡(stripe pooling convolutional neural networks,SPCNN) 的小樣本滾動軸承變工況故障診斷方法。Xu等[7]利用在線傳遞卷積神經網絡(online transfer convolutional neural network,OTCNN) 提出了滾動軸承故障診斷模型,通過離線卷積神經網絡的參數初始化離在線卷積神經網絡的參數。上述研究表明CNN取得了很好的診斷效果,但是需要滿足兩個基本假設:①有大量的樣本數據以供訓練;②樣本數據需要滿足獨立同分布。實際中采集的軸承信號,因設備復雜、多變的運行工況,很難滿足以上假設,導致深度學習模型的分類效果大大降低。

遷移學習(transfer learning,TL)[8]可以在樣本數據缺失條件下幫助深度學習模型實現高精度故障診斷,在視覺處理等領域取得了成功應用。同時跨域的數據分布差異問題也得到解決,在軸承故障診斷領域也有應用[9]。Zhou等[10]針對CNN面臨著訓練不完整和訓練時間長的問題,提出了一種殘差網絡結合遷移學習的滾動軸承診斷方法。Wang等[11]針對實際工業中小故障樣本上訓練的模型精度較差,提出一種具有遷移學習和集成學習的長短期記憶(long short term memory,LSTM) 神經網絡,提高模型的精度。邵海東等[12]采用仿真數據驅動獲得豐富的故障信息以降低對試驗臺資源的依賴,提高無監督跨域場景下的故障診斷精度。

以上方法主要針對同種型號軸承變工況遷移的故障診斷。相比于同種型號的軸承,不同型號軸承之間的振動信號數據分布差異更大,所需要的模型的泛化能力更高。加上實際中采集的軸承故障信號多為小故障樣本或者無故障樣本,這給故障特征提取帶來了巨大的難度,使得軸承故障診斷識別率很難提高。加上現研究階段大多遷移學習只是將不同的損失函數進行加權組合,這會增加反向傳播的計算難度,進而影響網絡的訓練時間和訓練效率。

針對以上問題,本文提出了一種基于改進交替遷移學習的滾動軸承故障診斷算法,采用美國凱斯西儲大學(Case Western Reserve University,CWRU)滾動軸承數據集進行了變工況、跨軸承型號和小樣本條件下的遷移試驗研究。與其他算法對比,本文算法有效地減少了源域與目標域數據之間的特征分布差異,具有較高的故障分類準確率,證明了本文算法的有效性和可行性。

1 基礎理論

1.1 卷積神經網絡

CNN屬于前饋神經網絡[13],網絡結構可分為輸入層、卷積層、池化層、全連接層和輸出層。卷積層的卷積核按照設置的步長對輸入進行局部卷積運算,再經過激活函數后輸出特征。

池化層可以實現二次特征提取、降低卷積層輸出的特征維度和減少CNN的參數。原輸入特征經過池化層大小為n×n的運算后,輸出特征變為原來的1/n2,個數保持不變。

CNN的最后是全連接層,全連接層可以將卷積層和池化層運算得到的特征映射到目標低維空間進行展平。全連接層再經過基于激活函數后即可獲得模型的學習成果,實現數據的多分類。

1.2 遷移學習

遷移學習過程如圖1所示。在遷移學習中有領域(domain)和任務(task)兩個概念[14],領域D分為源域DS和目標域DT,對應的任務T也分為源任務TS和目標任務TT。領域D由特征空間X以及對應的邊緣概率分布P(X)構成。

圖1 遷移學習過程

D={x,P(X)}

(1)

任務T由特征空間γ和目標函數f(·)組成。

T={γ,f(·)}

(2)

遷移學習可以將從源域DS到源任務TS中學到的知識遷移到與源域DS相似的目標域DT和目標域任務TT中,通過減少跨域的分布差異、學習域不變特性,進行分類。在軸承故障診斷領域,源域中的數據一般都是帶標簽的軸承故障數據,多來自實驗室,目標域數據大都不帶數據標簽。本文使用基于模型參數的遷移學習方法,針對軸承型號、故障類型、運行工況等,按照是否帶標簽,將滾動軸承的振動信號分成源域與目標域,對源域的任務學習得到的知識進行遷移,實現對目標域數據的準確分類。

2 基于改進交替遷移學習的滾動軸承故障診斷算法

2.1 CNN網絡結構參數的設計

本文提出模型的特征提取模塊由改進的深度卷積神經網絡構成。針對軸承故障診斷對CNN參數進行試驗選擇。

(1) 卷積層、池化層設計

卷積層在CNN中負責完成對二維圖像的特征提取,卷積運算表達式為

(3)

池化層對卷積層中輸出的圖像特征進行池化操作,具有降維效果,簡化網絡的計算復雜度,便于提取主要特征。較多的網絡層會帶來過擬合域復雜的計算量,較少的網絡層則能以處理復雜問題,因此網絡層的選取對特征提取的結果有很大的影響。本文選取多種卷積層與池化層方案組合進行對比試驗,以選擇最優網絡結構構建模型。

(2) 批量標準化層優化網絡結構

批量標準化層(batch normalization,BN)[15],通過規范化手段,把每層網絡的輸入值的分布服從(0,1)的標準正態分布,這樣網絡的輸出值不會突變,以獲得較大的梯度,避免梯度消失,同時梯度變大代表學習收斂速度變得更快,能大大加快訓練速度。因此,本文在每一個卷積層后添加BN層,達到加快網絡的訓練和收斂的速度、降低梯度發散的概率和防止過擬合的目的。

(3) 激活函數

ReLU(·)函數不僅運算簡單、計算高效,還可以加快梯度下降的收斂速度,避免出現梯度消失的問題,因此具有良好的稀疏性。本文分別選擇ReLU(·)函數與Softmax(·)函數作為隱藏層與全連接層的激活函數。

2.2 改進的交替遷移學習算法

現有的遷移學習都是將損失函數進行加權組合相加,這會使得網絡的計算量在反向傳播的過程中大大地增加。為了進一步縮小滾動軸承在不同領域之間的距離,找到它們之間的內在不變性,本文在文獻[16]的基礎上,對遷移學習的損失函數及其訓練方式進行了改進,提出了一種改進的交替遷移學習(improved alternately transfer learning,IATL)算法,即在第一個卷積層后計算CORAL[17]損失函數,CORAL損失函數是通過計算不同領域之間的協方差,縮小網絡訓練中從源域和目標域學習到的特征值的大小和范圍;在全連接層中計算領域數據的最大均值差異(maximum mean discrepancy,MMD)損失與分類損失和作為損失函數。這樣在不同的層中交替計算損失函數,并完成網絡參數交替更新,以提高遷移學習的效果。

定義CORAL損失函數為L1,MMD損失與分類損失和作為損失函數L2。源域數據集與目標域數據集的特征協方差矩陣CS與CT定義為

(4)

(5)

式中:DS為源域數據集;DT為目標域數據集;nS為源域中樣本數量;nT為目標域中樣本數量。

則源域和目標域特征的二階統計量的距離為

(6)

由深度卷積神經網絡代表的模塊,對源域數據與目標域數據進行特征提取,再通過域分類器分類,得到樣本數據集特征標簽的概率分布,最后計算真實標簽與預測標簽之間的特征分布差異,可以得到樣本數據的分類損失,即交叉熵函數,公式為

(7)

假設兩域數據的特征集合為Ds和Dt,在CNN中,源域數據集與目標域數據集通過網絡的特征提取后,兩個數據集的特征分布差異留在全連接層。特征集合Ds和Dt在再生核希爾伯特空間(reproducing kernel Hilbert space,RKHS) 中的分布差異用MMD來度量,MMD的定義為

(8)

則損失函數L2公式為

L2=LC+λ·DH(Ds,Dt)

(9)

(10)

式中:超參數λ為最大均值差異權重系數;p為當前的訓練進度,范圍為0～1,例:設置網絡的訓練次數為100次,當前網絡已經迭代訓練了50次,則p=0.5。

本文提出改進的交替遷移學習算法通過交替計算不同的損失函數并完成其反向傳播,降低了網絡的計算難度,在每一次網絡的前向傳播中只計算一次領域數據之間的特征分布差異,實現不同損失函數之間的優勢互補,可以最大限度地提高不同損失在迭代中的性能,從而獲得更好的訓練效果。

基于改進交替遷移學習的滾動軸承故障診斷算法示意如圖2所示。

圖2 基于改進交替遷移學習的滾動軸承故障診斷

2.3 算法步驟

本文提出基于改進交替遷移學習的故障診斷算法流程如圖3所示。步驟如下:

圖3 故障診斷算法流程圖

(1) 將采集得到的軸承振動信號進行源域和目標域的劃分,將其中的源域數據帶標簽,目標域數據不帶標簽,標簽為故障標簽。

(2) 從每個樣本數據中截取數據,構建二維灰度矩陣,以發揮CNN對二維特征優秀的提取能力,并對數值做歸一化處理,用于模型的特征提取。將數據集劃分為訓練集和測試集,分別用于訓練模型和驗證模型的有效性。

(3) 建立深度卷積神經網絡故障診斷模型,并初始化網絡結構參數、損失函數的最大迭代次數、Epoch值和超參數λ。

(4) 將源域數據與目標域訓練集數據對深度卷積神經網絡模型進行預訓練,并保存預訓練模型。

(5) 在卷積層1后計算CORAL損失(即損失函數L1),接著進行提取特征,利用反向傳播算法更新各層網絡權重與偏置參數,對模型進行更新。

(6) 由分類器對源域數據與目標域數據進行分類,得到的對應的特征概率分布和標簽差異,計算分類損失(交叉熵損失)與分布差異(MMD損失),最后輸出總損失(即損失函數L2),利用反向傳播算法更新各層網絡權重與偏置參數,對模型進行更新。

(7) 重復步驟(5)和(6),直到達到最大迭代次數,然后停止訓練。

(8) 將目標域的測試集數據和對應的真實標簽輸入訓練好的模型,進行故障類型的識別,計算模型對目標域測試集數據的診斷精度。

3 試驗驗證

3.1 試驗數據

本文試驗采用美國凱斯西儲大學電氣工程實驗室的滾動軸承數據開展應用研究。該試驗中,驅動端與風扇端軸承型號為SKF公司的6203-2RS和6205-2RS深溝球軸承,采樣頻率為12 kHz,,電機轉速分別為1 797 r/min,1 772 r/min,1 750 r/min和1 730 r/min,負載為0,745 W,1 470 W,2 205 W。軸承故障是電火花加工的單點故障,軸承有4種運行狀態:正常狀態(N)、外圈故障(O)、內圈故障(I)和滾動體故障(R),軸承故障損傷直徑有0.177 8 mm、0.355 6 mm和0.533 4 mm三種類型,共10種不同的故障工況。

3.2 試驗方案

試驗1:跨工況遷移故障診斷試驗

以6203-2RS軸承為例,選取不同的工況將軸承數據集劃分為4組(A、B、C、D),每組數據集包括正常狀態和3種故障狀態,故障狀態中又包含3種故障尺寸,共10種故障工況。為了驗證本文遷移算法的有效性,在不同的數據集上設置不同的故障類型的遷移任務,即跨工況遷移故障診斷試驗。

以遷移任務A→B為例,則A為源域數據集,B為目標域數據集,該遷移任務的試驗數據具體構成如表1所示。

表1 試驗1遷移任務A→B的數據集構成

根據CWRU采樣數據長度,將每個任務中的分類標簽分成300個數據樣本,共計3 000個數據樣本,樣本長度為1 024。對每一個樣本進行數據預處理,轉給為二維灰度圖,并將源域數據集與目標域的80%軸承數據隨機分為訓練集,剩余的20%分為測試集。

試驗2:跨軸承型號遷移故障診斷試驗

選擇試驗1中6203-2RS風扇端軸承信號為目標域數據,6205-2RS驅動端軸承信號為源域數據,進行跨軸承型號遷移故障診斷試驗。目標域數據集由6203-2RS軸承構成,與試驗1一致;源域數據集由6205-2RS軸承構成,源域數據按照不同的工況將軸承數據集劃分為4組(0、1、2、3),試驗2的域數據故障工況劃分方式與試驗1相同。為了驗證本文算法在跨軸承型號遷移故障診斷的有效性,在不同的數據集上設置不同的故障類型的遷移任務,即跨軸承型號遷移故障診斷試驗。

以遷移任務0→B為例,則0為源域數據集,B為目標域數據集,該遷移任務的數據集如表2所示,試驗2數據樣本標簽具體設置、數據預處理與試驗1相同。

表2 試驗2遷移任務0→B的數據集構成

試驗3:少量帶故障標簽樣本條件下遷移故障診斷試驗

為了驗證本文算法在目標樣本較小條件下的可行性,在試驗2的基礎上,僅使用5%的目標域數據集進行訓練,剩余95%數據集作為測試集數據,以測試本文算法在小樣本故障數據下的軸承診斷效果。

3.3結果分析

為驗證本文所提算法的有效性,與遷移成分分析(transfer component analysis,TCA)、深度域適應網絡(deep domain adaptation network,DAN)、卷積神經網絡(CNN)、CNN-MMD、CNN-CORAL和LATL。其中TCA是一種傳統遷移學習算法,將處于不同分布的領域映射到高維空間中,在最小化域間距離的同時保留原有屬性;CNN網絡結構中不加入遷移學習成分,且構架與本文提出的相同;CNN-MMD與CNN-CORAL指單獨使用該損失表示遷移損失,以降低領域間的特征分布差異,CNN-MMD與CNN-CORAL的網絡構架也與本文相同;LATL網絡結構與文獻[16]保持一致。

試驗1:

選取多種卷積層與池化層方案組合進行對比試驗,對比結果如表3所示。5個卷積層和2個池化層的準確率最高,為99.22%,損失率最低,為1.74%。故本文選擇5個卷積層和2個池化層。

表3 不同網絡層對比

最終,試驗1選取的深度卷積神經網絡特征提取模塊結構參數如表4所示。每次循環批量大小Batch size=64,學習率ε=0.001,迭代次數Epoch=100。

表4 深度卷積神經網絡結構參數

基于跨工況遷移故障診斷試驗,設置了12種遷移任務。將本文算法與其它四種算法在本文所提的模型上進行測試,本試驗取5次結果的平均值,故障診斷結果如表5所示。

表5 試驗1不同算法下故障診斷結果

根據表5中的數據,可以得到以下結論:

(1) 對于12個遷移任務,本文算法故障診斷準確率最高均值達到了97.73%,優于所有對比算法。

(2) 在該試驗中,TCA雖是在高維空間中最小化源域與目標域距離,但因其衡量分布差異能力較弱,丟失了有用的分布信息,導致該算法的準確率最低。CNN可以從二維信號中學習到分布特征,平均診斷率為85.21%,究其原因是訓練集數據與測試集數據分布差異較大,說明CNN需要借助遷移學習以獲得更高的準確率。

(3) 由于CNN-MMD只計算源域數據與目標域數據之間的距離損失,只獲得均值為85.91%診斷精度。而CNN-CORAL在網絡訓練中,在卷積層使用CORAL損失函數以減小了領域間數據的特征分布差異,進一步縮小從領域間數據學習得到的特征大小和特征范圍,診斷結果優于CNN-MMD,獲得均值為87.90%診斷精度。

(4) LATL雖然具有復雜的網絡結構,交替計算兩種損失函數,但是其訓練時間過長,無法滿足應用場景下的監測系統實時性的需要,且在本文設置的試驗一中,其故障診斷準確率均值為94.92%,低于本文算法。

由于篇幅有限,僅可視化基于本文算法下的遷移任務A→B的過程和結果。遷移任務A→B的源域與目標域的時域波形與灰度圖如圖4所示,由于不同故障尺寸的時域波形與灰度圖較為相似,本文僅展示4種故障類型的時域波形與灰度圖?？梢娫从驍祿疉與目標域數據集B的時域波形與灰度圖存在一定差異,表明領域間數據具有不同的分布特征。遷移結果準確率見表5,部分算法遷移結果的混淆矩陣如圖5所示?？梢钥闯?本文算法分類準確率較高,基本達到99%,有效地減少混淆樣本的數量,對其他算法中錯誤分類的樣本進行了正確分類。

(a) 源域

(a) CNN

試驗2:

網絡的結構參數選擇方法與試驗1相同,由于篇幅原因不予展示,基于跨軸承型號遷移故障診斷試驗,設置了16種遷移任務。本試驗取5次結果的平均值,對不同遷移任務使用不同診斷算法,故障診斷結果如表6所示。

表6 試驗2不同算法下故障診斷結果

結果說明:

(1) 在跨軸承型號的遷移任務中,本文算法平均診斷率均值達94.58%,優于其他4種算法。證明本文算法在跨軸承型號條件下對軸承的故障也有較高識別率。

(2) 對于在源域與目標域具有不同特征分布的樣本數據,本文所提算法能學習更多的特征,進一步減少兩域之間的混淆樣本數量,證明本文提出的模型具有較好的泛化能力。

(3) 與其他算法相比,本文算法準確率最高,證明本文算法通過分次計算CORAL和MMD損失函數,發揮了兩種損失函數的性能,降低了領域間特征分布差異,能有效地提高模型的診斷效果。

由于篇幅有限,僅可視化基于本文算法下的遷移任務0→A過程和結果,其中數據集0為源域,數據集A為目標域,也展示4種故障類型的時域波形與灰度圖。遷移任務0→A的源域數據集0的時域波形與灰度圖如圖6所示。

圖6 遷移任務0→A中源域的時域波形與灰度圖

從圖6中可以看出數據集0與數據集A的時域波形不同,對應的圖7灰度圖也存在一定差異,具有不同的特征。遷移結果準確率見表6,遷移結果的混淆矩陣如圖7所示?？梢?本文算法分類準確率較高,均值達到94.58%,減少了兩類的混淆樣本的數量,對其他算法中錯誤分類的樣本進行了正確分類。

(a) CNN

試驗3:

試驗3網絡的結構參數選擇方法與試驗1一致,基于少量帶故障標簽樣本條件下遷移故障診斷試驗,設置了16種遷移任務,遷移任務與試驗2保持一致。本試驗取5次結果的平均值,對不同遷移任務使用不同診斷算法,故障診斷結果如圖8所示。

圖8 不同算法下的故障診斷結果比較

由圖8可知,在16個目標域的樣本較少的遷移任務試驗中,本文算法平均診斷率最佳,均值達87.65%,證明本文算法能在小樣本數據條件下對軸承的故障有高識別率;與其他算法相比,本文算法準確率最高,證明通過交替計算CORAL和MMD損失函數,降低了計算難度,也充分發揮了不同損失函數的特點,實現了不同衡量域內數據特征分布差異公式的優勢互補,能有效地提高模型的診斷效果。

由于篇幅有限,僅可視化基于本文算法下的遷移任務0→A的結果,遷移任務0→A的t-SNE可視化結果如圖9所示。

圖9 t-SNE可視化結果圖

由圖9可知,利用本文算法提取的特征在4種故障狀態下的分布有較大區分度,且源域數據與目標域數據在這些故障狀態下特征分布空間的位置也大致相同?？梢?本文算法可以有效保證不同故障類別間的特征可分性,同時將不同領域數據間的特征分布差異縮小,即縮小類內距,使得模型的故障診斷識別率得到提高。

4 結 論

針對變工況下不同的滾動軸承故障信號特征分布差異大,導致特征提取困難,提出了一種基于改進交替遷移學習的滾動軸承故障診斷算法,通過試驗對比證明,結論總結如下:

(1) 將軸承一維振動信號轉化為二維灰度圖輸入到網絡中,發揮CNN對二維特征的優秀提取能力,減少了信號在與處理中的丟失,有效地實現了對故障特征的提取。

(2) 使用IATL遷移學習方式,通過分層計算不同的損失函數,解決了源域數據與目標域數據特征知識空間內的分布差異大的問題,降低了網絡的計算難度。同時發揮了不同損失函數之間的特點,可以最大限度地提高不同損失在迭代中的性能,獲得了更好的訓練效果。

(3) 針對變工況、跨軸承型號和小樣本數據條件下進行遷移試驗,本文模型泛化能力強,可以將源域數據與目標域數據有很大差異的特征對準,實現滾動軸承故障診斷,對故障的類型有很好的判別能力,有著較高準確率。

(4) 需要注意的是本文所提算法并未在實際場景中使用,實際場景中運行的滾動軸承不一定有足夠的故障樣本數據以供故障診斷。利用軸承機理模型產生與實際數據有相似特征的數據進行遷移學習,幫助實際場景中的軸承進行故障診斷,以及實現跨機械設備故障診斷是我們下一步研究的重點。