基于屬性描述的多單元過程零樣本故障診斷

易永率， 趙海濤

（華東理工大學信息科學與工程學院, 上海 200237）

隨著化工過程復雜化和集成化程度越來越高，故障診斷技術已成為保障工業生產安全、可靠與平穩運行的重要組成部分[1-2]。目前，故障檢測與診斷技術可以分為三類：基于知識驅動的方法、基于模型驅動的方法和基于數據驅動的方法?；谥R驅動的方法包括有向圖、故障樹等，該方法依賴大量的經驗和專家知識，且泛化能力較差?；谀Ｐ万寗拥姆椒ǜ鶕^程機理建立殘差監測模型，代表性的方法有狀態估計、參數估計、等價空間等。文獻[3]利用狀態和參數估計粒子濾波器組成的聯合估計模型實現故障隔離。文獻[4]利用奇異值分解法對等價空間矩陣進行優化，在增強殘差對于未知輸入的魯棒性的同時，保持對故障信號敏感。雖然基于模型驅動的方法在機械、航天領域得到了許多成功的應用，但難以建立多單元化工過程的精確數學模型，限制了該方法的應用。

近年來，得益于數據采集、存儲設備以及大數據技術的快速發展，大量過程數據得以記錄、保存[5-6]。因此基于數據驅動的故障診斷方法逐漸成為研究的熱點，并被廣泛應用于化工過程?；跀祿寗拥墓收显\斷方法可以分為多元統計分析(Multivariate Statistical Analysis, MVSA)和深度學習方法。常見的MVSA 方法包括主成分分析(Principal Component Analysis, PCA)[7]、偏 最 小 二 乘 分 析(Partial Least Squares, PLS)[8]和 典 型 相 關 性 分 析(Canonical Correlation Analysis, CCA)[9]等。由于現代多單元化工過程通常具有強非線性的特點，基于MVSA 的方法難以提取有效特征。近年來，深度學習憑借多層非線性變換結構，能夠挖掘高維復雜數據中的隱藏特征，而受到越來越多的關注。比如，卷積神經網絡(Convolutional Neural Network, CNN)[10]和 循 環 神 經網絡(Recurrent Neural Network, RNN)[11]等深度學習框架已被應用于多單元化工過程的故障診斷。然而，上述方法需要大量完備的歷史故障樣本和標簽，考慮到許多故障不易采集，且標記故障樣本需要高昂的成本，因此，如何依靠現有類別固定的可見類故障數據(歷史故障)，識別沒有歷史數據可供訓練的未見類故障(目標故障)是本領域的難題。

在沒有目標故障類別樣本的條件下，零樣本學習(Zero-Shot Learning，ZSL)能夠把歷史故障類別的屬性知識遷移到目標故障中，實現對目標故障的識別。這種診斷范式下，用于模型訓練的歷史故障和用于測試的目標故障在類別上沒有交集，擺脫了對完備故障類型樣本的依賴，通過屬性遷移的方式，增加了模型的泛化能力，更契合實際的工業應用場景。文獻[12]首次提出了ZSL 并應用于動物圖像識別，通過非線性支持向量機來實現屬性遷移。文獻[13]提出了語義自編碼器(Semantic Autoencoder，SAE)模型，通過施加約束來重構原始視覺特征，賦予隱層特征語義信息。ZSL 通過遷移學習[14]、語義歧義消除[15]、跨模態遷移[16]等方法在圖像識別領域得到進一步發展。近年來，ZSL 思想在工業領域得到廣泛關注，文獻[17]基于屬性描述實現了零樣本條件下對滾動軸承的故障診斷，文獻[18]通過多標簽屬性學習網絡來預測目標故障的屬性，再通過余弦相似度實現故障診斷。文獻[19]定義了化工過程故障屬性，實現了化工過程的零樣本故障診斷。文獻[20]借助一致性約束，從故障樣本中提取了更為有效的特征，改善了零樣本學習在化工過程中的診斷表現。但文獻[19-20]這兩種方法在面對多單元化工過程時，都無法考慮到單元間的相關關系。

針對上述問題，本文結合SAE 模型和自注意力機制，提出了基于屬性描述的多單元自注意力機制(Attribute description based multi-unit self-attention mechanism, AMSM)的零樣本故障診斷方法。首先，預訓練SAE，使其從歷史故障樣本中提取故障屬性的語義信息；其次，利用前饋神經網絡提取各個單元的特征，然后自注意力機制根據語義信息自適應調節單元間的相關關系；最后，計算與目標故障類的屬性標簽的歐式距離(Euclidean Distance)實現故障診斷工作。以田納西-伊斯曼(Tennessee-Eastman, TE)化工過程為研究對象驗證了AMSM 的可行性和有效性，并對實驗結果進行分析與對比。

1 相關工作

1.1 ZSL 故障診斷的定義

1.2 語義自編碼器(SAE)

SAE 采取編碼器-解碼器的范式，編碼器旨在將故障樣本映射到屬性空間，解碼器用于重建原始樣本。SAE 只有一層隱藏層，且隱藏層的維度要小于輸入層的維度，其結構如圖1 所示，其中X是輸入故障樣本，X︿是重建樣本。

圖1 語義自編碼器結構Fig.1 Architecture of semantic autoencoder

在 訓 練 階 段，X=Xs,D={ai|g:(xsi)→ai,xsi∈Xs,ai∈As}，即由歷史故障樣本對應的屬性標簽所組成的描述矩陣。假設輸入層到隱藏層的映射為W，隱藏層到輸出層的映射為W?，由于編碼器和解碼器是對稱的，為了簡化模型，利用參數共享(tied weights)[21]，可以令W?=WT。有效的樣本重建，可以使模型具備更好的泛化能力，因此目標函數為

式(1)所示的優化過程詳見文獻[13]。在測試階段，利用訓練好的W將目標故障樣本xui∈Xu映射到屬性空間，可以得到具有故障屬性信息的潛在表征︿ai=Wxui。

2 基于屬性描述的AMSM 故障診斷方法

針對實際工程應用場景中目標故障樣本難以獲取，以及多單元化工過程中復雜非線性的問題，提出了一種基于屬性描述的AMSM 零樣本故障診斷方法。

2.1 AMSM 模型結構

AMSM 模型分為三個階段：第一階段是采用SAE 從故障樣本中提取含有故障屬性信息的潛在表征；第二階段是自注意力機制借助SAE 提取的潛在表征，自適應調節各個單元特征間的相關關系進行屬性學習。第三階段是通過比較模型預測的屬性向量與屬性矩陣的相似度實現目標故障的識別。AMSM模型結構如圖2 所示，其中，Q是包含故障屬性信息的描述矩陣，K和V是從各個單元提取的樣本特征矩陣。

圖2 AMSM 模型結構Fig.2 Architecture of AMSM model

在模型訓練階段，根據預測的屬性向量a?i和真實的屬性向量ai計算交叉熵損失：

使用Adam 優化器最小化損失函數。在模型測試階段，對故障樣本xi∈Xu的識別，可以通過比較預測的屬性向量和定義的各目標故障屬性標簽的歐氏距離實現：

其中：Auj是第j個目標故障定義的屬性標簽，D是求歐氏距離的函數， Φ (·) 表示返回樣本類別標簽。

2.2 自注意力機制

自注意力機制的輸入由Q,K和V構成。在訓練階段，自注意力機制通過Q矩陣，不斷動態調節特征矩陣K和V，使得提取的特征盡可能含有清晰的語義信息。本文自注意力機制的計算Attention(Q,K,V)采取的是縮放點積注意力，其計算方式如圖3 所示，具體計算步驟如下：

圖3 縮放點積注意力的計算Fig.3 Calculation of the scaled dot-product attention

(1）縮放點積注意力函數將屬性描述矩陣Q和特征矩陣K矩陣相乘，再歸一化后通過 so ftmax 函數得到矩陣B∈RC×L：其中scale 操作借助縮放注意力，避免了梯度消失或梯度爆炸，保障模型誤差反向傳播可以更新全部參數。B矩陣表示C個屬性和L個單元之間的相關性矩陣。

(2）將相關性矩陣B和V相乘得到輸入故障樣本的預測屬性向量a?i∈RC：

其中矩陣V表示各個單元的權重，也即單元間的相關關系。在將多單元化工過程分組后，模型通過矩陣V重新將各個單元的局部信息以不同的權重聚合起來，得到最終的預測屬性向量a?i。

2.3 基于AMSM 的零樣本故障診斷流程

基于AMSM 的零樣本故障診斷方法分為離線建模和在線診斷兩部分，其流程圖如圖4 所示，其中離線建模分別訓練SAE 和AMSM。

圖4 基于AMSM 的零樣本故障診斷流程Fig.4 Flow chart of zero-shot fault diagnosis based on AMSM

離線建模階段：(1）對輸入歷史故障樣本數據進行標準化處理，使其服從標準正態分布；(2）訓練SAE 模型，使其能夠產生有效的含有故障屬性信息的潛在表征；(3）將故障樣本的變量按物理單元分組，并根據訓練好的SAE 的輸出，通過Adam 優化器最小化損失函數 L 訓練AMSM 模型。

在線診斷階段：(1）對輸入目標故障樣本數據進行標準化處理；(2）將數據輸入到訓練好的SAE 模型中，得到含有故障屬性信息的潛在表征；(3）將故障樣本分組后的變量輸入到AMSM 模型，得到預測的屬性向量，最后通過計算其與各故障屬性標簽的歐氏距離完成對目標故障的診斷。

3 實驗與分析

3.1 TE 過程

TE 過程是由Downs 等根據實際化工過程提出的仿真數據集，已被廣泛應用于過程控制、監測和故障診斷[22]。如圖5 所示，TE 過程主要由進料單元、反應器、分離器、汽提塔和壓縮機5 個典型操作單元組成，各單元相應的變量如表1 所示。數據集提供了21 種故障，每種故障采集了480 個樣本，每個樣本由41 個測量變量和11 個操縱變量組成。由于最后6 種故障在過程中的描述較少，所以本文選擇前15 種故障進行零樣本故障診斷實驗，這15 種故障類型如表2 所示。

表1 TE 過程的典型操作單元和對應變量Table 1 Operation units and corresponding variables in the TE process

表2 TE 過程的故障描述Table 2 Fault description of TE process

圖5 TE 過程流程圖[22]Fig.5 Flowchart of the TE process[22]

根據表2 中的故障描述，為每種故障定義了20 個細粒度屬性，屬性定義如表3 所示。每個故障定義的20 維的屬性標簽ai∈RC共同構成零樣本故障診斷中的屬性矩陣，用“1”表示故障具有該屬性，用“0”表示不具有該屬性，如圖6 所示。依據零樣本學習原則對數據集進行劃分，在15 種故障中，選取12 種歷史故障類用于訓練，3 種目標故障類用于測試。TE 過程被劃分為4 組數據集A，B，C，D，表4 示出了各個數據集下的訓練類和測試類。每個數據集中有5760 個訓練樣本和1440 個測試樣本。

表4 TE 過程的屬性信息Table 4 Attributes information of TE process

圖6 TE 過程的屬性矩陣Fig.6 Attribute matrix of TE process

3.2 零樣本故障診斷結果

在數據集A、B、C、D 下，對比AMSM 方法和其他4 種零樣本學習方法的識別準確率，如表5 所示，其中最好的結果加粗顯示。ALE 方法[23]將故障從樣本特征空間映射到語義屬性空間后，學習一個兼容函數，用于衡量該樣本與每個類別屬性之間的匹配度，通過比較匹配度來預測測試樣本的標簽，識別效果較差，平均識別準確率最低，僅為39.78%。ESZSL 方法[24]將樣本特征、屬性和類之間的關系作為一個雙層線性模型進行建模，用新的映射連接起屬性空間和特征空間，最后做內積相似度識別測試樣本類別，其平均識別準確率略高于ALE 方法，為43.42%。SJE 方法[25]利用多種模態的語義信息和構建兼容函數實現細粒度零樣本分類，不同類別嵌入信息互補提升了分類性能，平均識別準確率達51.38%。FDAT 方法[19]采用監督主成分分析法提取屬性相關特征，再對屬性學習器進行訓練，最后使用最近鄰搜索確定最終的故障類別。該方法針對工業傳感器信號提供了更有效的輔助信息，因此擁有較高的平均識別準確率，為68.57%。AMSM 充分學習了過程中不同單元間的相關性，利用注意力機制匹配樣本特征和屬性信息，在A，B，C，D 4 個數據集中都取得了最好的識別效果，準確率分別為85.21%，72.99%，61.88%和80.56%。AMSM 方法的平均識別準確率為75.16%，比FDAT 高了6.59%。

表5 TE 過程的零樣本故障診斷結果Table 5 Result of zero-shot fault diagnosis on the TE process

為了更清晰地展示AMSM 方法對測試集故障的識別效果，繪制了4 個數據集故障診斷結果的混淆矩陣，如圖7 所示，其中橫坐標表示故障的預測類別，縱坐標表示故障的真實類別，圖7(a) 示出了數據集A 中目標故障類1，6，14 的識別準確率，分別為96%，74%，86%。圖7 結果表明基于屬性描述的零樣本故障診斷的可行性，即在沒有目標故障類訓練樣本的條件下，基于屬性描述可以對不同類型的故障進行診斷識別。

圖7 TE 過程4 組數據集實驗結果的混淆矩陣Fig.7 Confusion matrix of the results of four datasets in TE process

為了進一步說明AMSM 模型在零樣本條件下的故障診斷效果，以數據集A 為例，對零樣本條件下的AMSM 模型(AMSM(ZSL))和有監督條件下AMSM模型以及其他經典方法(有線性支持向量機(LSVM)、非線性隨機森林(NRF)、樸素貝葉斯(NB)、XGBoost(XGB)和AdaBoost(ADA)) 進行比較。從TE 過程每個目標故障類的訓練集中隨機挑選1、10、50、200 和500 個樣本用于訓練，測試集各方法保持一致。這些有監督學習方法通過Scikit-learn 方法[26]中的默認參數實現，數據集A 的故障診斷結果如表6 所示。在有監督條件下，AMSM 模型在不同訓練樣本數量下其識別結果都是最優的，當訓練樣本為200 個時，AMSM模型已經實現對故障的精確識別，而其他方法達到相似的精度需要500 個故障樣本。在零樣本條件下，AMSM模型的表現與其他有監督學習方法相比依然具有競爭力，其識別準確率甚至比其他有監督學習方法在200 個訓練樣本條件下的結果更優。零樣本故障診斷是在沒有目標故障類樣本可供訓練的前提下，通過對歷史故障類樣本的訓練和故障的屬性描述實現對目標故障類的識別，因此更具有現實意義，難度更大。

表6 AMSM 模型和有監督學習方法在數據集A 上的故障診斷結果比較Table 6 Comparison of the fault diagnosis results between AMSM and supervised learning methods on dataset A

在AMSM 模型中，SAE 從故障樣本中學習的潛在屬性信息構成了自注意力機制中的Q，通過不斷訓練K和V使得樣本特征和屬性信息相匹配。為了探索SAE 和自注意力機制在AMSM 模型中的作用，在數據集A，B，C，D 上進行了如下消融實驗：（1）僅采用SAE 模型，將其提取的包含屬性信息的潛在表征用于零樣本故障診斷；（2）僅采用自注意力機制(SAM)，用于獲得K和V相似的FNN 結構來學習Q，最后實現零樣本故障診斷。

圖8 展示了SAE、SAM、AMSM 3 個模型在4 組數據集下的故障識別準確率，水平橫線表示模型在A、B、C、D 4 組數據集上的平均準確率。無論是在各個數據集上的診斷性能，還是在平均指標上，都呈 現 出AMSM 效 果 最 好，SAM 次 之，SAE 最 差。SAE 模型結構最為簡單，但是忽略了多單元過程中單元間復雜的相關關系，而且把樣本直接映射到語義屬性空間，缺少對樣本特征的提取和利用。SAM模型雖然先從樣本中提取了特征，但是由于Q矩陣也是借助FNN 結構生成的，并沒有具體的包含故障屬性的語義信息。而AMSM 模型將SAE 和SAM 相結合，借助SAE 進行預訓練，使得學習到的Q矩陣包含了屬性信息，而自注意力機制又考慮到了多單元之間的相關性，又促使特征矩陣K、V與Q的匹配，最終實現了最好的結果。

圖8 SAE、SAM 和AMSM 模型的零樣本故障診斷結果Fig.8 Zero-shot fault diagnosis results of the SAE, SAM and AMSM

通過與其他零樣本學習方法的比較，說明AMSM 方法的可行性與優越性；通過消融實驗，說明AMSM 方法中的SAE 和SAM 結構在零樣本故障診斷任務中都起了重要作用。

4 結束語

本文針對多單元化工過程中目標故障類樣本缺乏的問題，提出了基于屬性描述的零樣本故障診斷模型AMSM。該方法結合了SAE 和SAM，利用預訓練的語義自編碼器提供含有故障屬性的語義信息，并通過自注意力機制在匹配語義信息不斷學習更有效樣本特征的同時，考慮了單元間的相關關系。以TE 過程為案例，通過與ALE、ESZSL、SJE 和FDAT 4 種零樣本學習方法的比較進行性能評價；通過消融實驗說明AMSM模型中SAE 和SAM 結構的重要性。但目前的工作僅限于故障識別，下一步工作重點將放在分析自注意力機制中單元和屬性的相關性，在實現故障識別的前提下，將故障定位到具體的單元，實現故障定位。