基于時序二維化的航空傳感器故障檢測

張達,高君宇,丁騰歡,谷士鵬,李學龍

(1.西北工業大學 光電與智能研究院,陜西 西安 710072; 2.中國飛行試驗研究院,陜西 西安 710089)

航空安全在航空運輸和軍事等領域中具有重要地位,也是臨地安防領域研究的關鍵課題[1]。航空傳感器用于實時監測航空器的飛行參數,其詳細記錄了飛行時溫度、壓力、迎角等方面的時序信息,對航空器的安全運行至關重要[2]。雖然航空傳感器具有較高的設計可靠性,但由于長期運行在空間環境中,其故障無法完全避免。一旦航空傳感器發生故障,將嚴重影響航空器的飛行狀態,甚至造成飛行事故。因此,在飛機交付前通過飛行試驗校準傳感器測量精度進而判斷傳感器是否發生故障,對于航空器的安全平穩運行具有重要意義[3]。

航空傳感器故障是指由于各種因素(包括環境條件、物理損壞和人為錯誤)導致傳感器性能退化,在校準時其輸出數據與真實數據出現較大偏差或者錯誤的現象[4]。傳感器的故障檢測是指通過對傳感器的時序數據進行分析,判斷其性能是否在正常范圍內工作[5]。航空傳感器故障檢測的難點在于:①航空傳感器時序數據長度極長,通常包含數十萬時間點,不易直接進行挖掘;②傳統的故障檢測方法需要繁瑣的人工檢驗,且難以覆蓋到數據的全局信息,缺乏對上下文語義信息的有效建模;③由于不同的試飛任務和條件,每次試飛產生的數據長度不一致,模型訓練和測試極為困難。針對航空傳感器的故障檢測任務,本文通過對傳感器數據進行有效挖掘,提出一種基于時序二維化的航空傳感器故障檢測方法。該方法能及時判斷傳感器是否發生故障,并降低人工校準傳感器的成本,確保航空器飛行過程中數據的有效性。

航空傳感器的故障檢測主要分為傳統方法和基于深度學習的方法。傳統方法利用數學手段對傳感器數據進行分析,并建立相應的數學模型。例如,于廣偉等[6]通過對多尺度遷移符號動力學熵方法的參數進行優選,將其輸入支持向量機(support vector machine,SVM)中,從而提升數據驅動故障診斷模型的泛化能力,在少量樣本下準確識別不同故障位置。Cui等[7]基于動態時間歸整(dynamic time warping,DTW)方法對衛星時間序列中的故障樣本進行過采樣,結合K近鄰(k-nearest neighbor,KNN)分類方法提高對異常樣本的檢測精度,但處理其他故障數據時效果不佳。Wang等[8]通過帶有移項因子的分段聚合近似(piece-wise aggregation approximation,PAA)數據降維方法來降低單元電壓時間序列的維度,然后使用聚類算法和異常機制剔除故障樣本從而達到檢測目的。雖然傳統的故障檢測方法可以對一些簡單的故障進行分析和判斷,但對更復雜的故障則需要更先進的技術和方法來進行檢測。

相比于傳統方法,基于深度學習的方法采用多個隱藏層的神經網絡,具備出色的特征提取和學習能力,在樣本分類方面顯示出獨特優勢[9]。近年來,此類方法已廣泛應用于航空傳感器的故障檢測研究中[10-13]。例如,王志凱等[14]利用神經網絡對燃燒室排放進行監測和控制以確保航空器的安全和穩定運行,為燃燒室排放性能指標的快速評估和精確預測提供了新思路。Zhang等[15]將卷積神經網絡(convolutional neural network,CNN)和長短期記憶(long short-term memory,LSTM)深度神經網絡結合,提出一種慣性測量單元的檢測方法。但此種方法可遷移性差,針對不同異構的數據需要進行不同的網絡設計。Dong[16]提出擬圖數據堆疊方法,并結合經典的深度學習網絡[17-18]來執行故障檢測任務。李忠智等[19]將傳感器測量數據堆疊為灰度格式的圖像,采用VGG16網絡判斷灰度圖的異常區域,然而灰度圖只能表示像素點強度,無法表達數據的時間關系,可能會丟失重要的特征信息。Micjail等[20]利用Vision Transformer[9]對衛星圖像時間序列進行檢測,但缺乏對上下文語義信息的有效建模,模型性能受到較大影響。

基于上述問題,本文提出一種基于時序二維化的航空傳感器故障檢測方法(time-series to 2D fault detection,T2D),并在民機仿真試飛數據集上進行實驗,驗證所提出方法的有效性。具體來說:

1) 針對航空傳感器超長時序數據,提出一種基于信息熵的分段聚合近似方法(information entropy piece-wise aggregate approximation,IEPAA),充分保留時序特征的同時實現對數據的有效壓縮,提高數據挖掘的魯棒性;

2) 引入格拉姆角場(gramian angular field,GAF),將降維后的一維數據編碼為二維圖像,從而把故障檢測任務轉換為圖像分類問題,同時又能夠保持原始序列的長程時間依賴性;

3) 設計一種靈活的卷積模塊(convolutional block,ConvB)并插入檢測網絡視覺Transformer編碼器中,增強對上下文語義信息的編碼能力,提高模型的檢測精度。

1 T2D架構

本文旨在研究航空傳感器的超長時序問題,提出T2D架構,如圖1所示。首先,針對極長數據的挑戰,提出一種改進的基于分段聚合近似的數據挖掘方法IEPAA(見1.1節);其次,引入格拉姆角場將一維時序數據二維化,把故障檢測任務轉換為圖像分類問題(見1.2節);最后設計一種靈活的卷積映射模塊并插入到檢測網絡中,既增強上下文語義信息建模,又提高模型的檢測精度(見1.3節)。

圖1 T2D架構圖

1.1 基于信息熵的PAA方法

1.1.1 分段聚合近似

Keogh等[21]提出的分段聚合近似(piece-wise aggregation approximation,PAA)是一種時間序列分段表示方法。其思想是對任意時間序列S,利用大小為λ的滑動窗口將其分成多個固定長度的子序列區間,計算各子序列區間內數據的均值,最后將所有計算得到的均值按時間重新排列成新序列S′,用來近似表示原始序列。

(1)

PAA方法將長度為a的時間序列S轉變為長度為b的序列S′,實現超長數據壓縮過程。雖然降維后的S′能夠粗略地表示原始序列的基本形態和變化趨勢,但是PAA是均等地對待每個子序列,因此極易忽視局部的數據分布,可能造成較大誤差。

1.1.2 信息熵度量

信息熵(information entropy,IE)是指某一事件發生時包含信息量的數學期望,即信源的平均信息量。對于非平穩的航空傳感器時序數據,數據曲線的波動程度可以用信息熵來衡量。假設傳感器某一時間段的子序列數據為D,其可能有n種取值,分別為d1,d2,…,dn,取值概率為P1,P2,…,Pn,則該時間段的傳感器數據D的信息熵值Hn為

(2)

信息熵值的大小能夠反映出傳感器數據曲線的波動程度,熵值如果越大,則該段曲線波動的程度越大,代表其復雜程度更高,信息量更多。當每個取值概率都相同時P1=P2=…=Pn時,此組傳感器數據的信息熵取得最大值,即Hmax=lnn。

平均信息熵可定義為

(3)

對于傳感器某時間段的數據波動程度,定義νi為第i個波動程度大小,當νi=1時表示數據波動程度大,不能用均值表示曲線波動特征。

(4)

式中:i=1,2,…,m;m表示該段時間長度;ω是比例系數,一般取1～2。定義α為傳感器某時間段數據波動程度大的數量占該段時序數據的比值

(5)

如果α超過某一個閾值σ,則認為該段時間內曲線波動程度較大,需要更多數據表示曲線特征。

1.1.3 基于信息熵的分段聚合近似方法

基于信息熵的分段聚合近似方法(information entropy piece-wise aggregate approximation,IEPAA)是對PAA算法的改進。IEPAA首先對時間序列進行劃分子序列處理,利用信息熵度量求出各子序列區間信息熵。信息熵值越大,表明該子序列區間復雜性越高,越不平穩。按照熵值大小比重分配各區間段數,熵值越大、越復雜的子序列分配數越多,在用PAA求取原序列的近似時,對此區間的近似表示越精確。IEPAA的算法描述如下:

輸入:原始序列S={t1,t2,…,ta}。

1) 將序列S分成φ個子區間:

φk=[t(k-1)a/b,tka/b], 1≤k≤φ

2) 對每個子區間求信息熵:

3) 確定φk子序列的分段數Fk:

4) 用PAA方法將區間φk表示成長度為Fk的序列;

相比于普通的PAA方法,IEPAA方法可以發現時間序列中極端且短促的變化,對于突變信息能更好地捕捉,擬合原序列時更加逼近。

1.2 基于GAF的時序二維化

(6)

將所有值都縮放到[-1,1]中,之后利用極坐標序列保留序列的絕對時間關系,從而維持原始序列的長程時間依賴性。將歸一化得到的數據進行極坐標系變換,得到每一個數據點對應的半徑和角度

(7)

x?y=cos(θ1+θ2)

(8)

式中,θ1,θ2分別表示向量x,y在極坐標系中對應的角度,得到時間序列的格拉姆角場如下

G=

(9)

在GAF矩陣中,對角線由歸一化處理后的原始值構成,且時間隨對角線依次增加,因此時間維度也被編碼到GAF矩陣中。由時序數據轉換成GAF的完整過程示意圖如圖2所示。

圖2 時間序列GAF轉換過程示意圖

1.3 基于ConvB的視覺Transformer

1.3.1 視覺Transformer

視覺Transformer(vision transformer,ViT)[9]是第一個完全依賴Transformer結構的計算機視覺模型。在ViT中,首先將圖像分割為離散且非重疊的像素塊,之后添加位置編碼并輸入到Transformer層中進行分類。雖然ViT在大規模數據集上效果很好,但是對于航空傳感器此類少量數據進行訓練時,其效果仍低于卷積神經網絡(convolutional neural network,CNN)[23]。筆者認為其原因是ViT可能缺乏CNN結構固有的某些更適用于視覺任務的特性。同時,CNN的模式能夠考慮到不同復雜程度的上下文信息,從簡單的邊緣和紋理到高階語義模式。

針對上述問題,將卷積引入ViT結構中,如圖3所示,在保證較高效率的同時增強上下文語義信息的編碼能力,提高模型的檢測精度。

圖3 ConvB ViT結構圖

1.3.2 ConvB ViT

1) 像素塊嵌入向量表示

給定具有高度H、寬度為W和通道C的圖像M∈RH×W×C,其被重塑為由N(N=HW/P2)個大小為P×P×C的像素塊MP組成的序列。之后通過可學習的線性投影將每個像素塊展平成D維的潛在向量,此過程稱為像素塊嵌入向量表示。最后可學習的位置嵌入Epos添加到嵌入向量序列一并送入ConvB ViT編碼器模塊中。嵌入公式為

(10)

2) ConvB ViT編碼器

ConvB ViT編碼器包括卷積映射層、多頭自注意力層(multi-head self-attention,MSA)、歸一化層和多層感知機(multi-layer perceptron,MLP)模塊。本文所提出的卷積映射層目標是實現局部空間上下文的額外建模,并通過允許K和V矩陣的欠采樣來提高效率。如圖4所示,首先將每一個嵌入向量重塑為二維的矩陣映射。之后使用核大小為s的深度可分離卷積層實現卷積映射。最后,將映射矩陣展平為一維向量,用于后續處理。公式為

圖4 卷積映射示意圖

(11)

(12)

多層感知機公式為

(13)

式中,LN表示穩定訓練的層規范化[24]。

2 實驗與分析

2.1 數據集及評價指標

本文采用的數據集來自某民機試飛的仿真數據,包含傳感器正常工作及發生故障2種類別,共計700個樣本。其中,訓練集包含310個正常樣本和40個故障樣本,測試集包含310個正常樣本和40個故障樣本,樣本平均長度為254 067的時間序列。圖5展示出傳感器的2種狀態記錄,通過將原始數據降維并轉換成圖像的方式呈現,清晰地觀察到傳感器在正常工作和發生故障時的特征高度相似,為了更為直觀地表示2種狀態差異,繪制出圖6所示的差異圖,可以看出相比正常傳感器,故障傳感器工作時總有偏差。

圖5 傳感器狀態記錄圖

圖6 傳感器狀態差異圖

本文采用混淆矩陣(confusion matrix,CM)模型性能評價方法,如表1所示。

表1 混淆矩陣

該方法在二分類問題中將樣本分為正類和負類,例如真正類α(true positive,TP)指實際為正類且被模型預測為正類的樣本,假負類σ(false negative,FN)指實際為負類但被模型預測為正類的樣本。對分類問題而言,評估分類器最直接的是分類精度γ(accuracy),即分類正確的樣本數占總樣本的比例。其他評價標準指標有準度κ(precision),表示在所有預測為正的樣本中實際為正樣本的數量;召回率ω(recall)表示在總體正樣本中預測為正樣本的數量;F1值μ表示精度和召回率的調和平均。

2.2 實驗設置及實驗環境

本文旨在驗證T2D模型的性能,為此在同一平臺下進行多組對比實驗,將所提算法與部分經典算法和當前主流模型進行評估,并使用準度故障檢測數據集作為評價基準,考察模型在精度、召回率和F1值等評價指標上的表現。對比算法包括支持向量機(SVM)[25]、多層感知機(MLP)[26]、循環神經網絡(RNN)[27]、BBN[28]以及GTDA[3]。對比算法是故障檢測領域中廣泛使用的模型,能夠全面客觀地評估T2D模型的性能。

本文采用ViT-B[9]作為T2D的骨干網絡,并使用Pytorch工具包[29]在24G顯存的NVIDIA GeForce RTX 3090上訓練T2D模型。首先將數據壓縮維度設置到500將原序列降維,通過GAF將訓練集圖像短邊設置成256,按比例調整圖像大小,之后對圖像隨機水平翻轉并裁剪成224×224的大小。實驗訓練批數量為32,所有訓練都使用帶有0.9動量的Adam優化器實現,初始學習率設置為10-3,總訓練的輪次設置為100。

2.3 實驗結果

2.3.1 對比實驗

展示本文提出的T2D架構數據降維及二維化模塊對于試飛仿真數據的格式轉換相關參數見表2。

表2 數據對比

表2展示出原始數據和圖像化后的數據對比信息。從中可以看出,T2D將超長試飛時序數據分段聚合近似之后再二維化,顯著降低了數據規模。具體來說,對于平均長度為254 076且平均占用內存大小為2 032 735 bit的樣本,其轉換為500×500分辨率圖像的平均占用內存大小為8 897 bit,數據壓縮為原來的0.43%。

表3通過分析不同算法在試飛仿真數據集中的實驗結果來評估本文所提出T2D框架的性能,加粗字體表明結果最佳。從表中看出,T2D框架的準度為91.33%,低于GTDA的92.67%和BBN的91.70%。但是T2D算法的精度、召回率以及F1值分別為88.28%,92.44%,91.88%,在F1值上略高于GTDA的91.75%,在精度和召回率上遠高于GTDA的85.71%和90.84%,并且在精度、召回率以及F1值方面顯著高于BBN。在所有的指標上,T2D結果都顯著高于其他經典的故障檢測方法。

表3 不同模型對比結果

另外,通過實驗可以看出,T2D框架和GTDA方法的實驗結果都明顯高于SVM、MLP、RNN這些方法,類似后者的這些模型,對于數據集中超長時序數據的全局語義信息提取能力較弱,并且類似的網絡對于一些局部上下文信息編碼的水平較差,這可能是導致其性能差的原因。對于T2D的表現,可以歸功于兩點。首先是在數據降維時以信息熵值的大小作為某一區間復雜程度的評價指標,能夠更高地保留這一區間的信息。通過IEPAA方法能夠發現序列中短促而異常的變化,對于非平穩的突變信息能夠更好地捕捉,對于原時序數據擬合地更加逼近。此外,在進行特征提取時,本文提出的ConvB卷積映射模塊能夠通過局部感受野引入局部上下文,在ViT使用位置嵌入的同時,能夠更好地適應不同輸入分辨率大小,在保持模型高性能的同時又具有良好的泛化性。

2.3.2 消融實驗

為了進一步分析所提出的T2D框架,本文對超參數以及設計的模塊進行了一些消融實驗。

1) 各個模塊作用

為了進一步了解所提出T2D方法中每個組件在整個模型的作用,在試飛仿真數據集上進行逐步驗證,配置如下:

(1) PAA+ViT:未改進的分類聚合算法進行數據降維,并使用最基礎的ViT進行故障分類;

(2) IEPAA+ViT:使用基于信息熵的分類聚合算法壓縮數據,并結合ViT對二維化后的數據分類,壓縮后的數據維度設置為500。

(3) PAA+ConvB ViT:使用未改進的分類聚合算法將數據同樣壓縮至500維,使用帶有卷積映射的ViT,其中卷積核大小設置為3,即s×s=3×3。

(4) IEPAA+ConvB ViT:使用基于信息熵的分類聚合算法將數據壓縮至500維,同時使用帶有卷積核大小為3的卷積映射通過ViT進行分類。

表4列出了每個模型通過不同模塊的配置在試飛仿真數據集上的結果。除了基礎模塊及改進模塊不同外,其他基本設置全部相同。

表4 各個模塊作用

從表4中可以看出,基于不同配置的模型中,完整模型(IEPAA+ConvB ViT)與其他基線相比性能是最好的,其中精度、召回率、F1值分別達到88.28%,92.44%,91.88%,相對于基線模型(PAA+ViT)的精度、召回率、F1值分別提高了5.46%,6.99%,4.22%。雖然完整模型在準度方面不是最高(距最高相差0.58%),但是相對于基線模型也提高1.48%。同時通過比較不同的改進模塊看出,ConvB模塊相較于IEPAA方法在各方面的提升更為有效,前者在4個評價指標方面都相對后者上升更多。說明模型對于傳感器數據的局部上下文信息更為敏感,通過對局部上下文的編碼對模型效果提升更為明顯?？傊?T2D通過對PAA基于信息熵的改進以及在ViT中添加卷積映射是有效的,從總體趨勢看引入新模塊后,模型針對故障分類的性能提高顯著。

2) IEPAA壓縮維度影響

為了研究IEPAA數據降維的維度對模型性能的影響,在其他參數或者模塊都保持不變的情況下,進行了一系列實驗,實驗過程中將降維后的數據維度從100～900分別進行對比實驗,不同維度降維后實驗結果如圖7所示。

圖7 不同降維維度結果圖

圖中,藍色、橙色、綠色、紅色分別代表精度、準度、召回率和F1值,其總體趨勢大致都為先增加后減少。對于傳感器的超長時間序列數據,如果數據降維的維度過短(例如圖中100和200),其在降維過程中丟失的信息過多,過短的時間序列經過二維化之后形成的圖片同樣會丟失更多信息,因此模型不能更好地識別局部信息,導致模型的性能較差。然而,維度也不能過長,從圖中可以看到在維度超過500時,各指標都出現下降,這是因為過長的維度在增加序列長度的同時,也帶來了更多的冗余信息,其在經過二維化形成圖片之后會增加更多不必要識別的局部信息,這可能會使模型學習更多不必要的知識,從而導致模型性能下降?？傊?在經過充分的實驗對比后,選擇500作為IEPAA的降維維度,模型在此時表現最佳。

3) ConvB卷積核大小影響

ConvB內部的配置將會影響整個模型的性能,由于卷積核大小對卷積神經網絡(CNN)的性能和特征提取能力有著顯著的影響,例如較小的卷積核可以更好地捕捉細節和局部特征,而較大的卷積核可以更好地捕捉全局特征和模式;同時,卷積核的大小決定了每一層的感受野大小,其中較小的卷積核通過多次卷積操作可以增加感受野的范圍,從而捕捉更大范圍的信息,然而較大的卷積核可以更快地擴大感受野,但可能無法捕捉到更細節的信息。因此,在設計CNN時,通常會結合不同大小的卷積核,以便同時捕捉不同級別的特征。針對ConvB ViT編碼器的卷積映射中不同卷積核大小進行了實驗,其結果如表5所示。

表5 不同卷積核對比結果

表5給出上述具有不同卷積核大小的卷積映射操作結果,其中卷積核大小為3×3的卷積映射具有最佳性能,其精度、召回率、F1值分別達到88.28%,92.44%,91.88%。從結果來看,發現感受野過大過小都會降低模型的性能。前者可能會學習更多的上下文信息從而錯過局部結構的信息,而對于某些故障區間較小的情況,這種模型表現不佳。對于后者來說,會丟失更大范圍的特征,從而導致無法處理故障區間較長的情況。因此,本文選擇卷積核大小為3×3的窗口以實現最佳性能。

2.4 可視化分析

為了更直觀地驗證對航空傳感器故障檢測任務中所提出的T2D框架的優勢,本為采用了t-SNE方法[30]對原始數據、RNN、BBN、GTDA、T2D(IEPAA+ViT)以及T2D(IEPAA+ConvB ViT)多個方法進行可視化(如圖8所示),并結合表3中的實驗結果對T2D進行定性和定量分析。

圖8 t-SNE可視化圖

圖8展示了試飛仿真數據集中5種算法的t-SNE可視化結果。圖8a)顯示了原始數據經過t-SNE轉換后在二維空間中的分布,其中不同顏色的點表示傳感器的不同狀態(正常/故障)。圖8b)～8f)中點表示意義與圖8a)相同。在進行t-SNE可視化時,困惑度設置為10,學習率為100,迭代次數設置為1 000次。通過觀察圖8,可以發現T2D提取的特征相對于其他方法更為有效,其正常數據和故障數據能夠直接地區分開,而且分離數量更為明顯。結合表3可以看出,其對應各模型檢測的精度,從數據上能夠定量地解釋可視化的結果。同時,T2D相比其他方法能夠更好地捕捉故障數據,這對應其具有更高的召回率。

綜上所述,通過可視化結果和定量指標分析,可以明確得出結論:所提出的T2D框架在航空傳感器故障檢測任務中表現最佳。T2D能夠更好地分離故障數據,為航空傳感器故障檢測任務領域提供了一種有效的解決方案。這對于提升飛行安全性、減少事故風險具有重要意義,并為進一步研究和應用相關技術提供了有力支持。

3 結 論

本文從航空傳感器的試飛數據中挖掘傳感器自身的故障狀態信息,并提出了一套基于時序二維化的航空傳感器故障檢測架構T2D,以提高對極長時序數據的故障檢測精度,得到以下結論:

1) 針對航空傳感器超長時序數據,提出一種基于信息熵的分段聚合近似方法,在充分保留時序特征的同時實現對數據的有效壓縮,提高數據挖掘的魯棒性;

2) 引入的格拉姆角場將降維后的一維數據編碼為二維圖像,將故障檢測任務轉換為圖像分類問題,同時保持原始序列的長程時間依賴性;

3) 設計的卷積映射模塊能夠增強對上下文語義信息的編碼能力,提高模型的檢測精度。

本文的研究結果對于提高航空傳感器性能和可靠性等方面具有重要的理論和實際意義。在未來的工作中,將繼續完善數據處理方法和圖像化策略,擴大研究范圍和深度,探索對于超長時序試飛數據更加有效的深度模型和故障檢測方法。