基于One-class SVM的自相關線性輪廓監控研究

薛 麗，賈元忠，曹逗逗

(鄭州航空工業管理學院 管理工程學院,河南 鄭州 450046)

1 引 言

統計過程控制(SPC)應用中，通常運用傳統控制圖監控一元或者多元質量特性值。如果一個產品的質量特性值可以用多個響應變量與多個自變量之間的函數關系表示，則可以采用輪廓控制圖監控該產品的質量特性值，此時這種函數關系稱為輪廓。為了監控半導體工業校準過程中的穩定性，2000年Kang 和Albin[1]對壓力和流量之間的關系用簡單線性輪廓模型進行描述，并提出相應輪廓監控方法。簡單線性輪廓模型易于處理且可應用于許多生產過程，許多學者先后對涉及簡單線性輪廓監控進行了相關研究(Woodall等[2]，Wang 和Tsung等[3])。

SPC第一階段主要分析生產過程是否穩定，并對生產過程中的參數進行估計，其中Mestek 等[4]、Kim等[5]、Taghipourde等[6]對控制圖的第一階段方法進行研究。SPC第二階段對生產過程進行監控，當過程中存在異常波動時控制圖報警。Kang和Albin[1]提出了T2、指數加權移動平均(EWMA)聯合R控制圖的方法，以監控線性輪廓的變化。Kim等[7]對變量數據進行中心化處理，使用EWMA控制圖對參數進行監控。Abbas等[8]構造了三種單變量貝葉斯EWMA控制圖，分別對截距、斜率和誤差方差進行了監控。Abbas等[9]將貝葉斯理論用于累積和(CUSUM)控制圖，研究表明，在共軛先驗下提出的CUSUM控制圖性能更佳。Huwang等[10]運用空間秩的EWMA圖對誤差項不符合正態性假定的線性輪廓進行監控研究。Haq等[11]通過調整可變抽樣區間提高控制圖的靈敏度。Yeganeh等[12]提出了一種多元指數加權移動平均(MEWMA)控制圖和運行規則相結合的方法，提高了監控簡單線性輪廓的性能。Zhang等[13]使用CUSUM控制圖對預先指定的線性輪廓變化進行監控。Noorossana等[14]研究了第一階段參數估計誤差對第二階段輪廓監控的影響。

隨著生產過程中數據采集技術的發展以及抽樣間隔越來越短，許多輪廓數據具有自相關性，此時應用傳統獨立過程的監控方法會大大增加虛發警報[15]。針對誤差項遵循一階自回歸模型AR(1)的簡單線性輪廓，Soleimani 等[15]提出了T2控制圖和EWMA控制圖來監控生產過程。Chiang等[16]提出了MEWMA控制圖，用于檢測截距和斜率的變化。

以上研究均是基于構造統計量建立控制圖以監控生產過程，需要對原始數據進行處理，其過程較為復雜?？刂茍D可以看成區分受控過程和失控過程的分類器，因此使用機器學習方法可以監控生產過程，且不需要對數據進行復雜的處理，亦能達到較好的效果。Hosseinifard等[17]以及Yeganeh和Shadman[18]運用神經網絡對線性輪廓監控進行了研究。賀辰然[19]討論了二分類支持向量機在監控線性輪廓中的應用。二分類的方法需要大量受控和失控樣本訓練分類器，但在實際生產過程中，這一條件有時不能得到滿足，因此在一定程度上限制了其應用范圍。針對實際生產過程中僅有受控樣本的情況，SVDD方法被引入輪廓監控中，且取得了不錯的效果[20-22]。

在以上研究背景下，為盡快監測出自相關線性輪廓數據的異常，本文針對實際生產過程中異常類樣本難以收集或者收集異常樣本需要消耗大量的時間或成本的情況，提出基于一類支持向量機(OCSVM)[23-24]的監控方法。以平均運行長度(ARL)為準則，通過仿真實驗討論不同核函數對監控性能的影響，并將結果與現有的一些傳統方法進行比較。

2 方法簡介

OCSVM是基于支持向量機(SVM)的一種一類分類器[23-24]。模型描述如下：設有受控訓練樣本{z|zi∈Rn,i=1,2,…,m}，坐標原點坐標為(0,0,…,0)nx1，通過核函數將訓練樣本映射到高維特征空間，在特征空間中找到一個最優超平面實現訓練樣本與坐標原點的最大分離。最優超平面表達式為w·z-b=0，w為權重向量，b為偏差。使最優超平面與坐標原點的距離b/‖w‖最大，轉化為二次規劃問題：

s.tw·zi-b+ξi≥0,ξi≥0.

(1)

其中ξi為松弛變量，u為訓練樣本中噪聲數據比例。用拉格朗日方法將式(1)轉化為無約束最優化問題，即：

(2)

其中αi≥0,βi≥0為拉格朗日乘子。對式(2)中的變量w,b,ξ分別求導并令偏導數為0可得：

(3)

(4)

(5)

將得到的式(3)～(5)帶入式(2)可將原問題轉化為其對偶問題，并將對偶問題求最小可得：

(6)

式(6)中(zi·zj)為內積運算，OCSVM中用核函數代替內積運算。式(6)可以轉化為：

(7)

對二次規劃問題式(7)進行求解，可得到拉格朗日乘子α=(α1,α2,…,αm)，其中αi不為0,對應的zi為超平面的支持向量。對新的測試樣本o，該點所屬類別的判別式為：

(8)

根據f(o)的輸出值判斷測試樣本o的所屬類別。如圖 1所示，以二維數據說明OCSVM的原理。

圖1 用于異常檢測的二維OCSVM示意圖圖解

若f(o)≥0，則測試樣本o屬于受控類，若f(o)<0，則測試樣本o屬于失控類。

3 基于OCSVM的線性自相關輪廓監控模型

3.1線性自相關輪廓

假設過程或產品質量特性Y為某一變量X的函數，過程處于統計受控狀態時，Y與X的函數關系為：

Y=f(X,β)+α,Xι

(9)

其中，β為受控輪廓的系數向量，Xι和Xh界定了的X的范圍，α為獨立隨機變量且服從均值為0、方差為σ2的正態分布。上述獨立變量X可以是時間、加工產品的測量位置、溫度等。

對抽樣時刻i(i=1,2,…,m)，可以測得輪廓內n個觀測點xi1,xi2,…,xin響應變量的值為yi1,yi2,…,yin。每條輪廓為一個觀測樣本，每個樣本由n個數據點(xij,yij)，j=1,2,…,n構成。為方便分析數據，常假設不同輪廓中點(Xι,Xh)內觀測點位置相同，即對任意時刻i的輪廓有xij=xj。用AR(1)模型表示線性輪廓內的相關性[15]。過程處于統計控制狀態時，線性輪廓內自相關模型可以表示為：

yij=A0+A1xj+εij

εij=ρεi(j-1)+αij

(10)

其中εij為相關誤差項，αij為獨立隨機變量且服從均值為0、方差為σ2的正態分布。ρ是自相關系數，為已知常數。本文中，考慮第二階段，即假設參數A0,A1,σ2已知。

3.2基于OCSVM的監控模型

圖2 OCSVM方法流程圖

利用訓練階段得到的超平面對后續新收集的輪廓數據進行監控，判斷其生產過程是否處于受控狀態，如果存在異常原因，則發出警報。OCSVM控制方法的結構如圖3所示。

圖3 OCSVM控制方法結構圖

4 仿真分析

為驗證所提出方法的監控效果，采用Soleimani等[15]的仿真模型來進行模擬。每個輪廓的截距A0=3，斜率A1=2，回歸方程為：

yij=3+2xj+εij,

εij=ρεi(j-1)+αij,

(11)

其中εij是相關誤差項，αij為獨立隨機變量，且αij～N(0,1)，ρ為自相關系數。在模擬仿真中，分別針對自相關系數ρ=0.1(弱相關)或ρ=0.9(強相關)兩種情況，所提出的方法與Soleimani等[8]提出方法的監控效果進行比較。

假定式(7)中的訓練樣本噪聲數據比例u=0.001。針對自相關系數ρ=0.1(弱相關)或ρ=0.9(強相關)兩種情況，分別采用高斯核函數和多項式核函數進行訓練，并將這兩種訓練模型的監控效果進行比較，選擇對具有自相關性的輪廓數據監控效果較好的核函數。最后與Soleimani等[15]提出的方法進行比較。

4.1仿真過程

以平均運行長度為評價準則對不同控制圖性能進行比較。首先確定OCSVM方法參數，訓練階段調整參數令控制圖誤警率α=0.005，即受控運行長度ARL0=200，然后比較失控運行長度ARL1，ARL1越小的控制圖監控性能越好。

β=(-0.2,-0.3,-0.4,-0.5,-0.6,-0.7,-0.8,-0.9,-1)同時變化的9種異常。

以ρ=0.1(弱相關)時為例，(ρ=0.9過程同ρ=0.1)仿真步驟如下：

步驟一：生成訓練數據。根據式(11)生成M個受控樣本數據，樣本類別為+1。

步驟二：數據預處理。將步驟一生成的樣本值轉化到[0,1]的區間內。

步驟三：確定核函數及核函數參數。本文選取高斯和多項式兩種核函數進行比較。

步驟四： 尋找最優參數。在[2-10,210]范圍內采用遍歷法調整核函數參數，使訓練數據的誤警率為0.005，誤差為0.0001。訓練時對受控數據采用10折交叉驗證的方式，將受控數據隨機分成10份，其次輪流將其中9份做訓練1份做驗證，10次結果的均值作為對算法精度的估計值，使訓練數據最終的誤警率為0.005，受控運行長度ARL0=200。

步驟五：構建模型。由步驟四得到最優參數，對訓練樣本訓練得到分離超平面，對后續過程進行監控。

步驟六：生成異常數據。對4類異常數據每種異常生成1000批數據集，每批數據集含有1000個對應的異常數據。

步驟七：計算ARL1。采用步驟五中得到的分離超平面對步驟六中的異常樣本進行監控，由于每種異常有1000批數據集，故迭代1000次之后得到的均值即為ARL1。

4.2不同核函數監控性能對比

運用高斯核函數與多項式核函數的訓練模型分別記為OCSVMR、OCSVMP。在受控運行長度ARL0相同的情況下，通過比較不同控制方法對應的失控平均運行長度ARL1值的大小來評價其性能。采用上節中的步驟進行仿真模擬，表1—4顯示了ρ分別為0.1和0.9時截距變化、斜率變化、標準差變化以及截距、斜率同時變化的失控運行長度，其中λ、β、γ分別為截距、斜率、標準差的變化量，變化單位為σ。

表1 截距A0偏移至A0+λσ時OCSVMR模型與OCSVMP模型ARL1比較

表2 斜率A1偏移至A1+βσ時OCSVMR模型與OCSVMP模型ARL1比較

表3 標準σ差偏移至γσ時OCSVMR模型與OCSVMP模型ARL1比較

表4 斜率、截距以同時發生偏移時OCSVMR模型與OCSVMP模型ARL1比較

為直觀顯示OCSVMP模型與OCSVMR模型的監控效果，下面用圖形的方式對表1—4中的情況進行比較，具體見圖 4。

圖4 OCSVMR模型與OCSVMP模型監控效果比較

由圖4可知，監控截距發生偏移時，OCSVMP模型優于OCSVMR模型。監控斜率方面，在自相關系數ρ=0.1，斜率偏移小于0.175時，OCSVMP模型優于OCSVMR模型；自相關系數ρ=0.9時，OCSVMP模型優于OCSVMR模型。監控標準差方面，OCSVMP模型整體優于OCSVMR模型。另外，在監控截距、斜率同時變化時，OCSVMP模型整體優于OCSVMR模型。從整體看，OCSVMP模型的監控效果優于OCSVMR模型。

4.3與傳統控制圖方法比較研究

表5 截距A0偏移至A0+λσ時OCSVMP模型與傳統控制圖ARL1比較

續表5 截距A0偏移至A0+λσ時OCSVMP模型與傳統控制圖ARL1比較

表6 斜率A1偏移至A1+βσ時OCSVMP模型與傳統控制圖ARL1比較

表7 標準差σ偏移至γσ時OCSVMP模型與傳統控制圖ARL1比較

表8 斜率、截距以同時發生偏移時OCSVMP模型與傳統控制圖ARL1比較

續表8 斜率、截距以同時發生偏移時OCSVMP模型與傳統控制圖ARL1比較

為直觀顯示OCSVMP模型與傳統控制圖的監控效果，下面用圖形的方式對表5—8中的情況進行比較，具體見圖 5。

圖5 OCSVMR模型與傳統控制圖監控效果比較

由圖5可知，監控截距發生偏移時，自相關系數ρ=0.1,在截距偏移大于1.2時，及自相關系數ρ=0.9時，OCSVMP模型優于另外四種方法。監控斜率偏移時， EWMA-3方法表現最優。監控標準差發生偏移時，OCSVMR模型整體優于另外四種方法。監控截距、斜率同時變化時，OCSVMP模型明顯優于另外四種方法。

5 結 論