聚類加權PSO-LSSVR的模擬電路性能在線評價策略

張愛華， 王永超

（渤海大學工學院，遼寧錦州121000）

聚類加權PSO-LSSVR的模擬電路性能在線評價策略

張愛華， 王永超

（渤海大學工學院，遼寧錦州121000）

針對模擬電路性能在線評價中現場數據采集不可避免產生錯值和干擾的問題，運用模糊C-均值聚類（FCM）方法，根據數據特征將電路模型分為多個子模型，同時對子模型樣本進行加權；利用標準支持向量機（LSSVR），結合粒子群算法（PSO）對于參數優化的優越性，實現對于錯值、干擾參數的有效抑制?？紤]到傳統的離線評價策略在訓練樣本組發生變化時，存在模型不能適時調整等問題，引入增減交互更新設計，實現模型的快速在線更新。實驗以高效模擬電路實驗為依托，采用近兩年內由精密儀器設備測評所得的傳統的OTL放大電路的八項技術指標構建訓練集，建立PSO-LSSVR的組合模型進行在線評價。結果表明：該方法能有效處理錯值和干擾所帶來的回歸偏差，性能優于傳統LSSVR法、ε-SVR法，評價精度與精密儀器性能評價精度近乎相同，同時具有運算速度優的優勢。仿真實驗進一步驗證了模擬電路性能評價方法PSO-LSSVR的有效性。

PSO-LSSVR；增減交互；模擬電路；在線性能評價

模擬電路因其廣泛的應用性，受到研究者們的關注。同時，又因自身及其故障的多樣性和復雜性，導致模擬電路的故障復雜和多樣，使得現有的模擬電路性能評測策略不能完全滿足需求。目前，神經網絡、支持向量機（SVR）［1-3］、遺傳算法等關鍵技術的快速發展，為復雜、大規模發展的模擬電路應用技術及其精確的性能評價提供了有效空間。筆者提出了聚類加權PSO-LSSVR的模擬電路性能在線評價策略，以期達到比傳統方法具有更好的數據處理能力，回歸精度高，運算速度快的目的。

1　增減交互更新算法引入

針對異常點問題，2002年，Suykens等［4］通過對樣本加權提出了加權LSSVR，雖然增加了魯棒性，但權重選擇為常數，易受到LSSVR參數選擇的影響。2008年張愛華等［5］提出SVR的放大器性能評價方法，該方法雖然具有評價精度優、成本低等優點，但它未考慮實際數據包含異常點（錯值和干擾）等現實問題，同時該設計實現困難，且收斂速度慢。文獻［6］中，提出基于密度加權的PSVM方法，雖權重不為常數，但受模型密度選擇的影響，對錯值處理能力偏弱。文獻［7］將RBF網絡引入魯棒LSSVR，雖然增加了魯棒性，但仍面臨著權值初始選擇及結構確定困難等問題。針對上述不足，筆者將FCM引入到模擬電路的性能評價方中。由于FCM生成的模糊隸屬度直接相關于每個樣本，并不為常數，所以FCM不僅用來生成LSSVR子模型，而且還可以為新生成的子模型樣本進行加權，進而進行組合預測。

結合FCM后雖提高了回歸精度，但仍存在核計算量大，訓練時間長等不足。針對快速時間響應的需求，唐春霞等［8］采用交叉驗證的方法對LSSVR參數進行優化處理，實現了一定的時間響應速度的提升，但其缺點在于但時間優化的角度存在一定的盲目性。此外，Chen Zhen等［9-10］采用遺傳算法實現了LSSVR參數的優化處理，其優點在于問題的處理不依賴于問題所需數學模型，缺點是該評價策略的實現較為困難，且時間響應速度收效甚微。PSO算法作為一種基于種群的隨機優化方法，可以同時搜索待優化目標函數解空間中的較多區域，尋優能力較為突出，且收斂速度較優，該算法被引入文中，以實現參數選擇。同時，文中引入增減量交互更新算法解決了原有的離線學習算法對于訓練樣本組發生變化時模型調整受限的問題，以保證樣本總數在一定范圍內。增減量交互更新算法的引入，既克服樣本數據過多而帶來的運算滯障，又兼顧歷史數據的重要性。

2　模糊C-均值聚類

FCM是從硬C-均值算法（記為HCM）推廣而來，其算法如下。

v=（v1，v2，…，vc-1，vc）；

m——隸屬度的加權系數，m＞1，其約束為

由約束式（2）優化式（1），得

模糊C-均值聚類算法是，基于誤差平方和目標函數準則給出初始方案后，通過式（3）、（4）反復迭代，使得目標函數式（2）達到極小。

3　PSO-LSSVR預測模型

3.1最小二乘法支持向量回歸機理

設S=｛si|si=（xi，yi）｝表示所記錄下的樣本數據，其中xi（xi∈R Rn）表示第i個樣本的輸入值；yi（yi∈R R）表示相應輸入樣本所對應的輸出值。針對所記錄樣本S=｛s1，s2，…，sn-1，sn｝的回歸求解問題，將輸入值通過低維到高維空間映射φ（x）：R Rd→R Rˉd，該特征空間的回歸函數可表示為

式中：φ（x）——特征函數；

w、b——待求的回歸參數。

LSSVR目標為追求經驗風險與結構風險最小化，其最小化風險函數為

在式（6）中，設定損失函數為平方和，并由等式約束條件替代不等式約束條件。由此，該優化問題［11］可轉化為：

式中：γ——懲罰系數；

J（w，e）——目標函數，其值大小決定了對誤差的懲罰力度；

e——表示樣本估計誤差向量，e=（e1，e2，…，eN-1，eN）T。

LSSVR期望從該優化問題（7）中獲得形如yi= w·φ（xi）+b的估計式，以保證對未來樣本進行正確的測試與診斷。同時，為了解決如何確定特征函數φ（xi）等問題，拉格朗日乘子及矩陣變換方法被引入，進而式（7）的優化問題可表示為

式中：A≡Ω+γ-1I；

Ωij=k（xi，xj）；

1=［1，1，…，1，1］T；

y——樣本輸出向量，y=［y1，y2，…，yN-1，yN］T；

a——拉格朗日乘子向量，a=［a1，a2，…，aN-1，aN］T。

進而可求解式（8）的b、a得到LSSVR模型為

其中，k（xi，xj）為滿足Mercer條件的核函數。選用高斯徑向基（RBF）核函數

式中：σ——核函數寬度。

而核函數寬度σ、懲罰因子γ為LSSVR的兩個主要參數，該參數對的確定對LSSVR模型的學習與泛化能力影響［12］。文中采用改進的粒子群算法［13］來優化選擇參數對（σ，γ）。

3.2改進的粒子群優化算法

在PSO算法中，ui=（ui1，ui2，…，uim-1，uim）為粒子i的位置向量，pi=（pi1，pi2，…，pim-1，pim）為第i個粒子所經歷過的最好位置，每個粒子的速度向量表示為vi=（vi1，vi2，…，vim-1，vim），種群中所有粒子經歷過的最好位置pg=（pg1，pg2，…，，pgm-1，pgm），粒子i的速度、位置更新為

式中：r1、r2——隨機數且選自于［0，1］；

w——慣性權重，其作用在于平衡算法的全局搜索/局部搜索能力。

w參數在進化過程中的動態調整尤其重要，文中采用代數線性遞減方法實現慣性權重w實現進化，具體表達為

式中：wmin、wmax——慣性權重的最小值和最大值；

iter——當前迭代次數；

itermax——最大迭代次數。

在PSO算法中，c1和c2分別表示粒子的自我學習因子及社會學習因子，此處取常數2來表示。進化初期，為保證粒子可以在整個搜索空間飛行，粒子應具有較強的自我學習能力和較弱的社會學習能力；而在進化后期，為使粒子趨于全局最優，則需要保證粒子具有較弱的自我學習能力和較強的社會學習能力?；谏鲜鲂枨?，同時保證所提算法具有良好收斂性，選用學習因子c1、c2動態調整策略，

式中，c1s、c1e、c2s、c2e分別為c1和c2初始值和最終值，一般c1s=2.5、c1e=0.5、c2s=0.5、c2e=2.5時算法效果最好。

4　PSO-FLSSVR增減交互更新算法

傳統的離線評價策略當模型訓練樣本組發生變化時，并不能適時調整，往往需要對整個訓練數據集進行反復訓練。對于文獻［14-16］中提出的增量學習算法，雖然能夠充分的利用歷史數據，但當訓練數據集過多時，會大大降低系統的訓練速度，且當時間過久后會出現無用樣本，此時的無用樣本就相當于干擾，會降低模型的回歸精度。為此文中設計的PSO-LSSVR模型中引入增減量學習交互更新算法。當有新數據加入時，采用增量學習法完成在線模型的實時更新，當新數據組增長到V時，采用減量學習法，以保證PSO-LSSVR模型運算速度的快速性。

4.1增量學習更新模型

定義PSO-LSSVR模型由M個樣本建立，當第M+1個樣本加入時，需要訓練所有樣本組以得到新模型。設初始樣本集為

若第k個采樣時刻，PSO-LSSVR模型已存入D（D＞M）個樣本，則當第k+1個樣本存入時，則PSO-LSSVR回歸模型更新為

aD+1、bD+1——更新后的拉格朗日乘子和模型偏置量。

由分塊矩陣和求逆公式［17-18］得到HD+1的遞推公式：

式中：HD=Φ-1D；

4.2減量學習更新

當模型因增量學習更新至ζ個樣本時，則進行減量學習。刪除ζ-k個樣本后，需要訓練剩余的D個樣本以得到PSO-LSSVR更新模型。

設當前PSO-LSSVR模型為

且Aζ-1已知。式中，

從模型中刪除樣本（xk，yk），則更新后的模型參數為

由文獻［18］可知

式中，

因Aζ-1已知，此處設定為2，…，ζ-1，ζ。則Q可通過刪除的第k行和第k列得到，即

ζ-1個樣本對應的PSO-LSSVR模型參數或通過式（15）確定以此類推，可確定ζ-M個樣本對應的PSO-LSSVR模型參數。

4.3PSO-LSSVR算法流程

PSO-LSSVR算法流程分四個步驟，詳見圖1。

步驟1：確定PSO-LSSVR子模型的核函數類型，初始化聚類數目c，進行減量過程的樣本容量ζ，算法終止條件ξ。

步驟2：FCM算法對離線數據進行聚類，生成c個類，對每類中的樣本計算其子模型樣本權值和子模型的核參數懲罰因子γ和核寬度σ，生成c個PSO-LSSVR子模型。

步驟3：對預測樣本進行預測，計算其均方根誤差MSE，若小于ξ，則終止循環，確定最終PSOLSSVR模型；否則進入步驟4。

步驟4：加入新樣本后若樣本總數M≤ζ，則進行增量更新，返回步驟2；否則采用減量更新，返回步驟2。

圖1　PSO-LSSVR算法流程Fig.1 FlowchatofPSO-LSSVR

5　仿真實驗

5.1數據采集及處理

實驗電路采用模擬電子技術中典型的帶自舉電路的OTL功率放大器作為測試電路。仿真軟件選用Multisim12.0，OTL功率放大器如圖2所示。

放大器性能評價指標主要包括放大器增益、上下限截止頻率、通頻帶、輸入靈敏度、噪聲電壓、最大不失真輸出幅度及最大不失真輸出功率等八項指標。通過仿真實驗，可以獲取到Ui-t、Uo-t、UN-t及Au-f四組訓練樣本，考慮到噪聲電壓在1 ms后趨于穩定，前三組樣本的工作空間定義為［1，2］ms，在Au-f中頻率f的變化范圍為MHz以上，而放大倍數Au在200 Hz時已進入通頻帶，為了能較好的得到回歸結果，此處將工作空間定義為［0，1］kHz，即可確定通帶下限fL，同理，當此處將工作空間定義為［1，25］MHz時，即可確定通帶上限fH。首先，針對獲得的訓練樣本組，分別從中隨機選取100組樣本作為實驗的數據，并對這100組樣本的輸出分別加入3個150%錯值和3個350%的干擾數據，以保證獲得樣本與實際現場采集數據的相似性。其次，可對這100組數據進行歸一化處理，將其歸一化到［0，1］，并選取50組樣本作為離線訓練樣本，20組作為預測樣本，30組樣本作為電路模型發生變化時的訓練數據集。為了充分證明PSO-LSSVR的精確性和可靠性，又分別采用LSSVR法、傳統ε-SVR對此數據集進行了回歸性能評價分析。

圖2　帶自舉電路的OTL功率放大器Fig.2 OTL power am p lifier w ith bootstrap circuit

5.2數值實驗

實驗中確定所測試放大器的電壓增益Au、通頻帶帶寬fBW、通頻帶上限截止頻率fH、下限截止頻率fL、最大不失真輸出幅度Uom、最大不失真輸出功率Pom、輸入靈敏度US及噪聲電壓UN等八項技術評價指標，由輸出yi∈｛-ε，ε｝，表示是否符合性能評價標準。通過參過改進的PSO優化算法實現模型參數對（σ，γ）的優化，同時確定初始化聚類數目c，進行減量過程的樣本容量V，算法終止條件ξ。根據訓練數據對支持向量進行分別訓練訓練樣本的數據特性及誤差對比，評價結果見表1～3。

表1　訓練樣本的數據特征及誤差對比結果Table 1 Result of data feature and com parative error of training sam p le

表2　測試樣本的數據特征及誤差對比結果Table 2 Resu lt of data feature and comparative error of testing sam ple

表3　評價結果對比Table 3 Result of comparative assessment

在實驗中，取參數γ=1 000，同時c=6，ξ= 0.10，V=30。文中采用均方誤差（MSE）及最大絕對誤差（MAE）作為測試指標。

式中，Yi為實際值為預測值；K為測試樣本的數量。

對所有的樣本數據都進行歸一化處理，最終結果采用15次實驗的平均值進行分析評價。表1、表2可見，PSO-LSSVR對錯值的處理能力明顯優于LSSVR及ε-SVR。表3給出了三種方法對OTL電路的八項技術指標進行評價的結果及各算法所用訓練時間的平均值，為了對比評價結果的精度，評價中還給出了仿真實驗的理論值。

圖3給出了三種算法下輸出UO關于模型運行時間的局部回歸效果對比曲線。

圖3 輸出UO局部回歸效果對比曲線Fig.3 Local regression effect com parison cu rves of UO

圖3中不僅可以看到，PSO-LSSVR回歸方法在仿真設定的異常點面前，能夠克服錯值和非明顯的錯值對于回歸信息的影響，同時，也能夠體現出文中方法較優的運算速度，適于實現在線評測。圖4給出了三種算法下增益Au關于輸入信號的頻率響應的回歸效果對比曲線，從考慮異常數據及未考慮異常數據兩種仿真曲線中，均可以獲知文中所提文法對于異常值處理的能力。

圖4　增益Au回歸效果對比曲線Fig.4 Regression effect com parison curve of Auw ithout abnormal point

6　結束語

筆者針對傳統的模擬電路性能評價方法對于異常點處理的缺陷，提出了基于聚類加權的PSOLSSVR模擬電路性能在線評價方法。采用標準LSSVR，結合粒子群算法的優越性，并應用FCM方法化分電路模型來加權組合預測有效處理了包含錯值的數據集。此外，考慮到傳統的離線評價策略對于訓練樣本組發生變化時，存在模型不能適時調整等問題，將增減交互更新設計引入到文中的性能評價策略中。在實際應用中，基于PSO-LSSVR的評測方法具有評價精度優、運算速度高、開發成本低、易于實現等特點。該評價策略值得研究與開發。

［1］ VAPNIK V N.The nature of statistical learning theory［M］.New York：Springer-Verlag，1995.

［2］ BRAZAIL P，SOARESC，COSTA J.Rankinglearningalgorithnm：U-singIBL andmeta-learningonaccuracyandtimeresults［J］.M-achineLearning，2003，50（3）：251-277.

［3］ CHAPELLE O，VAPNIK V，BOUSQUET O，et al.Choo-sing multip le parametersforsupportvectormachines［J］.Machine Learning，2002，46（1）：131-159.

［4］ SUYKENS JA K，BRABANTER JD，LUKAS L，etal.Weighted least squares support vectormachines：robustness and sparse approx-imation［J］.Neurocomputing，2002，48（1）：85-105.

［5］ 張愛華，于忠黨.基于支持向量回歸的放大器性能評價研究［J］.儀器儀表學報，2008（3）：618-622.

［6］ 王熙照，崔芳芳，魯淑霞.密度加權近似支持向量機［J］.計算機科學，2012（1）：182-184.

［7］ KAWAMURA S，MIYAZAKIF，ARIMOTO S.Realization of robotmotion based on a learning method［J］.IEEE Trans on System，Man and Cybernetics，1988，18（1）：126-134.

［8］ 唐春霞，陽春華，桂衛華，等.基于KPCA-LSSVM的硅錳合金熔煉過程爐渣堿度預測研究［J］.儀器儀表學報，2010（3）：689-693.

［9］ CHEN ZHEN，AN YIHUANG.Modeling and simulation of the-GA-LSSVM-based soft measurement for torque［J］.AppliedMechanics and Materials，2010，44（7）：733-737.

［10］ BEZDEK J C.Pattern recognition with fuzzy objective function algorithms［M］.New York：Plenum，1981.

［11］ 張淑寧，王福利，尤富強，等.基于魯棒學習的最小二乘支持向量機及其應用［J］.控制與決策，2010，25（8）：1169-1177.

［12］ 程啟明，王勇浩.基于最小二乘算法的模糊支持向量機控制器及其應用［J］.中國電機工程學報，2007（8）：76-80.

［13］ 龍 文，梁昔明，龍祖強，等.PSO-LSSVM灰色組合模型在地下水埋深預測中的應用［J］.系統工程理論與實踐，2013（1）：243-248.

［14］ 毛建洋，黃 道.一種新的支持向量機增量算法［J］.華東理工大學學報：自然科學版，2006（8）：989-991.

［15］ 曹 杰，劉志鏡.基于支持向量機的增量學習算法［J］.計算機應用研究，2007（8）：48-49.

［16］ 唐小力，呂宏偉.SVM增量學習算法研究［J］.電腦知識與技術，2006（5）：160-162.

［17］ WILSON A，FEM A，RAY S，et al.Multi-task reinforcement learning：a hierarchical Bayesian approach［C］//Proc of the 24 th international conference on machine learning.New York：ACM，2007，1015-1022.

［18］ 高潤鵬，傘 冶，朱 奕.基于減量學習的魯棒稀疏最小二支持向量回歸機［J］.探測與控制學報，2011，33（11）：14-21.

（編輯徐 巖）

New PSO and LSSVM regression based on clustering weighted to evaluate analog circuit performance online

ZHANG Aihua， WANG Yongchao
（College of Engineering，Bohai University，Jinzhou 121000，China）

This paper features a novel PSO-LSSVR building on clustering weighted scheme as a viable alternative to the analogy circuitwhich suffers an inherent drawback in performance evaluation online，namely the inevitable production of the wrong values and interference due to on-site date collection.This alternative strategy involves firstly dividing the circuitmodel intomultiple sub-models via fuzzy clustering mean（FCM）according to data features，and weighting the samples of the sub-models simultaneously；secondly，effectively inhibiting the wrong values and disturbance parameters by combining the norm LSSVR with PSO superior in terms of parameters optimization；and thirdly，introducing the incremental or reduced learning interaction to update themodel online in response to the traditional offline evaluationmodel incapable of real-time adjustment to the changing samples.The strategy is validated by the experiment drawing on the college analog circuit experiments，the construction of the training set using the traditional OTL performance eight indexes，obtained via precision instrument evaluation in recent two years，and the realization of evaluation online by developing the PSO-LSSVRmodel.The results reveal that the proposed method PSO-LSSVR capable of effectively dealing with the regressive deviation caused by the wrong values shows a performance superior to that of the traditionalmethods，such as LSSVR，andε-SVR，an evaluation accuracy approximate to thatof the precise instrument，and a better operation speed.The simulation verifies the reliability and validity of PSO-LSSVR evaluation method.

PSO-LSSVR；incremental or decremental interaction；analog circuit；online performance evaluation

10.3969/j.issn.2095-7262.2014.05.024

TP183；TN710

2095-7262（2014）05-0546-07

A

2014-07-10

國家自然科學基金項目（61304149）；遼寧省自然科學基金項目（2013020044）

張愛華（1977-），女，滿族，遼寧省撫順人，副教授，碩士，研究方向：航天器姿態控制，E-mail：Jsxinxi-zah@163.com。