最小二乘支持向量機的理論及應用研究

張 娜，張永平

(1.宿遷高等師范學校 計算機系，江蘇 宿遷223800;2.中國礦業大學 計算機學院，江蘇 徐州221116)

0 引言

支持向量機［1－3］(Support Vector Machines，SVM )最初于20世紀90年代由Vapnik 提出，是一種新的通用機器學習方法，和傳統的學習方法和人工神經網絡比較，因其訓練算法的快捷、數學原理的簡要和泛化能力的優良而備受研究者關注，能成功地應用在分類識別、預測推算和綜合評估等領域，是借助最優化方法來解決機器學習問題的新工具。

當前，支持向量機在很多方面都得到了普遍應用，如解決分類、回歸、異常值檢測以及時間序列預測等，在這些方面支持向量機可以表現出較好的優勢和十分廣闊的應用前景［4－5］。但是當遇到樣本容量比較大時，它的速度將會明顯變慢，不利于在線應用。

1 最小二乘支持向量機的概述

支持向量機算法雖然有很多優點，但是由于它的復雜度與樣本數據相關，在樣本數據的個數很大時，用此方法求解規劃問題將會特別復雜，求解的速度也會變慢，為了解決復雜度問題J.A.K.Suykens 等人提出了最小二乘支持向量機(LS－SVM)，它是在標準的支持向量機算法上的一種改進，具有算法簡單、易于實現、計算速度快等優點，近些年來得到了較廣泛的研究和應用。

2 最小二乘支持向量機的數學原理

對于n 維樣本向量中某范圍的樣本(x1，y1)，...，(xi，yi)∈Rn，如果想把它映射到特征空間φ(x1)中，需要使用非線性映射變量Ψ()并利用Ψ()完成該樣本從原空間到特征空間的映射。在此特征空間中的最優函數可表示為:

以式(1)實現了函數在特征空間上的映射。其最小化可表示為:

其中用‖ω‖2，c，Remp 分別來表示運算中的繁雜度、誤差懲罰函數和誤差范圍函數。ξi為松弛因子用ξi的二次項值來表示LS－ SVM 在優化目標函數中的誤差，故優化問題為:

用Lagrange 方法求解這個優化問題:

其中ai(i=1，2，…，n)是Lagrange 乘子。

根據優化條件:

此式中ai=c·ξi(φ(xi)·ω+b+ξi－ yi)=0

把核函數K(xi，xj)=φ(xi)φ(xj)定義為是滿足條件的對稱函數，那么優化問題可以轉換為求解線性方程:

最后用最小最優化二乘求解方法得出a 和b 的值，同時得到此預測函數為:

上式中K(xi，x)=φ(xi)·φ(x)。

3 最小二乘支持向量機的研究與應用

LS－SVM 是在SVM 算法的基礎上發展與完善的，與人工智能網絡方法所使用的最小化經驗風險不同，它是利用最小化的結構風險法來解決問題。目前的研究中針對最小二乘支持向量機的應用領域較多，對LS－SVM 的理論知識學習的較為廣泛，而對LS－ SVM 的應用研究方面有很多有待加強與提高。常用的LS－ SVM 工具是基于Matlab 的LS－ SVM lab 工具箱［5］，它主要包括分類、回歸、時間序列預測和無監督學習。用C 語言實現工具箱中代碼的編寫。在計算機系統中可以用linux 和windows 實現工具箱的使用，絕大部分的函數都能計算兩萬多個數據。

最小二乘支持向量機的工具箱有3 個版本形式，分別是:基礎版本，高級高級版本、在C 語言環境下運行的版本。針對算法的不同，每個版本中包含的函數也各有差異。楊奎河、單甘霖、趙玲玲等［7］為了更好地提高機械設備中故障診斷的精確度，將小波包分析與最小二乘支持向量機進行了有機結合，提出一種故障診斷的模型，并且將此類基于最小二乘支持向量機的模型與以往的支持向量機診斷模型相比較，通過仿真實驗，最終表明新模型的性能較強，抗干擾能力優越。劉京禮、石勇針對最小二乘支持向量機模型丟失稀疏性和魯棒性的原因，提出了使用核主成分法對樣本數據中存在的噪聲特征進行剔除，通過與先前的增強最小二乘支持向量機模型稀疏性的方法相比較，壓縮特征對象，最終得出一個雙層L 范數最小二乘支持向量機模型(KPCA－L1－LS－SVM)，在數據集合的仿真測試中對此模型進行測試結果表明了模型的可行性。譚玉玲［8］等通過最小二乘支持向量機的優化指標采用法，從而取代一般支持向量機的不等式約束，為了減少計算的繁瑣和復雜，是速度有更高提升，將二次規劃問題轉化為線性方程組求解，最終用于柴油機故障診斷，并取得成功。駱嘉偉，蘇涵沐，陳濤［9］在LS－SVM 密度的基礎上提出新的隸屬度設計方法，使樣本之間的距離計算發生改變，對于每個樣本而言，都可以生成一個閾值與之相對應，這樣既增加了分類速度同時也提高了樣本的抗噪聲能力。張艦、彭啟琮等［10］主要研究了LS－SVM 在處理非線性均衡性能時的有效性問題。通過與通信中的非線性均衡問題相比較，研究了使用LS－SVM 事先均衡性的問題，并且結合了信息的非線性與噪聲干擾性，通過同最優貝葉斯均衡器性能的比較，顯示了LS－SVM 處理非線性均衡問題更有效更快捷。由于LS－ SVM 算法使用誤差和平方損失函數和等式約束，將優化問題轉化為求解一組線性方程，因而加快了訓練過程，使其能夠很好地應用到實際通信系統中。姜斌、王宏強、付耀等［11］利用LS－SVM 對海雜波混沌序列進行預測。最后進行了計算機實驗，仿真結果證明了該方法具有較高的預測精度。

另外，最小二乘支持向量機可以應用于短期電力負荷的研究中。針對短期電力負荷中的研究對象不確定性和多變量復雜性［12］，利用LS－SVM 方法可以提高短期電力負荷的預測性和泛化性，所以對于電力系統的預測來說LS－SVM 算法是種較為有效的方法。

4 結 語

最小二乘支持向量機用最小二乘線性系統作為損失函數取代支持向量機中的二次規劃方法，將不等式約束條件變為等式約束，從而將二次規劃問題轉變為線性方程組的求解，提高了求解問題的速度和收斂精度。本文通過數學理論和研究應用方面對最小二乘支持向量機進行具體的闡述，結果表明最小二乘支持向量機擁有更好的泛化能力，更為簡化計算過程，更加精確的計算結果，更少量的內存空間。和標準支持向量機相比較，最小二乘支持向量機是個很有前途的研究領域，未來將被應用的更多的科學領域。

［1］Vapnik V.Statistical Learning Theory［M］.New York:John Wiley＆Sons，1998.

［2］Vapnik V.統計學習理論的本質［M］.北京:清華大學出版社，2000.

［3］J Cortes C，Vapnik.Suplm rt－ vector networks［J］.Machine Learning，1995，20 (3):273－297.

［4］J Burges C J C.Atutorial on support vector machines for pattern recognition［J］.Know ledge D iscoveR and Data M ining，1998，2(2):121－167.

［5］PontilM，Verri A.Support Vector Machines for 3－Dob－ject Recognition［J］.IEEE Trans on Pattern AnalM achineIntell1，1998，20(2):637－646.

［6］閻威武，邵惠鶴.支持向量機和最小二乘支持向量機的比較及應用研究［J］.控制與決策，2003，18 (3):358－360.

［7］楊奎河，單甘霖，趙玲玲.最小二乘支持向量機在故障診斷中的應用［J］.計算機科學，2007，34 (1):289－291.

［8］譚玉玲.最小二乘支持向量機方法在農用柴油機故障診斷中的應用研究［J］.安徽農業科學，2009，37(22):10698－10699.

［9］駱嘉偉，蘇涵沐，陳濤.基于最小二乘模糊支持向量機的基因分類研究［J］.計算機應用研究，2010，27(2).

［10］張艦，彭啟琮，邵甜鴿.基于最小二乘支持向量機的非線性均衡［J］.計算機工程與用，2007，43 (13):92－95.

［11］姜斌，王宏強，付耀，等.基于LS－ SVM 的海雜波混沌預測［J］.自然科學進展，2007，17 (3):415－420.

［12］楊延西，劉丁.基于小波變換和最小二乘支持向量機的短期電力負荷預測［J］.電網技術，2005，29(13):60－64