基于改進平方根法的增量式正則極速學習機及在回歸中的應用

李 霞，劉建平，王力麗

(河北科技師范學院數學與信息科技學院，河北 秦皇島，066004)

?

基于改進平方根法的增量式正則極速學習機及在回歸中的應用

李 霞，劉建平，王力麗

(河北科技師范學院數學與信息科技學院，河北 秦皇島，066004)

提出了一種基于改進平方根法的增量式正則極速學習機(ISR-RELM)，該方法在求解正則極速學習機(RELM)輸出權值時有效減少了隱層神經元遞增過程中的計算量。9個基準回歸數據集預測表明，ISR-RELM不僅預測精度高，而且所用的訓練時間比文獻中的3種方法(ISR-RELM，LD-RELM和CF-RELM)都少。因此ISR-RELM是解決數據回歸問題的一種新穎且高效的方法。

正則極速學習機；回歸問題；改進平方根法

隨著回歸問題研究的不斷深入及其在函數逼近、時間序列預測、機器學習、復雜系統建模等領域中的廣泛應用，回歸問題已經成為一個重要的研究方向。而人工神經網絡由于具有很好的逼近能力，泛化性能和魯棒性，被許多學者應用到回歸數據的預測中。作為人工神經網絡的一個重要分支，2006年，Huang G B等[1]提出了極速學習機(ELM)。ELM是一種新穎的單隱藏層前饋神經網絡，它將傳統的神經網絡參數訓練的迭代過程轉化為求解線性方程組，設置合適的隱藏層結點數，為輸入層和隱藏層閾值隨機賦值，然后通過最小二乘法得到輸出層權值，整個過程無需迭代。但是ELM是基于經驗風險最小化理論，可能會導致過度擬合問題，因此鄧萬宇等[2]考慮了這2種風險，提出了正則極速學習機(RELM)。

RELM建立的數學模型最終轉化為求解系數矩陣為對稱正定的線性方程組。當線性方程組的系數矩陣是對稱正定時，常用的解方程組的方法有平方根法和改進的平方根法[3～6]，但是平方根法在計算過程中需要開平方，而改進的平方根法回避了開平方運算，只需要四則運算就能完成，非常簡單有效。因此為實現對回歸問題RELM網絡結構的輸出權值的快速求解，筆者提出了一種基于改進平方根法的增量式求解輸出權值的快速方法(ISR-RELM)，并通過9種基準回歸數據集驗證了該方法的有效性。

1 正則極速學習機

其中αi=[αi1,…,αin]為連接第i個隱層神經元的輸入權值；ci是第i個隱藏層結點的閾值；βL=[β1,…,βL]T，βi為連接第i個隱層神經元的輸出權值；ε=[ε1,…,εN]T,εi是回歸誤差。為求解上述優化問題，建立拉格朗日函數為

其中T=[t1,…,tN]T為輸出向量，ω=[ω1,…,ωN]為拉格朗日權值。

是隱層矩陣，對拉格朗日函數各變量求偏導并令偏導數為零可得

(1)

式中IL為單位矩陣，利用式(1)求出βL則可建立RELM回歸數據集預測模型

(2)

式中x為模型輸入，t為模型輸出。

2 基于改進平方根法的增量式RELM (ISR-RELM)

2.1ISR-RELM的輸出權值求解

因為AL是對稱正定的，則AL可分解為

(3)

式中SL是一個單位下三角矩陣，DL為對角線元為正的對角矩陣。通過公式(3)可以得到計算sij和di的計算公式：對于i=1,…,L

(4)

令SLFL=bL，則可以得出FL的元素fi的計算公式為

(5)

(6)

由上述過程可知，只用簡單的四則運算就可以求得輸出權值βi，而且當ISR-RELM的隱層神經元數量從L個增加到L+1個時，神經元矩陣變化為

HL+1=[HL?hL+1]=[h1…hL?hL+1]

(7)

式中hi=[f(αi·x1+ci)…f(αi·xN+ci)]T,i=1,…,L+1。此時

(8)

因此從公式(5)所示的FL的計算方式可知

可見，只需計算出fL+1即可獲得FL+1，而不需要重新計算f1至fL?；诟倪M平方根法的βL+1求解方法充分利用了計算βL所儲存的信息，使得SL+1，DL+1，FL+1可分別在SL，DL，FL的基礎上獲得，因此計算βL+1可在計算βL的基礎上進行。

2.2ISR-RELM的學習過程

有研究表明[3]，隱層神經元的數量與RELM的測試精度有很大關系，同時也是在設計RELM網絡結構時必須事先考慮的關鍵因素，到目前為止還沒有選擇神經元個數的有效理論方法，一般可以根據人為經驗或者實驗確定。ISR-RELM的學習過程為：

步驟1 設置最大神經元數量L；

步驟2 令L=1，計算這時的AL和bL；

步驟3 根據公式(4)求出SL和DL，然后利用SL和bL根據公式(5)得到FL；

步驟5 令L=L+1，在SL-1，DL-1,FL-1的基礎上，計算SL，DL，FL,然后轉至步驟4，當L最大時結束。

3 ISR-RELM的性能評估

為了評估ISR-RELM的性能，在此將其應用到9個常見的基準回歸數據集，并且與其它3種算法比較。本次研究所有程序是在CPUi5-3210M，2.50 GHz，內存2.00 GB，Matlab 2009環境下運行。隱藏激勵函數選為Sigmoid函數g(x)=1/(1+e-x)，參數γ=108。在所有的實驗中，數據的輸入和輸出向量分別歸一到[-1,1]和[0,1]。每個試驗運行了30次，用30次的均方根誤差(RMSE)代表該算法的精度，用30次標準差的平均值(S.D.)代表該算法的穩定性，用30次訓練時間的平均值(t(s))作為該算法的訓練時間。

表1 評估ISR-RELM性能選取的基準回歸數據集信息

3.1 基準回歸數據集

本次研究選取了9個常見的基準回歸數據集[8]，每個數據集隨機分為訓練樣本和測試樣本，詳細情況見表1。

3.2 ISR-RELM神經元數量的選擇

圖1～圖2為ISR-RELM在L遞增條件下應用于2個不同數據集上(其他數據集圖形類似)的訓練誤差和測試誤差。從圖中可以看出，它們均隨隱層神經元個數L的增加而表現出逐漸減小的變化趨勢，由于初始的ISR-RELM只有1個神經元，其學習精度與泛化能力都有限，誤差較大，但是隨著L的增加，訓練誤差和測試誤差都逐漸減小，說明通過增加神經元的個數可以有效提高ISR-RELM的學習能力和泛化能力。從圖1～圖2可以看到，當神經元到達一定數量時，訓練精度和測試精度變化不太明顯，如果再增加神經單元，測試精度提高不太明顯，反而增加ISR-RELM的網絡結構，耗費大量的計算時間。因此，本次研究最大神經元數量設置為50個。另外，根據所有神經元對應的測試精度，由測試誤差最小原則，可以找到最佳的神經元數量。

3.3 ISR-RELM與其它3種算法的比較

圖1 附加10%噪聲Elevators的訓練誤差和測試誤差的變化曲線 圖2 附加20%噪聲California的訓練誤差和測試誤差的變化曲線

4 結 論

基于改進平方根法的增量式RELM逐漸遞增地計算網絡輸出權值，有效減小了隱層神經元遞增過程中所帶來的計算代價，減少了計算時間。為了驗證該方法的有效性，把其應用于9種基準回歸數據集。實驗結果表明，該方法無論對于噪聲數據還是無噪聲數據都具有較高的預測精度和較快的計算速度，適用于回歸數據集的預測。

[1]HuangGB,ZhuQY,SiewCK.Extremelearningmachine:theoryandapplication[J].Neurocomputting,2006,70(1-3):489-501.

[2] 鄧萬宇,鄭慶華,陳琳，等.神經網絡極速學習方法研究[J].計算機學報,2010,33(2):279-287.

[3] 李慶揚,王能超,易大義.數值分析[M].北京:清華大學出版社,2008.

[4] 郭麗杰,周碩,秦萬廣.對稱矩陣的改進Cholesky分解在特征值問題中的應用[J].東北電力學院學報,2003,23(2):50-52.

[5] 王艷天.數學教學中線性方程組的特殊解法:平方根法[J].中國科教創新導刊,2008(26):139.

[6] 蘇爾.關于正定矩陣平方根分解性質的討論及正定矩陣某個特征的證明[J].吉林師范大學學報:自然科學版,2012(2):54-58.

[7] 張弦,王宏力.基于Cholesky分解的增量式RELM及其在時間序列預測中的應用[J].物理學報,2011,60(11):110201-1-110201-6.

[8]AAsuncion，DNewman.UCImachinelearningrepository[DB/OL].(2007)[2015-03-31].http://www.ics.uci.edu/～mlearn/ML.Repository.html.

[9]HuangGuang-bin，ZhouHong-ming，DingXiao-juan,etal.Extremelearningmachineforregressionandmulticlassclassification[J].IEEETransactionsonSystemsManandCybernetics,2012,42(2):513-529.

表2 4種算法在無噪聲數據集上性能的比較

表3 4種算法在附加有10%噪聲的數據集上性能的比較

表4 4種算法在附加有20%噪聲的數據集上性能的比較

(責任編輯:朱寶昌)

Incremental Regularized Extreme Learning Machine Based on Improved Square Root Method and Its Application to Regression Problems

LI Xia,LIU Jian-ping,WANG Li-li

(School of Mathematics and Information Science & Technology,Hebei Normal University of Science & Technology,Qinhuangdao Hebei,066004,China)

This paper puts forward an incremental regularized extreme learning machine based on improved square root method (ISR-RELM). The method effectively reduces the amount of calculation for solving output weights in the process of increasing the hidden layer neurons. The experiment results of the nine benchmark data show that ISR-RELM not only has the advantage of high accuracy, but also uses less running time than three algorithms(ISR-RELM , LD-RELM and CF-RELM)in the literatures. Therefore, ISR-RELM is a novel and effective algorithm for regression problems.

regularized extreme learning machine; regression problems；improved square root method

10.3969/J.ISSN.1672-7983.2015.02.008

2015-03-31; 修改稿收到日期: 2015-06-25

O234

A

1672-7983(2015)02-0036-07

李霞(1980- )，女，在讀博士，講師。主要研究方向：人工智能算法。