BP神經網絡在多維非線性函數擬合中的應用

劉俊

（商洛學院 電子信息與電氣工程學院，陜西商洛726000）

BP神經網絡在多維非線性函數擬合中的應用

劉俊

（商洛學院 電子信息與電氣工程學院，陜西商洛726000）

為了解決常規方法擬合多維非線性函數的預測結果精度較低問題，采用非線性映射能力較強的BP神經網絡進行多維非線性函數擬合。通過對BP神經網絡結構及訓練過程的分析，依據給定的兩維非線性函數構建BP神經網絡模型，并利用MATLAB軟件對BP神經網絡進行預測。仿真結果表明，BP神經網絡對于兩維非線性函數有良好的擬合能力，擬合誤差小、收斂速度快，也使該方法具有較好的推廣性。

函數擬合；BP神經網絡；多維非線性函數

BP（Back Propagation）神經網絡是一種誤差反向傳播的多層前饋神經網絡，由Rumelhart和McCelland等學者在1986年提出的。經過近30年的研究和改進，BP神經網絡已經形成了一套完善的理論體系，同時在模式識別、數據壓縮等領域有良好的應用[1-5]，也是目前應用最廣的人工神經網絡模型之一。

在科學實驗和工程應用中，常會遇到一些復雜的非線性系統，難以用準確的數學模型表示這些系統測試數據中自變量與應變量之間的函數關系。鄧曉敏等[6]把origin應用到處理非線性函數實驗中，該方法適用于數據量較小、非線性程度較低的實驗中。唐佳德[7]介紹了MATLAB軟件自帶非線性擬合函數lsqcurvefit、lsqnonlin和非線性曲線圖形窗口，該方法對于復雜映射和多維映射擬合精度較低。李初曄等[8]采用多參數有限元技術擬合函數，該方法最終要找到具體的函數表達式，而對于非線性程度高的函數就無法精確表示。董銳[9]把BP神經網絡、RBF神經網絡和樣條神經網絡應用到非線性函數逼近領域，取得了良好效果。本文為了解決常規方法擬合多維非線性函數的預測結果精度較低問題，提出基于BP神經網絡的多維非線性函數擬合，該方法能夠快速學習和記憶大量的輸入——輸出之間的映射關系，不需要具體的映射關系數學方程，能夠很好地表達這些復雜的非線性函數。通過BP神經網絡的建模、訓練、預測仿真實驗，結果能夠滿足預期效果。

1 BP神經網絡

1.1 BP神經網絡結構

BP網絡是一種多層前饋神經網絡，由輸入層、隱含層和輸出層組成，隱含層可以有一層或多層。該網路具有較強的非線性映射能力，圖1為一個典型的單隱含層的BP網絡結構圖。圖1中x1，x2，…，xm為輸入層各神經元的實際輸入；ωij為隱含層第i個神經元與輸入層第j個神經元間的權值；g(·)為隱含層的激勵函數；α1，α2，…，αq為隱含層各神經元閾值；ωki為輸出層第k個神經元與隱含層第i個神經元間的權值；β1，β2，…，βn為輸出層各神經元閾值；f(·)為輸出層的激勵函數；y1，y2，…，yn為輸出層各神經元的實際輸出；ek為網絡的輸出誤差[10]。

圖1 典型單隱含層BP神經網絡結構圖

1.2 網絡訓練過程

網絡訓練分為以下兩個過程[11]：

第一個過程是工作信號前向傳播。樣本數據作為輸入信號經各隱含層逐層傳輸，并根據隨機初始化設定的一組網絡權值和閾值來計算，最后把隱含層計算結果傳向輸出層，并利用激勵函數和輸出閾值計算得到相應的輸出值。

第二個過程是誤差信號反向傳播。輸出層計算結果與期望值比較，若誤差不滿足要求，誤差信號返回到輸入層和隱含層，利用梯度最速下降法，調整各層的閾值和權值。這兩個過程反復進行，直到網絡誤差達到最小或人們所期望的值，網絡訓練結束。圖2為BP網絡訓練流程圖。

圖2 BP神經網絡訓練過程

2 BP神經網絡設計

本文利用BP神經網絡擬合的兩維非線性函數為：

2.1 輸入層和輸出層神經元數目的選擇

BP神經網絡的輸入層和輸出層神經元數目通常根據求解方程和系統數據來源而定。選擇原則是在滿足網絡精度的前提下，盡可能減小系統規模，減小系統學習時間和復雜性。本文擬合非線性函數有兩個輸入參數（x和y），兩個輸出參數（z1和z2），所以輸入選擇2個神經元，輸出選擇2個神經元。

2.2 隱含層層數的選擇

理論上已經證明具有單S型隱含層和單線性輸出層的BP神經網絡可以逼近任意非線性系統[12]。多隱含層可以增強泛化能力，提高預測精度，但是訓練時間較長。隱含層層數的選擇要綜合考慮訓練時間和網絡精度，對于復雜的非線性系統，則可以考慮多隱含層，犧牲訓練時間，以滿足精度要求；但對于簡單的非線性系統，在滿足網絡精度的前提下，可以采用單隱含層，以加快速度。本文擬合的非線性函數較為簡單，選擇單隱含層。

2.3 隱含層神經元數目的選擇

隱含層神經元數目的選擇對網絡性能影響較大。隱含層神經元數目太少，不能實現很好的數據映射關系，無法滿足網絡精度要求；隱含層神經元數目太多，常出現過擬合現象。通常情況，網絡預測精度隨著隱含層神經元數目的增加呈現先提高后降低的趨勢。在具體應用時，一般采用嘗試法選擇最合適的神經元數目。本網絡經過多次測試，選擇10個隱含層神經元，可以達到較高精度要求。

3 MATLAB仿真實現

3.1 BP神經網絡構建

利用MATLAB神經網絡工具箱中的newff函數構建一個BP神經網絡，隱含層和輸出層的傳輸函數選擇‘tansig’，該函數為S型函數，理論上，只要選擇合適的權值和閾值，可以逼近任意非線性函數。網絡訓練函數選擇‘trainlm’，該算法采用數值優化技術，具有收斂速度快、穩定性高等優點。權值學習函數選擇‘learngdm’，該算法梯度下降動量動態尋優算法，可以減小學習過程的振蕩趨勢，改善收斂性。

3.2 BP神經網絡訓練

本文根據式(1)隨機生成150組輸入/輸出數據，從數據中隨機選擇100組數據用作BP神經網絡的訓練數據，其余50組數據作為網絡測試數據使用。網絡訓練目標最小誤差為5-10，最大訓練次數500次，學習速率設置為0.1。BP神經網絡訓練函數采用MATLAB神經網絡工具箱中的train函數。

3.3 BP神經網絡測試

把50組訓練數據中的輸入樣本輸入到訓練好的BP神經網絡，得到網絡預測輸出值，通過與期望輸出值比較，分析BP神經網絡的擬合能力。

3.4 結果與分析

訓練后的BP神經網絡經網絡測試得到誤差變化過程曲線如圖3所示。運行時間迭代157次后，網絡預測精度達到設定要求。

圖3 網絡訓練誤差隨迭代次數變化

網絡預測輸出值與期望輸出值比較如圖4所示，為了更清晰顯示BP神經網絡在非線性系統中的擬合能力，圖5和圖6給出了預測輸出與期望輸出誤差和預測誤差百分比，從圖5和圖6中可以看到誤差百分比的絕對值在1%以內，表明BP神經網絡對兩維非線性函數具有較高的擬合能力。

圖4 BP神經網絡預測輸出與期望輸出的比較

圖5 BP神經網絡預測誤差

圖6 BP神經網絡預測誤差百分比

4 結語

本文將BP神經網絡應用到多維非線性函數擬合問題中，同時利用MATLAB軟件自帶的神經網絡工具箱函數，免除編寫復雜龐大程序的困擾，同時具有調試方便、運行效率高等優點。

通過對給定的兩維非線性函數進行MATLAB仿真實驗，驗證了BP神經網絡具有較高的非線性函數擬合能力，為多維非線性函數擬合提供了一種可靠、高效的擬合方法，具有一定的推廣和應用價值。

[1]張雨濃,蔡炳煌.人工神經網絡研究進展及論文發表過程[M].北京：電子工業出版社,2010：96-99.

[2]蔣正金,汪曉東,端木春江.采用BP神經網絡擬合光纖位移傳感器特性曲線[J].微型機與應用,2012,31(4)：67-69.

[3]鄭建華.圖像數據壓縮的BP神經網絡方法研究[J].計算機仿真,2001,18(2)：33-35.

[4]王泰剛.基于神經網絡的手寫字符識別系統[D].大連：大連海事大學,2013：28-35.

[5]方一新.改進BP神經網絡的EMG手指運動識別[J].激光雜志,2014,35(9)：92-95.

[6]鄧曉敏,張軍朋,吳先秋.利用origin確定實驗中非線性函數的曲線關系[J].大學物理實驗,2011,24(1)：73-76.

[7]唐家德.基于MATLAB的非線性曲線擬合[J].計算機與現化,2008(6)：15-19.

[8]李初曄,鄧 凌,馬 巖.多參數有限節點函數擬合技術[J].青島理工大學學報,2013,34(1)：107-112.

[9]董 銳.基于神經網絡的函數逼近方法研究[D].吉林：東北師范大學,2011：21-29.

[10]劉 冰,郭海霞.MATLAB神經網絡超級學習手冊[M].北京：人民郵電出版社,2014：159-160.

[11]吳正茂,羅 健.利用BP神經網絡實現函數逼近[J].長江工程職業技術學院學報,2005(2)：50-52.

[12]Kreino V Y.Arbitrary nonlineartity of sufficient to represent all functions by neural[J].Networks：A Theorem N N,1991(4)：381.

（責任編輯：李堆淑）

The Application of BP Neural Network in Multidimensional Nonlinear Function

LIU Jun
(College of Electronic Information and Electrical Engineering,Shangluo University,Shangluo 726000, Shaanxi)

In order to solve the low precision prediction problem in conventional method of multidimensional nonlinear function fitting,the strong non-linear mapping of BP neural network in multidimensional nonlinear function fitting is applied.By analyzing the BP neural network structure and training process,BP neural network model is established by the given two dimensional nonlinear,and prediction about BP neural network is made with MATLAB software.The simulations reveal that the application of BP neural network in two dimensional nonlinear function enjoys higher accuracy of fitting and fast convergence speed,which make it possible to generalize it.

function fitting;BP neural networks;multidimensional nonlinear function

TP183

：A

：1674-0033（2014）06-0019-04

10.13440/j.slxy.1674-0033.2014.06.007

2014-10-09

劉 俊，男，山西大同人，碩士，助教