BP神經(jīng)網(wǎng)絡(luò)在多維非線性函數(shù)擬合中的應(yīng)用

劉俊

（商洛學(xué)院 電子信息與電氣工程學(xué)院，陜西商洛726000）

BP神經(jīng)網(wǎng)絡(luò)在多維非線性函數(shù)擬合中的應(yīng)用

劉俊

（商洛學(xué)院 電子信息與電氣工程學(xué)院，陜西商洛726000）

為了解決常規(guī)方法擬合多維非線性函數(shù)的預(yù)測(cè)結(jié)果精度較低問(wèn)題，采用非線性映射能力較強(qiáng)的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行多維非線性函數(shù)擬合。通過(guò)對(duì)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及訓(xùn)練過(guò)程的分析，依據(jù)給定的兩維非線性函數(shù)構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型，并利用MATLAB軟件對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。仿真結(jié)果表明，BP神經(jīng)網(wǎng)絡(luò)對(duì)于兩維非線性函數(shù)有良好的擬合能力，擬合誤差小、收斂速度快，也使該方法具有較好的推廣性。

函數(shù)擬合；BP神經(jīng)網(wǎng)絡(luò)；多維非線性函數(shù)

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種誤差反向傳播的多層前饋神經(jīng)網(wǎng)絡(luò)，由Rumelhart和McCelland等學(xué)者在1986年提出的。經(jīng)過(guò)近30年的研究和改進(jìn)，BP神經(jīng)網(wǎng)絡(luò)已經(jīng)形成了一套完善的理論體系，同時(shí)在模式識(shí)別、數(shù)據(jù)壓縮等領(lǐng)域有良好的應(yīng)用[1-5]，也是目前應(yīng)用最廣的人工神經(jīng)網(wǎng)絡(luò)模型之一。

在科學(xué)實(shí)驗(yàn)和工程應(yīng)用中，常會(huì)遇到一些復(fù)雜的非線性系統(tǒng)，難以用準(zhǔn)確的數(shù)學(xué)模型表示這些系統(tǒng)測(cè)試數(shù)據(jù)中自變量與應(yīng)變量之間的函數(shù)關(guān)系。鄧曉敏等[6]把origin應(yīng)用到處理非線性函數(shù)實(shí)驗(yàn)中，該方法適用于數(shù)據(jù)量較小、非線性程度較低的實(shí)驗(yàn)中。唐佳德[7]介紹了MATLAB軟件自帶非線性擬合函數(shù)lsqcurvefit、lsqnonlin和非線性曲線圖形窗口，該方法對(duì)于復(fù)雜映射和多維映射擬合精度較低。李初曄等[8]采用多參數(shù)有限元技術(shù)擬合函數(shù)，該方法最終要找到具體的函數(shù)表達(dá)式，而對(duì)于非線性程度高的函數(shù)就無(wú)法精確表示。董銳[9]把BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)和樣條神經(jīng)網(wǎng)絡(luò)應(yīng)用到非線性函數(shù)逼近領(lǐng)域，取得了良好效果。本文為了解決常規(guī)方法擬合多維非線性函數(shù)的預(yù)測(cè)結(jié)果精度較低問(wèn)題，提出基于BP神經(jīng)網(wǎng)絡(luò)的多維非線性函數(shù)擬合，該方法能夠快速學(xué)習(xí)和記憶大量的輸入——輸出之間的映射關(guān)系，不需要具體的映射關(guān)系數(shù)學(xué)方程，能夠很好地表達(dá)這些復(fù)雜的非線性函數(shù)。通過(guò)BP神經(jīng)網(wǎng)絡(luò)的建模、訓(xùn)練、預(yù)測(cè)仿真實(shí)驗(yàn)，結(jié)果能夠滿足預(yù)期效果。

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱含層和輸出層組成，隱含層可以有一層或多層。該網(wǎng)路具有較強(qiáng)的非線性映射能力，圖1為一個(gè)典型的單隱含層的BP網(wǎng)絡(luò)結(jié)構(gòu)圖。圖1中x1，x2，…，xm為輸入層各神經(jīng)元的實(shí)際輸入；ωij為隱含層第i個(gè)神經(jīng)元與輸入層第j個(gè)神經(jīng)元間的權(quán)值；g(·)為隱含層的激勵(lì)函數(shù)；α1，α2，…，αq為隱含層各神經(jīng)元閾值；ωki為輸出層第k個(gè)神經(jīng)元與隱含層第i個(gè)神經(jīng)元間的權(quán)值；β1，β2，…，βn為輸出層各神經(jīng)元閾值；f(·)為輸出層的激勵(lì)函數(shù)；y1，y2，…，yn為輸出層各神經(jīng)元的實(shí)際輸出；ek為網(wǎng)絡(luò)的輸出誤差[10]。

圖1 典型單隱含層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.2 網(wǎng)絡(luò)訓(xùn)練過(guò)程

網(wǎng)絡(luò)訓(xùn)練分為以下兩個(gè)過(guò)程[11]：

第一個(gè)過(guò)程是工作信號(hào)前向傳播。樣本數(shù)據(jù)作為輸入信號(hào)經(jīng)各隱含層逐層傳輸，并根據(jù)隨機(jī)初始化設(shè)定的一組網(wǎng)絡(luò)權(quán)值和閾值來(lái)計(jì)算，最后把隱含層計(jì)算結(jié)果傳向輸出層，并利用激勵(lì)函數(shù)和輸出閾值計(jì)算得到相應(yīng)的輸出值。

第二個(gè)過(guò)程是誤差信號(hào)反向傳播。輸出層計(jì)算結(jié)果與期望值比較，若誤差不滿足要求，誤差信號(hào)返回到輸入層和隱含層，利用梯度最速下降法，調(diào)整各層的閾值和權(quán)值。這兩個(gè)過(guò)程反復(fù)進(jìn)行，直到網(wǎng)絡(luò)誤差達(dá)到最小或人們所期望的值，網(wǎng)絡(luò)訓(xùn)練結(jié)束。圖2為BP網(wǎng)絡(luò)訓(xùn)練流程圖。

圖2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程

2 BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

本文利用BP神經(jīng)網(wǎng)絡(luò)擬合的兩維非線性函數(shù)為：

2.1 輸入層和輸出層神經(jīng)元數(shù)目的選擇

BP神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層神經(jīng)元數(shù)目通常根據(jù)求解方程和系統(tǒng)數(shù)據(jù)來(lái)源而定。選擇原則是在滿足網(wǎng)絡(luò)精度的前提下，盡可能減小系統(tǒng)規(guī)模，減小系統(tǒng)學(xué)習(xí)時(shí)間和復(fù)雜性。本文擬合非線性函數(shù)有兩個(gè)輸入?yún)?shù)（x和y），兩個(gè)輸出參數(shù)（z1和z2），所以輸入選擇2個(gè)神經(jīng)元，輸出選擇2個(gè)神經(jīng)元。

2.2 隱含層層數(shù)的選擇

理論上已經(jīng)證明具有單S型隱含層和單線性輸出層的BP神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性系統(tǒng)[12]。多隱含層可以增強(qiáng)泛化能力，提高預(yù)測(cè)精度，但是訓(xùn)練時(shí)間較長(zhǎng)。隱含層層數(shù)的選擇要綜合考慮訓(xùn)練時(shí)間和網(wǎng)絡(luò)精度，對(duì)于復(fù)雜的非線性系統(tǒng)，則可以考慮多隱含層，犧牲訓(xùn)練時(shí)間，以滿足精度要求；但對(duì)于簡(jiǎn)單的非線性系統(tǒng)，在滿足網(wǎng)絡(luò)精度的前提下，可以采用單隱含層，以加快速度。本文擬合的非線性函數(shù)較為簡(jiǎn)單，選擇單隱含層。

2.3 隱含層神經(jīng)元數(shù)目的選擇

隱含層神經(jīng)元數(shù)目的選擇對(duì)網(wǎng)絡(luò)性能影響較大。隱含層神經(jīng)元數(shù)目太少，不能實(shí)現(xiàn)很好的數(shù)據(jù)映射關(guān)系，無(wú)法滿足網(wǎng)絡(luò)精度要求；隱含層神經(jīng)元數(shù)目太多，常出現(xiàn)過(guò)擬合現(xiàn)象。通常情況，網(wǎng)絡(luò)預(yù)測(cè)精度隨著隱含層神經(jīng)元數(shù)目的增加呈現(xiàn)先提高后降低的趨勢(shì)。在具體應(yīng)用時(shí)，一般采用嘗試法選擇最合適的神經(jīng)元數(shù)目。本網(wǎng)絡(luò)經(jīng)過(guò)多次測(cè)試，選擇10個(gè)隱含層神經(jīng)元，可以達(dá)到較高精度要求。

3 MATLAB仿真實(shí)現(xiàn)

3.1 BP神經(jīng)網(wǎng)絡(luò)構(gòu)建

利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的newff函數(shù)構(gòu)建一個(gè)BP神經(jīng)網(wǎng)絡(luò)，隱含層和輸出層的傳輸函數(shù)選擇‘tansig’，該函數(shù)為S型函數(shù)，理論上，只要選擇合適的權(quán)值和閾值，可以逼近任意非線性函數(shù)。網(wǎng)絡(luò)訓(xùn)練函數(shù)選擇‘trainlm’，該算法采用數(shù)值優(yōu)化技術(shù)，具有收斂速度快、穩(wěn)定性高等優(yōu)點(diǎn)。權(quán)值學(xué)習(xí)函數(shù)選擇‘learngdm’，該算法梯度下降動(dòng)量動(dòng)態(tài)尋優(yōu)算法，可以減小學(xué)習(xí)過(guò)程的振蕩趨勢(shì)，改善收斂性。

3.2 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練

本文根據(jù)式(1)隨機(jī)生成150組輸入/輸出數(shù)據(jù)，從數(shù)據(jù)中隨機(jī)選擇100組數(shù)據(jù)用作BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，其余50組數(shù)據(jù)作為網(wǎng)絡(luò)測(cè)試數(shù)據(jù)使用。網(wǎng)絡(luò)訓(xùn)練目標(biāo)最小誤差為5-10，最大訓(xùn)練次數(shù)500次，學(xué)習(xí)速率設(shè)置為0.1。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)采用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的train函數(shù)。

3.3 BP神經(jīng)網(wǎng)絡(luò)測(cè)試

把50組訓(xùn)練數(shù)據(jù)中的輸入樣本輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到網(wǎng)絡(luò)預(yù)測(cè)輸出值，通過(guò)與期望輸出值比較，分析BP神經(jīng)網(wǎng)絡(luò)的擬合能力。

3.4 結(jié)果與分析

訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)經(jīng)網(wǎng)絡(luò)測(cè)試得到誤差變化過(guò)程曲線如圖3所示。運(yùn)行時(shí)間迭代157次后，網(wǎng)絡(luò)預(yù)測(cè)精度達(dá)到設(shè)定要求。

圖3 網(wǎng)絡(luò)訓(xùn)練誤差隨迭代次數(shù)變化

網(wǎng)絡(luò)預(yù)測(cè)輸出值與期望輸出值比較如圖4所示，為了更清晰顯示BP神經(jīng)網(wǎng)絡(luò)在非線性系統(tǒng)中的擬合能力，圖5和圖6給出了預(yù)測(cè)輸出與期望輸出誤差和預(yù)測(cè)誤差百分比，從圖5和圖6中可以看到誤差百分比的絕對(duì)值在1%以內(nèi)，表明BP神經(jīng)網(wǎng)絡(luò)對(duì)兩維非線性函數(shù)具有較高的擬合能力。

圖4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出與期望輸出的比較

圖5 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差

圖6 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差百分比

4 結(jié)語(yǔ)

本文將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用到多維非線性函數(shù)擬合問(wèn)題中，同時(shí)利用MATLAB軟件自帶的神經(jīng)網(wǎng)絡(luò)工具箱函數(shù)，免除編寫復(fù)雜龐大程序的困擾，同時(shí)具有調(diào)試方便、運(yùn)行效率高等優(yōu)點(diǎn)。

通過(guò)對(duì)給定的兩維非線性函數(shù)進(jìn)行MATLAB仿真實(shí)驗(yàn)，驗(yàn)證了BP神經(jīng)網(wǎng)絡(luò)具有較高的非線性函數(shù)擬合能力，為多維非線性函數(shù)擬合提供了一種可靠、高效的擬合方法，具有一定的推廣和應(yīng)用價(jià)值。

[1]張雨濃,蔡炳煌.人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)展及論文發(fā)表過(guò)程[M].北京：電子工業(yè)出版社,2010：96-99.

[2]蔣正金,汪曉東,端木春江.采用BP神經(jīng)網(wǎng)絡(luò)擬合光纖位移傳感器特性曲線[J].微型機(jī)與應(yīng)用,2012,31(4)：67-69.

[3]鄭建華.圖像數(shù)據(jù)壓縮的BP神經(jīng)網(wǎng)絡(luò)方法研究[J].計(jì)算機(jī)仿真,2001,18(2)：33-35.

[4]王泰剛.基于神經(jīng)網(wǎng)絡(luò)的手寫字符識(shí)別系統(tǒng)[D].大連：大連海事大學(xué),2013：28-35.

[5]方一新.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的EMG手指運(yùn)動(dòng)識(shí)別[J].激光雜志,2014,35(9)：92-95.

[6]鄧曉敏,張軍朋,吳先秋.利用origin確定實(shí)驗(yàn)中非線性函數(shù)的曲線關(guān)系[J].大學(xué)物理實(shí)驗(yàn),2011,24(1)：73-76.

[7]唐家德.基于MATLAB的非線性曲線擬合[J].計(jì)算機(jī)與現(xiàn)化,2008(6)：15-19.

[8]李初曄,鄧 凌,馬 巖.多參數(shù)有限節(jié)點(diǎn)函數(shù)擬合技術(shù)[J].青島理工大學(xué)學(xué)報(bào),2013,34(1)：107-112.

[9]董 銳.基于神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近方法研究[D].吉林：東北師范大學(xué),2011：21-29.

[10]劉 冰,郭海霞.MATLAB神經(jīng)網(wǎng)絡(luò)超級(jí)學(xué)習(xí)手冊(cè)[M].北京：人民郵電出版社,2014：159-160.

[11]吳正茂,羅 健.利用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近[J].長(zhǎng)江工程職業(yè)技術(shù)學(xué)院學(xué)報(bào),2005(2)：50-52.

[12]Kreino V Y.Arbitrary nonlineartity of sufficient to represent all functions by neural[J].Networks：A Theorem N N,1991(4)：381.

（責(zé)任編輯：李堆淑）

The Application of BP Neural Network in Multidimensional Nonlinear Function

LIU Jun
(College of Electronic Information and Electrical Engineering,Shangluo University,Shangluo 726000, Shaanxi)

In order to solve the low precision prediction problem in conventional method of multidimensional nonlinear function fitting,the strong non-linear mapping of BP neural network in multidimensional nonlinear function fitting is applied.By analyzing the BP neural network structure and training process,BP neural network model is established by the given two dimensional nonlinear,and prediction about BP neural network is made with MATLAB software.The simulations reveal that the application of BP neural network in two dimensional nonlinear function enjoys higher accuracy of fitting and fast convergence speed,which make it possible to generalize it.

function fitting;BP neural networks;multidimensional nonlinear function

TP183

：A

：1674-0033（2014）06-0019-04

10.13440/j.slxy.1674-0033.2014.06.007

2014-10-09

劉 俊，男，山西大同人，碩士，助教