基于BP網(wǎng)絡(luò)的函數(shù)逼近研究

賀麗媛　孔睿

摘要：BP網(wǎng)絡(luò)及其變化形式是當(dāng)下最流行的人工神經(jīng)網(wǎng)絡(luò)模型，也是前向網(wǎng)絡(luò)的核心部分。本文立足于BP網(wǎng)絡(luò)的一個(gè)應(yīng)用分支——函數(shù)逼近，以一組輸入向量和輸出向量作為訓(xùn)練樣本，選擇tansig和purelin作為網(wǎng)絡(luò)各層神經(jīng)元的激活函數(shù)，分別采用traingdx函數(shù)和trainbr函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和仿真。結(jié)果表明，前者對(duì)訓(xùn)練樣本能夠?qū)崿F(xiàn)高度擬合，但曲線平滑度欠佳;而后者的樣本擬合程度雖有遜色，但曲線較光滑，逼近效果更為可觀。

[關(guān)鍵詞]BP神經(jīng)網(wǎng)絡(luò)函數(shù)逼近機(jī)器學(xué)習(xí)

1引言

移動(dòng)互聯(lián)網(wǎng)的爆發(fā)和大數(shù)據(jù)技術(shù)的迅猛發(fā)展為人工智能的研究提供了基礎(chǔ)支撐，得益于計(jì)算機(jī)技術(shù)在數(shù)據(jù)采集、存儲(chǔ)、計(jì)算等環(huán)節(jié)的突破，“機(jī)器學(xué)習(xí)”逐漸步入公眾的視野。人工神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的一種新型算法，其構(gòu)筑理念受生物學(xué)神經(jīng)網(wǎng)絡(luò)運(yùn)作啟示，即為一種在掌握了人腦結(jié)構(gòu)和響應(yīng)外界刺激機(jī)制后，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，對(duì)人類神經(jīng)系統(tǒng)處理復(fù)雜信息進(jìn)行模擬的數(shù)學(xué)模型，可實(shí)現(xiàn)函數(shù)逼近、模式識(shí)別與分類及數(shù)據(jù)壓縮等功能。人工神經(jīng)元模型如圖1所示。

2BP神經(jīng)網(wǎng)絡(luò)概述

神經(jīng)元作為神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成元素，其輸入連接和輸出連接模擬人腦突觸的行為，而連接上的權(quán)值則模擬生物神經(jīng)元間神經(jīng)遞質(zhì)的數(shù)目。每個(gè)神經(jīng)元可以有多個(gè)輸入，將它們經(jīng)過加權(quán)求和后的結(jié)果傳遞給激活函數(shù)，其作用是將神經(jīng)元的輸入映射至輸出端，故網(wǎng)絡(luò)的輸出取決于連接方式、權(quán)重以及激活函數(shù)。

BP網(wǎng)絡(luò)正是基于這種仿生學(xué)建模，其信息處理方式具有以下特點(diǎn)：

（1）信息以連接權(quán)值的形式分布存儲(chǔ)于整個(gè)網(wǎng)絡(luò);

（2）具有并行信息處理功能;

（3）網(wǎng)絡(luò)的高度連接允許少量誤差存在;（4）具有自學(xué)習(xí)、自組織、自適應(yīng)能力。

3BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)

函數(shù)逼近作為BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用分支，旨在用輸入向量和期望的輸出向量進(jìn)行訓(xùn)練以逼近一個(gè)函數(shù)?；谠撛?，本文借助MATLAB創(chuàng)建和訓(xùn)練一個(gè)隱含層節(jié)點(diǎn)數(shù)為15的單輸入和單輸出兩層BP網(wǎng)絡(luò)，而后進(jìn)行仿真以實(shí)現(xiàn)對(duì)一組數(shù)據(jù)的擬合，訓(xùn)練集如表1所示。

網(wǎng)絡(luò)對(duì)應(yīng)層的激活函數(shù)選擇雙極S形函數(shù)和純線性函數(shù)，擬定目標(biāo)誤差為0.001，顯示中間結(jié)果的周期為10，學(xué)習(xí)率為0.05，分別采用梯度下降自適應(yīng)學(xué)習(xí)率算法和貝葉斯正則化算法對(duì)網(wǎng)絡(luò)進(jìn)行最大迭代次數(shù)為2500次的訓(xùn)練。由圖2可看出，當(dāng)訓(xùn)練次數(shù)達(dá)到204次時(shí)，BP網(wǎng)絡(luò)的訓(xùn)練誤差為0.000969，即滿足要求。由網(wǎng)絡(luò)仿真結(jié)果可看出traingdx訓(xùn)練的網(wǎng)絡(luò)可對(duì)部分訓(xùn)練樣本實(shí)現(xiàn)高度擬合，但存在“過適配”現(xiàn)象，這樣的擬合曲線僅在訓(xùn)練集上表現(xiàn)良好，對(duì)未知測(cè)試樣例的預(yù)測(cè)結(jié)果將不準(zhǔn)確，降低了其實(shí)用價(jià)值，如圖3所示;而trainbr訓(xùn)練的網(wǎng)絡(luò)對(duì)于樣本點(diǎn)的擬合程度欠佳，但呈現(xiàn)曲線較平滑，函數(shù)逼近效果較前者更為可觀，如圖4所示。

4網(wǎng)絡(luò)性能分析

網(wǎng)絡(luò)參數(shù)的設(shè)置對(duì)其性能的影響主要表現(xiàn)于以下三個(gè)方面：

（1）隱含層節(jié)點(diǎn)數(shù)目的確定：其數(shù)目對(duì)識(shí)別率的影響雖不大，但如若設(shè)置過多將會(huì)增大運(yùn)算量，延長網(wǎng)絡(luò)的訓(xùn)練過程;

（2）激活函數(shù)的選擇：無論是識(shí)別率還是網(wǎng)絡(luò)收斂速度，激活函數(shù)都起著決定性作用，因而在進(jìn)行高次函數(shù)逼近時(shí)，非線性函數(shù)將比線性函數(shù)表現(xiàn)出更高的精度，但也增加了運(yùn)算量;

（3）學(xué)習(xí)率的選取：關(guān)系到BP網(wǎng)絡(luò)收斂的速度，以及網(wǎng)絡(luò)能否收斂。如果選取過小，雖能保證網(wǎng)絡(luò)收斂，但訓(xùn)練過程較緩慢;反之，如果選取過大，則可能導(dǎo)致系統(tǒng)的不穩(wěn)定，進(jìn)而影響識(shí)別效果。

5結(jié)語

針對(duì)給定訓(xùn)練集，本文所設(shè)計(jì)的BP網(wǎng)絡(luò)在進(jìn)行204次訓(xùn)練后達(dá)到允許誤差要求，即表明基于BP算法的前饋神經(jīng)網(wǎng)絡(luò)能夠呈現(xiàn)較好的曲線擬合效果，進(jìn)而實(shí)現(xiàn)對(duì)非線性函數(shù)的逼近。工程實(shí)踐中，對(duì)于一些期望產(chǎn)生的非線性輸入輸出曲線，借助人工神經(jīng)網(wǎng)絡(luò)進(jìn)行函數(shù)逼近將比用傳統(tǒng)工具解決問題更為方便高效，具有廣闊的應(yīng)用前景。

參考文獻(xiàn)

[1]陳達(dá)權(quán)，基于深度學(xué)習(xí)的非線性函數(shù)逼近有效性探析[J].電腦知識(shí)與技術(shù)，2019（05）：169-170+175.

[2]馮長敏，張炳江，基于BP神經(jīng)網(wǎng)絡(luò)的分段函數(shù)連續(xù)優(yōu)化處理[J].北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，34（01）：18-22.