BP神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法及其研究

楊健兵

摘 要：通過分析標(biāo)準(zhǔn)BP算法的原理，可以發(fā)現(xiàn)BP標(biāo)準(zhǔn)算法存在著易形成局部極小而非全局最優(yōu)；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；通過在標(biāo)準(zhǔn)BP算法中引入加動(dòng)量項(xiàng)法來優(yōu)化BP算法。實(shí)驗(yàn)結(jié)果表明，該有效地提高了BP算法的迭代次數(shù)，減少誤差。

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；學(xué)習(xí)率；改進(jìn)算法

反向傳播BP（back propagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一[1]。BP算法的思想是，學(xué)習(xí)過程由信號的正向傳播與誤差的反向傳播兩個(gè)過程組成。正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層逐層處理后，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出不符合，則轉(zhuǎn)入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權(quán)值的依據(jù)。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程，是周而復(fù)始地進(jìn)行的。權(quán)值不斷調(diào)整的過程，也就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止[2]。

1 BP標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)算法分析

1.1 BP算法存在的不足及原因分析

標(biāo)準(zhǔn)的BP算法因其簡單、易行、計(jì)算量小、并行性強(qiáng)等優(yōu)點(diǎn)，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多也是最為成熟的訓(xùn)練算法之一。與早期的人工神經(jīng)網(wǎng)絡(luò)模型相比，BP反向傳播神經(jīng)網(wǎng)絡(luò)無論是在網(wǎng)絡(luò)理論還是網(wǎng)絡(luò)性能方面都更加成熟，起最突出的優(yōu)點(diǎn)就是具有很強(qiáng)的非線性映射能力。但人們在使用過程中發(fā)現(xiàn)BP算法也存在著訓(xùn)練時(shí)間長、收斂速度慢、易陷入局部最小點(diǎn)等缺陷。

1.1.1 學(xué)習(xí)算法的收斂速度慢

BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練次數(shù)過多，導(dǎo)致學(xué)習(xí)訓(xùn)練過程過長，學(xué)習(xí)收斂速度太慢，即使一個(gè)比較簡單的問題，也需要幾百次甚至上千次的學(xué)習(xí)才收斂。

1.1.2 隱含層層數(shù)及節(jié)點(diǎn)數(shù)的選取缺乏理論指導(dǎo)。

BP神經(jīng)網(wǎng)絡(luò)隱含層的層數(shù)以及節(jié)點(diǎn)數(shù)的選取，目前尚無理論上的指導(dǎo)，大多根據(jù)經(jīng)驗(yàn)確定。因此網(wǎng)絡(luò)往往具有很大的冗余性，無形中增加了學(xué)習(xí)的時(shí)間。

1.1.3 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與記憶具有不穩(wěn)定性。當(dāng)給一個(gè)訓(xùn)練結(jié)束的BP神經(jīng)網(wǎng)絡(luò)提供新的記憶模式時(shí)，會(huì)破壞已經(jīng)調(diào)整完畢的網(wǎng)絡(luò)連接權(quán)值，導(dǎo)致已經(jīng)記憶的學(xué)習(xí)模式信息消失。

2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

2.1 學(xué)習(xí)方法的改進(jìn)

對于標(biāo)準(zhǔn)的BP算法，由于其自身存在的缺點(diǎn)，BP算法的研究提出了一些的改進(jìn)算法，如自適應(yīng)調(diào)節(jié)學(xué)習(xí)率[3]，引入兜度因子[4]，使用雙曲正切函數(shù)[5]，但是都沒有取得非常理想的效果，對此我們可以采用以下的算法來解決問題。

2.1.1 加入動(dòng)量項(xiàng)

反向傳播算法提供使用最速下降方法在權(quán)空間計(jì)算得到的軌跡的一種近似。我們使用的學(xué)習(xí)率參數(shù)η越小，從一次迭代到下一次迭代的網(wǎng)絡(luò)突觸權(quán)值的變化量越小，軌跡在權(quán)值空間越光滑。我們可以設(shè)想使用一下的方法來解決這個(gè)問題。

ΔWji（n）=αΔWji（n-1）+ηδj（n）yi（n） （1）

α是動(dòng)量常數(shù)，通常是整數(shù)。

為了看出動(dòng)量常數(shù)在一系列模式呈現(xiàn)上對突觸權(quán)值的影響，我們將（1）式重新寫成帶下標(biāo)t的一個(gè)時(shí)間系列。索引t從初始時(shí)間0到當(dāng)前時(shí)間n，式（1）可被視為權(quán)值修正量ΔWji（n）的一階差分方程。解這個(gè)關(guān)于ΔWji（n）的方程得到

這代表一個(gè)長度為n+1的時(shí)間序列，并且我們可以知道δj（n）yi（n）等于- 因此我們可以把公式（2）重寫等等價(jià)形式

當(dāng)前修正值ΔWji（n）代表指數(shù)加權(quán)的時(shí)間序列的和。欲使時(shí)間序列收斂，動(dòng)量常數(shù)α必須限制在0和1之間。當(dāng)α等于0，反向傳播算法運(yùn)行起來沒有動(dòng)量。雖然在實(shí)際中動(dòng)量常數(shù)α不大可能是負(fù)的，但是還有可正可負(fù)。

當(dāng)偏導(dǎo)數(shù) 在連續(xù)迭代中有相同的代數(shù)符號，指數(shù)加權(quán)和ΔWji（n）在數(shù)量上增加，所以權(quán)值ΔWji（n）被大幅度調(diào)整。在反向傳播算法中包含動(dòng)量趨于在穩(wěn)定的下降方向上加速下降。

當(dāng)偏導(dǎo)數(shù) 在連續(xù)迭代中有相反的代數(shù)符號，指數(shù)加權(quán)和ΔWji（n）在數(shù)量上減少，所以權(quán)值ΔWji（n）調(diào)整不大。在反向傳播算法中包含動(dòng)量具有穩(wěn)定符號正負(fù)擺動(dòng)方向的效果。

3 仿真實(shí)驗(yàn)

根據(jù)以上的算法，我們對標(biāo)準(zhǔn)的BP算法和改進(jìn)的BP算法進(jìn)行仿真計(jì)算，仿真計(jì)算的結(jié)果如表1所示。

可以看出改進(jìn)后得算法能減少迭代次數(shù)，減少實(shí)際誤差。

4 結(jié)論

從大量的實(shí)際應(yīng)用來看，收斂速率慢，學(xué)習(xí)時(shí)間長，產(chǎn)生振蕩，甚至達(dá)不到收斂精度是常規(guī)BP算法的主要缺陷，通過對BP算法的改進(jìn)，增加動(dòng)量項(xiàng)，可以減少BP算法的迭代次數(shù)，減少誤差，提高BP算法的工作效率。

[參考文獻(xiàn)]

[1]Adaboost算法改進(jìn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測研究[J].計(jì)算機(jī)工程與科學(xué)，2013年8月.

[2]韓立群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京：人民郵電出版社，2007年7月.

[3]馬銳.人工神經(jīng)網(wǎng)絡(luò)原理[M].北京：機(jī)械工業(yè)出版社，2010年9月.

[4]韓立群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京：人民郵電出版社，2007年7月.

[5]simon haykin.神經(jīng)網(wǎng)絡(luò)原理[M].北京：機(jī)械工業(yè)出版社，2006年5月.