BP神經(jīng)網(wǎng)絡(luò)的權(quán)值快速計算法及其逼近性能分析

劉暢

【摘 要】人工神經(jīng)網(wǎng)絡(luò)作為人工智能的重要組成部分，有非常大的應(yīng)用潛力。本文在闡述其神經(jīng)網(wǎng)絡(luò)的基本原理、發(fā)展與應(yīng)用的基礎(chǔ)上，著重研究了BP神經(jīng)網(wǎng)絡(luò)算法與其它一些優(yōu)化算法之間相互融合的改進。BP神經(jīng)網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)模型中是最典型、最好用、也是應(yīng)用最廣泛的一種網(wǎng)絡(luò)模型。它是多層前向神經(jīng)網(wǎng)絡(luò)的一種，可以用任意精度逼近任意非線性函數(shù)，逼近性能尤其明顯，最關(guān)鍵是它結(jié)構(gòu)簡單，是一種性能優(yōu)良且簡單易看的神經(jīng)網(wǎng)絡(luò)。

【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；BP算法；函數(shù)逼近；神經(jīng)元

1 研究背景與意義

1943年心理學(xué)家W.McCulloch 和數(shù)理邏輯學(xué)W.Pitts 首先提出了一個極為容易的神經(jīng)網(wǎng)絡(luò)模型，雖然該模型相對來說比較容易，但它為進一步的研究打下了一定的基礎(chǔ)。直到20世紀80年代，美國物理學(xué)家J.J.Hop field提出一種反饋互連網(wǎng)，稱為Hop field網(wǎng)，D.E.和J.L.等人提出多層前饋網(wǎng)的反向傳播算法，簡稱BP算法。至此才掀起了研究神經(jīng)網(wǎng)絡(luò)的熱潮。隨著嵌入式系統(tǒng)在生活中的應(yīng)用越來越普遍，像在手拿設(shè)備、交通工具控制、企業(yè)工業(yè)控制、安防設(shè)備裝置等各個領(lǐng)域的廣泛應(yīng)用，人們將各種智能化設(shè)備應(yīng)用于嵌入式系統(tǒng)來方便控制各種操作應(yīng)用問題，其應(yīng)用范圍的不斷擴大，將越來越受到各個不同領(lǐng)域?qū)＜业闹仃P(guān)注。傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)使用的浮點數(shù)權(quán)值和光滑激勵函數(shù)，在運作時需要進行許多大容量的浮點數(shù)算術(shù)運算，這種在資源和性能都有一定局限的嵌入式系統(tǒng)里很難做到。大量的浮點數(shù)權(quán)值相對的需要大量的存儲空間，這對于要求存儲容量相對精簡的嵌入式系統(tǒng)來說是一項不太劃算的開銷，而且在運算能力比較薄弱的嵌入式處理器上進行大量的浮點數(shù)運算會導(dǎo)致整個系統(tǒng)的實時性能下降，不符合嵌入式系統(tǒng)在較高實時性能要求環(huán)境中的應(yīng)用。為此，需要一個較精簡的人工神經(jīng)網(wǎng)絡(luò)模型以適用在嵌入式系統(tǒng)中來實現(xiàn)目標(biāo)。

2 研究現(xiàn)狀與發(fā)展趨勢

隨著我們生活的一步步前進，技術(shù)也在慢慢升起，接踵而來的工程問題不斷增加，在實際生活中應(yīng)用中幾乎所有神經(jīng)網(wǎng)絡(luò)的權(quán)值精度是有一定范圍的，隨著應(yīng)用的不斷深入我們生活；有限精度神經(jīng)網(wǎng)絡(luò)的性能越發(fā)光彩。如何去減少權(quán)值精度已經(jīng)讓我們學(xué)者開始產(chǎn)生極大興趣。這研究一般分為兩個方向。其一是現(xiàn)在所學(xué)的網(wǎng)絡(luò)計算法訓(xùn)練法進行改正，使得正確率更加的精準(zhǔn)。另外一個方向則是是序列化訓(xùn)練法。這門技術(shù)就是用線性函數(shù)來替換其他的函數(shù)來當(dāng)做神經(jīng)元激活函數(shù)。這個算法的有點就是能夠極小的縮短誤差陷阱。

1）將網(wǎng)絡(luò)的最開始的變化參數(shù)停留在一定的范圍中；

2）限制參數(shù)改變條件，當(dāng)平均誤差比網(wǎng)絡(luò)訓(xùn)練誤差還要小的時候才進行參數(shù)變化。實驗證明這算法在1到2位權(quán)值精度也能得到良好的收斂。

2001年，Beiu在經(jīng)過自己一系列的實驗之后所表達了自己的觀點，低精度權(quán)值神經(jīng)網(wǎng)絡(luò)確實有防止噪聲的的污染的有點。使得他在這方面具有了很大的影響以及關(guān)注。這類網(wǎng)絡(luò)可以簡單并且有效率的在硬件中實現(xiàn)，且在VLSI中可以有效控制芯片面積和存儲容量。

3 神經(jīng)網(wǎng)絡(luò)的模型

這樣的模型向神經(jīng)網(wǎng)絡(luò)的如圖所示，用到的是三個方面，為輸入層，隱層，輸出層，從頭到尾的鏈接是按照隨機抽取的，范圍是0到1，把所有的神經(jīng)元的值都設(shè)為0。出去和進來的神經(jīng)元都是從線性恒等函數(shù)f（x）=x作為激勵函數(shù)，而隱層神經(jīng)元則以一組慢慢加高的正交多項式作為激勵函數(shù)。

4 權(quán)值與結(jié)構(gòu)確定法

定理1中間到最后的輸出層的向量為ω、輸入受激勵矩陣Ф和所需的的目標(biāo)向量γ可分開定義為：

為了實現(xiàn)快速、自動地確定出使網(wǎng)絡(luò)具有最佳逼近性能的隱層神經(jīng)元數(shù)，基于定理1，本文提出了一種新的有效方法，稱為權(quán)值與結(jié)構(gòu)確定法。權(quán)值與結(jié)構(gòu)確定法的算法具體描述如下，其中s表示當(dāng)前篩選次數(shù)，E和n分別表示網(wǎng)絡(luò)的逼近誤差和隱層神經(jīng)元數(shù)，Emin和nmin分別表示當(dāng)前篩選次數(shù)下網(wǎng)絡(luò)所能達到的最小逼近誤差和相對應(yīng)的隱層神經(jīng)元數(shù)，而Eopt和nopt分別表示經(jīng)s次篩選后網(wǎng)絡(luò)達到的最小逼近誤差和相對應(yīng)的隱層神經(jīng)元數(shù)：

1）先收取學(xué)習(xí)樣本集{（Xi，γi）}；設(shè)定s為1；設(shè)定Eopt為夠大的數(shù)值（如10）；

2）隨機選取輸入層到隱層的連接權(quán)值（范圍從0到1）；設(shè)定E與Emin相等；設(shè)定n、nmin為1；

3）若滿足E≤Emin或nmin≥n-3，則進入4），否則跳入7）；

4）建立輸入受激勵矩陣Ф，由所需的權(quán)值直接確定法（2）一步算出隱層到輸出層的最優(yōu)權(quán)值，然后計算E；

5）若滿足E≤Emin，則Emin←E，nmin←n，進入6），否則不需上述賦值，直接進入6）；

6）n←n+1（添加到1個隱神經(jīng)元），跳至3）；

7）若滿足Emin≤Eopt，則Eopt←Emin，nopt←nmin，并進入8），否則并不需要上述賦值，然后進入8）；

8）s←s+1，進入9）；

9）若滿足s=4（篩選4次），則進入10），否則跳至2）；

10）輸出運算時間、Eopt和nopt。

【參考文獻】

[1]熊浩，晏海華，黃永剛，等.一種基于BP神經(jīng)網(wǎng)絡(luò)的代碼相似性檢測方法[J].計算機科學(xué)，2010，37（3）：159-164.

[2]Zhang Yu-nong， Wang Jun. Recurrent neural networks for nonlinear output regulation[J]. Automatica， 2001， 37（8）： 1161-1173.

[3]Rumelhart D， McClelland E. Parallel distributed processing： explorations in the microstructure of cognition[M]. Cambridge： The MIT Press， 1986.

[4]Li， Y.， Liu， K.J.R.： Static and Dynamic Convergence Behavior of Adaptive BlindEqualizers[Z]. IEEE Transactions on Signal Processing 44： 2736-2745（1996）.

[5]張雨濃，楊逸文，李巍.神經(jīng)網(wǎng)絡(luò)權(quán)值直接確定法[M].廣州：中山大學(xué)出版社，2010.

[6]馮康.數(shù)值計算方法[M].北京：國防工業(yè)出版社，1978.

[責(zé)任編輯：楊玉潔]