基于群智能算法的神經(jīng)網(wǎng)絡建模研究

王閃閃

(上海理工大學 光電信息與計算機工程學院，上海200093)

基于群智能算法的神經(jīng)網(wǎng)絡建模研究

王閃閃

(上海理工大學 光電信息與計算機工程學院，上海200093)

針對神經(jīng)網(wǎng)絡建模過程中不合理的權值選取，使訓練陷入局部最優(yōu)解而得不到全局最優(yōu)解這一問題。采用群智能算法得出全局最優(yōu)解，并且利用檢驗樣本達到最低點時的權值與閾值正確建立神經(jīng)網(wǎng)絡模型。結果表明，網(wǎng)絡模型的評價參數(shù)表現(xiàn)良好，其中預測精度與相關系數(shù)分別為97.55%和96.2%。從而證明了基于群智能算法的神經(jīng)網(wǎng)絡，在遵循建模條件情況下能夠保證取得全局最優(yōu)解，建立的模型性能良好，具有一定的理論與市場應用價值。

神經(jīng)網(wǎng)絡；群智能算法；全局最優(yōu)解；優(yōu)異性能

人工神經(jīng)網(wǎng)絡以其較強的自學習、自組織、較好的容錯性和優(yōu)良的線性逼近能力，采用誤差反傳算法或其變化形式的神經(jīng)網(wǎng)絡模型在很多領域得到了良好的應用[1]，如農(nóng)作物的生產(chǎn)、價格的預測以及各種生物藥劑的制造、基因的研究等方面，合理應用神經(jīng)網(wǎng)絡模型能夠提高藥物產(chǎn)量、節(jié)約時間、降低成本、減少人力物力財力的浪費從而提高效率。

神經(jīng)網(wǎng)絡建模必須遵循建模條件[2]，此外神經(jīng)網(wǎng)絡模型訓練中最重要的就是尋找最優(yōu)的權值[3]，只有通過不斷改變最初的權值找出最優(yōu)的權值和閾值，才能保證訓練出來的網(wǎng)絡具有很強的優(yōu)異性能、線性逼近能力等優(yōu)點[4]。針對這一問題，本文利用群智能與神經(jīng)網(wǎng)絡相結合的方法，通過群智能算法[5]計算出最優(yōu)的權值和閾值,然后利用最優(yōu)的權值和閾值建立神經(jīng)網(wǎng)絡模型。

1 神經(jīng)網(wǎng)絡建模原理

1.1 神經(jīng)網(wǎng)絡建模條件

正確合理的利用神經(jīng)網(wǎng)絡建模能夠使得神經(jīng)網(wǎng)絡模型具有很好的效果。而不正確的建立神經(jīng)網(wǎng)絡模型會導致很多問題：(1)網(wǎng)絡結構過大或過小都會造成過擬合或者欠擬合。隨著隱層節(jié)點數(shù)的增多，誤差減小會導致網(wǎng)絡結構過大，從而使得訓練過程中出現(xiàn)過擬合現(xiàn)象；(2)訓練樣本、測試樣本以及檢驗樣本的缺失或者選取不合理都有可能使得建立的神經(jīng)網(wǎng)絡模型失去泛化能力；(3)初始權值的不合理選取使得訓練進入局部極小點。

因此正確了解神經(jīng)網(wǎng)絡建模條件才能更好的應用于需求中。建立正確的BP神經(jīng)網(wǎng)絡模型需要滿足的條件：(1)隱層以及節(jié)點數(shù)與很多因素有關，應該取盡量少的隱層數(shù)目，此外隱層節(jié)點數(shù)的選取應該通過試湊法選取而不是公式法，因為公式法只針對特定情況滿足，而且多數(shù)是不利的情況不宜采用[6]；(2)在滿足精度的前提下，取盡可能少的隱層以及隱層節(jié)點數(shù)；(3)檢驗樣本監(jiān)控訓練過程，避免出現(xiàn)過訓練現(xiàn)象；(4)一般情況下，要求訓練樣本數(shù)至少要多于網(wǎng)絡連接權值數(shù)，同為2～10倍。樣本量比較少時，可以采用輪訓的方法；(5)對于一定的網(wǎng)絡結構，應通過不斷改變網(wǎng)絡連接權值的初始值，通過比較系統(tǒng)誤差值的大小確定全局最優(yōu)值。

1.2 粒子群算法

粒子群算法(PSO)是一種新興的演化計算技術，PSO最早是在1995年由Eberhart和Kennedey共同提出的，可以有效的優(yōu)化各種函數(shù)，此算法依賴于隨機的過程，還使用了適應值的概念[7]。將此算法應用到網(wǎng)絡權值的訓練上,可以得出全局最優(yōu)解。PSO簡單容易實現(xiàn)并且沒有許多參數(shù)需要調整等優(yōu)勢，目前已經(jīng)廣泛應用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡訓練、模糊系統(tǒng)控制以及其他遺傳算法的應用領域。此外速度更新公式為

(1)

1.3 指標評價函數(shù)

使用誤差評價函數(shù)來預測效果的好壞，其中設i為數(shù)據(jù)序號;數(shù)據(jù)個數(shù)為N，Pi為預測數(shù)值;Pm為預測的均值;Oi為觀測數(shù)據(jù)值;Om為預測數(shù)據(jù)的平均值;Sp為預測數(shù)據(jù)的標準差;So為觀測值的標準差[8]。

(1)均方根誤差，反映了預測值對觀測值的平均偏離程度，取值大于或等于零，預測無誤差時等于零

(2)

(2)偏差，反映預測值對觀測值的平均系統(tǒng)性的偏離

(3)

(3)預測精度EPA，反映了預測值與其平均值的偏差與觀測值周圍偏離程度之間的相關性。值為1時表明預測與實際數(shù)據(jù)分別對自身的均值和標準差歸一化后是相同的，當值為1時代表預測完全無誤差

(4)

(4)決定度系數(shù)。反映預測數(shù)據(jù)對觀測數(shù)據(jù)值均值的偏離程度

(5)

2 實例與分析

2.1 數(shù)據(jù)來源

以文獻[9]為例，數(shù)據(jù)表如表1所示，其中x1、x2、x3分別為BFSH、時間和pH。Y為乙醇產(chǎn)量，其中BFSH為一種用于乙醇生產(chǎn)和發(fā)酵參數(shù)優(yōu)化的碳源。文獻中樣本量為17組，采用的神經(jīng)網(wǎng)絡結構為3-3-1，計算神經(jīng)網(wǎng)絡結構的權值數(shù)為18，樣本數(shù)據(jù)少于神經(jīng)網(wǎng)絡權重數(shù)量，可判斷神經(jīng)網(wǎng)絡結構過大。按文中方法進行訓練得到結果如圖1和圖2所示。

2.2 正確建立神經(jīng)網(wǎng)絡模型

由于神經(jīng)網(wǎng)絡對樣本量比較大且具有代表性的數(shù)據(jù)優(yōu)化能力較好，而對樣本量比較小的數(shù)據(jù)的擬合能力較差，所以通過增加噪音的方法擴充樣本量[10]，對17組樣本進行擴充，擴充后樣本量為102個，通過試湊法選取隱層節(jié)點數(shù)為8，在遵循神經(jīng)網(wǎng)絡建模條件的情況下進行建模，群智能算法迭代出每次迭代中的全局最優(yōu)解，利用檢驗樣本實時監(jiān)控整個訓練過程，在檢驗樣本出現(xiàn)過訓練即達到最低點有增加的趨勢時，取最低點時的權值與閾值，建立神經(jīng)網(wǎng)絡模型。訓練過程如圖3與圖4所示，結果分析如表2所示。

2.3 結果分析與討論

利用神經(jīng)網(wǎng)絡技術對實驗數(shù)據(jù)進行建模時候必須遵循建模條件，文獻[11～16]中均沒有檢驗樣本監(jiān)控訓練過程，因此訓練過程中可能會出現(xiàn)過訓練現(xiàn)象，并且無法選取最優(yōu)的權值和閾值，也就無法保證能夠求得全局最優(yōu)解，嚴重影響了模型的可靠性。文獻[9]中數(shù)據(jù)訓練得出的神經(jīng)網(wǎng)絡模型泛化能力差，因此模型不具備良好的可靠性，依據(jù)此模型訓練出來的結果也是不可靠的。通過圖1可以看出，訓練過程中出現(xiàn)過訓練現(xiàn)象，并且最終訓練樣本、測試以及檢驗樣本的誤差相差較大，因此模型并沒有理想的泛化能力。同時文中僅通過判斷誤差<0.001來確定是否達到期望結果是不可行的，因為僅通過不斷增加隱層數(shù)目，誤差也會逐步減少達到理想的效果，甚至可以趨近于0，但訓練過程中會出現(xiàn)過訓練現(xiàn)象，模型性能并不可靠。圖3以及圖4為在遵循建模條件下，并且利用群智能算法求出全局最優(yōu)解。通過圖3可知，訓練過程沒有發(fā)生過訓練現(xiàn)象，最終訓練、測試以及檢驗樣本的誤差相差很近，基本趨于同一條直線，說明模型具有良好的泛化能力。通過結果分析表2可知，模型的預測精度以及相關系數(shù)較高分別為97.55%、96.2%。同時均方根誤差以及偏差都比較小，均方根誤差以及偏差均比較小，表明模型具有良好的參數(shù)優(yōu)化效果。

表1 數(shù)據(jù)表

圖1 訓練過程

圖2 迭代尋優(yōu)

圖3 基于群智能算法訓練過程

圖4 迭代尋優(yōu)

指標訓練測試檢驗RMSE0.06780.06780.0655BIAS-0.0400-0.03000.0200R0.96200.96800.9909R20.92650.94000.9819PA0.97550.96120.9622

3 結束語

正確合理的建立神經(jīng)網(wǎng)絡模型才會充分發(fā)揮神經(jīng)網(wǎng)絡的優(yōu)勢，更好的應用于實踐中。群智能算法的優(yōu)勢在于可以求出全局最優(yōu)解，避免訓練過程中陷入局部最優(yōu)解。在遵循建模條件情況下，基于群智能算法的神經(jīng)網(wǎng)絡能夠更好的求出全局最優(yōu)的權值和閾值結合檢驗樣本監(jiān)控訓練，避免了過訓練現(xiàn)象，使得訓練出來的網(wǎng)絡模型具有很好的線性逼近能力、泛化能力以及很強的可靠性。

[1] Matin T Hagan,Howard B Demuth,Mark Beale.Neural network design[M].戴葵,譯.北京:機械工業(yè)出版社,2002.

[2] 樓文高.BP神經(jīng)網(wǎng)絡模型在水環(huán)境質量綜合評價應用中的一些問題[J].水產(chǎn)學報, 2002,26(1):90-96.

[3] GarciA-Gimeno R M, Hervás-MartiNez C, Silóniz M I D.Improving artificial neural networks with a pruning methodology and genetic algorithms for their application in microbial growth prediction in food[J]. International Journal of Food Microbiology, 2002,72(1-2):19-30.

[4] 董聰.多層前向網(wǎng)絡的全局最優(yōu)化問題[J].大自然探索,1996,15(4):27-31.

[5] 寇曉麗.群智能算法及其應用研究[D]. 西安:西安電子科技大學,2009.

[6] 樓文高.BP神經(jīng)網(wǎng)絡模型在水環(huán)境質量綜合評價應用中的一些問題[J].水產(chǎn)學報,2002,26(1):90-96.

[7] 劉志雄,梁華.粒子群算法中隨機數(shù)參數(shù)的設置與實驗分析[J].控制理論與應用, 2010,27(11):1489-1496.

[8] 簡相超,鄭君里.混沌神經(jīng)網(wǎng)絡預測算法評價準則與性能分析[J].清華大學學報:自然科學版, 2001,41(7):43-46.

[9] Betiku E,Ezekiel T A.Modeling and optimization of bioethanol production from breadfruit starch hydrolyzate vis-a-vis response surface methodology and artificial neural network[J].Renewable Energy,2015,74(C):87-94.

[10] 魏海坤,徐嗣鑫,宋文忠.神經(jīng)網(wǎng)絡的泛化理論和泛化方法[J].自動化學報,2001,27(6):806-815.

[11] Dil E A,Ghaedi M,Ghaedi A,et al. Application of artificial neural network and response surface methodology for the removal of crystal violet by zinc oxide nanorods loaded on activate carbon: kinetics and equilibrium study[J].Journal of the Taiwan Institute of Chemical Engineers,2015,33(3):429-442.

[12] Betiku E,Okunsolawo S S,Ajala S O,et al. Performance evaluation of artificial neural network coupled with generic algorithm andresponse surface methodology in modeling and optimization of biodiesel production process parameters from shea tree (vitellaria paradoxa) nut butter[J].Renewable Energy, 2015,76(C):408-417.

[13] Witek-Krowiak A,Chojnacka K, Podstawczyk D,et al.Application of response surface methodology and artificial neural network methods in modelling and optimization of biosorption process[J].Bioresource Technology,2014, 160(5):150-160.

[14] Podstawczyk D, Witek-Krowiak A, Dawiec A,et al.Biosorption of copper(II) ions by flax meal: Empirical modeling and process optimization by response surface methodology (RSM) and artificial neural network (ANN) simulation[J].Ecological Engineering,2015,83(7):364-379.

[15] Pilkington J L,Preston C,Gomes R L. Comparison of response surface methodology (RSM) and artificial neural networks (ANN) towards efficient extraction of artemisinin from Artemisia annua[J].Industrial Crops & Products,2014,58(1):15-24.

[16] Nikbakht A M,Motevali A,Minaei S. Energy and exergy investigation of microwave assisted thin-layer drying of pomegranate arils using artificial neural networks and response surface methodology[J].Journal of the Saudi Society of Agricultural Sciences,2013,13(2):81-91.

Research of Neural Network Model Based on Swarm Intelligence Algorithm

WANG Shanshan

(School of Optical-Electrical Information and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

It is not reasonable to select the appropriate weights to bring out the desired results with the global optimal solution on the misleading of local optimal solution in the process of neural network model.A swarm intelligence algorithm is used to obtain the global optimal solution and the neural network model is established by using the weight and threshold value of the sample to the lowest point. The results showed that the evaluation parameters of the network model showed good performance, the prediction accuracy and the correlation coefficient were 97.55% and 96.2% respectively among them. Examples show that the neural network based on swarm intelligence algorithm can be able to get the global optimal solution and the model has good performance under the modeling condition which can prove its great value in theory and market.

neural network; swarm intelligence algorithm; global optimal; modeling conditions

2016- 06- 01

王閃閃(1990-)，女 ，碩士研究生。研究方向：神經(jīng)網(wǎng)絡。

10.16180/j.cnki.issn1007-7820.2017.04.014

TP183

A

1007-7820(2017)04-056-04