基于改進(jìn)蜂群算法的神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

(廣西幼兒師范高等專科學(xué)校 公共基礎(chǔ)部，廣西 南寧530022)

0 引言

目前，數(shù)值天氣預(yù)報(bào)模式的預(yù)報(bào)能力已經(jīng)有了長(zhǎng)足的發(fā)展，對(duì)于利用各種模式的輸出產(chǎn)品資料進(jìn)行站點(diǎn)強(qiáng)降水過(guò)程的預(yù)報(bào)研究是一項(xiàng)重要課題.因此，找出眾多的模式預(yù)報(bào)產(chǎn)品與預(yù)報(bào)站點(diǎn)之間的某些非線性關(guān)系，是天氣預(yù)報(bào)數(shù)值預(yù)報(bào)產(chǎn)品試用的一條有效途徑.為此，很多學(xué)者開展了利用人工神經(jīng)網(wǎng)絡(luò)方法擬合出多種數(shù)值預(yù)報(bào)產(chǎn)品與預(yù)報(bào)站點(diǎn)的非線性關(guān)系，并利用這一關(guān)系進(jìn)了有關(guān)的降水預(yù)報(bào)［1－3］.然而，神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)能力的強(qiáng)弱與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是否充分有很大關(guān)系，因此，網(wǎng)絡(luò)權(quán)值的訓(xùn)練方法對(duì)神經(jīng)網(wǎng)絡(luò)的泛化能力有著決定性的影響.但是，一般的BP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練都是基于梯度下降的訓(xùn)練方法，該訓(xùn)練方法對(duì)給定的初始權(quán)值敏感性強(qiáng)，收斂速度緩慢且容易陷入局部最優(yōu)，從而導(dǎo)致BP 神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)可靠性降低［4］.

人工蜂群算法［5］(artificial bee colony algorithm，ABC)是根據(jù)蜜蜂群中個(gè)體間相互協(xié)作進(jìn)行搜索花粉的行為而提出的一種優(yōu)化算法，它具有很強(qiáng)的全局搜索性能.盡管，蜂群算法研究和應(yīng)用的時(shí)間不長(zhǎng)，但由于算法參數(shù)少、易于實(shí)現(xiàn)等優(yōu)點(diǎn)，使越來(lái)越多的學(xué)者對(duì)它進(jìn)行了研究［6－8］.2009年，Karaboga 等人完成了利用ABC 算法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)［9］，并取得了較好的效果.然而，ABC 算法也存在當(dāng)算法搜索到全局最優(yōu)解附近時(shí)，算法收斂速度變慢或停滯不前的早熟現(xiàn)象問(wèn)題.為此，本文對(duì)標(biāo)準(zhǔn)的人工蜂群算法進(jìn)行了改進(jìn)，可以加快算法的收斂速度，同時(shí)也能提高算法的收斂精度.

本文利用這種改進(jìn)的蜂群算法來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的連接權(quán)，其實(shí)際應(yīng)用的結(jié)果顯示，通過(guò)這種方法訓(xùn)練出來(lái)的神經(jīng)網(wǎng)絡(luò)具有更好的泛化性能.

1 改進(jìn)的蜂群優(yōu)化算法

1.1 蜂群算法及其改進(jìn)

蜂群算法是一種集群智能算法，其特點(diǎn)是可以在不清楚問(wèn)題的特殊信息條件下，僅利用人工蜂個(gè)體對(duì)問(wèn)題評(píng)價(jià)的優(yōu)劣進(jìn)行比較，通過(guò)蜂群個(gè)體的鄰域?qū)?yōu)行為，最終全局最優(yōu)解在整個(gè)蜂群的優(yōu)劣比較中顯現(xiàn)出來(lái).ABC 算法中種群的個(gè)體分為引領(lǐng)蜂、跟隨蜂和偵查蜂三個(gè)類別，每一個(gè)種類的覓食行為都有區(qū)別.首先，引領(lǐng)蜂隨機(jī)出去尋找蜜源，找到蜜源之后返回巢穴通過(guò)舞蹈的方式將關(guān)于蜜源的信息(包括蜜源離巢穴的距離、方位以及蜜源花蜜數(shù)量的多少)傳遞給在巢穴前等候的跟隨蜂;其次，跟隨蜂根據(jù)引領(lǐng)蜂傳遞給的信息選擇哪個(gè)引領(lǐng)蜂發(fā)現(xiàn)的蜜源去采蜜，而偵查蜂是某處一蜜源因?yàn)槠浠ǚ蹟?shù)量太少而被引領(lǐng)蜂和跟隨蜂都拋棄之后，由發(fā)現(xiàn)該蜜源的引領(lǐng)蜂轉(zhuǎn)變而來(lái).其中，引領(lǐng)蜂和跟隨蜂位置的更新公式:

其中k，j 是隨機(jī)給定的，且k≠j(k 是i 鄰域的一個(gè)解)，隨機(jī)數(shù)rij∈［－1，1］.該參數(shù)用于控制引領(lǐng)蜂和跟隨蜂的蜜源鄰域搜索.

本文對(duì)ABC 算法作的改進(jìn)如下:

①除去跟隨蜂根據(jù)引領(lǐng)蜂覓食回來(lái)提供的蜜源信息而選擇哪個(gè)蜜源的搜索過(guò)程，從而減輕算法的計(jì)算量;

②記錄并更新每一輪搜索后的目前為止發(fā)現(xiàn)蜜源質(zhì)量最好的引領(lǐng)蜂記為pg，用于向其他引領(lǐng)蜂分享花蜜信息;

③添加一個(gè)上一輪的位置對(duì)當(dāng)前位置影響大小為ω 的參數(shù);

④采取多點(diǎn)(1＜m≤5)位置同時(shí)更新.在ABC 算法中，每個(gè)引領(lǐng)蜂位置的更新都是隨機(jī)給定的一個(gè)點(diǎn)，這樣是為了防止算法出現(xiàn)早熟，但同時(shí)也使算法收斂速度變慢，本文則在d 個(gè)位置中隨機(jī)給出m 個(gè)位置同時(shí)更新.

⑤引領(lǐng)蜂的搜索鄰域進(jìn)行自適應(yīng)調(diào)整，即開始的搜尋階段搜索范圍較大，而在搜索后期搜索的鄰域則逐漸縮小范圍，這樣有利于算法的局部搜索.

⑥引領(lǐng)蜂的位置更新公式改成:

其中:

而(2)式中的ω 和v 的數(shù)學(xué)描述為

其中kg=0.25－0.5* (maxT－t)/maxT 為0.25～0.75 線性遞增，k≠i，j=unidrnd(d，1，m)為在1－d 間隨機(jī)產(chǎn)生m 個(gè)整數(shù).

改進(jìn)算法的具體實(shí)現(xiàn)步驟如下:

1)給定算法的參數(shù):種群數(shù)量Nm和最大迭代次數(shù)Gmax;

2)在解空間范圍內(nèi)隨機(jī)生成m 個(gè)個(gè)體的初始位置;

3)計(jì)算每個(gè)個(gè)體的適應(yīng)值;

4)求出種群的最優(yōu)位置Pg.

開始進(jìn)行迭代搜尋:

5)對(duì)于種群中的每一個(gè)個(gè)體，記為i(i≤Nm)

①1－d 在之間隨機(jī)生成m 個(gè)互不相同的數(shù)，記為j=(j1，j2，…，jm);

②在1－Nm之間生成一個(gè)不等于i 的數(shù)，記為K;

③按(2)式更新第i 個(gè)引領(lǐng)蜂的位置j;

④對(duì)更新的位置超出搜索邊界上限等于上限減去一個(gè)很小的值;

⑤對(duì)更新的位置超出搜索邊界下限等于下限加上一個(gè)很小的值;

⑥計(jì)算適應(yīng)度值Fitness(s);

⑦比較第i 個(gè)引領(lǐng)蜂更新前后適應(yīng)度的大小，取適應(yīng)度大的作為該引領(lǐng)蜂當(dāng)前的位置，同

時(shí)更新該引領(lǐng)蜂的累計(jì)不變參數(shù)Ⅰt;

⑧判斷第i 個(gè)引領(lǐng)蜂的適應(yīng)度與是否比Pg的適應(yīng)度大，若是，則更新Pg.

6)完成一輪搜索后，如果有引領(lǐng)蜂的累計(jì)不變參數(shù)“Ⅰt”達(dá)到最大容忍值，則放棄該引領(lǐng)蜂，并按公式(4)隨機(jī)生成一個(gè)偵察蜂替它，此時(shí)Ⅰt 歸零;

7)判定搜索結(jié)束條件，若滿足，則輸出最優(yōu)值，否則轉(zhuǎn)到5).

1.2 改進(jìn)的蜂群算法性能測(cè)試

為了驗(yàn)證本文提出的新的蜂群算法(NABC)的性能，本文選取了多個(gè)經(jīng)典測(cè)試函數(shù)對(duì)新算法進(jìn)行測(cè)試，其表達(dá)式如下所示，并將之與標(biāo)準(zhǔn)人工蜂群(代碼來(lái)源于Karaboga 等人主頁(yè)提供的ABC 算法代碼)的結(jié)果進(jìn)行比較.所用的測(cè)試函數(shù)及其尋優(yōu)的范圍、最優(yōu)點(diǎn)、初始化范圍等信息如下:

1)Sphere 函數(shù)

2)Ackley 函數(shù)

3)Griewanks 函數(shù)

4)Weierstrass 函數(shù)

5)Rastrigin 函數(shù)

表1 測(cè)試函數(shù)的全局最優(yōu)點(diǎn)、搜索范圍以及初始化范圍

在改進(jìn)算法中，實(shí)驗(yàn)計(jì)算種群規(guī)模Nm=50;最大迭代次數(shù)2000 次;控制參數(shù)Ⅰt 為100.對(duì)于ABC 算法，種群規(guī)模也50，參數(shù)Ⅰt 為100;最大迭代次數(shù)2000 次.每個(gè)函數(shù)獨(dú)立運(yùn)行20 次，其比較結(jié)果見(jiàn)表2.

從表2可以看出，本文提出的NABC 算法的收斂精度遠(yuǎn)高于標(biāo)準(zhǔn)的ABC 算法，而且在5 個(gè)100 維的測(cè)試函數(shù)中，本文提出的算法有3 個(gè)函數(shù)搜索到理論最優(yōu)解，還有一個(gè)函數(shù)(Sphere 函數(shù))其精度也幾乎達(dá)到了理論值，從而表明了本算法的穩(wěn)定性和有效性.圖1為本文的算法和ABC 在300 維的rastrigin 函數(shù)在迭代過(guò)程中適應(yīng)度值的變化情況.

表2 函數(shù)為100 維的測(cè)試結(jié)果

表3 函數(shù)為200 維的測(cè)試結(jié)果

從圖1可以看出，本文提出的算法在進(jìn)行全局尋優(yōu)時(shí)，其收斂速度明顯快于ABC 算法，同時(shí)收斂的精度更高.

圖1 本文提出算法和ABC 算法對(duì)300 維rastrigin 函數(shù)收斂曲線

2 改進(jìn)的蜂群算法訓(xùn)練BP 網(wǎng)絡(luò)

將NABC 算法用于BP 網(wǎng)絡(luò)的訓(xùn)練:蜂群中每個(gè)引領(lǐng)蜂的位置由BP 網(wǎng)絡(luò)結(jié)構(gòu)各層連接權(quán)和閾值按順序排放組成，其維數(shù)是所有權(quán)值和閾值的數(shù)量，即一個(gè)引領(lǐng)蜂就表示一組神經(jīng)網(wǎng)絡(luò)的權(quán)值.而神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本集的擬合均方根誤差(MSE)則作為NABC 算法的適應(yīng)度值，如果某一個(gè)引領(lǐng)蜂的適應(yīng)函數(shù)值越小，則表明該引領(lǐng)蜂在搜索中具有更好的權(quán)值分布.通過(guò)這種方式，NABC 算法在不斷搜索和優(yōu)化訓(xùn)練神經(jīng)網(wǎng)絡(luò)的連接權(quán)的過(guò)程中，不斷地獲得更小的神經(jīng)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本擬合的平均絕對(duì)誤差(MSE)，而算法在搜索過(guò)程中不斷更新最小 的MSE 值，并將具有最小MSE 的引領(lǐng)蜂的位置記為Pg.

3 基于NABC-BP 的實(shí)驗(yàn)及結(jié)果分析

為了測(cè)試經(jīng)NABC 算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的泛化性能，本文以南寧市2010－2013年6－8月的逐日降水作為預(yù)報(bào)對(duì)象，并以同期的歐洲細(xì)網(wǎng)格雨量資料和粗網(wǎng)格的物理量場(chǎng)資料作為模型的預(yù)報(bào)因子資料.

我們首先通過(guò)對(duì)預(yù)報(bào)因子歷史資料與預(yù)報(bào)對(duì)象進(jìn)行相關(guān)普查，對(duì)于相關(guān)系數(shù)大于0.25 的雨量格點(diǎn)因子直接作為模型預(yù)報(bào)因子的一部分，另一部分則是物理量因子，即在大范圍相關(guān)系數(shù)較高的物理量場(chǎng)格點(diǎn)中，選出相關(guān)系數(shù)最大的2 個(gè)相鄰格點(diǎn)的平均值作為模型輸入的物理量因子.最終，由雨量資料和物理量因子資料共11 個(gè)因子作為降水預(yù)測(cè)模型的輸入因子.于是，利用第2 節(jié)的NABC 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，對(duì)2013年6－8月份的南寧市的逐日平均降水量進(jìn)行獨(dú)立預(yù)報(bào)試驗(yàn).同時(shí)為了考察本文提出方法的預(yù)報(bào)效果，論文也對(duì)ABC 訓(xùn)練神經(jīng)網(wǎng)絡(luò)(記為ABC－BP 方法)預(yù)報(bào)方法進(jìn)行相同的預(yù)報(bào)試驗(yàn)，見(jiàn)表4.

圖2 NABC－BP 算法流程

表4 南寧市2013年6－8月份降水量TS 評(píng)分

其中TS 的評(píng)分規(guī)則是:

從表4可以看出，經(jīng)過(guò)NABC 算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，其訓(xùn)練更加充分，預(yù)報(bào)能力比ABC 算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)更強(qiáng)，特別是對(duì)暴雨和暴雨以上雨量的預(yù)報(bào)情況，其TS 評(píng)分提高了17.6%和30.7%，同時(shí)該算法的預(yù)報(bào)能力也比歐洲中心細(xì)網(wǎng)格雨量插值強(qiáng)，這表明，本文提出的基于NABC 的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法是有效的，可以應(yīng)用于實(shí)際業(yè)務(wù)預(yù)報(bào).

4 結(jié)語(yǔ)

本文為了使神經(jīng)網(wǎng)絡(luò)的訓(xùn)練更加充分，首先提出了一種新的蜂群算法(NABC)，該算法簡(jiǎn)化了標(biāo)準(zhǔn)人工蜂群算法的搜索過(guò)程，并在算法的更新方法上嘗試了多點(diǎn)位置同時(shí)更新，進(jìn)一步地，本文改變了標(biāo)準(zhǔn)人工蜂群算法中引領(lǐng)蜂的鄰域搜索均在［－1，1］中隨機(jī)產(chǎn)生的方法，而是根據(jù)算法的搜索進(jìn)程進(jìn)行自適應(yīng)改變，使算法在搜索初期引領(lǐng)蜂的搜索鄰域大些，而文后期則小些，這樣可以使算法在搜索初期選擇的范圍更大、更有利于找到更好的解，而搜索范圍較小的搜索后期則有利于算法局部收斂.該改進(jìn)的算法無(wú)論是在多極值函數(shù)的全局尋優(yōu)上還是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的權(quán)值上，改進(jìn)的蜂群算法都具有收斂速度快而且收斂精度極高的特點(diǎn)，經(jīng)該算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)泛化能力也更加強(qiáng)，并在降水的實(shí)驗(yàn)預(yù)報(bào)中顯示了該方法的有效性和實(shí)用性.

［1］農(nóng)吉夫，黃文寧.遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的汛期降水模型［J］.數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2010，40(20):54－58.

［2］林建琳，金龍，林開平.神經(jīng)網(wǎng)絡(luò)方法在廣西日降水預(yù)報(bào)中的應(yīng)用［J］.南京氣象學(xué)院學(xué)報(bào)，2006，29(2):215－219.

［3］趙華生，金龍，農(nóng)吉夫，等.降水預(yù)報(bào)的神經(jīng)網(wǎng)絡(luò)集成方法的改進(jìn)［J］.統(tǒng)計(jì)與決策，2008(10):26－28.

［4］高海兵，高亮，周馳，等.基于粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究［J］.電子學(xué)報(bào)，2004，32(9):1572－1574.

［5］Karaboga D.An idea based on honey bee swarm for numerical optimization，Technical Report－TR06［R］.Kayseri:Erciyes University.Engineeirng Faculty，Computer Engineering Department，2005(9):1572－1574.

［6］Srinivasar R，Narasimham S，Ramalingara J.Optimization ofdistirbution network conifguration forloss reduction using artificial bee colony algorithm［J］.Intenrational Joumal of Electrical Power and Energy Systems Engineering，2008，1(2):709－715.

［7］Singha.An atriifcial bee colony algorithm for theleaf－constrained minimum spanning treeproblem［J］.Applied Sotf Computing，2009，9(2):625—631.

［8］丁海軍，李峰磊.蜂群算法在TSP 問(wèn)題上的應(yīng)用及參數(shù)改進(jìn)［J］.中國(guó)科技信息，2008(3):241－243.

［9］Karaboga D，Ozturk C.Neural networks training by artificial bee colony algorithm on pattern classification［J］.Neural Network World，2009，19(3):279－292.