改進(jìn)BP算法在混合氣體定量檢測(cè)中的應(yīng)用*

趙彥如, 黃曉杰, 邵啟鵬

(河南理工大學(xué) 機(jī)械與動(dòng)力工程學(xué)院,河南 焦作 454000)

0 引 言

氣體定量識(shí)別在食品科學(xué)、環(huán)境科學(xué)、公共安全和國(guó)防軍事等領(lǐng)域有著廣闊的應(yīng)用前景。文獻(xiàn)[1]使用支持向量機(jī)算法用于CO濃度的分析；文獻(xiàn)[2]使用反向傳播(back propagation,BP)算法對(duì)單一氣體進(jìn)行定量檢測(cè),文獻(xiàn)[3]使用BP算法對(duì)混合氣體進(jìn)行定量檢測(cè),二者均比較了實(shí)際、預(yù)期和預(yù)測(cè)的濃度測(cè)量值。為了降低BP算法對(duì)初始權(quán)值和閾值的依賴(lài)性,文獻(xiàn)[4]使用粒子群優(yōu)化(particle swarm optimization,PSO)-BP算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化,文獻(xiàn)[5]使用蟻群優(yōu)化(ant colony optimization,ACO)算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò),文獻(xiàn)[6]結(jié)合布谷鳥(niǎo)搜索(cuckoo search,CS)算法尋優(yōu)來(lái)獲取BP算法的最優(yōu)初始權(quán)值和閾值；為了進(jìn)一步提高CS算法的性能,文獻(xiàn)[7]提出了自適應(yīng)步長(zhǎng)的CS算法,文獻(xiàn)[8]將解的適應(yīng)度引入了CS算法,文獻(xiàn)[9]提出了自適應(yīng)步長(zhǎng)和發(fā)現(xiàn)概率的CS算法,文獻(xiàn)[10]提出了混合模擬退火的CS算法。

為解決CS算法可能陷入局部最優(yōu)值的問(wèn)題,本文結(jié)合以上研究?jī)?nèi)容,本文提出引入自適應(yīng)調(diào)整發(fā)現(xiàn)概率的CS算法和模擬退火算法的BP神經(jīng)網(wǎng)絡(luò)用于混合氣體的定量檢測(cè)。用MATLAB軟件對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行仿真分析發(fā)現(xiàn),使用CS算法獲得的用于BP網(wǎng)絡(luò)的初始權(quán)值和閾值有一定的可靠性；引入模擬退火算法避免了算法陷入局部最優(yōu),與CS-BP算法相比加快了收斂速度；對(duì)混合氣體中每種氣體預(yù)測(cè)結(jié)果的平均相對(duì)誤差均在10 %左右,達(dá)到了預(yù)測(cè)目的要求,實(shí)現(xiàn)了混合氣體的定量檢測(cè)。

1 改進(jìn)BP算法的提出與實(shí)現(xiàn)

1.1 改進(jìn)算法的提出

針對(duì)BP算法依賴(lài)初始權(quán)值和閾值的問(wèn)題,提出使用具有強(qiáng)大全局搜索能力的CS算法來(lái)獲取BP神經(jīng)網(wǎng)絡(luò)最優(yōu)的初始權(quán)值和閾值。CS算法的關(guān)鍵參數(shù)僅有外來(lái)鳥(niǎo)蛋被發(fā)現(xiàn)的概率和種群數(shù)目,整個(gè)算法操作簡(jiǎn)單、易于實(shí)現(xiàn)。CS算法使用由開(kāi)關(guān)參數(shù)pa控制的局部隨機(jī)游走和全局探索隨機(jī)游走的平衡組合。局部隨機(jī)游走為

(1)

(2)

但CS算法存在諸多不足之處：1)在迭代過(guò)程中可能會(huì)陷入局部最優(yōu)值；2)在以pa概率發(fā)現(xiàn)并放棄解時(shí),算法采用隨機(jī)方式,即對(duì)每個(gè)解生成一個(gè)0～1之間的隨機(jī)數(shù),如果該隨機(jī)數(shù)大于發(fā)現(xiàn)概率pa,則該解被放棄,這種隨機(jī)方式可能導(dǎo)致適應(yīng)度較好的解被放棄,而適應(yīng)度較差的解得以保留的問(wèn)題,影響算法的收斂速度和解的質(zhì)量。因此針對(duì)上述問(wèn)題,利用式(3)判斷是否陷入局部最優(yōu)后采用模擬退火算法機(jī)制對(duì)布谷鳥(niǎo)的巢穴進(jìn)行更新,在發(fā)現(xiàn)并放棄解時(shí),采用式(4)～式(5),將解的適應(yīng)度作為評(píng)判是否放棄解的一個(gè)度量

(3)

(4)

r′i=(ri+pi)/2

(5)

式中pi,hi分別為第i個(gè)解的選擇概率和適應(yīng)度,fbest,fworst分別為目前為止最好和最差的適應(yīng)度。

1.2 改進(jìn)算法的實(shí)現(xiàn)

利用CS算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化。在算法迭代過(guò)程中,使用模擬退火操作避免算法陷入局部最優(yōu),在此基礎(chǔ)上引入發(fā)現(xiàn)概率的自適應(yīng)調(diào)整策略用于新解生成；將使BP算法中訓(xùn)練樣本的均方誤差最小作為目標(biāo)函數(shù)值,再以此優(yōu)化后的參數(shù)作為初始連接權(quán)值和閾值用于BP神經(jīng)網(wǎng)絡(luò)進(jìn)行混合氣體的定量識(shí)別。

Hecht-Nielson R證明了對(duì)于任何閉區(qū)間內(nèi)連續(xù)的函數(shù)都可用具有一個(gè)隱層的BP網(wǎng)絡(luò)來(lái)任意逼近[11]。設(shè)計(jì)了結(jié)構(gòu)為3×6×2的3層BP網(wǎng)絡(luò)用于實(shí)現(xiàn)對(duì)混合氣體的定量識(shí)別。用CS算法對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化時(shí),定義每個(gè)鳥(niǎo)巢具有的參數(shù)分量分別對(duì)應(yīng)于網(wǎng)絡(luò)的權(quán)值和閾值,根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)計(jì)算網(wǎng)絡(luò)中布谷鳥(niǎo)個(gè)體的編碼長(zhǎng)度,權(quán)值個(gè)數(shù)為6×3+2×6=30,閾值個(gè)數(shù)為6+2=8,所以個(gè)體編碼長(zhǎng)度為30+8=38。即在此算法中,CS算法需優(yōu)化一個(gè)38維的函數(shù),獲取該函數(shù)的最小值,從而確定BP神經(jīng)網(wǎng)絡(luò)中初始權(quán)值和閾值的最優(yōu)值。

算法步驟:

1)初始化相關(guān)參數(shù)。設(shè)置神經(jīng)網(wǎng)絡(luò)各層的數(shù)目,設(shè)寄主的種群數(shù)量為n,最大迭代次數(shù)為N_IterTotal,步長(zhǎng)縮放因子為α,發(fā)現(xiàn)概率為pa,需優(yōu)化的參數(shù)個(gè)數(shù)為nd；

2)隨機(jī)產(chǎn)生n個(gè)具有nd個(gè)參數(shù)(需要優(yōu)化的權(quán)值和閾值的總數(shù)目)的初始巢穴,并產(chǎn)生一個(gè)初始的適應(yīng)度值；

3)對(duì)當(dāng)前鳥(niǎo)巢位置進(jìn)行萊維迭代：采用Mantegna算法生成服從萊維分布的隨機(jī)步長(zhǎng),再由式(2)產(chǎn)生新解,遍歷每個(gè)寄主鳥(niǎo)巢,并計(jì)算其適應(yīng)度值(均方誤差MSE),評(píng)估解的質(zhì)量與之前解比較以保留較優(yōu)值；

4)鳥(niǎo)巢宿主以概率pa發(fā)現(xiàn)外來(lái)鳥(niǎo)蛋,則根據(jù)式(4)～式(5)產(chǎn)生隨機(jī)數(shù)r,若r>pa,寄主選擇放棄巢穴,以局部隨機(jī)游走的方式(式(1))發(fā)現(xiàn)新的鳥(niǎo)巢,并評(píng)估新解質(zhì)量,以保留最優(yōu)解；

5)記錄歷史最優(yōu)解,與迭代過(guò)程中獲得的適應(yīng)度值對(duì)比,選擇最優(yōu)的巢穴位置；

6)當(dāng)CS算法迭代進(jìn)行到第12步時(shí),由式(3)判斷算法是否陷入局部最優(yōu),若陷入,則對(duì)鳥(niǎo)巢進(jìn)行模擬退火操作,計(jì)算鳥(niǎo)巢的適應(yīng)度值,并引入記憶功能保留退火過(guò)程中的最優(yōu)鳥(niǎo)巢位置,退火結(jié)束后獲取最優(yōu)巢穴后轉(zhuǎn)入步驟(3)；若未陷入,則直接轉(zhuǎn)入步驟(3)；

7)判斷是否滿(mǎn)足終止條件,如是否達(dá)到最大迭代次數(shù)或獲得的最小適應(yīng)度達(dá)到了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)值等。若滿(mǎn)足終止條件,將獲得的最優(yōu)的解即最優(yōu)的權(quán)值和閾值賦給BP網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值后進(jìn)行網(wǎng)絡(luò)訓(xùn)練,否則,則跳轉(zhuǎn)至步驟(2)繼續(xù)迭代直至獲取最優(yōu)化的結(jié)果；

8)將經(jīng)過(guò)歸一化處理后的傳感器陣列的輸出電壓隨機(jī)選取一部分作為訓(xùn)練樣本,利用BP算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練,計(jì)算預(yù)測(cè)輸出與期望輸出之間的相對(duì)誤差百分比達(dá)到訓(xùn)練目標(biāo)時(shí),算法結(jié)束。一部分進(jìn)行網(wǎng)絡(luò)預(yù)測(cè),計(jì)算神經(jīng)網(wǎng)絡(luò)的預(yù)期輸出與預(yù)測(cè)輸出之間的相對(duì)誤差。

2 改進(jìn)算法用于混合氣體定量預(yù)測(cè)

2.1 仿真實(shí)驗(yàn)設(shè)計(jì)

仿真實(shí)驗(yàn)中所用數(shù)據(jù)來(lái)自文獻(xiàn)[12]。采用酒精的飽和蒸汽和丁烷氣體組成混合氣體,將TGS813,TGS822和TP—3組成的氣體傳感器陣列置于容積為5 L的測(cè)量容器內(nèi),每次注入氣體1 mL,即每注入一次氣體,濃度增大 200×10-6,測(cè)得傳感器陣列的輸出電壓值。測(cè)量區(qū)域?yàn)?～2 000×10-6,再附上濃度為零時(shí)的輸出值,總共11×11=121組數(shù)據(jù)。

仿真實(shí)驗(yàn)中將傳感器陣列的輸出電壓值作為算法的輸入數(shù)據(jù),混合氣體的濃度值作為輸出數(shù)據(jù),分別對(duì)其進(jìn)行歸一化處理。隨機(jī)選取98組數(shù)據(jù)作為訓(xùn)練樣本,剩余的23組數(shù)據(jù)作為預(yù)測(cè)樣本。

實(shí)驗(yàn)測(cè)試平臺(tái)為：Windows 10和MATLAB R2014a,主頻為2.4 GHz,內(nèi)存為4 GB。實(shí)驗(yàn)中算法的參數(shù)設(shè)置為：鳥(niǎo)巢數(shù)目n=25,步長(zhǎng)因子α=0.02,最大迭代次數(shù)N_IterTotal=1 000,發(fā)現(xiàn)概率Pa=0.25,CS算法中尋優(yōu)的參數(shù)個(gè)數(shù)nd=38,馬爾科夫鏈長(zhǎng)度L=30,BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是0.000 01。

2.2 仿真實(shí)驗(yàn)結(jié)果及分析

選取剩余的23組數(shù)據(jù)作為預(yù)測(cè)樣本,采用不同的算法對(duì)其進(jìn)行混合氣體的定量檢測(cè)。

1)不同算法的預(yù)測(cè)結(jié)果對(duì)比

僅用單一BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果,如圖1所示,CS算法優(yōu)化BP網(wǎng)絡(luò)(CS-BP)的預(yù)測(cè)結(jié)果如圖2所示,改進(jìn)算法的預(yù)測(cè)結(jié)果如圖3所示。不同算法對(duì)混合氣體預(yù)測(cè)濃度的平均相對(duì)誤差對(duì)比如表1所示。

表1 不同算法對(duì)混合氣體預(yù)測(cè)的相對(duì)誤差對(duì)比 %

圖1 BP算法預(yù)測(cè)結(jié)果對(duì)比

圖2 CS-BP算法預(yù)測(cè)結(jié)果對(duì)比

圖3 改進(jìn)算法預(yù)測(cè)結(jié)果對(duì)比

從圖中對(duì)乙醇樣本濃度值的預(yù)測(cè)可以看出,僅用BP算法有10個(gè)點(diǎn)的預(yù)測(cè)結(jié)果與預(yù)期存在較大差距(預(yù)測(cè)與預(yù)期值的相對(duì)誤差在10 %以上),占總數(shù)據(jù)點(diǎn)的約43.48 %；使用CS-BP算法有8個(gè)點(diǎn)的預(yù)測(cè)與預(yù)期結(jié)果之間差距較大,占總數(shù)據(jù)點(diǎn)的34.78 %；對(duì)于改進(jìn)算法,僅有5個(gè)點(diǎn)存在較大偏差,占數(shù)據(jù)點(diǎn)的約21.74 %,其余18個(gè)點(diǎn)的預(yù)測(cè)結(jié)果與預(yù)期結(jié)果之間差距很小或能夠完全吻合,占總數(shù)據(jù)點(diǎn)的約78.26 %。

對(duì)丁烷樣本濃度值的預(yù)測(cè)可以看出,僅用BP算法有4個(gè)點(diǎn)的預(yù)測(cè)結(jié)果與預(yù)期存在較大偏差,占總數(shù)據(jù)點(diǎn)的約17.39 %；使用CS-BP算法有2個(gè)點(diǎn)的預(yù)測(cè)與預(yù)期的結(jié)果存在較大差距；對(duì)于改進(jìn)后的算法,僅有1個(gè)點(diǎn)的數(shù)據(jù)有較大差距,占總數(shù)據(jù)點(diǎn)的約4.35 %,其余22個(gè)點(diǎn)的預(yù)測(cè)結(jié)果與預(yù)期結(jié)果之間差距很小或能夠完全吻合,占總數(shù)據(jù)點(diǎn)的約95.65 %。從表1可以看出,改進(jìn)后的算法對(duì)預(yù)測(cè)濃度的三種相對(duì)誤差整體上相對(duì)于前兩種算法均有明顯減小,且平均相對(duì)誤差在10 %左右。

2)不同算法迭代過(guò)程中適應(yīng)度變化對(duì)比

在迭代過(guò)程中適應(yīng)度隨迭代次數(shù)變化的曲線(xiàn)圖,如圖4所示。

圖4 適應(yīng)度隨迭代次數(shù)變化的曲線(xiàn)

從圖中可以看出,改進(jìn)后的算法在收斂速度上明顯提高,在CS算法的迭代初期,即在第8次迭代時(shí),相較于CS-BP算法,改進(jìn)后的算法獲得的適應(yīng)度值明顯下降,達(dá)到最

終迭代次數(shù)時(shí)，改進(jìn)后算法獲得的最優(yōu)初始權(quán)值和閾值的均方誤差較改進(jìn)前明顯減小，CS-BP算法在CS算法迭代過(guò)程中獲得的最優(yōu)適應(yīng)度值即均方誤差為0.000 930 72，改進(jìn)算法在迭代過(guò)程中獲得的最優(yōu)適應(yīng)度值為0.000 765 36，同比減小17.8 %，獲得的初始權(quán)值和閾值可靠性高。