基于自適應差分遺傳算法的BP神經網絡優(yōu)化

蔣 璐，張軒雄

(上海理工大學 光電信息與計算機工程學院，上海 200093)

0 引言

20世紀80年代，作為一種模仿腦神經功能建立的信息處理系統(tǒng)，人工神經網絡迅速發(fā)展起來，其反映了生物神經系統(tǒng)處理外界事物的基本過程，因此被廣泛應用于各個領域。其中使用最廣泛的是基于誤差反向傳播算法的多層前向BP神經網絡[1]，而它在具有高度自學習和泛化能力等優(yōu)點的同時，也存在不可避免的缺陷：無法同時滿足精度和訓練時間要求，易陷于局部最優(yōu)解等。

遺傳算法作為一種全局搜索最優(yōu)解的算法，常用于優(yōu)化BP神經網絡，但其常表現出收斂慢等缺陷。自Srinivas等[2]提出一種自適應遺傳算法以來，近幾年研究人員提出將改進的遺傳算法與蟻群算法或粒子群優(yōu)化等智能算法相結合，對神經網絡進行優(yōu)化[3-4]，但優(yōu)化算法參數過多，而不同的參數設置對最終結果影響較大，增加了方案的不確定性。文獻[5]提出一種基于向量元啟發(fā)式的差分優(yōu)化算法(Differential Evolution，DE)，通過模擬生物群體內個體間的合作與競爭以產生啟發(fā)式群體智能指導搜索，相比遺傳算法，其向量化突變方式被看作是一種有更高效率的方法。

本文在遺傳算法和DE算法利用后代適應度值更新群體等作用的基礎上[6]，提出結合差分進化與遺傳算法優(yōu)化BP神經網絡，利用遺傳算法基于混沌序列的交叉算子與差分進化的自適應變異等操作，以充分體現DE-GA算法的全局搜索能力和 BP神經網絡的學習逼近、局部搜索能力[7-8]。實驗表明方案收斂速度快、魯棒性強、運行結果可靠，優(yōu)化后的BP網絡預測準確率保持在97%以上，可廣泛應用于實踐生活中。

1 BP神經網絡

BP神經網絡采用誤差函數梯度下降法進行學習，體現在多層網絡中兩種信號的傳播：正向輸入信號和反向誤差信號。其中輸出值與期望值的差值反向逐層傳遞，促使網絡不斷修正權值以達到精度要求。當隱含層選擇合適的神經元數時，單隱層的3層BP神經網絡可以任意精度逼近非線性函數[9-10]，故本文選用3層BP神經網絡。

2 差分—遺傳算法優(yōu)化BP神經網絡

實際應用中，BP神經網絡不同權值和閾值極大地影響到網絡訓練，導致易陷于局部極值，所涉及神經網絡的泛化能力不能保證。故本文在傳統(tǒng)遺傳算法基礎上引入差分思想，通過調整種群規(guī)模、交叉算子、差分變異算子以優(yōu)化網絡權閾值[11-12]。

2.1 染色體編碼與適應度函數

采用二進制編碼，BP神經網絡個體的維數將急劇增加，計算量也隨之增加[13]。故將BP神經網絡的權、閾值按照以下順序級聯(lián)編碼為實數串：輸入層與隱含層間的連接權值、隱含層與輸出層間的連接權值、隱含層閾值、輸出層閾值。

為方便計算，BP網絡選擇誤差絕對值計算染色體的適應度值，如式(1)所示。

(1)

其中，Yi為BP神經網絡第i個節(jié)點的期望輸出，yi為實際輸出。

2.2 種群規(guī)模適應性調節(jié)策略

在差分進化初始階段，種群需要較強的多樣性對解空間廣泛探索，而后期需要對最好的個體改善。因此，需根據適應度值的在線改善情況，融合壽命機制和插入新個體的精英策略，動態(tài)調整種群規(guī)模。

GAVAPS[14]中提出個體的年齡和壽命概念。每進化一代，年齡增加一歲。當種群個體年齡大于壽命時，將其從種群中刪除。壽命值根據每個個體特性，采用雙線性分配策略計算，如式(2)、式(3)所示。

(2)

(3)

其中，avgfit、minfit和maxfit分別為當前種群適應度值的平均值、最小值和最大值；LFmax、LFmin分別為壽命可達到的最大值和最小值。

為了彌補種群多樣性減弱問題，在種群中復制適應度值高的部分作為新個體補充。被復制個體的數目num和此時種群規(guī)模的大小變化如式(4)、式(5)所示。

num=ξ·(NPmax-NPg)

(4)

NPg+1=NPg-NPdead+num

(5)

其中，ξ為復制率；NPmax為種群最大規(guī)模；NPg、NPg+1和NPdead分別為當前種群、下一代種群的規(guī)模和執(zhí)行壽命機制時淘汰的個體數目。

2.3 遺傳交叉操作

針對傳統(tǒng)遺傳算法易陷入局部極值的缺點，提出一種基于Logistic混沌序列[15]的交叉算子，利用其良好的遍歷性和隨機性確定交叉位置，如式(6)所示：

(6)

式(6)中，λk為混沌變量λ迭代k次的結果；μ為狀態(tài)控制參數；當μ=4、λ?{0.25,0.5,0.75} 時，Logistic映射工作處于混沌狀態(tài)[16]，初始序列值呈現偽隨機分布，在此狀態(tài)下結合種群規(guī)模以確定實際交叉位置。

根據實數編碼原則，交叉算子采用模擬二進制交叉法(SBX)，染色體Xi和染色體Xj在選定位置上的交叉操作如式(7)。

(7)

其中r為交叉系數。

2.4 基于適應性調節(jié)的差分變異

作為一種基于群體差異的啟發(fā)式隨機搜索算法，差分進化利用種群中個體間的差分向量對個體進行擾動，以實現個體變異[17-18]。本文隨機選取不同個體，將其向量差縮放后與待變異個體進行向量合成新個體。改進的適應性調節(jié)DE/rand/1變異策略如式(8)所示。

νi(g+1)=xr1(g)+F·(xr2(g)-xr3(g))

(8)

其中，F為縮放因子；低適應度值需采用較高的F值以增加尋求到最優(yōu)解的概率，反之則需要較小的F值。因此本文借鑒文獻[19]中調節(jié)遺傳算法變異率的思想，根據進化過程中個體適應度值的變化情況調節(jié)參數F。自適應調節(jié)策略如式(9)所示。

(9)

其中，xbest、xworst分別為當前種群內具有最優(yōu)、最差適應度值的向量；λ=10-13；當|f(xi)-f(xbest)|→0時，Fi→Fmin；當|f(xi)-f(xbest)|→∞時，Fi→Fmax，Fmax和Fmin分別為F值的上、下限。

2.5 算法基本流程

差分—遺傳算法優(yōu)化BP網絡的主要內容分為兩部分：其一，決定網絡參數及編碼初始化；其二，用DE-GA算法完成優(yōu)化。如圖1所示，本文采用DE-GA算法的種群適應性調整、種群個體之間交叉、差分變異等過程代替 BP神經網絡的誤差梯度下降方法。經過優(yōu)化后的網絡可以進行仿真預測等工作。

圖1 DE-GA優(yōu)化BP網絡算法流程

具體實現步驟如下：

(1)編碼及初始化。采用實數編碼，并對初始種群規(guī)模NPinital、最大迭代次數G、差分縮放因子F、交叉概率Pc等參數進行初始化。

(2)設計BP神經網絡的結構，包括隱含層節(jié)點數、神經網絡層數等。

(3)對種群個體執(zhí)行基于Logistic的交叉操作以及差分變異操作，計算個體的適應度值，選擇當前群體中的最佳個體作為最優(yōu)解。

(4)當不滿足迭代結束條件時，使用壽命機制以及精英復制策略對種群規(guī)模進行適應性調整，返回步驟(3)；若滿足算法停止條件，則算法結束。

3 實驗結果與分析

為了對差分遺傳算法的性能進行定性評價，本文選用典型的Rastrigr和Sphere函數，對差分遺傳算法和傳統(tǒng)遺傳算法的適應度函數值收斂性進行對比[20]。圖2和圖3分別為DE-GA算法與遺傳算法在Rastrigr和Sphere函數下的適應度值及種群的迭代進化曲線。設定種群初始規(guī)模NPinital=100，個體編碼維數為10，最大迭代初始值G分別為7 000和500，交叉概率Pc=0.7。由圖2和圖3可見，在迭代初期，兩種方法下的適應度值變化幅度大、收斂快；隨后浮動幅度逐漸減緩，直至收斂到穩(wěn)定狀態(tài)。

圖2 Rastrigr函數進化曲線

圖3 Sphere函數進化曲線

函數名函數表達式Rastrigr函數f(x)=∑100i(x2i-10cos(2πxi)+10) |xi|≤5.12Sphere函數f(x)=∑100i=1x2i |xi|≤5.12Rastrigin函數f(x)=20+x21+x22-10(cos2πx1+cos2πx2)

由圖2和圖3可以看出,在同樣的環(huán)境條件下，DE-GA算法在適應度值收斂于0時，迭代速度明顯快于傳統(tǒng)遺傳算法。對擁有多個局部極值點的Rastrigr函數進行測試時，圖3中遺傳算法在迭代中期處于幾乎不收斂進化的狀態(tài)，收斂速度緩慢，而同時間的DE-GA算法已收斂至穩(wěn)定狀態(tài)。從程序運行速度來看，DE-GA算法與傳統(tǒng)遺傳算法運行時間分別為20.904ms和65.146ms。而較簡單的Sphere函數經過50代左右差分遺傳迭代就可得到較好的優(yōu)化結果。由此可知，使用差分進化遺傳算法時，程序運行速度明顯快于遺傳算法，降低了時間復雜度，性能更優(yōu)。

本文選用Rastrigin函數作為測試函數驗證差分遺傳算法優(yōu)化BP網絡的性能，自變量和對應的函數值隨機選取2 000組作為樣本點，其中1 900個用于訓練，100個樣本點作為測試數據。按照步驟建立差分遺傳算法基本結構和參數，設置最大迭代次數為200，算法誤差閾值為1e-6。DE-GA算法的參數具體設置為：初始種群規(guī)模NPinital=100，最大迭代次數為50，交叉概率Pc=0.7，學習因子為0.1，初始差分縮放因子F=0.5，BP網絡均采用2-20-1的結構。圖4和圖5分別為原BP網絡與經過差分遺傳算法優(yōu)化后網絡100個樣本的誤差。

圖4 BP神經網絡樣本誤差

圖5 DE-GA優(yōu)化的BP網絡樣本誤差

由圖4、圖5可見，100個樣本點的誤差分布較均勻，但同時部分點誤差較其它樣本點偏大，證明其存在一定的不穩(wěn)定性。本文以所有測試樣本的平均誤差評估此次訓練水平，其中經過BP網絡和基于DE-GA算法優(yōu)化網絡訓練的平均誤差分別為17.42%、1.78%，由此可見，經過差分遺傳算法優(yōu)化后的預測精度得到了大幅提高。

在本文給出的算法中，初始染色體的選擇等流程中都具有一定隨機性，因此評估算法的可靠性尤為重要。本文進行了一系列仿真測試算法穩(wěn)定性，對基于DE-GA算法的BP網絡仿真50次，其誤差如圖6所示。

圖6 算法穩(wěn)定性測試平均誤差

由圖6可以看出，50次仿真中最大訓練誤差為2.5%，最小誤差為0.2%，誤差均勻分布在1.5%左右，沒有出現誤差極大的情況，可見該算法具有良好的可靠性，對于迭代具有很強的魯棒性。

4 結語

本文提出一種改進的差分遺傳算法BP神經網絡模型，將遺傳算法中的交叉操作、差分變異算子等結合起來，用于BP神經網絡的權閾值優(yōu)化。通過一系列仿真，證明DE-GA算法收斂速度快，具有很好的穩(wěn)定性，且優(yōu)化后的 BP網絡取得了不錯的預測效果。下一步研究工作將考慮在樣本數量少、樣本分布不均勻而造成神經網絡預測誤差大的場景下進行，以期得出更為實用的方法。