• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于云自適應(yīng)遺傳算法的改進(jìn)BP算法

    2011-02-03 06:29:14吳立鋒程林輝
    關(guān)鍵詞:結(jié)點(diǎn)權(quán)值適應(yīng)度

    吳立鋒,程林輝

    (中南民族大學(xué)計(jì)算機(jī)科學(xué)學(xué)院,武漢430074)

    BP算法(Back Propogation Algorithm)是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,BP神經(jīng)網(wǎng)絡(luò)已成功的應(yīng)用在人臉識(shí)別[1]、故障診斷[2]、入侵檢測(cè)[3]和最優(yōu)預(yù)測(cè)[4]等方面.但由于BP算法采用沿梯度下降的搜索算法,因而其結(jié)果對(duì)初始權(quán)值非常敏感,不同的初始權(quán)值可能導(dǎo)致不同的結(jié)果以及易陷入局部極小、收斂速度慢等.遺傳算法采用群體進(jìn)化方式,對(duì)目標(biāo)函數(shù)空間進(jìn)行多線索的并進(jìn)式檢查,并保留有競(jìng)爭(zhēng)力的基因,是一種搜索范圍廣、搜索效率高、魯棒性強(qiáng)的優(yōu)化方法.因此,利用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)成了目前研究的熱點(diǎn)[5,6].

    本文結(jié)合遺傳算法以及正態(tài)云模型云滴的隨機(jī)性和穩(wěn)定傾向性特點(diǎn)[7],提出了云自適應(yīng)遺傳BP算法(CAG-BP).該算法首次將云模型和遺傳算法結(jié)合起來調(diào)整神經(jīng)網(wǎng)絡(luò)的權(quán)值以及閾值,遺傳算法中的改進(jìn)交叉概率和變異概率由X條件云發(fā)生器產(chǎn)生.改進(jìn)后能夠使群體中平均適應(yīng)度值的個(gè)體的交叉率和變異率不為零,并能使適度值小的個(gè)體有較大的交叉概率和變異概率,適度值大的個(gè)體交叉概率和變異概率則相對(duì)較小,從而加快收斂速度,不易陷入局部極小,得到正確的結(jié)果.

    1 云模型

    云模型是定性定量間的不確定性轉(zhuǎn)移模型,它用期望值Ex、熵En和超熵He表征定性概念,將概念的模糊性和隨機(jī)性集成在一起,為定性與定量相結(jié)合的信息處理提供了有力手段.期望值Ex反應(yīng)了云層的重心位置;熵En反應(yīng)了云層的陡峭程度,En越小越陡峭;超熵He反應(yīng)了云層的厚度,He越大云層越厚,正態(tài)云模型的3個(gè)數(shù)字特征示意圖如圖1所示.圖1表示當(dāng)x=Ex時(shí)其確定度為1,當(dāng)x>Ex時(shí),確定度隨著x的增大而減小.要使遺傳算法的收斂速度加快,不易陷入局部極小,得到正確的結(jié)果,必須使適度值小的個(gè)體有較大的交叉概率和變異概率,適度值大的個(gè)體有相對(duì)較小的交叉概率和變異概率.從圖1可以看出當(dāng)x>Ex時(shí)云模型具有這一特點(diǎn),可以將x作為遺傳算法中兩交叉?zhèn)€體的最大適應(yīng)度以及變異個(gè)體的適應(yīng)度,確定度作為交叉概率和變異概率,并且云模型中云滴集中在區(qū)間[Ex-3En,Ex+3En],云層厚度為He,具有很好的隨機(jī)性和穩(wěn)定傾向性.

    圖1 正態(tài)云模型的3個(gè)數(shù)字特征示意圖Fig.1 Diagram of three digital characteristics about normal cloud model

    2 改進(jìn)BP算法原理

    2.1 標(biāo)準(zhǔn)BP算法

    1985年Rumlhart等人提出的BP算法是目前神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中使用最為普遍的算法,其主要思想是利用已知確定的樣本模式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,BP網(wǎng)絡(luò)的訓(xùn)練過程就是修正各層神經(jīng)元之間的連接權(quán)的系數(shù)過程.BP算法的學(xué)習(xí)過程由正向傳播和反向傳播組成,在正向傳播過程中,輸入信息要先從輸入層結(jié)點(diǎn)傳播到隱含層結(jié)點(diǎn),經(jīng)過作用函數(shù)后,再把隱含層結(jié)點(diǎn)的輸出信息傳播到輸出層結(jié)點(diǎn),最后給出輸出結(jié)果.如果在輸出層得不到期望輸出,則轉(zhuǎn)向反向傳播,將誤差信號(hào)沿原來的連接通路返回,通過修改各層神經(jīng)單元的權(quán)系數(shù)和閾值,使誤差信號(hào)最小.

    2.2 云自適應(yīng)遺傳BP算法

    標(biāo)準(zhǔn)BP算法將學(xué)習(xí)過程分為正向傳播和反向傳播兩個(gè)階段,正向傳播得到實(shí)際輸出結(jié)果,反向傳播用來修改權(quán)值和閾值.云自適應(yīng)遺傳BP算法首先利用標(biāo)準(zhǔn)BP算法試探出最好的隱層結(jié)點(diǎn)數(shù)以及正向傳播得到的實(shí)際輸出結(jié)果,然后利用CAG-BP算法在整體尋優(yōu)的特點(diǎn)調(diào)整網(wǎng)絡(luò)的權(quán)值以及閾值.

    2.2.1 編碼

    采用實(shí)數(shù)編碼,對(duì)于包含一層隱藏層模式為m-n-l多層神經(jīng)網(wǎng)絡(luò)共有q=m·n+n·l+n+l個(gè)權(quán)值和閾值需要優(yōu)化,其中m為輸入層結(jié)點(diǎn)數(shù),n為隱藏層結(jié)點(diǎn)數(shù),l為輸出層結(jié)點(diǎn)數(shù).將這q個(gè)權(quán)值和閾值記為W=(W1,W2,…,Wq),采用實(shí)數(shù)編碼,將行向量W看作是一條染色體,而其中每個(gè)實(shí)數(shù)Wi(i=1,2,…,q)是染色體的一個(gè)基因位.

    2.2.2 選擇

    采用輪盤賭和精英保留選擇策略.每個(gè)染色體產(chǎn)生后代的數(shù)目正比于它的適應(yīng)度的值的大小,并且每一代中染色體的總數(shù)保持不變,這種方法也稱為輪盤賭選擇.假設(shè)群體的大小為n,個(gè)體Ai的適應(yīng)度值為f(Ai),則個(gè)體Ai被選擇的概率P(Ai)為:顯然適應(yīng)度值高的個(gè)體被選中的概率越大,而且可能被選中;而適應(yīng)度低的個(gè)體則很有可能被淘汰.

    2.2.3 交叉

    隨機(jī)產(chǎn)生二串長(zhǎng)度為q的二進(jìn)制串,設(shè)有2個(gè)父代,P=(P1,P2,…,Pq) 以及M=(M1,M2,…,Mq),采用下面的方式得到兩個(gè)子代:C=(C1,C2,…,Cq) 和D=(D1,D2,…,Dq),用其中的一個(gè)二進(jìn)制串產(chǎn)生子代C,用另一個(gè)二進(jìn)制串產(chǎn)生子代D.具體方法如下:如果對(duì)應(yīng)二進(jìn)制位為1,則Ci為Pi,對(duì)應(yīng)二進(jìn)制位為0,則Ci為Mi;如果對(duì)應(yīng)二進(jìn)制位為1,則Di為Mi,對(duì)應(yīng)二進(jìn)制位為 0,則Di為Pi.

    改進(jìn)交叉概率pc如公式(1)所示,從公式(1)可以看出當(dāng)兩交叉?zhèn)€體的最大適應(yīng)度與群體平均適應(yīng)度相等時(shí),其交叉概率不為零;并且當(dāng)兩交叉?zhèn)€體的最大適應(yīng)度大于群體平均適應(yīng)度時(shí),適應(yīng)度越大交叉概率越小.

    2.2.4 變異

    變異采用非一致性變異算子[8],設(shè)父代W=(W1,W2,…,Wq),Wi被選出來作變異,若權(quán)值的變化范圍是(LW,HW),則變異結(jié)果為:W'=W1,W2,…,W'i,…,Wq,其中t是 群體演化的代數(shù),是

    交叉概率和變異概率中的ˉf為群體的平均適應(yīng)度,fmax為群體的最大適應(yīng)度,f為變異個(gè)體的適應(yīng)度,f'為兩交叉?zhèn)€體中的最大適應(yīng)度值,e、h和pi(i=1,2,3,4)為控制參數(shù),e用來控制云的陡峭程度,根據(jù)“3En”規(guī)則,一般取3,h用來控制云層的厚度,一般取10;pi可取0.9~1之間的常數(shù),實(shí)驗(yàn)過程中根據(jù)具體情況調(diào)節(jié)參數(shù)的值.

    2.2.5 適應(yīng)度函數(shù)

    遺傳算法搜索目標(biāo)是所有進(jìn)化代中使網(wǎng)絡(luò)均方差最小的網(wǎng)絡(luò)權(quán)重,而遺傳算法只能朝著使適應(yīng)度函數(shù)值增大的方向進(jìn)化.所以,可以根據(jù)產(chǎn)生的權(quán)值和閾值所對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)計(jì)算出BP網(wǎng)絡(luò)的均方差,適應(yīng)度函數(shù)采用均方差的倒數(shù),即:

    2.2.6 算法步驟

    CAG-BP算法具體過程如下:首先初始化CAGBP算法中各個(gè)參數(shù)的值,然后隨機(jī)產(chǎn)生一群染色體(個(gè)體),進(jìn)行實(shí)數(shù)編碼;接著依次輸入訓(xùn)練樣本,計(jì)算適應(yīng)度值,當(dāng)某代的最優(yōu)個(gè)體的適度值大于或等于預(yù)先給定的值,或者算法給定的迭代次數(shù)已用完,算法結(jié)束;否則按照以上2.2.2至2.2.4中提到的方法進(jìn)行選擇、交叉和變異,更新種群,直至算法結(jié)束.

    3 實(shí)驗(yàn)結(jié)果

    采用文獻(xiàn)[9]中提供的實(shí)驗(yàn)數(shù)據(jù),將4位自然二進(jìn)制碼轉(zhuǎn)化為四位格雷碼,加上噪音位共有32組數(shù)據(jù),32組數(shù)據(jù)如表1所示,用其中的28組數(shù)據(jù)進(jìn)行訓(xùn)練,剩余的4組數(shù)據(jù)用來測(cè)試.根據(jù)表1確定輸入層結(jié)點(diǎn)數(shù)為5,輸出層結(jié)點(diǎn)數(shù)為4,隱層單元數(shù)人工調(diào)節(jié),對(duì)隱藏層結(jié)點(diǎn)數(shù)為2~10的情況進(jìn)行了實(shí)驗(yàn),其中隱藏層結(jié)點(diǎn)數(shù)為8時(shí)獲得最好的效果.輸入數(shù)據(jù)中的第1位為噪音位,與輸出沒有關(guān)系,輸出只與輸入的后4位有關(guān).分別采用標(biāo)準(zhǔn)的BP算法和CAG-BP算法進(jìn)行訓(xùn)練,均方差MSE(Mean Square Error)設(shè)為10-4,經(jīng)過訓(xùn)練92次,CAG-BP算法收斂并且其MSE=0.000088,而標(biāo)準(zhǔn)的BP算法最好情況下則需要3437次,2種算法的迭代次數(shù)與MSE之間的曲線對(duì)比如圖2所示,很明顯CAG-BP算法在收斂速度上要遠(yuǎn)遠(yuǎn)優(yōu)于標(biāo)準(zhǔn)的BP算法.訓(xùn)練結(jié)束后,用剩余的4組數(shù)據(jù)進(jìn)行測(cè)試,CAG-BP算法的測(cè)試結(jié)果如表2,顯然,測(cè)試結(jié)果正確.一個(gè)在范圍(0,η)內(nèi)取值的函數(shù),T是演化的最大代數(shù),b是系統(tǒng)參數(shù),一般取2.

    表1 自然二進(jìn)制與格雷碼對(duì)照表Tab.1 Comparison table about natural binary and gray code

    改進(jìn)變異概率pm如公式(2)所示,從公式(2)可以看出當(dāng)變異個(gè)體的最大適應(yīng)度與群體平均適應(yīng)度相等時(shí),其變異概率不為零,并且當(dāng)變異個(gè)體的最大適應(yīng)度大于群體平均適應(yīng)度時(shí),適應(yīng)度越大變異概率越小.

    圖2 2種算法的迭代次數(shù)與MSE對(duì)比圖Fig.2 Comparison chart of iteration times and MSE of two algorithms

    表2 CAG-BP算法測(cè)試結(jié)果Tab.2 Test results of CAG-BP algorithm

    4 結(jié)語

    由X條件云發(fā)生器產(chǎn)生改進(jìn)的自適應(yīng)交叉概率和變異概率,能夠使適應(yīng)度大的采用小的交叉和變異概率,適應(yīng)度小的采用大的交叉和變異概率,在一定程度上保證群體的多樣性,避免早熟,提高其全局搜索能力.實(shí)驗(yàn)結(jié)果表明,CAG-BP利用了正態(tài)云模型云滴的隨機(jī)性和穩(wěn)定傾向性特點(diǎn),結(jié)合遺傳算法訓(xùn)練BP神經(jīng)網(wǎng)絡(luò),取得了比標(biāo)準(zhǔn)BP算法更優(yōu)的結(jié)果.

    [1]Liu Yanxi.The BP neural network classification method under Linex loss function and the application to face recognition[C]//IEEE.Proceedings of the IEEE International Conference on Computer and Automation Engineering (ICCAE) .Singapore: IEEE,2010:592-595.

    [2]Qu Bo,Gu Huijuan.IVC fault diagnosis based on the improved BP neural network[C]//IEEE.Proceedings of the IEEE International Conference on Industrial and Information Systems(IIS).Dalian:Industry Applications Society-IA,2010:256-258.

    [3]Li Hua,Zhao Jianping.Distributed intrusion detection system based on BP neural network[C]//IEEE.Proceedings of the IEEE International Conference on Computational Intelligence and Software Engineering.Sanya:CiSE,2009:1-6.

    [4]Wang Guangming,Zheng Xiangna.The unemployment rate forecastmodel basing on BP neural network[C]//IEEE.Proceedings of the IEEE International Conference on Electronic Computer Technology.Macau:IEEE,2009:475-478.

    [5]張立毅,劉 婷,孫云山,等.遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值盲均衡算法的研究[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(11):162-164.

    [6]施化吉,尹紀(jì)軍,李星毅,等.利用影響因子遺傳算法優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)[J].計(jì)算機(jī)應(yīng)用研究,2007,24(11):103-105.

    [7]劉常昱,李德毅,杜 鹢,等.正態(tài)云模型的統(tǒng)計(jì)分析[J].信息與控制,2005,34(2):236-239.

    [8]王保中,康立山,何 巍.基于實(shí)數(shù)編碼遺傳算法的多層神經(jīng)網(wǎng)絡(luò)BP算法[J].武漢大學(xué)學(xué)報(bào):自然科學(xué)版,1998,44(03):289-291.

    [9]Yan Taishan.An improved genetic algorithm and its blending application with neural network[C]//IEEE.Proceedings of the IEEE International Conference on Intelligent Systems and Applications.Wuhan:ISA,2010:1-4.

    猜你喜歡
    結(jié)點(diǎn)權(quán)值適應(yīng)度
    改進(jìn)的自適應(yīng)復(fù)制、交叉和突變遺傳算法
    一種融合時(shí)間權(quán)值和用戶行為序列的電影推薦模型
    CONTENTS
    Ladyzhenskaya流體力學(xué)方程組的確定模與確定結(jié)點(diǎn)個(gè)數(shù)估計(jì)
    基于權(quán)值動(dòng)量的RBM加速學(xué)習(xí)算法研究
    基于空調(diào)導(dǎo)風(fēng)板成型工藝的Kriging模型適應(yīng)度研究
    基于Raspberry PI為結(jié)點(diǎn)的天氣云測(cè)量網(wǎng)絡(luò)實(shí)現(xiàn)
    少數(shù)民族大學(xué)生文化適應(yīng)度調(diào)查
    自適應(yīng)遺傳算法的改進(jìn)與應(yīng)用*
    基于DHT全分布式P2P-SIP網(wǎng)絡(luò)電話穩(wěn)定性研究與設(shè)計(jì)
    柏乡县| 兖州市| 靖边县| 孝义市| 永新县| 云阳县| 宁河县| 金湖县| 黔江区| 东乡| 申扎县| 志丹县| 伽师县| 镇宁| 拜城县| 竹北市| 镇沅| 淅川县| 屏南县| 乌拉特后旗| 磐安县| 余干县| 正安县| 巴马| 溧水县| 台南市| 汽车| 桓仁| 东源县| 黄浦区| 蒲江县| 昭通市| 慈溪市| 胶南市| 泽州县| 鹤山市| 丰镇市| 论坛| 奉新县| 兴文县| 修文县|