基于快速密度聚類的RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

蒙西，喬俊飛，李文靜

（1. 北京工業(yè)大學(xué) 信息學(xué)部，北京 100124; 2. 北京工業(yè)大學(xué) 計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124）

徑向基函數(shù)(radial basis function，RBF)神經(jīng)網(wǎng)絡(luò)是一種模擬生物神經(jīng)元局部響應(yīng)特性的前饋神經(jīng)網(wǎng)絡(luò)，因其結(jié)構(gòu)簡(jiǎn)單且具有良好的非線性映射能力而被廣泛用于多個(gè)領(lǐng)域[1-6]。RBF神經(jīng)網(wǎng)絡(luò)構(gòu)建的核心問(wèn)題在于結(jié)構(gòu)設(shè)計(jì)[7]。早期隱含層結(jié)構(gòu)的確定多采用經(jīng)驗(yàn)試湊法，但此類方法很難在保證神經(jīng)網(wǎng)絡(luò)精度的前提下得到一個(gè)緊湊的網(wǎng)絡(luò)結(jié)構(gòu)。因此，許多學(xué)者針對(duì)RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)問(wèn)題展開了大量研究。

聚類算法常被用來(lái)確定RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，如 K-Means、Fuzzy C-Means (FCM)[8-10]等，該類算法能根據(jù)各聚類中心之間的距離確定隱含層神經(jīng)元的徑向作用范圍，但卻無(wú)法確定隱含層神經(jīng)元的個(gè)數(shù)，會(huì)影響神經(jīng)網(wǎng)絡(luò)的泛化能力。因此，根據(jù)研究對(duì)象自適應(yīng)設(shè)計(jì)RBF神經(jīng)網(wǎng)絡(luò)中隱含層神經(jīng)元的個(gè)數(shù)，提高網(wǎng)絡(luò)性能已成為當(dāng)前RBF神經(jīng)網(wǎng)絡(luò)研究的一個(gè)熱點(diǎn)。Platt[11]首次提出了一種結(jié)構(gòu)自適應(yīng)調(diào)整的RBF神經(jīng)網(wǎng)絡(luò)——資源分配網(wǎng)絡(luò)(resource allocation network，RAN)，該網(wǎng)絡(luò)能根據(jù)待處理任務(wù)動(dòng)態(tài)增加RBF神經(jīng)元，但容易導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)過(guò)大的問(wèn)題。在RAN的基礎(chǔ)上，Yingwei等構(gòu)建了最小資源神經(jīng)網(wǎng)絡(luò)(minimal resource allocation network，MRAN)[12]。在自適應(yīng)增加隱含層神經(jīng)元的同時(shí)，MRAN能通過(guò)刪減策略去除冗余神經(jīng)元，但該網(wǎng)絡(luò)收斂速度較慢。Huang等[13]提出了一種增長(zhǎng)修剪型RBF神經(jīng)網(wǎng)絡(luò)(growing and pruning RBF，GAPRBF)，該網(wǎng)絡(luò)基于神經(jīng)元的顯著性構(gòu)建隱含層結(jié)構(gòu)。文獻(xiàn)[14]中構(gòu)建了一種自組織RBF 神經(jīng)網(wǎng)絡(luò)(self-organizing RBF，SORBF)，SORBF 網(wǎng)絡(luò)基于RBF神經(jīng)元徑向作用范圍對(duì)隱含層結(jié)構(gòu)進(jìn)行自適應(yīng)增刪。GAP-RBF網(wǎng)絡(luò)和SORBF網(wǎng)絡(luò)中涉及的算法參數(shù)較多，對(duì)算法最優(yōu)參數(shù)的尋求會(huì)影響網(wǎng)絡(luò)的性能。Wilamowski等[15]基于誤差補(bǔ)償算法來(lái)構(gòu)建RBF神經(jīng)網(wǎng)絡(luò)(error-correction RBF，ErrCor-RBF)，實(shí)驗(yàn)表明該方法能獲得較精簡(jiǎn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但該網(wǎng)絡(luò)仍然需要通過(guò)大量的迭代尋求最優(yōu)結(jié)構(gòu)。

鑒于以上存在的問(wèn)題，結(jié)合RBF神經(jīng)元激活函數(shù)本身的特性，本文對(duì)一種快速密度聚類算法進(jìn)行了相應(yīng)的改進(jìn)，然后將其用于RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)中。同時(shí)，針對(duì)傳統(tǒng)梯度下降、算法收斂較慢且易陷入局部極小的問(wèn)題，結(jié)合結(jié)構(gòu)設(shè)計(jì)中確定的初始參數(shù)，選用改進(jìn)的二階梯度算法來(lái)訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)的收斂速度和泛化能力。最后，通過(guò)兩個(gè)基準(zhǔn)仿真實(shí)驗(yàn)驗(yàn)證，提出的基于快速密度聚類的RBF神經(jīng)網(wǎng)絡(luò)(fast density clustering RBF, FDC-RBF)，能夠以緊湊的網(wǎng)絡(luò)結(jié)構(gòu)和較快的收斂速度獲取較好的非線性映射能力。

1 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)是一種典型的前饋型神經(jīng)網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示(L個(gè)輸入神經(jīng)元，J個(gè)隱含層神經(jīng)元，M個(gè)輸出層神經(jīng)元)。隱含層激活函數(shù)為徑向基函數(shù)，常選用標(biāo)準(zhǔn)的高斯函數(shù)，即

其中： x =[x1x2···xL]T為 網(wǎng)絡(luò)輸入向量， cj為第j個(gè)神經(jīng)元的中心向量， σj為第j個(gè)神經(jīng)元的徑向作用范圍。輸出層第m個(gè)神經(jīng)元的輸出 ym為

式中： wjm為 第 j個(gè)隱層神經(jīng)元到第m個(gè)輸出神經(jīng)元的連接權(quán)值。

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 1 Structure of the RBF neural network

2 基于快速密度聚類的RBF神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

RBF神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)包括結(jié)構(gòu)構(gòu)建和參數(shù)訓(xùn)練兩部分。文中采用改進(jìn)的快速密度聚類算法確定網(wǎng)絡(luò)初始結(jié)構(gòu)和初始參數(shù)，在此基礎(chǔ)上，用一種改進(jìn)的二階梯度算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.1 快速密度聚類算法

聚類分析是基于相似度將樣本劃分成若干類別，目前大多數(shù)聚類算法普遍存在兩點(diǎn)不足：需要提前確定聚類的類別數(shù)；需要通過(guò)大量迭代來(lái)尋求最優(yōu)聚類結(jié)果。

針對(duì)以上問(wèn)題，Alex等[16]提出了一種快速密度聚類算法，該算法無(wú)需提前確定聚類類別數(shù)，通過(guò)尋找局部密度峰值作為聚類中心從而實(shí)現(xiàn)對(duì)數(shù)據(jù)樣本的快速聚類。

快速密度聚類算法的核心思想在于聚類中心被其他密度值較小的點(diǎn)緊緊包圍，且遠(yuǎn)離其他密度值較大的點(diǎn)。在聚類中心的尋找過(guò)程中，對(duì)于任一數(shù)據(jù)點(diǎn)i，需計(jì)算兩個(gè)值：每個(gè)點(diǎn)的局部密度值 ρi和該點(diǎn)到其他密度值較大點(diǎn)的最小距離 δi。數(shù)據(jù)點(diǎn)i的局部密度值計(jì)算公式為

式中：當(dāng) x ＜0 時(shí) ， χ (x)=1； 當(dāng) x ≥0 時(shí) ， χ (x)=0；dc為需要提前設(shè)定的截?cái)嗑嚯x。

數(shù)據(jù)點(diǎn)i到其他密度值較大點(diǎn)的最小距離 δi計(jì)算公式為

選出局部密度值較大和到其他點(diǎn)距離較小的點(diǎn)作為聚類中心，其他非中心數(shù)據(jù)樣本依次分配到距離其最近且密度值較大的聚類中心所在類，由此完成整個(gè)聚類過(guò)程。

可見，該算法的聚類過(guò)程是一步完成的無(wú)需通過(guò)多次迭代來(lái)尋求最優(yōu)結(jié)果。但其仍然存在兩點(diǎn)不足：聚類前需要獲取整個(gè)數(shù)據(jù)樣本，因而不利于實(shí)現(xiàn)在線聚類；聚類的效果受到截?cái)嗑嚯xdc的影響。

針對(duì)以上問(wèn)題，結(jié)合高斯函數(shù)的特性，對(duì)該算法進(jìn)行了一定的改進(jìn)，并將其運(yùn)用于RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)中。

2.2 基于快速密度聚類算法的RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

類似于快速密度聚類算法，本文通過(guò)尋找局部密度值較大的點(diǎn)作為隱含層神經(jīng)元中心，進(jìn)而確定RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。針對(duì)快速密度聚類算法需要預(yù)先知道所有的數(shù)據(jù)樣本且聚類效果受到截?cái)嗑嚯x影響的問(wèn)題，本文做出相應(yīng)的改進(jìn)。

1) 由于RBF神經(jīng)元的激活函數(shù)為高斯函數(shù)，引入隱含層神經(jīng)元活性評(píng)價(jià)指標(biāo)如下：

式中： A Cij為第j個(gè)隱含層神經(jīng)元被第i個(gè)樣本激活后的活性，AC值越大，神經(jīng)元的活性越強(qiáng)；V為神經(jīng)元活性閾值，以保證隱含層神經(jīng)元的活性足夠大。輸入向量、中心向量、徑向作用范圍需要滿足以下關(guān)系：

即輸入向量與隱含層神經(jīng)元的中心向量間的距離需要滿足以下關(guān)系：

式中神經(jīng)元活性閾值V根據(jù)實(shí)驗(yàn)進(jìn)行取值。因此截?cái)嗑嚯x與神經(jīng)元的徑向作用范圍以及神經(jīng)元的活性相關(guān)。

2) 為了實(shí)現(xiàn)在線聚類，本文在確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，訓(xùn)練樣本依次進(jìn)入神經(jīng)網(wǎng)絡(luò)對(duì)結(jié)構(gòu)進(jìn)行調(diào)整：增加一個(gè)隱含層神經(jīng)元或?qū)σ延械碾[含層神經(jīng)元進(jìn)行調(diào)整。

文中隱含層結(jié)構(gòu)設(shè)計(jì)的核心思想在于：判斷當(dāng)前樣本在激活其最近隱含層神經(jīng)元時(shí)是否能保證該神經(jīng)元具有足夠的活性。如果能保證其活性則能歸入當(dāng)前隱含層神經(jīng)元所在類，反之則不能；其次，通過(guò)密度比較，將密度較大的點(diǎn)作為隱含層神經(jīng)元。

因此文中基于快速密度聚類的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)可以分為兩種情況：神經(jīng)元增長(zhǎng)機(jī)制；神經(jīng)元調(diào)節(jié)機(jī)制。

設(shè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本是由P個(gè)輸入輸出對(duì)(x,yd)組 成，其中，x 為 L維輸入向量， yd為相對(duì)應(yīng)的M維期望輸出。初始時(shí)刻，網(wǎng)絡(luò)隱含層的神經(jīng)元個(gè)數(shù)為0。

①神經(jīng)元增長(zhǎng)機(jī)制

把第一個(gè)數(shù)據(jù)樣本作為第一個(gè)隱含層神經(jīng)元中心，同時(shí)設(shè)定相應(yīng)的徑向作用范圍和輸出權(quán)值。

在k時(shí)刻，假設(shè)已經(jīng)存在j個(gè)隱含層神經(jīng)元，當(dāng)?shù)趉個(gè)數(shù)據(jù)樣本進(jìn)入網(wǎng)絡(luò)時(shí)，找到距離當(dāng)前樣本最近的隱含層神經(jīng)元kmin：

在k時(shí)刻，若 D ≤σkmin，則認(rèn)為當(dāng)前網(wǎng)絡(luò)能夠?qū)π聵颖具M(jìn)行學(xué)習(xí)，比較當(dāng)前樣本與該隱含層神經(jīng)元的局部密度值，選出密度值較大的點(diǎn)作為新的隱含層神經(jīng)元，數(shù)據(jù)點(diǎn)i的局部密度計(jì)算公式為

式中： xj是 ci作用范圍內(nèi)所包括的樣本點(diǎn)；di是該數(shù)據(jù)點(diǎn)的局部作用范圍。

從式(16)可以看出，若一個(gè)數(shù)據(jù)點(diǎn)的局部密度值越大，代表該點(diǎn)附近聚集的樣本點(diǎn)越多；同理，,隱含層神經(jīng)元密度越大，則代表該神經(jīng)元激活的樣本數(shù)越多。

將當(dāng)前輸入樣本點(diǎn)k的局部密度值與隱含層神經(jīng)元kmin的局部密度值進(jìn)行比較：

若 Pk＞Pkmin，則當(dāng)前輸入樣本替換已有的隱含層神經(jīng)元，成為新的隱含層神經(jīng)元，初始參數(shù)設(shè)置為式中： xkmin表示第kmin個(gè)隱含層神經(jīng)元激活的所有樣本； nkmin表示激活的樣本數(shù)量。

反之，若 Pj≤Pkmin，則已有的隱含層神經(jīng)元不變，只需調(diào)整該神經(jīng)元的徑向作用范圍以及到輸出層的連接權(quán)值，見式(18)～(19)。

由此，可以得到FDC-RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)算法如下：

1)初始時(shí)刻，隱含層神經(jīng)元個(gè)數(shù)為0。

2)當(dāng)?shù)?個(gè)樣本進(jìn)入網(wǎng)絡(luò)后，將其作為第1個(gè)隱含層神經(jīng)元，并按照式(8)～(10)對(duì)其中心、徑向作用范圍和連接權(quán)值進(jìn)行設(shè)置。

3)當(dāng)?shù)趉個(gè)樣本進(jìn)入網(wǎng)絡(luò)后，計(jì)算其與當(dāng)前所有隱含層神經(jīng)元的距離，找出與第k個(gè)樣本距離最近的隱含層神經(jīng)元kmin。

4)判斷輸入樣本是否能保證第kmin個(gè)神經(jīng)元的活性，若不能保證則為網(wǎng)絡(luò)新增加一個(gè)隱含層神經(jīng)元，并按照式(13)～(15)賦予初始參數(shù)，然后轉(zhuǎn)向6)；否則，執(zhí)行下一步。

5)若能保證神經(jīng)元活性，則比較當(dāng)前樣本與最近隱含層神經(jīng)元的局部密度值，選出密度值較大的點(diǎn)作為新的隱含層神經(jīng)元，按照式(17)～(19)對(duì)中心、徑向作用范圍和權(quán)值進(jìn)行更新，轉(zhuǎn)向6)。

6)若所有的樣本比較完畢，則神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定；否則，k=k+1，轉(zhuǎn)向 3)。

該算法將快速密度聚類的思想用于RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，并結(jié)合高斯函數(shù)特性進(jìn)行相應(yīng)改進(jìn)，使網(wǎng)絡(luò)具有緊湊的結(jié)構(gòu)。同時(shí)，結(jié)構(gòu)構(gòu)建過(guò)程中設(shè)定的較優(yōu)的初始參數(shù)又能提高網(wǎng)絡(luò)的收斂速度。

2.3 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

確定網(wǎng)絡(luò)結(jié)構(gòu)后，需要對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。本文用一種改進(jìn)的二階算法對(duì)RBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提高了網(wǎng)絡(luò)的收斂速度和泛化能力。傳統(tǒng)的LM算法更新規(guī)則如式(20)所示[17]：

式中：Δ指所有需要調(diào)整的參數(shù)(中心向量、徑向作用范圍、連接權(quán)值)；J為雅克比矩陣；e為誤差向量；I是單位矩陣；μ為學(xué)習(xí)率參數(shù)。

誤差向量計(jì)算公式為

式中：P是樣本數(shù)量，M是輸出向量維數(shù)， ydpm和ypm分別是第p個(gè)樣本進(jìn)入時(shí)第m個(gè)輸出神經(jīng)元對(duì)應(yīng)的期望輸出和實(shí)際輸出。

雅克比矩陣計(jì)算公式為

式中N是算法中所有參數(shù)的個(gè)數(shù)。

由式(23)可以看出，在LM算法的執(zhí)行過(guò)程中，雅克比矩陣的計(jì)算與訓(xùn)練樣本數(shù)量、參數(shù)個(gè)數(shù)以及輸出向量的維數(shù)都有關(guān)。當(dāng)樣本數(shù)量過(guò)多時(shí)，則會(huì)影響算法的收斂速度。

針對(duì)以上問(wèn)題，本文用一種改進(jìn)的二階算法對(duì)RBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提高了神經(jīng)網(wǎng)絡(luò)的收斂速度。改進(jìn)二階算法的更新規(guī)則為[18]

為了克服傳統(tǒng)LM算法中存在的不足，減小存儲(chǔ)空間，提高收斂速度，將類海森矩陣的計(jì)算轉(zhuǎn)化為P×M個(gè)子矩陣的和，如式(25)、(26)所示：

同樣，將梯度向量的計(jì)算也轉(zhuǎn)化為P×M個(gè)子向量的和：

這樣，對(duì)類海森矩陣和梯度向量的計(jì)算就轉(zhuǎn)化為對(duì)雅克比分量的計(jì)算：

聯(lián)立式(1)、(2)、(24)，對(duì)雅克比分量中每個(gè)參數(shù)的偏微分計(jì)算如下：

訓(xùn)練過(guò)程中，學(xué)習(xí)率參數(shù)μ隨著誤差的變化自適應(yīng)調(diào)整。如果后一時(shí)刻的誤差小于前一時(shí)刻的誤差，則μ值減小，并保留當(dāng)前訓(xùn)練后的各參數(shù)值；反之，則μ值增大，各參數(shù)值恢復(fù)到調(diào)整前的值。

3 仿真實(shí)驗(yàn)

文中選用非線性函數(shù)逼近和非線性動(dòng)態(tài)系統(tǒng)辨識(shí)兩個(gè)基準(zhǔn)實(shí)驗(yàn)對(duì)FDC-RBF網(wǎng)絡(luò)進(jìn)行仿真驗(yàn)證，并與其他算法進(jìn)行了對(duì)比。

3.1 非線性函數(shù)sinE逼近

選取的典型非線性函數(shù)sinE為

式中 0 ≤x≤2。非線性函數(shù)sinE經(jīng)常被用來(lái)檢驗(yàn)RBF神經(jīng)網(wǎng)絡(luò)的性能。

隨機(jī)選取200個(gè)樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，200個(gè)樣本進(jìn)行測(cè)試，訓(xùn)練的期望均方誤差(mean square error，MSE)設(shè)為0.01，神經(jīng)元活性閾值V設(shè)為0.55。用改進(jìn)的二階算法訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)測(cè)試效果如圖2所示，隱含層神經(jīng)元數(shù)的變化如圖3所示，二階算法學(xué)習(xí)性能曲線如圖4所示。此外，為了驗(yàn)證不同的學(xué)習(xí)算法對(duì)神經(jīng)網(wǎng)絡(luò)性能的影響，在RBF網(wǎng)絡(luò)初始結(jié)構(gòu)確定后，又用梯度下降法對(duì)該網(wǎng)絡(luò)進(jìn)行了訓(xùn)練，學(xué)習(xí)性能曲線如圖5所示。

由圖2可以看出，訓(xùn)練后的FDC-RBF網(wǎng)絡(luò)能夠較好地?cái)M合sinE曲線。從圖4和圖5的對(duì)比可以看出，梯度下降算法需要在第45步左右才能完全收斂，而改進(jìn)的二階算法在第13步就已完全收斂。由此可以看出，當(dāng)用改進(jìn)的二階算法訓(xùn)練該網(wǎng)絡(luò)時(shí)，收斂速度大大提高了。

圖2 函數(shù)逼近效果圖Fig. 2 Results of the function approximation problem

圖3 隱含層神經(jīng)元變化曲線Fig. 3 Structure construction process of the FDC-RBF network

圖4 二階算法學(xué)習(xí)性能曲線Fig. 4 Performance curve of the second-order learning algorithm

圖5 梯度下降學(xué)習(xí)性能曲線Fig. 5 Performance curve of the gradient descent algorithm

同時(shí)，為了顯示FDC-RBF網(wǎng)絡(luò)的優(yōu)良性，本文將其與 DFNN[19]、GAP-RBF[13]、SORBF[14]、ART-RBF[20]進(jìn)行了對(duì)比，如表1所示。結(jié)果顯示，與DFNN、GAP-RBF、SORBF相比，基于本文提出的算法設(shè)計(jì)的網(wǎng)絡(luò)隱含層神經(jīng)元個(gè)數(shù)要少于以上網(wǎng)絡(luò)，結(jié)構(gòu)要更為精簡(jiǎn)；同時(shí)，與其他4種網(wǎng)絡(luò)相比，F(xiàn)DC-RBF網(wǎng)絡(luò)收斂速度更快，訓(xùn)練時(shí)間更短；此外，從測(cè)試誤差的對(duì)比可以看出，F(xiàn)DC-RBF網(wǎng)絡(luò)的測(cè)試誤差也要小于其他算法。因此可以得出，F(xiàn)DC-RBF神經(jīng)網(wǎng)絡(luò)在逼近該非線性函數(shù)時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)較其他算法更為精簡(jiǎn)，收斂速度更快，泛化能力更好。

表1 函數(shù)逼近實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Performance comparison for the function approximation problem

3.2 非線性系統(tǒng)動(dòng)態(tài)辨識(shí)

非線性動(dòng)態(tài)系統(tǒng)辨識(shí)常被用來(lái)驗(yàn)證所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)的性能，文中的非線性系統(tǒng)由式(34)表示：

式中： u (t)=sin(2πt/25),t∈ [1,400],y(0)=0,y(1)=0。選取100個(gè)點(diǎn)作為訓(xùn)練樣本，其中 t ∈[1,100]，另外選取100個(gè)點(diǎn)作為測(cè)試樣本，其中 t ∈[301,400]，訓(xùn)練的期望均方誤差MSE設(shè)為0.01，神經(jīng)元活性閾值V設(shè)為0.33。FDC-RBF網(wǎng)絡(luò)的辨識(shí)結(jié)果如圖6所示，其中用改進(jìn)的二階算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能曲線如圖7所示，隱含層神經(jīng)元個(gè)數(shù)的變化如圖8所示。

圖6 系統(tǒng)辨識(shí)結(jié)果Fig. 6 Results of the system identification problem

圖7 二階算法學(xué)習(xí)性能曲線Fig. 7 Performance curve of the second-order learning algorithm

圖8 隱含層神經(jīng)元變化曲線Fig. 8 Structure construction process of the FDC-RBF network

由圖6可以看出，F(xiàn)DC-RBF網(wǎng)絡(luò)能夠較好地辨識(shí)該非線性系統(tǒng)。同時(shí)，從圖7的學(xué)習(xí)性能曲線變化可以看到，訓(xùn)練過(guò)程中，當(dāng)?shù)降?步后網(wǎng)絡(luò)完全收斂，由此可以看出，所設(shè)計(jì)網(wǎng)絡(luò)的收斂速度非?？?。

此外，本文還將FDC-RBF網(wǎng)絡(luò)的非線性系統(tǒng)辨識(shí)結(jié)果與其他算法進(jìn)行了對(duì)比，結(jié)果如表2所示。

表2 系統(tǒng)辨識(shí)實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Performance comparison for the dynamic system identification problem

從對(duì)比結(jié)果可以看出，與其他網(wǎng)絡(luò)相比，F(xiàn)DCRBF網(wǎng)絡(luò)的訓(xùn)練時(shí)間要優(yōu)于其他網(wǎng)絡(luò)。同時(shí)，即使在期望的訓(xùn)練誤差設(shè)為0.01的情況下，測(cè)試誤差仍然能達(dá)到0.009 6，由此可以看到，該網(wǎng)絡(luò)的辨識(shí)效果要好于其他網(wǎng)絡(luò)。雖然隱含層神經(jīng)元個(gè)數(shù)要多于SORBF和ART-RBF，但網(wǎng)絡(luò)結(jié)構(gòu)卻仍然要比GAP-RBF與DFNN精簡(jiǎn)。由此可以得出，在用FDC-RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行非線性動(dòng)態(tài)系統(tǒng)辨識(shí)時(shí)，能夠在保證結(jié)構(gòu)精簡(jiǎn)的前提下用較快的時(shí)間達(dá)到最好的泛化能力。

4 結(jié)束語(yǔ)

針對(duì)RBF網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)問(wèn)題，本文將快速密度聚類算法進(jìn)行了相應(yīng)改進(jìn)，在保證神經(jīng)元活性的前提下通過(guò)尋找局部密度值較大的點(diǎn)來(lái)確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；同時(shí)，基于結(jié)構(gòu)設(shè)計(jì)所確定的初始參數(shù)，用改進(jìn)的二階梯度算法對(duì)所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；最后，通過(guò)非線性函數(shù)逼近和非線性系統(tǒng)辨識(shí)兩個(gè)基準(zhǔn)實(shí)驗(yàn)進(jìn)行仿真驗(yàn)證得到以下結(jié)論：

1)文中提出的RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)算法不依賴于全部的訓(xùn)練樣本，能夠根據(jù)實(shí)際任務(wù)自適應(yīng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)；

2)通過(guò)保證神經(jīng)元活性和尋求密度最大的點(diǎn)作為隱含層神經(jīng)元，最終獲得的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)精簡(jiǎn)且泛化能力好；

3)結(jié)合結(jié)構(gòu)設(shè)計(jì)中所確定的初始參數(shù)，用改進(jìn)的二階梯度算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，大大提高了收斂速度，縮短了訓(xùn)練時(shí)間。

盡管FDC-RBF網(wǎng)絡(luò)在非線性函數(shù)逼近和非線性系統(tǒng)動(dòng)態(tài)辨識(shí)中取得了較好的效果，但其解決實(shí)際問(wèn)題的能力還有待進(jìn)一步驗(yàn)證。