改進(jìn)的小腦模型神經(jīng)網(wǎng)絡(luò)及其在時(shí)間序列預(yù)測(cè)中的應(yīng)用

喬俊飛，董敬嬌，李文靜

(北京工業(yè)大學(xué)信息學(xué)部計(jì)算智能與智能系統(tǒng)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124)

小腦的功能是指揮肢體運(yùn)動(dòng)，在控制肢體運(yùn)動(dòng)的過程中不假思索就能做出條件反射. 小腦模型神經(jīng)網(wǎng)絡(luò)(cerebellar model neural network,CMNN)就是一種模擬條件反射快速做出聯(lián)想的網(wǎng)絡(luò)，它原本是一種控制裝置，被用于控制機(jī)器人的運(yùn)動(dòng)[1]，滿足研究人員初期對(duì)一種在實(shí)時(shí)性上表現(xiàn)良好的網(wǎng)絡(luò)的需求，由此引起人們的關(guān)注. 近年來，CMNN除被應(yīng)用于控制領(lǐng)域外，還逐漸被應(yīng)用于系統(tǒng)辨識(shí)、機(jī)器學(xué)習(xí)等建模領(lǐng)域. 在建模領(lǐng)域中CMNN的一個(gè)重要的應(yīng)用場(chǎng)合便是非線性系統(tǒng)的時(shí)間序列預(yù)測(cè). 從統(tǒng)計(jì)學(xué)方面看，時(shí)間序列預(yù)測(cè)是某一狀態(tài)變量或某一指標(biāo)在不同時(shí)間點(diǎn)所觀察到的數(shù)值按時(shí)間前后排列成的數(shù)列；從系統(tǒng)方面看，時(shí)間序列是所觀測(cè)的系統(tǒng)在不同時(shí)刻上的響應(yīng)值的排列，其中，觀測(cè)數(shù)據(jù)之間的時(shí)間間隔是相同的[2]. 研究時(shí)間序列的主要目的是進(jìn)行預(yù)測(cè)，更準(zhǔn)確地控制和干預(yù)動(dòng)態(tài)系統(tǒng)未來實(shí)況. 時(shí)間序列中涵蓋了觀測(cè)的狀態(tài)變量或研究的系統(tǒng)的歷史信息，根據(jù)這些歷史數(shù)據(jù)的變化規(guī)律來得知系統(tǒng)未來的變化情況，從而可以有預(yù)見性地改善系統(tǒng)的性能，達(dá)到預(yù)測(cè)效果. 預(yù)測(cè)的時(shí)間序列如果取自線性系統(tǒng)，則可以用線性方法解決,但實(shí)際場(chǎng)景中獲得的時(shí)間序列基本是非線性的，因此，其數(shù)據(jù)信息也具有隨機(jī)不確定、時(shí)變性的特點(diǎn)，此時(shí)，再利用一些經(jīng)典的線性方法進(jìn)行預(yù)測(cè)顯然不是很有效. 于是，非線性方法引起了眾多學(xué)者的重視，神經(jīng)網(wǎng)絡(luò)便是其中方法之一. 在人工神經(jīng)網(wǎng)絡(luò)中，反向傳播(back propagation，BP)網(wǎng)絡(luò)雖然具有良好的非線性映射能力，但是該網(wǎng)絡(luò)在收斂性能上表現(xiàn)較差[3]. 而CMNN與其他神經(jīng)網(wǎng)絡(luò)相比，其優(yōu)勢(shì)明顯：CMNN非線性逼近器對(duì)數(shù)據(jù)出現(xiàn)的次序不敏感，并且具有良好的實(shí)時(shí)性，收斂速度較快. 這些特性使它比一般的神經(jīng)網(wǎng)絡(luò)具有更好的非線性逼近能力，非常適合解決非線性動(dòng)態(tài)系統(tǒng)的時(shí)間序列預(yù)測(cè)問題.

但是CMNN進(jìn)行學(xué)習(xí)時(shí)，不能對(duì)一些定性的基本知識(shí)進(jìn)行表述，并且網(wǎng)絡(luò)權(quán)重的初始條件設(shè)置具有隨機(jī)性，這就可能會(huì)使網(wǎng)絡(luò)陷入局部極值. 其次，CMNN存在的一個(gè)主要問題是泛化能力和存儲(chǔ)單元容量之間的矛盾. 具體而言，存儲(chǔ)容量會(huì)隨輸入維數(shù)的增加而呈指數(shù)增長(zhǎng)[4]，存儲(chǔ)空間容量的大小也可通過量化級(jí)數(shù)這個(gè)參數(shù)來反映，量化級(jí)數(shù)表示輸入變量激活的存儲(chǔ)單元的層數(shù). 理論上，增加網(wǎng)絡(luò)輸入變量的分級(jí)個(gè)數(shù)就會(huì)相應(yīng)地增加量化級(jí)數(shù)，最終會(huì)提高CMNN的泛化能力；實(shí)際上，CMNN接收域函數(shù)是零階的，即接收域是矩形的，網(wǎng)絡(luò)的映射輸出表達(dá)易出現(xiàn)不連續(xù)，因此，通過增加量化級(jí)數(shù)來提高網(wǎng)絡(luò)的泛化能力，會(huì)導(dǎo)致CMNN最終無法有效學(xué)習(xí)，稱之為泛化能力與存儲(chǔ)容量之間存在矛盾. 因此，當(dāng)輸入變量維數(shù)增加，量化級(jí)數(shù)相應(yīng)增大，網(wǎng)絡(luò)仍然可達(dá)到一個(gè)良好的逼近精度，對(duì)CMNN的建模研究具有很大意義.

針對(duì)上述CMNN存在的問題，許多專家學(xué)者提出了在網(wǎng)絡(luò)中加入模糊邏輯的思想. 模糊邏輯相對(duì)可以很好地表述定性知識(shí)，跟人對(duì)事物的認(rèn)知模式相似，但是模糊邏輯學(xué)習(xí)性差，只能根據(jù)專家經(jīng)驗(yàn)或知識(shí)產(chǎn)生的模糊規(guī)則對(duì)它們進(jìn)行修改，試湊地選擇隸屬度函數(shù). 綜合CMNN和模糊邏輯兩者的特點(diǎn)，可以在一定程度上將它們進(jìn)行結(jié)合. 鄧志東等[5]基于Takagi型推理思想，構(gòu)建了一種與CMNN相似的模糊網(wǎng)絡(luò)，具備模糊性質(zhì)，一定程度上彌補(bǔ)了CMNN的不足，但是該網(wǎng)絡(luò)刪減了CMNN的地址映射方式，致使網(wǎng)絡(luò)的響應(yīng)能力大大減弱. Wang等[6]、王琳等[7]和Guo等[8]基于測(cè)量相近的程度和學(xué)習(xí)的競(jìng)爭(zhēng)性，構(gòu)建了一種具備組織性質(zhì)的模糊CMNN，有效應(yīng)對(duì)了模型在選取存儲(chǔ)空間單元參量時(shí)的復(fù)雜程度，但是由于利用了競(jìng)爭(zhēng)學(xué)習(xí)，學(xué)習(xí)過程比較復(fù)雜. 周旭東等[9-10]將原始CMNN與模糊邏輯融為一體，構(gòu)建了一種模糊CMNN,該網(wǎng)絡(luò)保留了CMNN的尋址方式，在響應(yīng)上不僅表現(xiàn)迅速，而且在逼近性上表現(xiàn)也較佳，缺陷在于網(wǎng)絡(luò)仿真前需要設(shè)定好隸屬度函數(shù)數(shù)值的大小，網(wǎng)絡(luò)應(yīng)用具有局限性. 因此，構(gòu)建一種網(wǎng)絡(luò)，使其在保留CMNN地址映射的基礎(chǔ)上，將接收域函數(shù)改用模糊隸屬度函數(shù)并使網(wǎng)絡(luò)具有普遍意義，是一個(gè)需要解決的問題.

基于以上研究背景的分析，本文構(gòu)建了一種改進(jìn)的CMNN模型，即模糊隸屬度小腦模型神經(jīng)網(wǎng)絡(luò)(fuzzy membership cerebellar model neural network, FM-CMNN). FM-CMNN保留CMNN特有的尋址方式，在CMNN的聯(lián)想存儲(chǔ)單元中引入具有普遍意義的鈴型模糊隸屬度函數(shù)，作為感受野的激勵(lì)函數(shù)，使CMNN變成一種帶隸屬度的查表方法，網(wǎng)絡(luò)的映射輸出具有連續(xù)性，從而使FM-CMNN在量化級(jí)數(shù)增大時(shí)仍具有較好的學(xué)習(xí)能力，克服了經(jīng)典網(wǎng)絡(luò)中泛化能力與存儲(chǔ)空間容量的沖突. 本文選用非線性系統(tǒng)辨識(shí)和有關(guān)污水處理中的參量作為預(yù)測(cè)實(shí)驗(yàn)，證實(shí)該網(wǎng)絡(luò)具有較高的測(cè)試精確度.

1 CMNN結(jié)構(gòu)

CMNN的結(jié)構(gòu)由輸入層、存儲(chǔ)空間、輸出層3層組成，如圖1所示. 它的結(jié)構(gòu)本質(zhì)是一種使用地址映射的具備搜索特性的表格系統(tǒng).

圖1 傳統(tǒng)CMNN結(jié)構(gòu)Fig.1 Structure of traditional CMNN

輸入層是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的輸入變量的集合，用于對(duì)輸入變量進(jìn)行劃分與量化，目的是將其映射到下一層的存儲(chǔ)空間. 存儲(chǔ)空間由聯(lián)想和實(shí)際2個(gè)子存儲(chǔ)空間構(gòu)成，主要用于存儲(chǔ)輸入向量的映射值和網(wǎng)絡(luò)的權(quán)值[11-13]. 輸入向量被量化后首先映射到聯(lián)想存儲(chǔ)空間(lenovo storage space，LSS)，LSS中分散存儲(chǔ)著輸入向量，距離較近的輸入向量所激活的LSS中的存儲(chǔ)單元會(huì)有重疊現(xiàn)象，反之，存儲(chǔ)單元互相獨(dú)立，輸入變量激活的LSS中的存儲(chǔ)單元的個(gè)數(shù)稱為泛化系數(shù)C. 然而，大部分存儲(chǔ)單元中并不會(huì)包含輸入層中所有的可能狀態(tài)，需要?jiǎng)h減一部分存儲(chǔ)單元[14]，因此，通過壓縮編碼的方式將輸入變量激活的LSS中的C個(gè)存儲(chǔ)單元映射到實(shí)際存儲(chǔ)空間(actual storage space，ASS)中的C個(gè)存儲(chǔ)單元，實(shí)際存儲(chǔ)區(qū)域?qū)?yīng)存放激活單元的權(quán)重. 輸出層用于計(jì)算網(wǎng)絡(luò)的輸出值，輸出值的大小等于激活單元的權(quán)值之和，此外，因?yàn)镃MNN權(quán)重的初始條件設(shè)置的隨機(jī)性并不會(huì)影響網(wǎng)絡(luò)學(xué)習(xí)的收斂情況，所以具有自適應(yīng)性[15].

為充分考慮已學(xué)習(xí)知識(shí)的可信程度，首先要對(duì)現(xiàn)有的傳統(tǒng)CMNN進(jìn)行分級(jí)量化[16-17].分級(jí)量化的操作是：不同變量的同一級(jí)的不同塊組合成存儲(chǔ)空間，存放變量映射值.以二維輸入變量為例，假設(shè)二維輸入變量x1和x2分別分成3個(gè)量化級(jí)，每級(jí)又由3塊組成，變量x1每一級(jí)的塊組合分別為：{A，B，C}、{D，E，F(xiàn)}、{G，H，I}.變量x2每一級(jí)的塊組合分別為：{a，b，c}、{d，e，f}、{g，h，i}.塊的長(zhǎng)度不等，但每級(jí)長(zhǎng)度相等.不處于同一級(jí)的塊則不能合成存儲(chǔ)空間單元[18].以第1級(jí)為例，它可以組成的存儲(chǔ)空間單元是Aa、Ba、Ca、Ab、Bb、Cb、Ac、Bc、Cc.其余每級(jí)的存儲(chǔ)單元構(gòu)成過程同理.設(shè)m為狀態(tài)變量的量化級(jí)數(shù)，N為存儲(chǔ)單元的個(gè)數(shù)，所以該例中m=3，N=27，并可知，每個(gè)輸入變量存儲(chǔ)在m個(gè)存儲(chǔ)空間中，用aj表示第j個(gè)存儲(chǔ)單元的激活情況，當(dāng)?shù)趈個(gè)存儲(chǔ)單元被激活時(shí)，其值為1，反之為0，即

2 改進(jìn)的CMNN結(jié)構(gòu)及其學(xué)習(xí)算法

2.1 FM-CMNN模型

改進(jìn)的CMNN共由5層組成，分別是輸入空間、模糊化空間、LSS、ASS和輸出空間，F(xiàn)M-CMNN的結(jié)構(gòu)如圖2所示.

圖2 FM-CMNN結(jié)構(gòu)Fig.2 Structure of FM-CMNN

輸入變量與LSS之間的地址映射先后由2步完成，分別是輸入空間到模糊化空間的映射和模糊化空間到LSS的映射.LSS的激勵(lì)函數(shù)選擇鈴型隸屬度函數(shù),由于只調(diào)整被激活單元的權(quán)值，所以，只確定相應(yīng)激活存儲(chǔ)單元的函數(shù)值，這在一定程度上減少了函數(shù)的計(jì)算量.

2.1.1 輸入單元的劃分與量化

輸入層中接收到的輸入變量可能是數(shù)字量，也可能是模擬量，當(dāng)輸入變量是數(shù)字量時(shí)，可以直接映射到存儲(chǔ)空間，但輸入變量如果是模擬量，需要進(jìn)行量化處理后再映射到存儲(chǔ)區(qū)域，下面對(duì)輸入變量為模擬量的情況進(jìn)行說明.假設(shè)一組輸入變量X=[x1,x2,…，xn]T，輸入變量是一個(gè)有限的空間，定義為：Xi={xi:xi,min≤xi≤xi,max}，可將該區(qū)間進(jìn)一步劃分：xi,min≤xi,1≤xi,2≤…≤xi,N≤xi,max，分別對(duì)應(yīng)模糊語言變量負(fù)大、負(fù)中、負(fù)小、零、正小、正中、正大.當(dāng)輸入變量為模擬量時(shí)，需要對(duì)變量x進(jìn)行相應(yīng)的量化處理，將其量化為0～n-1的一個(gè)整數(shù)，這個(gè)處理操作與輸入變量映射到哪個(gè)存儲(chǔ)區(qū)域有關(guān)，其中關(guān)鍵一步是選定量化函數(shù)，量化函數(shù)有線性和非線性之分，為方便計(jì)算，在此取量化函數(shù)是線性的，公式為

(1)

式中：xmin和xmax分別為量化變量的最小值和最大值，一般設(shè)置為-1和1；M為量化系數(shù)，其大小取決于激活的區(qū)域單元的量化級(jí)數(shù)和每級(jí)包含的塊數(shù).

在此，定義輸入變量的分辨率為

(2)

由此可知，輸入分辨率與輸入變量量化的最大值、最小值和量化系數(shù)有關(guān).

2.1.2 模糊化空間

1) 計(jì)算狀態(tài)變量映射單元的地址

模糊化層不可能包含所有的輸入狀態(tài)，輸入狀態(tài)變量激活的單元的地址映射方法有很多種，比如傳統(tǒng)CMNN中LSS到ASS的地址映射方法采用Hash編碼的方式[19]，本文綜合分析后選擇的模糊化層被激活單元的地址計(jì)算方法為

(3)

式中：m為輸入變量的量化級(jí)數(shù)，等于激活單元的個(gè)數(shù)；nb為每級(jí)包含的塊數(shù).

2) 模糊隸屬度函數(shù)的選擇

模糊集合的隸屬度函數(shù)有數(shù)值表達(dá)和函數(shù)表達(dá)2類表達(dá)方式，由于數(shù)值表達(dá)方式適用于輸入變量為離散、變量個(gè)數(shù)為有限的情況，并且基于非線性系統(tǒng)建模的研究背景，本文采用函數(shù)表達(dá)方式.模糊隸屬度函數(shù)的表現(xiàn)形式也有很多種，最常見的有正態(tài)函數(shù)、鈴型函數(shù)(也稱三角形函數(shù))和梯形函數(shù)[20].曾有研究者引用過徑向基函數(shù)，然而當(dāng)輸入變量維數(shù)較大時(shí)，它每一步的計(jì)算量也大大增加，難以實(shí)時(shí)控制，三角形高斯函數(shù)則可實(shí)現(xiàn)在線實(shí)時(shí)控制[21].因此，考慮到實(shí)時(shí)性，F(xiàn)M-CMNN的模糊隸屬度函數(shù)引用三角形函數(shù).本文中引入的三角形模糊隸屬度函數(shù)為

(4)

式中：ci,j為模糊隸屬度函數(shù)的中心；δi,j為模糊隸屬度函數(shù)環(huán)繞中心位置的寬度.根據(jù)專家經(jīng)驗(yàn)知識(shí)及前人的研究成果，δi,j值的確定可由2個(gè)相鄰的隸屬度函數(shù)的相互重疊計(jì)算得出，計(jì)算過程為

(5)

式中μc在計(jì)算前需人為設(shè)定一個(gè)0～1的值.

2.1.3 LSS

LSS又稱規(guī)則層，考慮到為減小函數(shù)計(jì)算量，只確定被激活單元的函數(shù)值，需要對(duì)模糊化層進(jìn)行壓縮，然后將被激活單元的輸出值合成到LSS，在LSS中對(duì)前一層的輸出進(jìn)行邏輯“與”運(yùn)算，即

(6)

與傳統(tǒng)CMNN不同的是權(quán)值空間的維數(shù)不再與輸入變量的維數(shù)相關(guān)，而是使權(quán)值空間的維數(shù)等于規(guī)則個(gè)數(shù)，允許連續(xù)信號(hào)的輸入和輸出，從而在量化級(jí)數(shù)增加、存儲(chǔ)單元容量相應(yīng)增加的情況下，網(wǎng)絡(luò)具有更高的泛化能力和逼近精度.

2.1.4 ASS

FM-CMNN的權(quán)重儲(chǔ)存在ASS中，先求出含有網(wǎng)絡(luò)權(quán)重的存儲(chǔ)空間的位置，才能獲得網(wǎng)絡(luò)權(quán)值.存儲(chǔ)區(qū)域位置的計(jì)算過程為

Adj=j+m·Ai·nbn-1
i=1,2,…,n;j=1,2,…,m

(7)

由此可知，確定了模糊化層被激活單元的地址后也就確定了ASS中存儲(chǔ)單元的地址.

2.1.5 輸出空間

根據(jù)CMNN輸出表達(dá)式的原理，計(jì)算FM-CMNN輸出層的輸出，即

(8)

2.2 FM-CMNN的學(xué)習(xí)算法

FM-CMNN使用梯度下降的學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)的權(quán)值進(jìn)行調(diào)整.首先定義誤差函數(shù)為

(9)

使用梯度下降算法完成權(quán)重的修正，修正過程為

(10)

式中η為網(wǎng)絡(luò)的學(xué)習(xí)率.權(quán)值調(diào)整后得到的新的權(quán)值為

wi=wi+Δwi

(11)

3 實(shí)驗(yàn)仿真

本文提出的FM-CMNN，由于在存儲(chǔ)單元中引入了模糊隸屬度函數(shù)，使權(quán)值空間的維數(shù)等于規(guī)則個(gè)數(shù)，并采用CMNN特有的尋址方式，從而在不受狀態(tài)變量量化級(jí)數(shù)和存儲(chǔ)容量限制的情況下，增強(qiáng)了網(wǎng)絡(luò)的泛化性能，降低了網(wǎng)絡(luò)的學(xué)習(xí)誤差.選用非線性系統(tǒng)辨識(shí)、加利福尼亞大學(xué)爾灣分校(University of California Irvine，UCI)公開發(fā)表數(shù)據(jù)集、污水處理過程水質(zhì)參數(shù)預(yù)測(cè)實(shí)驗(yàn)，對(duì)FM-CMNN的性能進(jìn)行評(píng)價(jià)，檢測(cè)網(wǎng)絡(luò)解決預(yù)測(cè)問題的高效性.以均方根誤差(root mean square error，RMSE)為模型的評(píng)價(jià)指標(biāo)，其表達(dá)式為

(12)

式中L為樣本總數(shù).

3.1 非線性系統(tǒng)辨識(shí)

用非線性系統(tǒng)辨識(shí)實(shí)驗(yàn)作為基準(zhǔn)實(shí)驗(yàn)，驗(yàn)證FM-CMNN的有效性，實(shí)驗(yàn)表達(dá)式為

(13)

式中：σ(t)=sin(2πt/25)，t∈[1,600]；設(shè)初始值為y(0)=0，y(1)=0；y(t)、y(t-1)、σ(t)為輸入向量.樣本集共600個(gè)數(shù)據(jù)，從中選用400個(gè)用作訓(xùn)練樣本，其余200個(gè)用作測(cè)試樣本，迭代200次.FM-CMNN參數(shù)設(shè)置為：量化級(jí)數(shù)m=6，分辨率D=0.330，μc=0.9.

為使CMNN的泛化能力保持良好，量化級(jí)數(shù)根據(jù)經(jīng)驗(yàn)值設(shè)置m=7，分辨率D=0.286.網(wǎng)絡(luò)訓(xùn)練的RMSE曲線變化如圖3所示.

圖3 非線性系統(tǒng)辨識(shí)訓(xùn)練樣本RMSEFig.3 RMSE of training samples for nonlinear system identification

通過訓(xùn)練RMSE變化曲線可知，由于FM-CMNN結(jié)合了CMNN和模糊邏輯二者的優(yōu)點(diǎn)，所以跟CMNN以及未采用尋址方式的一般的模糊小腦模型神經(jīng)網(wǎng)絡(luò)[3](fuzzy cerebellar model neural network，F(xiàn)CMNN)相比，F(xiàn)M-CMNN的RMSE指標(biāo)值更低.圖4、5分別是FM-CMNN、CMNN和FCMNN對(duì)非線性系統(tǒng)的預(yù)測(cè)輸出和預(yù)測(cè)誤差，由圖4、5可知，由于FM-CMNN的接收域函數(shù)改用三角形模糊隸屬度函數(shù)，所以在對(duì)非線性系統(tǒng)進(jìn)行辨識(shí)時(shí)能取得較小的預(yù)測(cè)誤差，實(shí)際測(cè)試輸出曲線與期望測(cè)試輸出曲線吻合，網(wǎng)絡(luò)具備較強(qiáng)的辨識(shí)可靠度和穩(wěn)定度，彌補(bǔ)了傳統(tǒng)CMNN在量化級(jí)數(shù)改變時(shí)無法有效學(xué)習(xí)的不足，提高了傳統(tǒng)網(wǎng)絡(luò)的泛化能力.

圖4 非線性系統(tǒng)辨識(shí)預(yù)測(cè)輸出Fig.4 Prediction output of nonlinear system identification

圖5 非線性系統(tǒng)辨識(shí)預(yù)測(cè)誤差Fig.5 Prediction error of nonlinear system identification

FM-CMNN、CMNN與FCMNN的RMSE性能對(duì)比結(jié)果如表1所示.

表1中，訓(xùn)練樣本的RMSE和測(cè)試樣本的RMSE的數(shù)值是將訓(xùn)練樣本和測(cè)試樣本分別分成了15組，獨(dú)立實(shí)驗(yàn)了15次后求得的平均值.各個(gè)網(wǎng)絡(luò)的量化級(jí)數(shù)的大小根據(jù)各實(shí)驗(yàn)中輸入變量的個(gè)數(shù)而定，根據(jù)專家經(jīng)驗(yàn)及前人的研究成果，量化級(jí)數(shù)大小通常取輸入變量個(gè)數(shù)的1～3倍.該實(shí)驗(yàn)中，取輸入變量維數(shù)的3倍為FCMNN的量化級(jí)數(shù)，F(xiàn)M-CMNN的量化級(jí)數(shù)大小是輸入變量維數(shù)的2倍.

表1 不同網(wǎng)絡(luò)性能對(duì)比結(jié)果

表中黑體是FM-CMNN的實(shí)驗(yàn)結(jié)果，由表可知，F(xiàn)M-CMNN訓(xùn)練樣本和測(cè)試樣本的RMSE平均值分別是0.044 1和0.033 7，因此，當(dāng)CMNN比FM-CMNN的量化級(jí)數(shù)高一級(jí)時(shí)，前者的逼近精度已明顯不如后者，而未采用尋址方式的一般的FCMNN，即使增加量化級(jí)數(shù)，其泛化能力也不如其余2個(gè)網(wǎng)絡(luò).

3.2 UCI公開數(shù)據(jù)集

本實(shí)驗(yàn)選取了UCI中一組公開數(shù)據(jù)集作為網(wǎng)絡(luò)的學(xué)習(xí)樣本，驗(yàn)證FM-CMNN性能的優(yōu)越性.該數(shù)據(jù)集是基于定量構(gòu)效關(guān)系(quantitative structure-activity relationship，QSAR)非線性模型生成，輸入狀態(tài)變量為分子特征、信息指數(shù)、原子型計(jì)數(shù)器值、自相關(guān)性、矩陣描述符等6個(gè)屬性，狀態(tài)響應(yīng)為：水體中化學(xué)成分導(dǎo)致實(shí)驗(yàn)魚在96 h內(nèi)死亡50%的濃度.學(xué)習(xí)樣本共1 000個(gè)，使用前已歸一化到[-1,1]，從中抽取500個(gè)用作訓(xùn)練，其余500個(gè)用作測(cè)試，迭代1 000步.

FM-CMNN參數(shù)設(shè)置為：量化級(jí)數(shù)m=8，分辨率D=0.25，μc=0.9.為使CMNN能夠有效學(xué)習(xí)，其量化級(jí)數(shù)m=7，學(xué)習(xí)率D=0.286.訓(xùn)練樣本的RMSE曲線如圖6所示.通過訓(xùn)練樣本的RMSE變化曲線可知，由于CMNN繼續(xù)增加量化級(jí)數(shù)會(huì)導(dǎo)致存儲(chǔ)單元容量的劇增，最終導(dǎo)致網(wǎng)絡(luò)無法有效學(xué)習(xí)，所以其逼近精度低于FM-CMNN，而FM-CMNN由于在存儲(chǔ)單元中加入了隸屬度函數(shù)，所以其泛化性能不受存儲(chǔ)容量的影響，量化級(jí)數(shù)增大仍可達(dá)到良好的逼近效果.一般的FCMNN由于沒有采用尋址方式，所以增加量化級(jí)數(shù)后其泛化能力不但沒有提高，反而加劇了響應(yīng)的遲鈍性.

圖6 UCI公開數(shù)據(jù)集訓(xùn)練樣本的RMSEFig.6 RMSE of training samples for UCI open dataset

圖7、8分別是FM-CMNN、CMNN、FCMNN對(duì)UCI數(shù)據(jù)集的預(yù)測(cè)輸出和預(yù)測(cè)誤差，由圖7、8可知，利用FM-CMNN解決水體對(duì)魚類毒性的預(yù)測(cè)問題時(shí)，網(wǎng)絡(luò)有很強(qiáng)的實(shí)時(shí)性和很高的逼近準(zhǔn)確性，量化級(jí)數(shù)增加時(shí)網(wǎng)絡(luò)仍具有較好的學(xué)習(xí)效果.

圖7 UCI公開數(shù)據(jù)集預(yù)測(cè)輸出Fig.7 Prediction output of UCI exposes dataset

圖8 UCI公開數(shù)據(jù)集預(yù)測(cè)誤差Fig.8 Prediction error of UCI public dataset

CMNN和FM-CMNN與一般的FCMNN的RMSE性能對(duì)比結(jié)果如表2所示.

表2 不同網(wǎng)絡(luò)性能對(duì)比結(jié)果

表2中，訓(xùn)練樣本的RMSE和測(cè)試樣本的RMSE的數(shù)值是將訓(xùn)練樣本和測(cè)試樣本分別分成15組，獨(dú)立實(shí)驗(yàn)15次后得到的平均值.FCMNN的量化級(jí)數(shù)取輸入變量維數(shù)的2倍，F(xiàn)M-CMNN量化級(jí)數(shù)可稍大于CMNN，以證明在存儲(chǔ)容量增加時(shí)，F(xiàn)M-CMNN比CMNN有較好的泛化能力.表中黑體是FM-CMNN的實(shí)驗(yàn)結(jié)果，該網(wǎng)絡(luò)訓(xùn)練樣本和測(cè)試樣本的RMSE平均值分別為0.155 5和0.149 2.由此可知，F(xiàn)M-CMNN的逼近精度要高于CMNN和FCMNN.

3.3 污水處理過程中出水生化需氧量(biochemical oxygen demand，BOD)預(yù)測(cè)

本實(shí)驗(yàn)通過污水處理過程中的關(guān)鍵水質(zhì)參數(shù)出水BOD[22]來驗(yàn)證FM-CMNN性能的優(yōu)越性.數(shù)據(jù)集共有10個(gè)輸入變量：出水總氮質(zhì)量濃度、出水氨氮質(zhì)量濃度、進(jìn)水總氮質(zhì)量濃度、進(jìn)水BOD質(zhì)量濃度、進(jìn)水氨氮質(zhì)量濃度、出水磷酸鹽質(zhì)量濃度、進(jìn)水磷酸鹽質(zhì)量濃度、進(jìn)水化學(xué)需氧量(chemical oxygen demand，COD)質(zhì)量濃度、生化池溶解氧質(zhì)量濃度、生化池混合液懸浮固體質(zhì)量濃度.共有365個(gè)樣本，其中選取265個(gè)作為訓(xùn)練樣本，其余100個(gè)作為測(cè)試樣本，迭代500次.

FM-CMNN參數(shù)設(shè)置：量化級(jí)數(shù)m=9，分辨率D=0.220，μc=0.9.為保證CMNN的學(xué)習(xí)能力，量化級(jí)數(shù)最大設(shè)為7，因此，分辨率最大為0.286.網(wǎng)絡(luò)的訓(xùn)練樣本的RMSE曲線如圖9所示.通過訓(xùn)練樣本的RMSE變化曲線可知，設(shè)置FM-CMNN的量化級(jí)數(shù)大于CMNN，存儲(chǔ)容量相應(yīng)增加時(shí)，F(xiàn)M-CMNN的逼近精度仍保持最高.

圖9 污水處理出水BOD訓(xùn)練樣本的RMSEFig.9 RMSE of training samples for sewage treatment effluent BOD

FM-CMNN、CMNN和FCMNN對(duì)污水處理出水BOD的預(yù)測(cè)輸出和預(yù)測(cè)誤差分別如圖10、11所示.由網(wǎng)絡(luò)的測(cè)試輸出結(jié)果圖可以看出，F(xiàn)M-CMNN對(duì)污水處理過程的真實(shí)數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)，網(wǎng)絡(luò)的測(cè)試輸出值與理想的測(cè)試輸出值相差不大，體現(xiàn)出FM-CMNN在存儲(chǔ)容量增加時(shí)仍具有良好的泛化性能.

圖10 污水處理出水BOD預(yù)測(cè)輸出Fig.10 Prediction output of sewage treatment effluent BOD

圖11 污水處理出水BOD預(yù)測(cè)誤差Fig.11 Prediction error of sewage treatment effluent BOD

CMNN、FM-CMNN與一般的FCMNN的RMSE性能對(duì)比結(jié)果如表3所示.

表3 不同網(wǎng)絡(luò)性能對(duì)比結(jié)果

表3中，RMSE數(shù)值是將訓(xùn)練樣本和測(cè)試樣本分別分成了20組，獨(dú)立實(shí)驗(yàn)了20次后求取的平均值.FCMNN的量化級(jí)數(shù)同輸入變量維數(shù)，F(xiàn)M-CMNN量化級(jí)數(shù)可稍大于CMNN，并經(jīng)過多次學(xué)習(xí)確定其值，以證明在存儲(chǔ)容量增加時(shí)，網(wǎng)絡(luò)仍具有較好的泛化能力.由結(jié)果可知，F(xiàn)M-CMNN訓(xùn)練和測(cè)試的RMSE的平均值分別為0.101 0和0.312 0，均低于傳統(tǒng)網(wǎng)絡(luò)，因此，F(xiàn)M-CMNN的泛化能力不受存儲(chǔ)容量影響，可通過增大量化級(jí)數(shù)來提高逼近精度，解決了傳統(tǒng)CMNN泛化能力與存儲(chǔ)容量之間的沖突.一般的FCMNN雖然增加量化級(jí)數(shù)，但是逼近精度仍低于其余2個(gè)網(wǎng)絡(luò).因此，對(duì)于污水處理過程的水質(zhì)參數(shù)實(shí)驗(yàn)，F(xiàn)M-CMNN更具有明顯的優(yōu)異性.

4 結(jié)論

1) 傳統(tǒng)CMNN雖然能夠?qū)崟r(shí)控制，但其泛化能力受到存儲(chǔ)容量的限制.為此，在保留傳統(tǒng)CMNN地址映射方式的基礎(chǔ)上，在存儲(chǔ)空間中加入三角形模糊隸屬度函數(shù)，構(gòu)建一種基于模糊隸屬度的小腦模型神經(jīng)網(wǎng)絡(luò)FM-CMNN，使網(wǎng)絡(luò)輸出更具有連續(xù)性，在存儲(chǔ)容量增加時(shí)網(wǎng)絡(luò)仍具有較強(qiáng)的泛化能力.但由于FM-CMNN構(gòu)建時(shí)沒有考慮其計(jì)算復(fù)雜度，所以網(wǎng)絡(luò)學(xué)習(xí)誤差的收斂速度慢于傳統(tǒng)網(wǎng)絡(luò)，針對(duì)這個(gè)問題，下一步計(jì)劃采用一種可行的優(yōu)化算法進(jìn)行改善.

2) 利用對(duì)比實(shí)驗(yàn)，驗(yàn)證了所提出的FM-CMNN性能的有效性.通過對(duì)比訓(xùn)練RMSE變化曲線可知，CMNN雖然具有更快的收斂速度，但是在輸入變量維數(shù)增大時(shí)，由于該網(wǎng)絡(luò)量化級(jí)數(shù)設(shè)置具有局限性，導(dǎo)致其逼近精度較低.FM-CMNN因其接收域函數(shù)采用模糊隸屬度函數(shù)，所以在輸入變量維數(shù)增加、存儲(chǔ)容量增大時(shí)，網(wǎng)絡(luò)具備更高的逼近精度；FM-CMNN與傳統(tǒng)FCMNN相比，F(xiàn)CMNN的量化級(jí)數(shù)較大時(shí)，其逼近精度和收斂速度均低于FM-CMNN.

3) 通過FM-CMNN對(duì)非線性系統(tǒng)辨識(shí)、UCI公開數(shù)據(jù)集、污水處理過程出水BOD預(yù)測(cè)實(shí)驗(yàn)可知，F(xiàn)M-CMNN的實(shí)際預(yù)測(cè)輸出曲線與期望預(yù)測(cè)輸出曲線基本接近.FM-CMNN彌補(bǔ)了傳統(tǒng)網(wǎng)絡(luò)不能通過增大量化級(jí)數(shù)來提高泛化能力的不足，解決了傳統(tǒng)CMNN中泛化能力與存儲(chǔ)容量之間的矛盾問題，網(wǎng)絡(luò)具有較強(qiáng)的自適應(yīng)性，更適用于非線性系統(tǒng)的預(yù)測(cè).