基于廣義逆矩陣的多層徑向基函數(shù)網(wǎng)絡(luò)遺傳算法

盛國敏，莊 健

(安徽工業(yè)大學(xué)商學(xué)院，安徽馬鞍山243032)

基于廣義逆矩陣的多層徑向基函數(shù)網(wǎng)絡(luò)遺傳算法

盛國敏，莊 健

(安徽工業(yè)大學(xué)商學(xué)院，安徽馬鞍山243032)

為了解決以往正則最小二乘法求權(quán)重向量時遇到的矩陣接近奇異而無法求逆的問題，采用廣義逆矩陣的方法求多層徑向基函數(shù)網(wǎng)絡(luò)中各層的權(quán)重向量，并將這種方法引至多層徑向基函數(shù)網(wǎng)絡(luò)的遺傳算法中。采用實函數(shù)逼近，混沌時間序列建模與預(yù)測等仿真實驗對算法進行驗證。結(jié)果表明，采用廣義逆矩陣的方法要比正則最小二乘法在逼近精度上高1至2個數(shù)量級。

多層徑向基函數(shù)網(wǎng)絡(luò)；遺傳算法；廣義逆矩陣；實函數(shù)逼近；混沌時間序列

聚類算法經(jīng)歷了從單層徑向基函數(shù)網(wǎng)絡(luò)[1]向多層徑向基函數(shù)（RBF）網(wǎng)絡(luò)[2]，并由最初的采用多層徑向基函數(shù)網(wǎng)絡(luò)的聚類法[2-4]發(fā)展到了采用多層徑向基函數(shù)網(wǎng)絡(luò)的遺傳算法[5]，進一步發(fā)展為復(fù)合多層RBF網(wǎng)絡(luò)[6]的發(fā)展歷程，仿真實驗表明，多層RBF網(wǎng)絡(luò)逼近實函數(shù)的能力很強，將其用于混沌時間序列[7]的建模與預(yù)測中，可取得良好的效果，將其用于偏微分方程的無網(wǎng)格法[8-9]和求解期權(quán)定價值[10-12]可獲得高精度的數(shù)值解。然而，多層RBF網(wǎng)絡(luò)的諸算法均存在數(shù)值計算問題，即逆矩陣的計算遇到矩陣接近奇異而難以求逆的問題。這使得網(wǎng)絡(luò)的學(xué)習(xí)速度變慢，權(quán)向量誤差大，逼近實數(shù)精度的提高受到限制。為解決問題，本文嘗試使用廣義逆矩陣[13]代替普通逆矩陣求最小二乘解，并將其引入多層RBF網(wǎng)絡(luò)的遺傳算法。

1 多層徑向基函數(shù)網(wǎng)絡(luò)原理

單層RBF網(wǎng)絡(luò)學(xué)習(xí)速度快，具有一定的實函數(shù)逼近能力，但是其擬合函數(shù)的精度有限。多層RBF網(wǎng)絡(luò)的提出進一步提高RBF網(wǎng)絡(luò)的實函數(shù)逼近能力,基本思想：用第2層RBF網(wǎng)絡(luò)去擬合第1層網(wǎng)絡(luò)的擬合殘差函數(shù)，然后再用第3層網(wǎng)絡(luò)RBF網(wǎng)絡(luò)去擬合第2層網(wǎng)絡(luò)的擬合殘差函數(shù)，如此進行下去，后一層網(wǎng)絡(luò)擬合前一層的擬合誤差，就得到一個高精度的多層徑向函數(shù)網(wǎng)絡(luò)。

設(shè)第1層RBF網(wǎng)絡(luò)為

取最小值，式中w1為權(quán)重的向量表達形式。記

這是第1層網(wǎng)絡(luò)在xi處的輸出值與期望值yi的擬合殘差。第2層RBF網(wǎng)絡(luò)為

式中各參數(shù)的含義和第1層類同。核函數(shù)中心和寬度系數(shù)的取值也使第2層的廣義交叉率G最小，權(quán)重則使

最小，其中w2為權(quán)重的向量表達形式。于是可得一個更精確的模型

如此進行下去，用后一層徑向基函數(shù)網(wǎng)絡(luò)去擬合前一層網(wǎng)絡(luò)的擬合殘差，便得到一個多層RBF網(wǎng)絡(luò)

根據(jù)適當(dāng)?shù)呐袆e準(zhǔn)則，可以決定增加到幾層最為適合。

2 多層徑向基函數(shù)網(wǎng)絡(luò)的遺傳算法

采用自適應(yīng)遺傳算法訓(xùn)練多層RBF網(wǎng)絡(luò)，具體如下。

1)對RBF網(wǎng)絡(luò)的進行遺傳編碼 采用實數(shù)編碼的方法，設(shè)第k層網(wǎng)絡(luò)核函數(shù)的個數(shù)為nk,每個核函數(shù)的輸入維數(shù)為m。此時，每個個體用(m+1)×nk維的向量來表示，向量的前m×nk個分量表示RBF網(wǎng)絡(luò)的中心，后nk個分量表示中心所對應(yīng)的寬度系數(shù)。

2)選取適應(yīng)度函數(shù) 為了既能得到最大限度的高逼近精度，又不出現(xiàn)過擬合現(xiàn)象，每個個體的適應(yīng)度函數(shù)可以選取為RBF網(wǎng)絡(luò)的廣義交叉率的倒數(shù)，即對第i個個體，其適應(yīng)度為

3)選擇操作 首先根據(jù)每一代種群的個體的適應(yīng)度的大小，得到最優(yōu)個體和最劣個體，用最優(yōu)個體替換最劣個體，直接復(fù)制給下一代，不參加交叉和變異的過程。剩下的種群個體通過賭輪盤法進行篩選，然后進行交叉和變異操作。

4)交叉和變異 記交叉概率為pc，變異概率pm，其自適應(yīng)計算方法如下：

其中：a=0.9；b=0.1，c=0.6，d=0.001；fmax表示群體中最大適應(yīng)度值；favg表示每一代群體的平均適應(yīng)度值；f′表示要交叉的兩個個體中較大的適應(yīng)度值；f表示要變異個體的適應(yīng)度值。

5)權(quán)重的計算 采用正則最小二乘法，

這里，λ為求權(quán)重時的正則最小二乘法的參數(shù)。當(dāng)λ=0時，w即為普通最小二乘解。對第1層網(wǎng)絡(luò)對第i層網(wǎng)絡(luò)對第k層網(wǎng)絡(luò)

6)RBF網(wǎng)絡(luò)層數(shù)的確定 設(shè)第m層的廣義交叉率為第m+1層則為如果

則停止加層，網(wǎng)絡(luò)層數(shù)為m。

3 廣義逆矩陣法在多層徑向基函數(shù)網(wǎng)絡(luò)遺傳算法中應(yīng)用

在大多數(shù)情況下，由于式(12)中BTB接近奇異，使得計算逆矩陣很困難，勉強得到的數(shù)值解精度很差，從而使整個網(wǎng)絡(luò)的精度大大下降，為解決這一問題，采用廣義逆矩陣求最小二乘法[8]。設(shè)A為m×n類數(shù)矩陣，A的廣義逆矩陣[9]X滿足下面4個條件，即，

X常記為A+。于是，線性模型

的最小二乘估計β^為

將式(20)用于RBF網(wǎng)絡(luò)，并采用最小二乘法，得到

這里B由式(13)給出，再給出本文使用的廣義逆矩陣的一個迭代算法，取初始值

其中λ1(ATA)為ATA的最大特征值，迭代公式

4 仿真實驗

遺傳算法的參數(shù)為：進化的代數(shù)為100，種群的規(guī)模為200，學(xué)習(xí)參數(shù)為a=0.9,b=0.1,c=0.6,d=0.001。根據(jù)G決定層數(shù)確定層數(shù)，控制參數(shù)為0.05。

4.1 實驗一

考慮函數(shù)

隨機生成400個在(0,1)上服從均勻分布的樣本。200個樣本用于訓(xùn)練，其余200個用于檢驗。網(wǎng)絡(luò)構(gòu)造為：第1層RBF網(wǎng)絡(luò)取10個徑向基函數(shù)，第2層取20個，第3層以后取30個。

表1給出了預(yù)測結(jié)果以及采用基于正則最小二乘法的遺傳算法訓(xùn)練得到的網(wǎng)絡(luò)的學(xué)習(xí)誤差和預(yù)測誤差。由表1可見基于廣義逆矩陣的遺傳算法的精度要比基于正則最小二乘法的遺傳算法高約1個數(shù)量級。

表1 多層RBF網(wǎng)絡(luò)的訓(xùn)練與預(yù)測結(jié)果Tab.1 Training and prediction results of multilayer RBF network

4.2 實驗二

考慮函數(shù)

生成3 200個服從在(0,1)上均勻分布的樣本，其中1 600個作為訓(xùn)練用樣本，其余1 600個用于檢驗。網(wǎng)絡(luò)構(gòu)造為：第1層RBF網(wǎng)絡(luò)取40個徑向基函數(shù)，第2層以后取80個。

表2給出了預(yù)測結(jié)果以及采用基于正則最小二乘法遺傳算法訓(xùn)練得到的網(wǎng)絡(luò)學(xué)習(xí)誤差和預(yù)測誤差。由表2可見基于廣義逆矩陣的遺傳算法精度要比基于正則最小二乘法的遺傳算法高約2個數(shù)量級。

表2 多層RBF網(wǎng)絡(luò)的訓(xùn)練與預(yù)測結(jié)果Tab.2 Training and prediction results of multilayer RBF network

4.2 實驗三

考慮Logistic模型

其中R是參數(shù)，取R=3.7。取初始值x0=0.27。共產(chǎn)生700個時間序列樣本，前600個用于學(xué)習(xí)，后100個用于檢驗預(yù)測效果。前700個中，前650個用于學(xué)習(xí)，后50個用于計算可預(yù)測步長。網(wǎng)絡(luò)構(gòu)造為：第1層RBF網(wǎng)絡(luò)取80個徑向基函數(shù)，第2層以后取120個，嵌入維數(shù)取p=7。

表3給出了一步預(yù)測結(jié)果以及采用基于正則最小二乘法遺傳算法訓(xùn)練而得到的網(wǎng)絡(luò)學(xué)習(xí)誤差和一步預(yù)測誤差。由表3可見基于廣義逆矩陣的遺傳算法精度要比基于正則最小二乘法的遺傳算法高約1個數(shù)量級。

表3 多層RBF網(wǎng)絡(luò)的訓(xùn)練和一步預(yù)測結(jié)果Tab.3 Training and one step prediction results of multilayer RBF network

表4給出了多步預(yù)測的可預(yù)測步長和預(yù)測精度以及基于正則最小二乘法遺傳算法訓(xùn)練而得到的網(wǎng)絡(luò)可預(yù)測步長和預(yù)測精度?？梢娫谕瑯拥恼`差容許范圍內(nèi),基于廣義逆矩陣的遺傳算法的可預(yù)測步長要比基于正則最小二乘法的遺傳算法長許多。

表4 多層RBF網(wǎng)絡(luò)的多步預(yù)測結(jié)果Tab.4 Multi-step prediction results of multilayer RBF network

4.4 實驗四

考慮Mackey_Glass混沌時間序列，它由如下Mackey Glass方程所產(chǎn)生

τ為時滯參數(shù)。這里取a=0.2,b=0.1,c=10,τ=30,x0=1.2。產(chǎn)生800個時間序列的樣本，前700個作為學(xué)習(xí)用樣本，后100個作為預(yù)測用樣本。

在Mackey Glass方程中有一個線性項，由于高斯函數(shù)為峰狀函數(shù)，因此RBF網(wǎng)絡(luò)在擬合線性項的時候精度不高，如果僅僅使用高斯函數(shù)，模型的逼近精度不高，預(yù)測效果不好。為此在第1層網(wǎng)絡(luò)中加上了線性項，其具體形式為

網(wǎng)絡(luò)構(gòu)造為第1層RBF網(wǎng)絡(luò)取80個徑向基函數(shù)，第2層以后取120個，嵌入維數(shù)取p=6。學(xué)習(xí)用樣本的前650個用于訓(xùn)練，后50個用于計算可預(yù)測步長。

表5給出了一步預(yù)測結(jié)果及采用基于正則最小二乘法遺傳算法訓(xùn)練而得到的網(wǎng)絡(luò)學(xué)習(xí)精度和一步預(yù)測精度。由表5可見基于廣義逆矩陣遺傳算法的精度要比基于正則最小二乘法遺傳算法高約1到2個數(shù)量級。

表5 多層RBF網(wǎng)絡(luò)的訓(xùn)練和一步預(yù)測結(jié)果Tab.5 Training and one step prediction results of multilayer RBF network

表6給出了多步預(yù)測的可預(yù)測步長和預(yù)測精度，以及由基于正則最小二乘法遺傳算法訓(xùn)練而得到的網(wǎng)絡(luò)可預(yù)測步長和預(yù)測精度。可見在同樣的誤差容許范圍內(nèi),基于廣義逆矩陣的遺傳算法的可預(yù)測步長要比基于正則最小二乘法的遺傳算法長許多。

表6 多層RBF網(wǎng)絡(luò)的多步預(yù)測結(jié)果Tab.6 Multi-step prediction results of multilayer RBF network

5 結(jié) 論

用廣義逆矩陣計算多層RBF網(wǎng)絡(luò)的每層權(quán)連接，仿真實驗表明，采用廣義逆矩陣遺傳算法得到的權(quán)重其精度大大提高,網(wǎng)絡(luò)的后一層能更好地擬合前一層的擬合誤差,整個網(wǎng)絡(luò)的實函數(shù)逼近能力就這樣大大提高。將這個方法用于混沌時間序列的建模與預(yù)測得到了良好的效果。

[1]MOODYJ,DARKEN C.Fast learning in networks of locally-tuned processing units[J].Neural Computation,1989,1(2):281-294.

[2]ZHANG J,JIANG H F,WU R L.Multi layer RBF network for real functions approximation and nonlinear regression[C/CD]// Scientific Research Publishing.Proceedings of 2011 International Symposium on Statistics&Management Science.Chongqing: Scientific Research Publishing,2011.

[3]吳瑞柳.多層徑向基函數(shù)網(wǎng)絡(luò)的聚類學(xué)習(xí)方法及應(yīng)用[D].馬鞍山：安徽工業(yè)大學(xué)，2011.

[4]李建.多層徑向基函數(shù)網(wǎng)格的算法改進及其應(yīng)用[D].馬鞍山：安徽工業(yè)大學(xué)，2013.

[5]盛飛.多層RBF網(wǎng)絡(luò)的自適應(yīng)遺傳算法及其在實函數(shù)逼近中的應(yīng)用[J].安徽工業(yè)大學(xué)學(xué)報(自然科學(xué)版)，2013,30(2):192-196.

[6]徐光魯.復(fù)合多層徑向基函數(shù)網(wǎng)絡(luò)及其在偏微分方程中的應(yīng)用[J].安徽工業(yè)大學(xué)學(xué)報(自然科學(xué)版)，2015,32(1):76-80.

[7]余健，郭平.基于RBF網(wǎng)絡(luò)的金融時間序列預(yù)測[J].湖南工程學(xué)院學(xué)報(自然科學(xué)版)，2007,17(4):44-48.

[8]LIU G R,GU YT.無網(wǎng)格法理論及程序設(shè)計[M].王建明，周學(xué)軍，譯.濟南：山東大學(xué)出版社，2007:259-264.

[9]張雄，劉巖.無網(wǎng)格法[M].北京：清華大學(xué)出版社，2004:95-175.

[10]侯木舟，周耀瓊.二叉樹期權(quán)定價方法的一種新推廣[J].數(shù)學(xué)理論與應(yīng)用，2006,26(3):111-115.

[11]牟曠凝.蒙特卡洛方法和擬蒙特卡洛方法在期權(quán)定價中應(yīng)用的比較研究[J].科學(xué)技術(shù)與工程，2010,10(8):1925-1929.

[12]蹇明，宜娜，張春曉.期權(quán)定價模型的五點式混合差分方法[J].經(jīng)濟數(shù)學(xué)，2011,28(4):66-70.

[13]王宋桂，楊振海.廣義逆矩陣及其應(yīng)用[M].北京：北京工業(yè)大學(xué)出版社，1996.

責(zé)任編輯：丁吉海

GeneticAlgorithm for Multilayer Radial Basis Function Networks Based on Generalized Inverse Matrix

SHENG Guomin,ZHUANG Jian
(School of Business,Anhui University of Technology,Ma'anshan 243032,China)

In order to solve the problem that maxtrice are nearly singular when using regular least squares method, a method of generalized inverse matrix was employed to obtain the weight vectors of each layer in the multilayer radial basis function network,which was introduced to the genetic algorithm for training multilayer radial basis function networks.By using real function approximation,chaotic time series modeling and forecasting simulation experiments,the algorithm was verified.The results show that the generalized inverse matrix method is much more better than regular least squares method on the approximation precision,which can be up to a 1 to 2 orders of magnitude.

multilayer radial basis function networks;genetic algorithm;generalized inverse matrix;real function approximation;chaos sequence

TP 389.1

：A

10.3969/j.issn.1671-7872.2016.04.015

1671-7872(2016)04-0390-06

2015-07-29

盛國敏(1989-)，男，安徽天長人，碩士，助教，研究方向為機器學(xué)習(xí)。

莊健(1957-)，男，上海市人，博士，研究員，研究方向為機器學(xué)習(xí)。