自適應粒子群算法在非線性回歸中的應用

陳高波,楊小紅

(1.武漢工業(yè)學院數(shù)理科學系,湖北武漢 430023;2.武漢市慈惠中學,湖北武漢 430040)

自適應粒子群算法在非線性回歸中的應用

陳高波1,楊小紅2

(1.武漢工業(yè)學院數(shù)理科學系,湖北武漢 430023;2.武漢市慈惠中學,湖北武漢 430040)

采用自適應算法調整粒子群的權重,優(yōu)化非線性回歸模型的參數(shù),并將其應用于酶促反應的參數(shù)求解。與線性化、非線性最小二乘以及標準粒子群的結果比較表明,用自適應粒子群求解的非線性回歸方程有更高的精度。

自適應;粒子群;非線性回歸

線性回歸模型因其結構簡單在各類建模中得到廣泛應用。在社會現(xiàn)實經濟生活中,很多現(xiàn)象之間的關系并不是線性關系,對這種類型現(xiàn)象的分析預測一般要應用非線性回歸預測.通過變量代換,可以將很多的非線性回歸轉化為線性回歸.因而,可以用線性回歸方法解決非線性回歸預測問題.但并非所有的非線性模型都可以線性化,即使可以轉化為線性模型,也可能造成模型隨機誤差項性質的改變.在這種情況下,直接采用非線性最小二乘估計比較有利.但非線性最小二乘參數(shù)估計采用迭代法求解,必須先給出參數(shù)的初始值,并且求解結果比較依賴于參數(shù)初始值[1].

粒子群優(yōu)化算法 (Particle Swarm Optimization,簡稱 PSO)源于對鳥群捕食行為的研究,是近幾年進化算法研究中的一個熱點,已成功應用在函數(shù)優(yōu)化、神經網(wǎng)絡訓練等領域.但粒子群算法也存在易陷入局部最優(yōu)的缺點.本文采用自適應算法調整粒子群的權重,優(yōu)化非線性回歸模型的參數(shù),并將其應用于酶促反應的參數(shù)求解.

1 自適應粒子群算法

標準粒子群優(yōu)化算法初始為一組隨機粒子 (隨機解),然后通過迭代尋找最優(yōu)解.粒子追隨兩個當前最優(yōu)值來更新自己,一個是粒子迄今為止尋找到的最優(yōu)值,叫做個體極值 pbest;另外一個是整個粒子群迄今為止尋找到的最優(yōu)值,叫做全局極值 gbest,在標準的粒子群算法中,粒子的速度和位置更新方程為：

其中 Vi和 xi分別是粒子在第 i次迭代中的速度和位置,r1與 r2為 0到 1之間的隨機數(shù);c1與 c2為加速常數(shù);w為慣性權重.

標準 PSO算法收斂速度較慢,并且易陷入局部最優(yōu).研究[2]發(fā)現(xiàn)較大的慣性權重 w值有利于跳出局部最優(yōu),進行全局搜索;較小的 w值有利于局部尋優(yōu),加速算法收斂.因此,為克服 PSO算法固定參數(shù)的不足,應根據(jù)群體自適應地調整慣性權重.設粒子群的大小為 n,第 i次迭代中粒子 Pi的適應值為fi,最優(yōu)粒子的適應值為 fm,粒子群的平均適應值為將適應值優(yōu)于 favg的適應值求平均得到 f′avg,定義對粒子的慣性權重 w調整如下[2].

1.1 當 fi優(yōu)于時,這些粒子較為優(yōu)秀,已接近全局最優(yōu),應賦予較小的 w,以加速向全局最優(yōu)收斂.此時根據(jù)粒子適應值按式 (3)調整粒子 Pi的慣性權重,其中 wmin為 w的最小值.

1.2 當 fi優(yōu)于 favg但次于 f′avg時,這些粒子是群體中一般的粒子,具有良好的全局尋優(yōu)能力和局部尋優(yōu)能力,故不需改變其慣性權重 w.

1.3 當 fi次于時,這些粒子為群體中較差的粒子,按式 (4)調整粒子 Pi的慣性權重.若粒子分布較為分散,則Δ較大由式 (4)可降低粒子的慣性權重w,加強局部尋優(yōu),以使群體趨于收斂;若粒子分布較為聚集 (如算法陷入局部最優(yōu)),則Δ較小,由式 (4)增加粒子的慣性權重w,使粒子具有較強的探查能力,從而有效地跳出局部最優(yōu).

2 基于自適應粒子群的非線性回歸參數(shù)估計

選取文獻 [3]的酶促反應的例子.當?shù)孜餄舛容^小時,酶促反應速度大致與底物濃度成正比;當?shù)孜餄舛群艽?、漸近飽和時,反應速度趨于固定值.實驗表明,酶促反應的反應速度與底物濃度之間的關系可用米氏 (Michaelis)方程表示.米氏方程中參數(shù)β1為最大反應速度,可用于計算酶的催化常數(shù),而催化常數(shù)越大,表示酶的催化效率越高;參數(shù)β2為米氏常數(shù),即酶促反應速度達到最大反應速度一半時所對應的底物濃度,是酶的特征常數(shù)之一,在臨床酶學分析中有重要意義.需要根據(jù)如表1的實驗數(shù)據(jù)求出酶促反應的參數(shù)β1,β2.該問題是一典型的非線性回歸問題.

表1 酶促反應速度與底物濃度數(shù)據(jù)

將 y=β1x/(β2+x)線性化可得利用線性回歸可求得β1=195.8,β2=0.04841.以線性回歸的參數(shù)值為初值,直接采用非線性最小二乘估計可得β1=212.68,β2=0.0641.

采用自適應粒子群算法求解參數(shù)β1,β2,目標函數(shù)為觀測值與預測值的相對誤差,即

自適應粒子群 (APSO)參數(shù)取值為：粒子群規(guī)模 40,粒子維數(shù) 2(對應β1,β2兩個參數(shù)),最大迭代次數(shù) 100,慣性權重范圍為 (0.5,0.95),加速常數(shù) c1=c2=2,權重調整參數(shù) k1=1.5,k2=2.APSO求解參數(shù)β1,β2的結果見表2.為便于對比,表2同時給出了利用線性化 (LR)、非線性最小二乘 (NLR)和標準粒子群(PSO)求得的參數(shù)值.

表2 LR、NLR、PSO和 APSO求解參數(shù)

表3 LR、NLR、PSO和 APSO預測結果比較

雖然酶促反應模型可以線性化,但線性化后的模型剩余標準差(13.859)比較大,這是因為線性化導致模型隨機誤差項不再符合線性回歸的要求;非線性最小二乘估計采用線性回歸的結果作為參數(shù)初始值,模型剩余標準差 (10.934)有所降低;標準粒子群算法的參數(shù)尋優(yōu)結果要好得多,剩余標準差降為 4.594;自適應權重調整的粒子群的參數(shù)估計結果最好,模型剩余標準差僅為 2.572.因此用自適應粒子群(APSO)算法求解酶促反應的非線性回歸方程是可行的,并且回歸方程的精度更高.

3 結束語

采用粒子群算法優(yōu)化非線性回歸問題的參數(shù),慣性權重自適應調整既有利于全局搜索又利于局部尋優(yōu).對酶促反應的參數(shù)估計結果表明,自適應粒子群算法用于求解非線性回歸方程的參數(shù)有其獨特的優(yōu)勢.

[1] Douglas M.Bates.非線性回歸分析及其應用[M].北京：中國統(tǒng)計出版社,1997.

[2] 韓江洪,李正榮,魏振春.一種自適應粒子群優(yōu)化算法及其仿真研究[J].系統(tǒng)仿真學報,2006,18(10)：2969-2971.

[3] 姜啟源,謝金星,葉俊.數(shù)學模型 (第三版)[M].北京：高等教育出版社,2003.

[4] 劉蓉生.試驗數(shù)據(jù)及圖像計算機處理 [M].北京：清華大學出版社,2005.

Application in nonlinear regression of adaptive particle swarm optim ization

CHEN Gao-bo1,YANG Xiao-hong2
(1.Department of Mathematics and Physics,Wuhan Polytechnic University,Wuhan 430023,China;2.Wuhan Cihui School,Wuhan 430040,China)

An adaptive weights adjustment algorithm for particle swar m optimization is adopted to opt imize the parameters of nonlinear regression model in this paper.The adaptive particle s warm optimization is used to solve the parameters of enzyme catalytic reaction.Compared with linearation,nonlinear least square and standard particle s warm opt imization,the results show that nonlinear regression equation based on adapative particle s warm optimization has higher precision.

adaptive;particle s warm optimization;nonlinear regression

O 22

A

1009-4881(2010)01-0100-03

10.3969/j.issn.1009-4881.2010.01.027

2009-08-29.

陳高波 (1972-),男,講師,E-mail：chengaob@126.com.

湖北省教育廳科研項目(Q20091809);武漢工業(yè)學院基金資助項目(08Y30).