基于LS-SVM求解非線性常微分方程組的近似解*

趙 毅， 張國山

(天津大學(xué) 電氣與自動化工程學(xué)院，天津 300072)

0 引 言

非線性微分方程一直以來都是備受關(guān)注的研究對象，近代物理和科學(xué)工程計(jì)算中的一些關(guān)鍵問題歸根結(jié)底均依賴于某些特定的非線性微分方程的求解。因此，對非線性微分方程解法的研究具有重要的理論和應(yīng)用價值。

文獻(xiàn)[1]介紹了利用神經(jīng)網(wǎng)絡(luò)算法求解微分方程的方法，將近似解的形式用神經(jīng)網(wǎng)絡(luò)模型代替，通過調(diào)整權(quán)值函數(shù)對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化，使得計(jì)算的誤差函數(shù)最小化，從而獲得方程滿足特定條件的近似解。文獻(xiàn)[2]討論了徑向基函數(shù)網(wǎng)絡(luò)(radial basis function networks,RBFN)求微分方程數(shù)值解的計(jì)算過程，優(yōu)點(diǎn)在于僅依賴于域和邊界，不需要大量的數(shù)據(jù)即可獲得方程的解。文獻(xiàn)[3，4]利用模糊神經(jīng)網(wǎng)絡(luò)模型可以逼近任意非線性連續(xù)函數(shù)的能力，通過優(yōu)化算法獲得模型的最優(yōu)可調(diào)參數(shù)，獲得微分方程滿足求解精度的近似解。文獻(xiàn)[5]提出了一種基于遺傳算法的常微分方程求解方法，實(shí)現(xiàn)簡單，快速收斂。

此外，運(yùn)用最小二乘支持向量機(jī)(least square support vector machine,LS-SVM)方法求解微分方程也得到了重視。Mehrkanoon S等人在文獻(xiàn)[6～8]中提出了運(yùn)用LS-SVM求解線性常微分方程以及廣義系統(tǒng)的近似解的問題，并取得了比較好的效果。文獻(xiàn)[9]改進(jìn)LS-SVM模型，得到了一類部分未知仿射非線性系統(tǒng)在有限區(qū)間上的近似解。文獻(xiàn)[10]在文獻(xiàn)[9]的LS-SVM模型中加入滾動時間窗，同時消除偏置項(xiàng)，提出了在線無偏LS-SVM模型求解一類部分未知仿射非線性系統(tǒng)的實(shí)時近似解，由于系統(tǒng)部分未知，需要利用方程的真實(shí)解對模型進(jìn)行訓(xùn)練。

本文以LS-SVM模型處理函數(shù)回歸估計(jì)問題為參考，對LS-SVM模型進(jìn)行改進(jìn)，利用徑向基核函數(shù)可導(dǎo)的特點(diǎn)，通過含核函數(shù)導(dǎo)數(shù)形式的LS-SVM模型求解非線性常微分方程組的初值問題，不僅適用于求解一階非線性常微分方程，同時可將高階微分方程轉(zhuǎn)化為一階方程進(jìn)行求解。在保證精度的前提下，利用本文所提方法可以得到非線性常微分方程組封閉形式(連續(xù)可微)的近似解。

1 LS-SVM

作為機(jī)器學(xué)習(xí)的研究熱點(diǎn)，已在模式識別[11，12]，回歸預(yù)測[13]等領(lǐng)域取得成功運(yùn)用。在回歸問題中，對于給定的訓(xùn)練樣本集{(xi,yi)},i=1,…,N，xi∈Rm為樣本輸入，yi∈R為輸出。LS-SVM利用非線性映射函數(shù)φ(x)將樣本映射到高維特征空間，從而將原樣本空間中的非線性函數(shù)估計(jì)問題轉(zhuǎn)化為高維特征空間中線性函數(shù)估計(jì)問題[14]?；貧w函數(shù)一般用y(x)=wTφ(x)+b表示。

基于結(jié)構(gòu)風(fēng)險最小化原則[14]，得到LS-SVM 約束優(yōu)化模型如下

s.t.yi=wTφ(xi)+b+ei

(1)

式中w∈Rh為權(quán)向量；φ(·):Rm→Rh為非線性特征映射函數(shù)；h為特征空間的維數(shù)，可以是有限維或無限維的；γ∈R+為懲罰因子，用于控制訓(xùn)練誤差和模型復(fù)雜度之間的平衡，避免出現(xiàn)過擬合或欠擬合的情況，使所求得的目標(biāo)函數(shù)有較好的泛化能力；偏置項(xiàng)b∈R,誤差ei∈R。

為了求解上述優(yōu)化問題，可引入Lagrange函數(shù)，將約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題，最終通過求解式(2)獲得參數(shù)的最優(yōu)值

(2)

式中1N=[1,1,…,1]T∈RN;α=[α1,α2,…，αN]T∈RN;y=[y1,y2,…，yN]T∈RN;Ω∈RN×N，其第ij個元素可表示為Ωij=K(xi,xj)=φT(xi)φ(xj)，K(xi,xj)為滿足Mercer定理[15]的核函數(shù)。最終，回歸函數(shù)的表達(dá)形式為

(3)

2 非線性微分方程組的求解

考慮式(4)非線性常微分方程組

(4)

式中f1,f2為已知的非線性函數(shù)；t∈[tin,tf]且式(4)滿足初始條件x(tin)=p1,y(tin)=p2。

本文的目標(biāo)是求解此類非線性微分方程在已知區(qū)間上滿足一定初始條件的近似解。

當(dāng)利用LS-SVM模型處理非線性微分方程求解問題時，目標(biāo)值yi無法直接使用，因此，LS-SVM回歸模型無法直接應(yīng)用。為解決此問題，將非線性微分方程所包含的信息加入到學(xué)習(xí)過程中并對核函數(shù)的導(dǎo)數(shù)進(jìn)行定義。由Mercer定理可知，特征映射函數(shù)的導(dǎo)數(shù)可以用核函數(shù)的形式表示(假如核函數(shù)充分可微)，例如，如下關(guān)系式成立

x(t1)=p1

y(t1)=p2

(5)

(6)

根據(jù)KKT條件(karush-kuhn-Tucker conditions)[16]，對式(6)中各變量求偏導(dǎo)數(shù)并令其等于零，將所得結(jié)果化簡整理可得式(7)非線性方程組

(7)

1=[1,…,1]T∈RN-1；0=[0,…,0]T∈RN-1

式中I為N-1階單位陣；O為N-1階零矩陣；D(·)為將矩陣對角化。

非線性方程組(7)可通過牛頓法進(jìn)行求解，最終所得微分方程組的近似解為

(8)

3 參數(shù)整定

由于高斯RBF具有良好泛化能力且適用范圍廣，因此，選取RBF作為仿真實(shí)驗(yàn)的核函數(shù)，即

(9)

式中σ為核函數(shù)的帶寬。

此外，與LS-SVM回歸過程不同的是本文未設(shè)目標(biāo)值，因此,求解過程不會產(chǎn)生噪聲，不必考慮噪聲對結(jié)果的影響。

4 數(shù)值仿真

為了更好地評價所用方法的性能，采用均方根誤差(mean square error, MSE)表示所求得數(shù)值解的精確度

(10)

(11)

圖1 N=100時真實(shí)解與近似解比較

圖2 N=100時真實(shí)解與近似解誤差

從圖中可以看出，非線性微分方程組近似解的變化與真實(shí)解的變化基本保持一致，兩者之間存在較小的誤差，因此，利用LS-SVM方法求解非線性微分方程組所得近似解具有較高的精度。

通過增大訓(xùn)練樣本點(diǎn)的個數(shù)，模型的均方差不斷減小，因此，適當(dāng)?shù)卦龃笥?xùn)練樣本，可以提高求解的精度。但超出一定范圍后，再增大訓(xùn)練樣本，模型的求解精度不會再發(fā)生顯著變化，反而會增加求解的時間。

表1 不同訓(xùn)練樣本下求解精度(MSE)

通過數(shù)值仿真可以看出，本文所提方法也適用于高階非線性微分方程的求解。通過引入中間變量，將高階微分方程轉(zhuǎn)化為一階微分方程，利用LS-SVM方法求解。

5 結(jié) 論

討論了非線性微分方程組的求解問題，提出了一種基于LS-SVM的具有優(yōu)化和學(xué)習(xí)能力的求解方法，在求解高階微分方程時，可將其轉(zhuǎn)化為一階方程進(jìn)行求解，擴(kuò)大了方法的適用范圍。本文僅針對含有2個未知函數(shù)的非線性微分方程求解進(jìn)行了研究，未來可將該方法擴(kuò)展到混沌系統(tǒng)或者非線性微分方程的在線求解過程中。

[1] Mall S,Chakraverty S.Numerical solution of nonlinear singular initial value problems of Emden-Fowler type using Chebyshev Neural Network method[J].Neurocomputing,2015,149:975-982.

[2] Mai-Duy N,Tran-Cong T.Numerical solution of differential equations using multiquadric radial basis function networks[J].Neural Networks,2001,14(2):185-199.

[3] Leephakpreeda T.Novel determination of differential-equation solutions:Universal approximation method[J].Journal of Computational and Applied Mathematics,2002,146(2):443-457.

[4] Yazdi H S,Pourreza R.Unsupervised adaptive neural-fuzzy infe-rence system for solving differential equations[J].Applied Soft Computing,2010,10(1):267-275.

[5] Tsoulos I G,Lagaris I E.Solving differential equations with gene-tic programming[J].Genetic Programming and Evolvable Machines,2006,7(1):33-54.

[6] Mehrkanoon S,Falck T,Suykens J A K.Approximate solutions to ordinary differential equations using least squares support vector machines[J].IEEE Transactions on Neural Networks and Lear-ning Systems,2012,23(9):1356-1367.

[7] Mehrkanoon S,Suykens J A K.LS-SVM approximate solution to linear time varying descriptor systems[J].Automatica,2012,48(10):2502-2511.

[8] Mehrkanoon S,Suykens J A K.LS-SVM based solution for delay differential equations[C]∥Proc of the International Conference on Mathematical Modelling in Physical Sciences,2012:1-4.

[9] Zhang G,Wang S,Wang Y,et al.LS-SVM Approximate solution for affine nonlinear systems with partially unknown functions[J].Journal of Industrial and Management Optimization,2014,10(2):621-636.

[10] 張國山,王巖浩.基于數(shù)據(jù)的一類部分未知仿射非線性系統(tǒng)近似解[J].自動化學(xué)報,2015,41(10):1745-1753.

[11] 陳 曦,陳冠雄,沈海斌.基于SVM的ECG傳感器信號身份識別方法[J].傳感器與微系統(tǒng),2014,33(10):40-42.

[12] 伍吉瑤,王 璐,程正南，等.基于LLE和SVM的手部動作識別方法[J].傳感器與微系統(tǒng),2016,35(8):4-7.

[13] 李文江,陳 陽.基于改進(jìn)ABC與LS-SVM算法的電力負(fù)荷預(yù)測的研究[J].傳感器與微系統(tǒng),2013,32(5):57-59.

[14] Vapnik V.Principles of risk minimization for learning theory[C]∥Advances in Neural Information Processing Systems,1992:831-838.

[15] Vapnik V N.The nature of statistical learning theory[M].Berlin:Springer Science & Business Media,2013.

[16] Kincaid D R,Cheney E W.Numerical analysis:Mathematics of scientific computing[M].American Mathematical Soc,2002.