基于L-S Lagrange函數(shù)的神經(jīng)網(wǎng)絡(luò)方法

彭愛民

(湖北第二師范學(xué)院數(shù)學(xué)與數(shù)量經(jīng)濟(jì)學(xué)院，湖北 武漢 430205)

0 前言

自Hopfield提出人工神經(jīng)網(wǎng)絡(luò)優(yōu)化方法以來[1-2]，由于其大規(guī)模并行協(xié)同處理能力，引起了廣泛關(guān)注.Kennedy 和Chua提出了基于罰函數(shù)的神經(jīng)網(wǎng)絡(luò)模型[3]，理論分析表明當(dāng)罰因子趨向于無窮大時(shí)，該網(wǎng)絡(luò)可以得到線性規(guī)劃的最優(yōu)解，然而在實(shí)際問題的求解中，罰因子趨向于無窮大是無法實(shí)現(xiàn)的.Zhang等利用Lagrange乘子理論，提出了Lagrange 神經(jīng)網(wǎng)絡(luò)模型[4].該模型不含有罰因子，能夠有效求解凸非線性規(guī)劃問題，但引入松弛變量將不等式約束變?yōu)榈仁郊s束，增加了網(wǎng)絡(luò)的復(fù)雜性.黃遠(yuǎn)燦等提出了改進(jìn)的Lagrange 神經(jīng)網(wǎng)絡(luò)模型[5]，對不等式約束不需要引入松弛變量，減少了網(wǎng)絡(luò)的復(fù)雜程度，并且改進(jìn)了乘子的收斂速度.本文中利用Log-Sigmoid(L-S)型Lagrange函數(shù)構(gòu)造一種新的神經(jīng)網(wǎng)絡(luò).

Polyak[6]利用函數(shù)S(t，k)=(1+exp(-kt))-1逼近x+=max{0，x}，當(dāng)參數(shù)k不大時(shí)逼近效果非常好.由于ψ(t，k)=2ln2S(t，k)的優(yōu)良性質(zhì)，如任意階導(dǎo)數(shù)存在，一、二階導(dǎo)數(shù)有界，針對非線性規(guī)劃問題 minf(x)

使得

gi(x)≥0

(NLP)

構(gòu)造出Log-Sigmoid型Lagrange函數(shù)(L-S Lagrange)

及其對偶

(DP)

L-S Lagrange函數(shù)具有性質(zhì)：

對任何KKT對(x*，λ*)，有

(A1)L(x*，λ*，k)=f(x*)；

(A2)xL(x*，λ*，k)=xL(x*，λ*)=f(x*λigi(x*)=0；

(A3)2xxL(x*，λ*，k)=2xxL(x*，λ*)+0.5kgi(x*)TΛgi(x*).

其中L(x*，λ*)是Lagrange函數(shù)，Λ=diag(λi).

本文中總假設(shè)(NLP)問題的解非空.

為了方便敘述，給出一些條件和定義.

(A4) Slater條件成立：即?x∈Rn，使g(x)>0.

定義1若?x*，使g(x*)≥0，且gj(x)(j?i|gi(x)=0線性無關(guān)，稱點(diǎn)x*為正則點(diǎn).

對于L-S Lagrange函數(shù)及其對偶，下列結(jié)論成立.

定理1[7]如果條件(A4)成立，且原問題有解x*，那么對偶問題有解(x*，λ*)，且f(x*)=dk(λ*)，對任意k>0成立.

L-S Lagrange函數(shù)相對于一般Lagrange函數(shù)而言，在求解其對偶問題，即求解乘子時(shí)具有線性或超線性收斂速度.

1 L-S Lagrange神經(jīng)網(wǎng)絡(luò)

這一節(jié)將根據(jù)L-S Lagrange函數(shù)及其對偶問題的解構(gòu)造神經(jīng)網(wǎng)絡(luò).

定理2若x*是正則點(diǎn)，且x*及(x*，λ*)分別是(NLP)和(DP)的解，則

f(x*)=L(x*，λ*，k)，xL(x*，λ*，k)=0，g(x*)≥0，λ*≥0成立.

定理2的證明由KKT條件，x*及(x*，λ*)分別是(NLP)和(DP)的解當(dāng)且僅當(dāng)?λ≥0，使得

xL(x*，λ*，k)=0，λT·g(x)=0，g(x*)≥0.

由定理1知結(jié)論成立.由此，構(gòu)造能量函數(shù)：

(1)

由文獻(xiàn)[7]知等式右邊的第三、四項(xiàng)也可微.

相應(yīng)的神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程是

(2)

對于問題(NLP)，經(jīng)計(jì)算有

xL(x，λ，k)=gi(x)，

xxL(x，λ，k)=xxL(x，λ)+2kg(x)TΛ(1+ekg(x))-2g(x)，

所以

xE(x，λ)=xxL(x，λ，k)xL(x，λ，k)+λTg(x)(g(x)T)λ+g(x)(g(x)-g(x))=

(xxL(x，λ)+2kg(x)TΛ(1+ekgi(x))-2g(x))xL(x，λ，k)+

λTg(x)(g(x)T)λ+g(x)(g(x)-g(x))，

λE(x，λ)=λTg(x)·g(x)-g(x)xL-(λ-λ)=

λTg(x)·g(x)+g(x)(gi(x))-(λ-λ).

故(2)的標(biāo)量形式為：

(3)

定理3若x*和(x*，λ*)分別是原問題和對偶問題的解，則(x*，λ*)是系統(tǒng)(2)的穩(wěn)定點(diǎn).

定理3的證明若x*和(x*，λ*)分別是原問題和對偶問題的解，由定理2知f(x*)=L(x*，λ*，k)，xL(x*，λ*，k)=0，g(x*)≥0，λ*≥0成立，此時(shí)(1)式右端各項(xiàng)均為零，而E(x，λ)≥0，即(x*，λ*)是E(x，λ)的極值點(diǎn)，由可微函數(shù)極值點(diǎn)的必要條件知定理成立.

定理4若問題(NLP)有解，且(2)有唯一的穩(wěn)定點(diǎn)z*，則z*是漸近穩(wěn)定的.

定理4的證明因?yàn)?/p>

由Lyapunov定理知結(jié)論成立.

2 算例

如前所言，由于L-S Lagrange函數(shù)在求解其對偶問題，即求解乘子時(shí)具有線性或超線性收斂速度，所以在實(shí)際求解過程中會(huì)表現(xiàn)出較強(qiáng)的穩(wěn)定性.我們利用軟件 matlab 6.5 中內(nèi)置命令ode45求解， 這里取k=10.

例1minf(x)=x12+0.5x22+x32+0.5x42-x1·x3+x3·x4-x1-3x2+x3-x4，

使得

5-x1-2x2-x3-x4≥0，4-3x1-x2-2x3+x4≥0，x2+4x3-1.5≥0，

xi≥0，i=1，2，3，4.

輸出結(jié)果是

x=0.272 5，2.080 4，0.019 6，0.537 9.

使得x1≥1，x2≥0.

在matlab中的相應(yīng)函數(shù)是：

function dx=funmy(t，x)

dx=zeros(4，1);

k=10;

dx(1)=4*k*x(3)^ 2/(1+exp(k*(x(1)-1)))^3+4*x(3)*(x(1)+1)/(1+exp(k*(x(1)-1)))-2*k*x(3)*(x(1)+1)^ 2/(1+exp(k*(x(1)-1)))^ 2-2*(x(1)+1)^3-x(3)^ 2*(x(1)-1)-x(2)*x(3)*x(4)-x(1)+1+abs(x(1)-1);

dx(2)=4*k*x(4)^ 2/(1+exp(k*x(2)))^3-2*k*x(4)/(1+exp(k*x(2)))^ 2-(x(1)-1)*x(3)*x(4)-x(2)*x(4)^ 2-x(2)+abs(x(2));

dx(3)=-x(3)*(x(1)-1)^ 2+x(4)*x(2)*(1-x(1))-(x(1)+1)^ 2+2*x(3)/(1+exp(k*(x(1)-1)))^ 2-x(3)+abs(x(3));

dx(4)=-x(3)*x(2)*(x(1)-1)-x(4)*x(2)^ 2-1+2*x(4)/(1+exp(k*(x(1)-1)))^ 2-x(4)+abs(x(4)).

本文中給出matlab中例2的第一個(gè)變量的收斂圖，并比較了與增廣Lagrange函數(shù)的收斂情況，如圖1可以看出，L-S Lagrange函數(shù)的神經(jīng)網(wǎng)絡(luò)方法的收斂結(jié)果更好.

圖1 例2中第一個(gè)變量的收斂圖

[1] Hopfield J J.Neural networks and physical systems with emergent collective computational abilities[J].Proceeding of the National Academy of Sciences，1982，79(4):2554-2558.

[2] Hopfield J J. Neurons with graded response have collective computational properties like those of two-state neurons[J].Proceeding of the National Academy of Sciences，1984，81(5):141-152.

[3] Kennedy M P，Chuo L O.Neural networks for nonlinear programming[J].IEEE Transactions on Circuits and Systems，1988，35(5):554-562.

[4] Zhang S， Constantinides A G. Lagrange programming neural networks[J].IEEE Transactions on Circuits and Systems，1992， 39(7):441-452.

[5] 黃遠(yuǎn)燦. Lagrange 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[J].控制與決策，2005，20(5):545-552.

[6] Polyak R. Log-Sigmoid multipliers method in constrained optimization[J].Annals of Operations Research，2001，101:427-460.

[7] Chen K Z， Leung Y， Leung K S, et al. A neural network for solving nonlinear programming porblems[J].Neural Computing and Applications，2002，11(2):103-111.