混合CD-DY共軛梯度法

陳湘赟

（鹽城工學(xué)院 基礎(chǔ)教學(xué)部，江蘇 鹽城 224051）

混合CD-DY共軛梯度法

陳湘赟

（鹽城工學(xué)院 基礎(chǔ)教學(xué)部，江蘇 鹽城 224051）

在CD方法和DY方法的基礎(chǔ)上對(duì)求解無(wú)約束優(yōu)化問(wèn)題提出了一種混合的CD-DY共軛梯度法.在廣義Wolfe線搜索下無(wú)需給定下降條件，即可證明混合方法的全局收斂性.初步試驗(yàn)表明新方法的數(shù)值效果優(yōu)于CD方法和DY方法.

無(wú)約束優(yōu)化；共軛梯度法；廣義Wolfe線搜索；全局收斂性

1 引言

考慮無(wú)約束優(yōu)化問(wèn)題：

其中f∶Rn→R為可微函數(shù)，其梯度函數(shù)用g(x)表示.求解這類無(wú)約束優(yōu)化問(wèn)題常用的一種迭代格式為：

其中g(shù)k=?f(xk)為f(x)在xk處的梯度；αk≥0是步長(zhǎng)因子，由某種線搜索得到；dk是搜索方向，βk為一標(biāo)量.不同的βk與迭代格式（1.2）、（1.3）構(gòu)成相應(yīng)的共軛梯度法，如：

分別被稱為CD、DY共軛梯度法.許多學(xué)者已經(jīng)對(duì)這兩種方法的收斂性做了研究，并取得喜人的成果.Dai和Yuan在文獻(xiàn)[3]中對(duì)CD方法作了進(jìn)一步研究，證明了在廣義Wolfe線搜索即：

（0＜δ＜σ1＜1，0≤σ2＜1）下能夠保證搜索方向dk為下降方向，并且證明了在以上線搜索條件下σ1＜1，σ2=0是保證CD方法全局收斂的充分必要條件.Dai和Yuan在文獻(xiàn)[4]中在Wolfe線搜索下（由（1.4）和（1.5）構(gòu)成，此時(shí)0＜δ＜σ1＜1，σ2=+∞），不需給定下降條件即gTkdk＜0，證明了DY方法的全局收斂性，文獻(xiàn)[4]中進(jìn)一步研究了與DY方法相關(guān)的混合算法，其中βk=αβkDY，α∈[(σ-1)(σ+1),1]，在相同的條件下證明了全局收斂性.考慮到CD方法較好的下降性與DY方法好的收斂性，本文給出了一種新的CD-DY混合方法.

2 混合CD-DY方法及下降性

3 全局收斂性

4 數(shù)值試驗(yàn)

為考察本文提出的混合共軛梯度法的數(shù)值表現(xiàn)，我們利用MATLAB編制程序，在混合算法（A）中取βk為（1.6），在強(qiáng)Wolfe線搜索下對(duì)文獻(xiàn)[5]中的部分測(cè)試函數(shù)進(jìn)行試驗(yàn)，并與CD方法和DY方法比較，結(jié)果表明混合方法對(duì)所選測(cè)試函數(shù)是非常有效的，見(jiàn)表1.

算法中參數(shù)取值為：δ=0.01，σ=0.1.算法終止條件為：||gk||≤1.0×10-6，或者It-max＞9999，其中It-max表示最大迭代次數(shù).

表1中的“Problem”表示文獻(xiàn)[6]中測(cè)試函數(shù)的名稱；“Dim”表示測(cè)試函數(shù)的維數(shù)；“----”表示迭代失敗.“*”表示數(shù)值效果最優(yōu)者.

[1]劉金魁.幾類非線性共軛梯度法的全局收斂性研究[D].重慶：重慶大學(xué)，2009.

[2]Fletcher R.PracticalMethodsofOptim ization vol.1∶Unconstrained Optim ization[M].New York∶JohnWiley&Sons,1987∶147-154. [3]DaiYuhong,Yuan Yaxiang.Convergence propertiesof the conjugate descentmethod[J].AdvMath,1996,25(6)∶552-562.

[4]Dai Y H,Yuan Y X.A Nonlinear con jugate gradientmethod with a strong Global convergence properties[J].SIAM JOptimization, 1999(10)∶177-182.

[5]More JJ,Garbow BS,Hillstrome K E.Testing unconstrained optimization software,ACM Trains[J].Math Software,1981(7)∶17-41.

[6]戴彧紅，袁亞湘.非線性共軛梯度法[M].1版.上海：上?？茖W(xué)技術(shù)出版社，2000：68-69．

Mixed CD-DY Conjugate Gradient Method

CHEN Xiang-yun
(Department of Basic Sciences,Yancheng Institute of Technology,Yancheng 224051,China)

In this paper,a mixed CD-DY conjugate gradientmethod is proposed to solve unconstrained optimization problems on the basis of CD method and DY method.And,the paper proved the global convergence of the mixed method without the given descent condition,under the generalWolfe line search condition.The numerical experiments show that themixed method excelled CD method and DY method.

unconstrained optimization;conjugate gradient method;general Wolfe line search;global convergence

O221.1

A

1008-2794（2014）04-0044-04

2013-09-06

陳湘赟，副教授，研究方向：應(yīng)用數(shù)學(xué)，E-mail∶cxy808080@163.com.