帶有最優(yōu)參數(shù)選擇的修正DL共軛梯度法

吳雙江

(重慶師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院，重慶401331)

0 引言

考慮無(wú)約束優(yōu)化問(wèn)題

在文獻(xiàn)［1］中，Dai和Liao利用修正共軛條件的方法提出新共軛梯度法，其參數(shù)βk的形式:

在文獻(xiàn)［2］中，Saman Babaie-Kafaki和Reza Ghanbari利用條件數(shù)，求解了DL法中參數(shù)t，獲得兩種新的共軛梯度法M1和M2，其選取的參數(shù)t分別為

1 MZ1法與MZ2法的全局收斂性

(2)f在水平集Ω的一個(gè)領(lǐng)域N內(nèi)連續(xù)可微，且其梯度g滿足Lipschitz連續(xù)，即存在常數(shù)L＞0，使得g(x)－g(y)≤L x－y ，?x，y∈N。

由假設(shè)1中(2)可知 gk≤γ。

引理1［4］若假設(shè)A成立?？紤]迭代格式為(2)－(3)的共軛梯度法，其中dk滿足下降條件，αk滿足強(qiáng) Wolfe線搜索。如果

定理1 若假設(shè)1成立。分別考慮共軛梯度法MZ1法與MZ2法。兩種方法中滿足下降條件，滿足強(qiáng)Wolfe線搜索。則MZ1法與MZ2法均對(duì)一般函數(shù)有全局收斂性。

證明:根據(jù)引理1，只需要證明MZ1法與MZ2法中dk有界，那么則MZ1法與MZ2法均對(duì)一般函數(shù)有全局收斂性。因?yàn)镸Z1法和MZ2法中滿足下降條件，因此dk≠0。下面運(yùn)用反正法證明MZ1法與MZ2法中有界。

假設(shè)MZ1法與MZ2法均對(duì)一般函數(shù)不具有全局收斂性，則存在常數(shù)ε＞0，使得 gk≥ε對(duì)任意k成立。根據(jù)式(5)、(7)，有

在 MZ1 法中，根據(jù)(2)、(3)、(7)、(12)、(13)和假設(shè)1:

因此根據(jù)引理1，MZ1法對(duì)一般函數(shù)有全局收斂性。MZ2法，同理可證得對(duì)一般函數(shù)的全局收斂性。因此省略對(duì)MZ2法的全局收斂性證明過(guò)程。定理證明完畢。

2 數(shù)值試驗(yàn)

現(xiàn)比較MZ1法，MZ2法，ZZ法與DL法的數(shù)值效果，測(cè)試問(wèn)題取自于文獻(xiàn)［5］。測(cè)試問(wèn)題的維數(shù)為2～5 000維。在所有的共軛梯度法計(jì)算中，步長(zhǎng)αk通過(guò)強(qiáng)Wolfe線搜索獲得，其中強(qiáng)Wolfe線搜索的參數(shù)δ=0.01，σ =0.1。DL法中參數(shù) t=0.1。MZ1法，MZ2法，和 ZZ法中參數(shù) C=0.001，并且如果 gk≥1時(shí) r=1，否則r=3。這些方法在配置為1.86 GHz CPU，2.5 GB RAM，Windows 7操作系統(tǒng)的聯(lián)想Z460筆記本電腦上用MATLAB 7.0.1軟件測(cè)試數(shù)值有效性。算法中的終止條件有兩個(gè):如果f(xk－1)＞10－6，第一個(gè)終止條件為，否則第一個(gè)終止條件為≤10－6;如果迭代次數(shù)大于1 000次。繪制圖1、2、3、4來(lái)顯示MZ1法、MZ2法、ZZ法、DL法的數(shù)值結(jié)果。同時(shí)繪制表一顯示MZ1法、MZ2法、ZZ法、DL法的相對(duì)有效性。

通過(guò)圖1、2、3、4和表1可知，MZ1法在函數(shù)計(jì)算次數(shù)，梯度計(jì)算次數(shù)，迭代次數(shù)，時(shí)間上均好于其他幾種方法。

表1 MZ1法、MZ2法、ZZ法、DL法的相對(duì)有效性

圖1 函數(shù)計(jì)算次數(shù)

圖2 梯度計(jì)算次數(shù)

圖3 迭代次數(shù)

圖4 CPU時(shí)間

［1］DAI Y H，LIAO L Z.New Conjugacy Conditions and Related Nonlinear Conjugate Gradient Methods［J］.Appl Math Optim，2001，43(1):87-101

［2］SAMAN B K，REZA G.The Dai-Liao Nonlinear Conjugate Gradient Method with Optimal Parameter Choices［J］.European Journal of Operational Research，2014，234(3):625-630

［3］ZHOU W J，ZHANG L.A Nonlinear Conjugate Gradient Method Based on the MBFGSSecant Condition［J］.Optimization Methods and Soft-ware，2006，21(5):707-714

［4］DAI Y H.Convergence Properties of Nonlinear Conjugate Gradient Methods［J］.SIAM JOptim，2000，10(2):345-358

［5］MOREE JJ，GARBOW B S，HILLSTROM K E.Testing Unconstrained Optimization Software ［J］.ACM Trans Math Software，1981，7(1):136-140