求解非線性無約束優(yōu)化問題的修正BFGS方法

孫威

（綏化學院 信息工程學院，黑龍江 綏化 152061）

求解非線性無約束優(yōu)化問題的修正BFGS方法

孫威

（綏化學院 信息工程學院，黑龍江 綏化 152061）

在非線性無約束優(yōu)化上常用的方式有兩種，即共軛梯度與擬牛頓，其中共軛梯度方法具備低內存需求以及簡單迭代形式，擬牛頓法則是借助于Hesse矩陣正定近似的方式進行牛頓法的近似，因此其收斂速度相對較快，通過大量數(shù)值實驗證明相對于其他的Broyden族公式而言，BFGS公式數(shù)值所具穩(wěn)定性更好，且將其和非精確搜索方式有機結合應用可獲得更為顯著的計算效果，因此目前在實踐實踐計算過程中經(jīng)常會采用這種方式來進行計算.因傳統(tǒng)擬牛頓方程公式中所用梯度信息僅僅只有兩步，忽視了函數(shù)值信息，因此，有很大部分學者均在擬牛頓方程中添加了函數(shù)值，以此希望獲得更為顯著的計算結果.本文針對求解非線性無約束優(yōu)化問題的修正BFGS法進行了研究與分析.

非線性；BFGS；優(yōu)化；求解；方法

1 修正BEGS方法的分析

為獲得修正BFGS算法局部超線性收斂性以及全局收斂性，下面筆者基于Aiping Liao所給參數(shù)（δk，γk）的修正，對tr（Bk+1）與det（Bk+1）兩個量進行估計，明確新參數(shù)以及該參數(shù)一般條件，基于此再給出一個參數(shù)具體選擇與其數(shù)值結果.

1.1 修正BEGS方法的算法

1.1.1 準備工作

在本次研究中，所用Bk迭代公式如下，即Bk-1=Bk-δk，在參數(shù)選擇上，明確了常數(shù)γ大于等于0且小于等于1.其算法主要如下：首先進行初始點和初始矩陣的選取，即x1∈Rn和B1∈Rn×n，其中B1大于0，明確終止誤差大于0（即ε大于0）且K等于1；若||gk||小于等于ε，則迭代停止；對Bkdk=-gk這一方程組進行求解以獲得搜索方向.接著借助于Wolfe準則來進行αk的計算.在獲得Xk+1以后，基于上述所選參數(shù)來進行參數(shù)（δk,γk）的計算，接著進一步計算Bk+1，最后令k和k+1相等，再重新轉入到上述步驟來進行計算.

1.1.2 全局收斂性

假設f（x）一致凸和二階連續(xù)可微，為便于后文闡述，在此將該假設定義為假設a，其中前者這一假設條件存在m＞0，基于此可得m||z||2≤zTG(x)z，?x,z∈Rn，此時上述公式中水平集存在有界閉凸集，即m大于0且小于等于M，用公式表示為m||z||2≤zTG(x)z≤M||z||2，?z∈Rn，x∈L(x0).基于上述內容，在此假設若Bk大于0同時ykTSk也大于0，利用Wolfe準則來明確ak，當δk大于等于0且小于等于1時，則Bk+1大于0.如果（f x）符合上述兩個假設，則可獲得M.如果B大于0，基于此則可得到xTBx·yTB-1y≥(xTy)2，當Bx和y線性有關時，則等號成立.

1.1.3 局部超線性收斂

假設b：g為零，G·為正定；f（x）中Hessian矩陣于x.位置Lipschitz，則有||G(x)-G*||≤L||x-x*||，L>0，上述假設中，xe某一個領域中全部x均成立.基于此引理1，若參數(shù)（δk，γk）中，K大于等于ko.

1.2 雙參數(shù)修正BFGS法一般性結論

1.2.1 算法條件

參數(shù)選擇2：給定常數(shù)τo大于0且小于等于1，常數(shù)po大于且小于p1.基于此可知δk大于等于τo且小于等于1，γk大于等于po且小于p1.在計算過程中，首先進行初始矩陣以及初始點的選取，令種終止誤差大于0且K為1；若||gk||小于等于ε，則迭代停；并對Bkdk=-gk這一方程組進行求解獲得搜索方向，借助于Wolfe來進行αk的計算，且利用上述公式來進行參數(shù)（δk，γk）、xk+1以及Bk+1的計算，最后令k和k+1相等，則又轉入至上述步驟來計算.

1.2.2 全局收斂性

第一，如果Bk迭代公式如上述所示，其參數(shù)條件滿足上述參數(shù)選擇2，基于此可得到

第二，如果f（x）符合假設a，則可利用上述算法獲得迭代數(shù)列{xk}，在這種情況下，任意P均存在相關的常數(shù)，同時任何自然數(shù)均大于1，那么此時于[1,k]這一區(qū)間中最少有[pk]個左右的i符合以下條件，即COSθ1大于等于β1'，q1大于等于β2'且小于等于β3'.

1.2.3 局部超線性收斂性

第一，如果參數(shù)（δk，γk）符合參數(shù)選擇3，即給定數(shù)列δk大于0且小于等于1，γk大于0且小于等于與.則可獲得，其中

第二，如果f（x）符合假設a與假設b，則利用上述算法所獲得的迭代序列超線性收斂至xe.對τ0和P0兩個常數(shù)，若其均存在常數(shù)k4，該自然數(shù)較大.

針對上述內容，為考察所設參數(shù)（δk，γk）是否滿足參數(shù)選擇3中的算法，下面筆筆者取參數(shù)（δk，γk）為，在這之中p大于1.基于此來實施數(shù)值試驗，在維數(shù)上分別取4、100、12以及80.從實驗結果來看，當p為50與100的時候，上述兩種算法所得數(shù)值結構相同，就該結果來看，當p大于等于50的時候，全部數(shù)值結果在某種意義上均一樣；當p大于等于100的時候，全部數(shù)值結果同樣也應一樣.對此，當參數(shù)（δk，γk）為的時候，在此時P可不用取得太大，若解決維數(shù)小于100的問題，最好令P小于100.

2 雙參數(shù)修正BFGS法對非線性無約束問題的求解

2.1 準備工作

在上述內容，對參數(shù)γk已明確了這樣的一個限制，即γk大于0且小于等于1.基于此，在本次計算中，所設δk同樣也應該大于0且小于等于1，明確這一要求的主要原因在于這是確保Bk保持正定性的必要條件，而要求參數(shù)γk大于0且小于等于1，則是由于證明過程的需求來明確的，下面筆者就這方面的問題進行詳細地闡述.

2.2 全局收斂性

第一，如果f（x）符合假設a，αk符合Wolfe準則，利用迭代格式，則，繼而獲得kl→im∞||sk||=0.其證明過程如下：利用Taylor展式獲得(xk+θsk)skdθ，基于上述內容已知αk符合Wolfe準則，且f（x）符合假設a，則可得到[f1-f*]，在此基礎上可進一步獲得

第二，如果Bk迭代公式為，且參數(shù)選擇為參數(shù)選擇3，則可得到tr(Bk+1)≤tr(Bk)-

第三，如果存在常數(shù)M*與m*，且符合0＜m*＜M*，則可獲得m*小于等于mk*，M*≥Mk*，有上述雙參數(shù)修正BFGS法中全局收斂性引理1可知因此對常數(shù)m+小于min{m,1}，所存自然數(shù)k5相對比較大，對任意K大于等于k5，則可獲得-m0≤ηk=O(||sk||)≤m0.如果uk等于sk，則可得到相等，且x不等于0，?x∈Rn，則因此如果uk等于yk，則可得到以下結論，即M(1+m0).在證明中，令(1+m0)}且m*=min{m-m0,m(1-m0)}，則可對該定理進行證明.

第四，如果f（x）符合假設a，且{xk}為上述算法所得到的迭代數(shù)列，則對于任意p∈(0,1)均存在相應的常數(shù)，即β1'.而這也使得任意自然數(shù)即k大于1，且于[1，K]這一區(qū)間最少有[pk]個i符合

3 結束語

綜上所述，文章就求解非線性無約束優(yōu)化問題的修正BFGS法進行了詳細地闡述，基于Aiping Liao的研究上，假設了一個比較特殊的參數(shù)并提出了該闡述一般性條件，最后再于修正BFGS公式中引入了新擬的牛頓方程，獲得了該參數(shù)的另外一個條件.望通過本文內容的闡述可為今后非線性無約束優(yōu)化問題的求解提供相應的理論參考.

〔1〕李文敬,劉之家,藍貞雄等.無約束最優(yōu)化問題的BFGS松弛異步并行算法[J].計算機工程與應用,2012,48(17):44-47.

〔2〕李文敬,王汝涼,廖偉志等.無約束最優(yōu)化問題的BFGS并行算法與實現(xiàn)[J].計算機工程,2009,35(15):58-60,63.

〔3〕吳紅梅.非線性不等式約束優(yōu)化問題的一個修正BFGS信賴域算法 [J].科學技術與工程,2010,10(12):2820-2821,2828.

〔4〕馮迎春,鄭列.一般約束非線性規(guī)劃問題的光滑牛頓法[J].湖南理工學院學報（自然科學版）,2010,23(1):20-23.

〔5〕王開榮,劉奔.建立在修正BFGS公式基礎上的新的共軛梯度法[J].計算數(shù)學,2012,34(1):81-92.

O224

A

1673-260X（2014）10-0005-02