一種求解非線性方程組的修正Levenberg-Marquardt算法

韓揚(yáng)　芮紹平

摘要：通過(guò)修改Levenberg-Marquardt （LM）參數(shù)，結(jié)合信賴域方法給出一種新的求解方程組的LM算法。在局部誤差界條件下，證明了該算法具有局部快速收斂性。數(shù)值實(shí)驗(yàn)結(jié)果表明，此算法穩(wěn)定、有效。

關(guān)鍵詞：Levenberg-Marquardt算法；方程組；LM參數(shù)；局部快速收斂性

中圖分類(lèi)號(hào)：O221.1 文獻(xiàn)標(biāo)志碼：A

從表1中的數(shù)值實(shí)驗(yàn)結(jié)果可以看出，ALLM算法相對(duì)穩(wěn)定，對(duì)于大部分測(cè)試的實(shí)驗(yàn)結(jié)果，ALLM算法的計(jì)算時(shí)間小于AELM算法的計(jì)算時(shí)間，并且當(dāng)選取的初始點(diǎn)遠(yuǎn)離解集時(shí)，算例3在參數(shù)θ=05及δ=2、算例5在參數(shù)θ=05及δ=15，2和算例9在參數(shù)θ=05及δ=1，15，2時(shí)，ALLM算法的計(jì)算量和計(jì)算時(shí)間均小于AELM算法。

4 結(jié)論

本文結(jié)合信賴域方法提出了一種求解非線性方程組的修正的LM算法（ALLM算法），在不必假設(shè)雅可比矩陣非奇異的局部誤差界條件下，證明了該算法具有局部快速收斂性。可根據(jù)實(shí)際應(yīng)用的需要，通過(guò)改變?chǔ)群挺闹狄詢?yōu)化λk的選取，數(shù)值實(shí)驗(yàn)結(jié)果表明，ALLM算法穩(wěn)定有效。然而雅可比矩陣的計(jì)算量和收斂速度還需繼續(xù)改善，如何節(jié)約雅可比矩陣的計(jì)算量和提升收斂速度是今后有待解決的問(wèn)題。

參考文獻(xiàn)

［1］LEONOV E A，POLBIN A V. Numerical search for a global solution in a two-mode economy model with an exhaustible resource of hydrocarbons［J］. Mathematical Models an Computer Simulations，2022，14（2）： 213-223.

［2］NOROUZI N，F(xiàn)ANI M，TALEBI S. Green tax as a path to greener economy： A game theory approach on energy and final goods in Iran［J］. Renewable and Sustainable Energy Reviews，2022，156：111968.

［3］VU D T S，BEN GHARBIA I，HADDOU M，et al. A new approach for solving nonlinear algebraic systems with complementarity conditions. Application to compositional multiphase equilibrium problems［J］. Mathematics and Computers in Simulation，2021，190：1243-1274.

［4］LUO X L，XIAO H，L J H. Continuation Newton methods with the residual trust-region time-stepping scheme for nonlinear equations［J］. Numerical Algorithms，2022，89（1）：223-247.

［5］WAZIRI M Y，AHMED K. Two descent Dai-Yuan conjugate gradient methods for systems of monotone nonlinear equations［J］. Journal of Scientific Computing，2022，90（1）：36.

［6］PES F，RODRIGUEZ G. A doubly relaxed minimal-norm Gauss-Newton method for underdetermined nonlinear least-squares problems［J］. Applied Numerical Mathematics，2022，171：233-248.

［7］LEVENBERG K. A method for the solution of certain non-linear problems in least squares［J］. Quarterly of Applied Mathematics，1944，2（2）：164-168.

［8］MARQUARDT D W. An algorithm for least-squares estimation of nonlinear parameters［J］ Journal of the Society for Industrial and Applied Mathematics，1963，11（2）：431-441.

［9］YAMASHITA N，F(xiàn)UKUSHIMA M. On the rate of convergence of the Levenberg-Marquardt method［J］. Computing，2001，15：239-249.

［10］ FAN J Y，YUAN Y X. On the convergence of a new Levenberg-Marquardt method＼[DB/OL＼]. ＼[2022-09-09＼]. https：//citeseerx.ist.psu.edu/document？repid=rep1&type=pdf&doi=dc7c189e9fdec273b26f3abcc292ee81d237c301.

［11］ FISCHER A. Local behavior of an iterative framework for generalized equations with nonisolated solutions［J］. Mathematical Programming，2002，94（1）：91-124.

［12］ MA C F，JIANG L H. Some research on Levenberg-Marquardt method for the nonlinear equations［J］. Applied Mathematics and Computation，2007，184（2）：1032-1040.

［13］ FAN J Y. A modified Levenberg-Marquardt algorithm for singular system of nonlinear equations［J］. Journal of Computational Mathematics，2003，21（5）：625-636.

［14］ AMINI K，ROSTAMI F，CARISYI G. An efficient Levenberg-Marquardt method with a new LM parameter for systems of nonlinear equations［J］. Optimization，2018，67（5）： 637-650.

［15］ AHOOKHOSH M，AMINI K. A nonmonotone trust region method with adaptive radius for unconstrained optimization problems［J］. Computers & Mathematics with Applications，2010，60（3）： 411-422.

［16］ AHOOKHOSH M，AMINI K. An efficient nonmonotone trust-region method for unconstrained optimization［J］. Numerical Algorithms，2012，59（4）：523-540.

［17］ WANG P，ZHU D T. A derivative-free affine scaling trust region methods based on probabilistic models with new nonmonotone line search technique for linear inequality constrained minimization without strict complementarity［J］. International Journal of Computer Mathematics，2019，96（4）：663-691.

［18］ STEWART G W，SUN J G. Matrix perturbation theory［M］. Boston：Academic Press，1990.

［19］ MORE J J，GARBOW B S，HILLSTROM K E. Testing unconstrained optimization software［J］. ACM Transactions on Mathematical Software （TOMS），1981，7（1）：17-41.

［20］ SCHNABEL R B，F(xiàn)RANK P D. Tensor methods for nonlinear equations［J］. SIAM Journal on Numerical Analysis，1984，21（5）：815-843.

Modified Levenberg-Marquardt Algorithm for Solving Systems of Nonlinear Equations

HAN Yang，RUI Shao-ping

（School of Mathematical Sciences， Huaibei Normal University， Huaibei 235000， China）

Abstract： A new modified Levenberg-Marquardt （LM） algorithm for solving systems of equations was presented by modifying Levenberg-Marquardt （LM） parameters and combining trust region method. Under the local error bound condition， it was proved that the algorithm has local fast convergence. Numerical results show that this algorithm is stable and effective.

Keywords： Levenberg-Marquardt algorithm； systems of equations； LM parameter； local fast convergence

收稿日期：2022-09-24

基金項(xiàng)目：安徽省高等學(xué)校自然科學(xué)研究項(xiàng)目（批準(zhǔn)號(hào)：KJ2020A0024）資助；淮北師范大學(xué)實(shí)驗(yàn)室開(kāi)放項(xiàng)目（批準(zhǔn)號(hào)：2022sykf016）資助。

通信作者：芮紹平，男，博士，教授，主要研究方向?yàn)樽顑?yōu)化理論與算法。E-mail：rsp9999@163.com