多輸入Wiener非線性系統(tǒng)的Levenberg-Marquardt迭代算法研究

周林成，朱巨江，李向麗

（常熟理工學院 電氣與自動化工程學院，江蘇 常熟 215500）

多輸入Wiener非線性系統(tǒng)的Levenberg-Marquardt迭代算法研究

周林成，朱巨江，李向麗

（常熟理工學院 電氣與自動化工程學院，江蘇 常熟 215500）

在許多實際過程控制中，多變量或者多輸入系統(tǒng)是廣泛存在的. 針對這一情況，本文主要研究了具有多個輸入并且輸出單一的Wiener非線性系統(tǒng)的參數(shù)估計和辨識問題. 首先運用關鍵項分離技術，得到一個可辨識的多輸入Wiener非線性模型，針對模型的未知參數(shù)提出了Levenberg-Marquardt迭代辨識算法進行估計和辨識，最后運用數(shù)值仿真校驗了算法的效果.

多輸入系統(tǒng)；Wiener非線性模型；Levenberg-Marquardt迭代算法；參數(shù)估計

在許多實際生產和工業(yè)控制過程中，經?？梢杂枚嘧兞磕Ｐ徒２糠直豢貙ο蠡蛘呷康谋豢貙ο?，故此多變量系統(tǒng)（多輸入系統(tǒng)）的研究比單變量系統(tǒng)更有價值，受到研究者的廣泛關注. 在多變量系統(tǒng)中，由于其工藝機理復雜，各反應變量之間互相相關，常用的控制和辨識方法往往不能獲得滿意的效果，因此需要結合多變量系統(tǒng)的特點進行改進，所以研究多變量系統(tǒng)（尤其是多變量非線性系統(tǒng)）的新辨識方法就顯得極為重要. 到目前為止，許多學者針對線性的多輸入系統(tǒng)的參數(shù)辨識展開了研究，并獲取了一定的研究成果. 文獻［1］通過狀態(tài)變換把系統(tǒng)轉化為可辨識的狀態(tài)空間模型，結合最小二乘原理，推導出了一種能夠辨識線性多變量時滯系統(tǒng)未知參數(shù)的最小二乘遞推辨識方法. 針對多個輸入多個輸出與多個輸入單個輸出的線性動態(tài)系統(tǒng)，文獻［2］和［3］基于多信息理論和梯度搜索理論，給出了增廣隨機梯度辨識算法和多信息梯度辨識算法推導過程，并對這兩種算法進行了收斂分析.

上述所提及的算法對線性多變量系統(tǒng)能夠進行參數(shù)估計和辨識. 但涉及到具有多個輸入的Wiener非線性系統(tǒng)，由于此類系統(tǒng)存在未知的中間變量，并且中間變量不可得到或測量，因此運用這些已有的算法估計和辨識多輸入Wiener非線性系統(tǒng)的未知參數(shù)時，往往不能得到正確的結果. 針對這個存在的辨識問題，本文根據(jù)Levenberg-Marquardt搜索特性，研究一類新的迭代算法，該算法不僅可以達到牛頓迭代算法的二次收斂速度，而且具備梯度迭代算法計算量小的優(yōu)點，并把該算法用于辨識多輸入Wiener非線性系統(tǒng)，提出了針對該系統(tǒng)的Levenberg-Marquardt迭代算法.

1 多輸入Wiener系統(tǒng)模型

如圖1所示，通過把一個具有多輸入的線性動態(tài)子系統(tǒng)和一個具有靜態(tài)特性的非線性子系統(tǒng)進行級聯(lián)，可構成多輸入單輸出Wiener非線性系統(tǒng).

下式是具有多輸入的線性動態(tài)子系統(tǒng)的表達式：

圖1 具有多輸入單輸出的Wiener非線性系統(tǒng)

多輸入Wiener系統(tǒng)的具有無記憶的非線性子系統(tǒng)，其結構一般可用一組非線性基函數(shù)（階數(shù)已知）的和來表示［4-5］，即

非線性基函數(shù)一般可取三次樣條非線性，在本文中，假設非線性函數(shù)?(g)由s階的多項式構成

多項式階數(shù)s是已知的. 這里要注意的是系統(tǒng)輸出z( t)與未知中間變量π(t)不是一一對應的映射關系，所以不能獲得它們之間的可逆映射.

考慮隨機白噪聲對多輸入單輸出Wiener非線性系統(tǒng)的干擾，系統(tǒng)輸出可表示為

為了對系統(tǒng)進行分解，這里用到了關鍵項分離技術，通過變換得到的多輸入Wiener非線性模型如下：

定義信息向量和參數(shù)向量

2 Levenberg-Marquardt迭代辨識算法

Levenberg-Marquardt迭代算法同時具有牛頓迭代算法和梯度迭代算法的優(yōu)點. 定義堆積的信息矩陣Ψ(N)、輸出向量Z( N)和噪聲向量V( N)如下：

定義如下的準則函數(shù)：

忽略高次項，準則函數(shù)能夠被重寫為

其中λ稱為步長系數(shù)（阻尼系數(shù)）. 對準則函數(shù)J3()?進行極小化，也就是令其導數(shù)為零，

從而得到的Levenberg-Marquardt迭代算法：

在Levenberg-Marquardt算法中，可用如下策略來調整參數(shù). 首先令那么

在迭代點?k?1定義如下的函數(shù)：

基于給出的λ計算Πk，然后計算?( Π)和目標函數(shù)J3()?的增量

用Γk表示兩增量之比

參數(shù)kλ的一個更新規(guī)則如下：

在搜索中，如果Γk是一個在1附近的值，說明二次函數(shù)??( Π)在?k?1處能夠較好的擬合目標函數(shù)，此時需減小參數(shù)kλ的值從而增加Πk的模長，使Levenberg-Marquardt迭代算法能夠求解非線性最小二乘問題. 換言之，此時Levenberg-Marquardt迭代算法更接近牛頓迭代法的效果. 相反，當Γk的值接近0時，說明函數(shù)??( Π)在?k?1處不能很好的擬合目標函數(shù)，Πk的模長需要被減小，此時為了限制Πk的模長，應增大參數(shù)kλ的取值. 如果比值Γk在上述兩種情況之外時，則認為參數(shù)kλ選取得當，不作調整.

3 數(shù)值仿真

仿真中，χ1(t)、χ2(t)是持續(xù)性激勵信號序列，具有單位方差、零均值、不相關可測的特點. 白噪聲序列v( t)具有零均值，方差的大小分別為0.50和1.00，并且相互獨立于輸入序列χ1(t)、χ2(t). 采用上文提出的算法估計模型參數(shù)如圖2所示.

從圖2可以獲知，在算法開始階段，Levenberg-Marquardt迭代算法的參數(shù)估計誤差快速減小，隨著迭代次數(shù)進一步增加，參數(shù)估計誤差逐步減小并接近于零；從算法的收斂速度來看，Levenberg-Marquardt迭代算法能夠獲得接近最小二乘迭代算法的收斂速度，與最小二乘迭代算法相比，其計算負擔要小.

圖2 不同方差下的參數(shù)估計誤差

4 結論

本文研究了多輸入Wiener非線性系統(tǒng)，提出了新的Levenberg-Marquardt迭代辨識算法. 作為一種非線性最小二乘算法，Levenberg-Marquardt迭代算法不僅牛頓迭代算法快速收斂的優(yōu)點，而且具有梯度迭代算法計算量小、全局收斂的優(yōu)點.

［1］ GU Y, DING F. Parameter estimation for a multivariable state space system with d-stepstate-delay ［J］. Journal of the Franklin Institute-Engineering and Applied Mathematics, 2013, 350(4): 724-736.

［2］ LIU YJ, XIAO YS, ZHAO XL. Multi-innovation stochastic gradient algorithm for multiple-inputsingle-output systems using the auxiliary model ［J］. Applied Mathematics and Computation, 2009, 215(4): 1477-1483.

［3］ LIU YJ, DING R. Consistency of the extended gradient identification algorithm for multi-inputmulti-output systems with moving average noises ［J］. International Journal of ComputerMathematics, 2013, 90(9): 1840-1852.

［4］ ZHOU L, LI X, PAN F. Gradient based iterative parameter identification for Wiener nonlinear systems［J］. Applied Mathematical Modelling, 2013, 37(16-17): 8203-8209.

［5］ ZHOU L, LI X, PAN F. Gradient-based iterative identification for MISO Wiener nonlinear systems: Application to a glutamate fermentation process ［J］. Applied Mathematics Letters, 2013, 26(8): 886-892.

Abstract:In many practical process control processes, multi-variable or multi-input systems are widely existent. In order to solve this problem, this paper mainly studies the parameter identification problem of a class of multi-input system with Wiener nonlinear characteristics. First, using the key separation technology, a recognizable multi-input nonlinear Wiener model is derived, and then the Levenberg-Marquardt iterative algorithm is proposed to estimate the unknown parameters of the model. The numerical simulation shows the effectiveness of the proposed algorithm.

Key words:multi-input system; Wiener nonlinear model; Levenberg-Marquardt iterative algorithm; parameter estimation

Levenberg-Marquardt Iterative Algorithm for Multi-input Wiener Nonlinear Systems

ZHOU Lincheng, ZHU Jujiang, LI Xiangli
(School of Electrical and Automation Engineering, Changshu Institute of Technology, Changshu 215500, China)

TP273

A

1008-2794（2017）04-0046-04

2016-09-03

江蘇省高校自然科學基金“生物發(fā)酵過程的非線性軟測量建模及優(yōu)化”（15KJB120001）；常熟理工學院校級科研項目“生物發(fā)酵過程的非線性軟測量建?！保╔Z1503，XZ1504）

周林成，講師，工學博士，研究方向：非線性系統(tǒng)建模與參數(shù)辨識，E-mail：zhoulincheng@cslg.edu.cn.