基于神經(jīng)網(wǎng)絡(luò)的Hammerstein非線性動(dòng)態(tài)系統(tǒng)辨識(shí)

劉華卿 李峰 李誠(chéng)豪 高歌 王翔 楊兵兵 劉宏帥

摘? ? 要：針對(duì)單輸入單輸出的Hammerstein非線性動(dòng)態(tài)系統(tǒng)，提出了一種基于神經(jīng)網(wǎng)絡(luò)的Hammerstein非線性動(dòng)態(tài)系統(tǒng)辨識(shí)方法。首先，利用BP神經(jīng)網(wǎng)絡(luò)建立Hammerstein非線性系統(tǒng)的靜態(tài)非線性模塊，利用自回歸模型建立Hammerstein非線性系統(tǒng)的動(dòng)態(tài)線性模塊;其次，基于二進(jìn)制信號(hào)的輸入和輸出，利用經(jīng)典的最小二乘方法計(jì)算動(dòng)態(tài)線性模塊的未知參數(shù);最后，利用隨機(jī)梯度下降方法辨識(shí)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值。仿真結(jié)果表明，提出的方法能夠有效辨識(shí)基于神經(jīng)網(wǎng)絡(luò)的Hammerstein非線性動(dòng)態(tài)系統(tǒng)。

關(guān)鍵詞：Hammerstein非線性系統(tǒng);神經(jīng)網(wǎng)絡(luò);最小二乘;隨機(jī)梯度

中圖分類號(hào)：TP273? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ?文章編號(hào)：2095-7394（2021）02-0009-07

Hammerstein非線性系統(tǒng)由靜態(tài)非線性模塊和動(dòng)態(tài)線性模塊串聯(lián)而成，是一種典型的非線性系統(tǒng)。研究表明，該系統(tǒng)能夠有效地描述大多數(shù)非線性特性，適合蒸餾塔[1-2]、換熱器[3-4]、連續(xù)攪拌反應(yīng)器[5-6]、pH中和過程[7-8]以及干燥過程[9]等過程模型使用;因此，Hammerstein非線性系統(tǒng)得到了系統(tǒng)辨識(shí)和自動(dòng)控制界的廣泛認(rèn)可和關(guān)注。近年來，國(guó)內(nèi)外研究人員提出了諸多Hammerstein非線性系統(tǒng)的辨識(shí)方法，主要包括：子空間方法[10-11] 、過參數(shù)化方法[12-13]、迭代方法[14-15]、盲辨識(shí)方法[16]以及多信號(hào)源方法[17-18]等。

在非線性系統(tǒng)的建模研究領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)模型能夠較好地反映對(duì)象的動(dòng)態(tài)特性和復(fù)雜的非線性映射關(guān)系，具有較強(qiáng)的自學(xué)習(xí)能力和非線性處理能力。近年來，神經(jīng)網(wǎng)絡(luò)模型已成功應(yīng)用于Hammerstein非線性系統(tǒng)的建模和辨識(shí)研究：JANCZAK A [19]利用多層神經(jīng)網(wǎng)絡(luò)逼近Hammerstein模型的靜態(tài)非線性，提出了四種不同的在線梯度學(xué)習(xí)算法來訓(xùn)練Hammerstein模型;吳德會(huì)[20]將Hammerstein模型的辨識(shí)問題轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題，再采用誤差反向傳播算法求解迭代訓(xùn)練問題;WANG W等[21]采用偏最小二乘法對(duì)數(shù)據(jù)進(jìn)行降維和分?jǐn)?shù)向量提取，內(nèi)部模型由遞歸神經(jīng)網(wǎng)絡(luò)和Hammerstein模型組成。然而，上述辨識(shí)方法雖然取得了較好的辨識(shí)效果，但在辨識(shí)的模型中包含了模型參數(shù)的乘積項(xiàng)，需要通過分解技術(shù)將各模塊的未知參數(shù)分離出來，因而增加了辨識(shí)的復(fù)雜度。

針對(duì)上述辨識(shí)方法中存在的問題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)的Hammerstein非線性動(dòng)態(tài)系統(tǒng)辨識(shí)方法：首先，利用BP神經(jīng)網(wǎng)絡(luò)建立Hammerstein的靜態(tài)非線性模塊，利用自回歸模型建立Hammerstein的動(dòng)態(tài)線性模塊;其次，基于二進(jìn)制信號(hào)的輸入和輸出，利用經(jīng)典的最小二乘方法計(jì)算動(dòng)態(tài)線性模塊的未知參數(shù);在此基礎(chǔ)上，基于隨機(jī)信號(hào)的輸入輸出，利用隨機(jī)梯度下降方法辨識(shí)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值。仿真結(jié)果表明，提出的方法能夠有效辨識(shí)基于神經(jīng)網(wǎng)絡(luò)的Hammerstein非線性動(dòng)態(tài)系統(tǒng)。

1? ?問題描述

考慮單輸入單輸出Hammerstein非線性動(dòng)態(tài)系統(tǒng)，其結(jié)構(gòu)如圖1所示。

Hammerstein非線性動(dòng)態(tài)系統(tǒng)的數(shù)學(xué)表達(dá)式如下：

2? ?神經(jīng)網(wǎng)絡(luò)Hammerstein非線性動(dòng)態(tài)系統(tǒng)辨識(shí)

本文在團(tuán)隊(duì)前期的研究基礎(chǔ)上[22]，利用組合式信號(hào)源研究Hammerstein非線性動(dòng)態(tài)系統(tǒng)的非線性模塊和線性模塊參數(shù)辨識(shí)的分離。從圖3可以看出，組合式信號(hào)源由幅值為0和非零值的二進(jìn)制信號(hào)以及隨機(jī)信號(hào)構(gòu)成。研究表明：如果系統(tǒng)輸入的為二進(jìn)制信號(hào)[u（k）]，則相應(yīng)的中間變量[v（k）]為與[u（k）]同頻率不同幅值的二進(jìn)制信號(hào)，結(jié)果如圖4所示;中間不可測(cè)變量[v（k）]的值可以利用系統(tǒng)輸入[u（k）]來代替，其幅值的倍數(shù)可以用常數(shù)增益因子[β]進(jìn)行補(bǔ)償。因此，在二進(jìn)制信號(hào)作用下，能夠?qū)崿F(xiàn)Hammerstein非線性動(dòng)態(tài)系統(tǒng)的非線性模塊和線性模塊參數(shù)辨識(shí)的分離。

2.1? 動(dòng)態(tài)線性模塊的辨識(shí)

根據(jù)上述分析結(jié)果，基于二進(jìn)制信號(hào)的輸入輸出數(shù)據(jù)，利用最小二乘算法估計(jì)動(dòng)態(tài)線性模塊的參數(shù)，即：

2.2? 靜態(tài)非線性模塊的辨識(shí)

基于以上參數(shù)估計(jì)結(jié)果，利用隨機(jī)信號(hào)的輸入輸出數(shù)據(jù)辨識(shí)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值，即[w1j]和[w2j]。權(quán)值求解的本質(zhì)是一個(gè)非線性優(yōu)化問題，本文采用隨機(jī)梯度下降方法調(diào)整各層之間的權(quán)值，即神經(jīng)網(wǎng)絡(luò)的輸入層至隱含層權(quán)值以及隱含層至輸出層權(quán)值。

從式（13）和（17）可以看出，提出的算法只是按照[k]時(shí)刻的負(fù)梯度方向進(jìn)行修正，并沒有考慮到[k]時(shí)刻之前的梯度方向;因此，導(dǎo)致學(xué)習(xí)過程發(fā)生振蕩，收斂速度慢。為了克服這一問題，在算法中加入動(dòng)量項(xiàng)。加入動(dòng)量后的權(quán)值更新如下：

3? ? 仿真研究

為了驗(yàn)證本文提出的兩階段辨識(shí)方法的有效性，將該方法運(yùn)用到Hammerstein非線性動(dòng)態(tài)系統(tǒng)中：

為了辨識(shí)神經(jīng)網(wǎng)絡(luò)Hammerstein非線性動(dòng)態(tài)系統(tǒng)的參數(shù)，采用如圖5所示的輸入輸出數(shù)據(jù)。系統(tǒng)輸入數(shù)據(jù)集包括：（1）200組幅值為0或者1的二進(jìn)制信號(hào);（2）400組在區(qū)間[-1， 1]上均勻分布的隨機(jī)信號(hào)。

基于二進(jìn)制信號(hào)的輸入輸出數(shù)據(jù)，利用經(jīng)典最小二乘算法估計(jì)動(dòng)態(tài)線性模塊的未知參數(shù)，即：

在動(dòng)態(tài)線性模塊估計(jì)的基礎(chǔ)上，基于隨機(jī)信號(hào)的輸入和輸出數(shù)據(jù)，利用隨機(jī)梯度下降算法辨識(shí)靜態(tài)非線性模塊的參數(shù)，即神經(jīng)網(wǎng)絡(luò)的輸入層至隱含層權(quán)值以及隱含層至輸出層權(quán)值。文中設(shè)置隱含層神經(jīng)元的數(shù)目為12，計(jì)算得到：輸入層至隱含層權(quán)值為[-3.388 5，-2.446 2，1.601 3，-3.166 5，-0.316 9，-3.172 9，-3.181 4，-2.188 2，-2.484 8，-0.890 1，-3.281 64，-2.963 4];隱含層至輸出層權(quán)值為[-0.252 5，0.057 1，1.581 3，-0.314 6，0.772 2，-0.320 3，-0.330 1，0.193 4，-0.073 0，0.355 4，-0.384 7，0.070 9]。

圖6給出了靜態(tài)非線性函數(shù)的估計(jì)，從圖6中可以看出，提出的梯度下降算法能夠有效近似Hammerstein非線性動(dòng)態(tài)系統(tǒng)的非線性模塊。

為了驗(yàn)證本文提出的兩階段辨識(shí)方法的有效性，隨機(jī)產(chǎn)生400組測(cè)試信號(hào)用于辨識(shí)系統(tǒng)的預(yù)測(cè)，系統(tǒng)預(yù)測(cè)誤差的均方差（Mean Square Error，MSE）為0.043 4，如圖7所示。從圖7中可以看出，提出的方法對(duì)Hammerstein非線性動(dòng)態(tài)系統(tǒng)具有較強(qiáng)的預(yù)測(cè)能力。

4? ? 結(jié)語

本文針對(duì)單輸入單輸出的Hammerstein非線性動(dòng)態(tài)系統(tǒng)，提出了一種基于神經(jīng)網(wǎng)絡(luò)Hammerstein非線性動(dòng)態(tài)系統(tǒng)的兩階段辨識(shí)方法。在研究中，利用BP神經(jīng)網(wǎng)絡(luò)建立Hammerstein的靜態(tài)非線性模塊，利用自回歸模型建立Hammerstein的動(dòng)態(tài)線性模塊。在此基礎(chǔ)上，通過組合式信號(hào)源實(shí)現(xiàn)Hammerstein非線性動(dòng)態(tài)系統(tǒng)靜態(tài)非線性模塊和動(dòng)態(tài)線性模塊的分離辨識(shí)，其組合式信號(hào)源包括二進(jìn)制信號(hào)和隨機(jī)信號(hào)。首先，基于二進(jìn)制信號(hào)的輸入輸出數(shù)據(jù)，根據(jù)經(jīng)典的最小二乘方法估計(jì)動(dòng)態(tài)線性模塊中多項(xiàng)式模型的參數(shù);其次，利用隨機(jī)梯度下降算法估計(jì)靜態(tài)非線性模塊中神經(jīng)網(wǎng)絡(luò)的輸入層至隱含層權(quán)值以及隱含層至輸出層權(quán)值。仿真結(jié)果表明，提出的兩階段辨識(shí)方法能夠有效辨識(shí)Hammerstein非線性動(dòng)態(tài)系統(tǒng)中的未知參數(shù)?；诒疚牡难芯拷Y(jié)果，后續(xù)將進(jìn)一步考慮多輸入多輸出系統(tǒng)，研究多輸入多輸出Hammerstein非線性動(dòng)態(tài)系統(tǒng)的建模和辨識(shí)方法。

參考文獻(xiàn)：

[1] RAMESH K， HISYAM A， AZIZ N， et al. Nonlinear model predictive control of a distillation column using wavenet based Hammerstein model[J]. Engineering Letters，2012，20（4）：330-335.

[2] BHANDARI B N， ROLLINS D. Continuous-time Hammerstein nonlinear modeling applied to distillation[J]. AICHE Journal，2004，50（2）：530-533.

[3] PRSIT D， NEDIT N， FILIPOVIT V， et al. Multilinear model of heat exchanger with Hammerstein structure[J]. Journal of Control Science and Engineering，2016：1-7.

[4] ZHANG H T， LI H X， CHEN G. Dual-mode predictive control algorithm for constrained Hammerstein systems[J]. International Journal of Control，2008，81（10）：1609-1625.

[5] LI F， JIA L， PENG D， et al. Neuro-fuzzy based identification method for Hammerstein output error model with colored noise[J]. Neurocomputing，2017，244：90-101.

[6] LI F， Chen L， WO S， et al. Modeling and parameter learning for the Hammerstein-Wiener model with disturbance [J]. Measurement and Control，2020，53（5-6）：971-982.

[7] 鄒志云，郭宇晴，王志甄，等.非線性Hammerstein模型預(yù)測(cè)控制策略及其在ph中和過程中的應(yīng)用[J].化工學(xué)報(bào)，2012，60（12）：3965-3970.

[8] CHEN H T， HWANG S H， CHANG C T. Iterative identification of continuous-time Hammerstein and Wiener systems using a two-stage estimation algorithm[J]. Industrial and Engineering Chemistry Research，2009，48（3）：1495-1510.

[9] LI D， JIA Y， LI Q， et al. Identification and nonlinear model predictive control of MIMO Hammerstein system with constraints[J]. Journal of Central South University，2017，24（2）：448-458.

[10] GOMEZ J C， BAEYENS E. Subspace-based identification algorithms for Hammerstein and Wiener models[J]. European Journal of Control，2005，11（2）：127-136.

[11] WANG J S， CHEN Y P. A Hammerstein recurrent neurofuzzy network with an online minimal realization learning algorithm[J]. IEEE Transactions on Fuzzy Systems，2008，16（6）：1597-1612.

[12] 向微，陳宗海.基于Hammerstein模型描述的非線性系統(tǒng)辨識(shí)新方法[J].控制理論與應(yīng)用，2007，24（1）：143-147.

[13] FILIPOVIC V Z. Consistency of the robust recursive Hammerstein model identification algorithm[J]. Journal of the Franklin Institute，2015，352（5）：1932-1945.

[14] BAI E W， LI D. Convergence of the iterative Hammerstein system identification algorithm[J]. IEEE Transactions on Automatic Control，2004，49（11）：1929-1940.

[15] LIU Y，BAI E W. Iterative identification of Hammerstein systems [J]. Automatica，2007，43（2）：346-354.

[16] BAI E W， FU M. A blind approach to Hammerstein model identification[J]. IEEE Transactions on Signal Processing，2002，50（7）：1610-1619.

[17] LI F，JIA L，PENG D. Identification method of neuro-fuzzy-based Hammerstein model with coloured noise[J]. IET Control Theory and Applications，2017，11（17）：3026-3037.

[18] LI F， JIA L. Correlation analysis-based error compensation recursive least-square identification method for the Hammerstein model[J]. Journal of Statistical Computation and Simulation，2018，88（1）：56-74.

[19] JANCZAK A. Neural network approach for identification of Hammerstein system[J]. International Journal of Control，2004，76（17）：1749-1766.

[20] WU D.? Neural network identification of Hammerstein nonlinear dynamic systems[C]// Proceedings of the 29th Chinese Control Conference，2010：1242-1246.

[21] WANG W，CHAI T，ZHAO L. Dynamic partial least squares modeling of recurrent neural networks with stable learning[J]. Control Theory and Applications，2012，29（3）：337-341.

[22] 李峰，謝良旭，李博，等.基于組合式信號(hào)的Hammerstein OE模型辨識(shí)[J].江蘇理工學(xué)院學(xué)報(bào)，2019，25（6）：66-72.

責(zé)任編輯? ? 盛? ? 艷