傳遞函數(shù)辨識(21):線性回歸系統(tǒng)的遞階遞推參數(shù)估計(jì)

丁 鋒 ,劉喜梅

(1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122;2.青島科技大學(xué) 自動(dòng)化與電子工程學(xué)院,山東 青島 266061)

辨識方法包括遞推辨識和迭代辨識兩類。因此結(jié)合遞階辨識原理,遞階辨識方法可分為遞階遞推辨識方法和遞階迭代辨識方法兩類。

遞推辨識方法包括基本的隨機(jī)梯度辨識方法、遞推梯度辨識方法、遞推最小二乘辨識方法、牛頓遞推辨識方法等,所以結(jié)合遞階辨識原理,派生出遞階隨機(jī)梯度辨識方法、遞階遞推梯度辨識方法、遞階遞推最小二乘辨識方法、遞階牛頓遞推辨識方法等。有時(shí)省略“遞推”二字,將“遞階遞推辨識方法”簡稱為“遞階辨識方法”。

迭代辨識方法包括基本的梯度迭代辨識方法、最小二乘迭代辨識方法、牛頓迭代辨識方法等,所以結(jié)合遞階辨識原理,派生出遞階梯度迭代辨識方法、遞階最小二乘迭代辨識方法、遞階牛頓迭代辨識方法等。

將遞階辨識原理與輔助模型辨識思想相結(jié)合,誕生出的遞推辨識算法包括輔助模型遞階隨機(jī)梯度辨識方法、輔助模型遞階遞推梯度辨識方法、輔助模型遞階遞推最小二乘辨識方法、輔助模型遞階牛頓遞推辨識方法等;誕生出的迭代辨識算法包括輔助模型遞階梯度迭代辨識方法、輔助模型遞階最小二乘迭代辨識方法、輔助模型遞階牛頓迭代辨識方法等。

將遞階辨識原理與多新息辨識理論相結(jié)合,誕生出的遞推辨識算法包括遞階多新息隨機(jī)梯度辨識方法、遞階多新息遞推梯度辨識方法、遞階多新息遞推最小二乘辨識方法、遞階多新息牛頓遞推辨識方法等;誕生出的迭代辨識算法包括遞階多新息梯度迭代辨識方法、遞階多新息最小二乘迭代辨識方法、遞階多新息牛頓迭代辨識方法等。有時(shí)省略“遞推”二字,將“多新息遞推辨識方法”簡稱為“多新息辨識方法”。

將遞階辨識原理與輔助模型辨識思想、多新息辨識理論相結(jié)合,誕生出的遞推辨識算法包括輔助模型遞階多新息隨機(jī)梯度辨識方法、輔助模型遞階多新息遞推梯度辨識方法、輔助模型遞階多新息遞推最小二乘辨識方法、輔助模型遞階多新息牛頓遞推辨識方法等;誕生出的迭代辨識算法包括輔助模型遞階多新息梯度迭代辨識方法、輔助模型遞階多新息最小二乘迭代辨識方法、輔助模型遞階多新息牛頓迭代辨識方法。

在連載論文中,使用多新息辨識理論、遞階辨識原理、耦合辨識概念[1-6],先后研究了信號模型、傳遞函數(shù)的參數(shù)估計(jì)[7-15]。遞階辨識是一種基于分解的辨識。一些兩階段辨識方法、三階段辨識方法、多階段辨識方法也可稱為遞階辨識方法,如《系統(tǒng)辨識——輔助模型辨識思想與方法》第3、4、5章中的基于分解的辨識方法[4],《系統(tǒng)辨識——多新息辨識理論與方法》第2、3、4、5章中的基于分解的辨識方法、兩階段辨識方法和三階段辨識方法[6]。本工作首先介紹線性回歸系統(tǒng)(即白噪聲干擾下的線性參數(shù)系統(tǒng))的遞階遞推最小二乘辨識方法,參見《自動(dòng)化學(xué)報(bào)》1999年第5期上的原始論文“大系統(tǒng)的遞階辨識”[16]。在此基礎(chǔ)上,結(jié)合多新息辨識理論,研究線性回歸系統(tǒng)的遞階梯度辨識方法和遞階最小二乘辨識方法等。文中提出的遞階辨識方法可以推廣用于其他線性和非線性隨機(jī)系統(tǒng),以及信號模型的參數(shù)辨識[17-26]。

1 遞階最小二乘辨識方法

考慮下列線性回歸系統(tǒng),

其中y(t)∈?是系統(tǒng)輸出變量,υ(t)∈?是零均值隨機(jī)白噪聲,θ∈?n為待辨識的參數(shù)向量,φ(t)∈?n是由時(shí)刻t以前的輸出y(t)和時(shí)刻t 及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時(shí),各變量的初值為零,這里意味著y(t)＝0,φ(t)＝0,υ(t)＝0。

辨識的目的是利用觀測信息{y(t),φ(t)}和某種優(yōu)化算法估計(jì)系統(tǒng)的未知參數(shù)向量θ。盡管遞推最小二乘算法能夠估計(jì)參數(shù)向量θ,但由于大系統(tǒng)維數(shù)高、變量和待估計(jì)的參數(shù)數(shù)目多,使得算法的計(jì)算量和存儲量急劇增加,以致在算法的實(shí)現(xiàn)上造成極大的困難,這就是所謂的“維數(shù)災(zāi)”。在這種情況下,研究基于分解的大系統(tǒng)遞階辨識算法,提出計(jì)算量小的辨識算法已成為必然。

為了說明遞階辨識算法能大幅度減小計(jì)算,下面先簡單介紹辨識線性回歸系統(tǒng)(1)的遞推最小二乘辨識算法作為比較,隨后推導(dǎo)遞階最小二乘辨識算法。

1.1 遞推最小二乘辨識方法

1.1.1 遞推最小二乘辨識算法

對于線性回歸系統(tǒng)(1),定義隨時(shí)間t 遞增的準(zhǔn)則函數(shù)為

極小化準(zhǔn)則函數(shù)J1(θ),可以得到估計(jì)參數(shù)向量θ 的遞推最小二乘算法(recursive least squares algorithm,RLS算法):

1.1.2 加權(quán)遞推最小二乘辨識算法

在RLS算法(2)～(5)中引入加權(quán)因子wt,便得到估計(jì)參數(shù)向量θ 的加權(quán)遞推最小二乘算法(weighted recursive least squares algorithm,WRLS算法):

1.1.3 遺忘因子遞推最小二乘辨識算法

在RLS算法(2)～(5)中引入遺忘因子λ,便得到估計(jì)參數(shù)向量θ 的遺忘因子遞推最小二乘算法(forgetting factor recursive least squares algorithm,FF-RLS算法):

1.1.4 加權(quán)遺忘因子遞推最小二乘辨識算法

在RLS算法(2)～(5)中引入加權(quán)因子wt和遺忘因子λ,便得到估計(jì)參數(shù)向量θ 的加權(quán)遺忘因子遞推最小二乘算法(weighted forgetting factor recursive least squares algorithm,W-FF-RLS算法):

1.2 遞階最小二乘辨識算法

遞階辨識原理與辨識方法是筆者1996年給清華大學(xué)碩士生、博士生講授《大系統(tǒng)理論及應(yīng)用》課程時(shí),受大系統(tǒng)遞階控制的“分解—協(xié)調(diào)原理”的啟發(fā)提出的,把“分解”的思想引入辨識中,從而提出了遞階辨識原理,開辟了遞階辨識研究領(lǐng)域。

遞階辨識原理分3步。

第1步:辨識模型分解為一些子辨識模型。

第2步:采用最小二乘原理或梯度搜索原理等分別辨識這些子模型。

第3步:協(xié)調(diào)處理各子辨識算法間的關(guān)聯(lián)項(xiàng)。

遞階辨識原理不僅能夠解決大規(guī)模多變量系統(tǒng)辨識方法計(jì)算量大的問題,而且能解決結(jié)構(gòu)復(fù)雜非線性系統(tǒng)的辨識問題。遞階辨識最初用于解決維數(shù)高、參數(shù)數(shù)目多的線性回歸系統(tǒng)辨識算法計(jì)算量大的問題。首篇代表性論文“大系統(tǒng)的遞階辨識”發(fā)表在《自動(dòng)化學(xué)報(bào)》1999年第5期上,隨后遞階辨識原理發(fā)展用于類多變量受控自回歸系統(tǒng)的辨識,代表性論文“多變量離散時(shí)間系統(tǒng)傳遞函數(shù)陣參數(shù)的遞階梯度迭代辨識方法與遞階隨機(jī)梯度辨識方法”發(fā)表在國際期刊Automatica 2005年第2期上,“多變量系統(tǒng)傳遞函數(shù)模型的遞階最小二乘迭代辨識方法與遞階最小二乘辨識方法”發(fā)表在國際期刊IEEE Transactions on Automatic Control 2005年第3期上。以下介紹大系統(tǒng)(1)的遞階最小二乘辨識方法[2-3]。

將大系統(tǒng)(1)的信息向量和參數(shù)向量分解為N個(gè)維數(shù)為ni的子信息向量(sub-information vector)φi(t)和子參數(shù)向量(sub-parameter vector)θi如下:

于是,可以把系統(tǒng)(1)分解為N 個(gè)虛擬子系統(tǒng)(fictitious subsystem),即子辨識模型(sub-identification model,Sub-ID 模型),也稱為遞階辨識模型(hierarchical identification model,H-ID模型):

極小化準(zhǔn)則函數(shù)J2i(θi),利用遞階辨識原理,我們能夠獲得估計(jì)子參數(shù)向量θi的遞階最小二乘算法(hierarchical least squares algorithm,HLS 算法)[2,16]:

1.3 加權(quán)遞階最小二乘辨識算法

在遞階最小二乘算法(20)～(24)中引入加權(quán)因子wt≥0,便得到估計(jì)系統(tǒng)(1)參數(shù)向量θ 的加權(quán)遞階最小二乘算法(weighted hierarchical least squares algorithm,W-HLS算法):

加權(quán)最小二乘算法對不同時(shí)刻的觀測數(shù)據(jù)給予不同的權(quán)重,數(shù)據(jù)可信度大的給予的權(quán)值就大。如果某一時(shí)刻的權(quán)值取為零(wt＝0),說明此數(shù)據(jù)不可信,參數(shù)估計(jì)不進(jìn)行刷新,而保持上一時(shí)刻的估計(jì)值,這可從此時(shí)刻的增益向量Li(t)為零看出。

1.4 遺忘因子遞階最小二乘算法

在遞階最小二乘算法(20)～(24)中引入遺忘因子0＜λ≤1,便得到估計(jì)系統(tǒng)(1)參數(shù)向量θ 的遺忘因子遞階最小二乘算法(forgetting factor hierarchical least squares algorithm,FF-HLS算法):

1.5 加權(quán)遺忘因子遞階最小二乘算法

在遞階最小二乘算法(20)～(24)中引入加權(quán)因子wt≥0和遺忘因子0＜λ≤1,便得到估計(jì)系統(tǒng)(1)參數(shù)向量θ 的加權(quán)遺忘因子遞階最小二乘算法(weighted FF-HLS algorithm,W-FF-HLS算法)或遺忘因子加權(quán)遞階最小二乘算法(forgetting factor W-HLS algorithm,FF-W-HLS算法):

2 遞階多新息最小二乘辨識方法

2.1 遞階多新息最小二乘算法

設(shè)整數(shù)p≥1為新息長度。借助多新息辨識理論[6],基于遞階最小二乘算法(20)～(24),定義堆積輸出向量(stacked output vector)Y(p,t),堆積信息矩陣(stacked information matrix)Φ(p,t)和堆積子信息矩陣Φi(p,t)如下:

式(44)～(46)和(40)～(42)構(gòu)成了辨識系統(tǒng)(1)參數(shù)向量θ 的遞階多新息最小二乘算法(hierarchical multi-innovation least squares algorithm,HMILS算法):

當(dāng)新息長度p＝1時(shí),HMILS算法(47)～(55)退化為HLS算法(20)～(24)。當(dāng)子系統(tǒng)數(shù)目N ＝1時(shí),HMILS算法退化為多新息最小二乘(MILS)算法[6]。當(dāng)新息長度p＝1,子系統(tǒng)數(shù)目N ＝1時(shí),HMILS算法退化為RLS算法(2)～(5)。

2.2 加權(quán)遞階多新息最小二乘算法

在HMILS算法(47)～(55)中引入加權(quán)因子wt,便得到辨識系統(tǒng)(1)參數(shù)向量θ 的加權(quán)遞階多新息最小二乘算法(weighted hierarchical multi-innovation least squares algorithm,W-HMILS算法):

2.3 遺忘因子遞階多新息最小二乘算法

在HMILS算法(47)～(55)中引入遺忘因子λ,便得到辨識系統(tǒng)(1)參數(shù)向量θ 的遺忘因子遞階多新息最小二乘算法(forgetting factor hierarchical multi-innovation least squares algorithm,FFHMILS算法):

2.4 加權(quán)遺忘因子遞階多新息最小二乘算法

在HMILS算法(47)～(55)中引入加權(quán)因子wt和遺忘因子λ,便得到辨識系統(tǒng)(1)參數(shù)向量θ的加權(quán)遺忘因子遞階多新息最小二乘算法(weighted forgetting factor hierarchical multi-innovation least squares algorithm,W-FF-HMILS算法):

在W-FF-HMILS算法(74)～(82)中取遺忘因子λ＝1,就得到加權(quán)遞階多新息最小二乘(WHMILS)算法;取加權(quán)因子wt＝1,就得到遺忘因子遞階多新息最小二乘(FF-HMILS)算法。

3 遞階隨機(jī)梯度辨識方法

考慮下列線性回歸系統(tǒng),

其中各變量的定義同上。將參數(shù)向量θ 分解為N 個(gè)維數(shù)為ni的子參數(shù)向量θi,將信息向量φ(t)分解為N 個(gè)維數(shù)為ni的子信息向量φi(t)如下:

于是,可以把系統(tǒng)(83)分解為N 個(gè)虛擬子系統(tǒng),即遞階辨識模型(H-ID模型):

yi(t)∈?是虛擬子系統(tǒng)的輸出,αi(t)∈?稱為各子系統(tǒng)間的關(guān)聯(lián)項(xiàng)(associate item),它是通過參數(shù)θj(j≠i)耦合的。

3.1 隨機(jī)梯度辨識方法

3.1.1 隨機(jī)梯度辨識算法

對于線性回歸辨識模型(83),定義梯度準(zhǔn)則函數(shù)

極小化準(zhǔn)則函數(shù)J3(θ),可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的隨機(jī)梯度算法(stochastic gradient algorithm,SG 算法)[5]:

3.1.2 加權(quán)隨機(jī)梯度辨識算法

在SG 算法(87)～(89)中引入加權(quán)因子wt,可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的加權(quán)隨機(jī)梯度算法(weighted stochastic gradient algorithm,W-SG 算法):

3.1.3 遺忘因子隨機(jī)梯度辨識算法

在SG 算法(87)～(89)中引入遺忘因子λ,就可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的遺忘因子隨機(jī)梯度算法(forgetting factor stochastic gradient algorithm,FFSG 算法):

3.1.4 加權(quán)遺忘因子隨機(jī)梯度辨識算法

在SG 算法(87)～(89)中引入加權(quán)因子wt和遺忘因子λ,可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的加權(quán)遺忘因子隨機(jī)梯度算法(weighted forgetting factor stochastic gradient algorithm,WFFSG 算法):

3.2 多新息隨機(jī)梯度算法

為了改善SG 算法的收斂速度,利用多新息辨識理論[6],基于SG 辨識算法(87)～(89),引入新息長度p,將觀測輸出y(t)和信息向量φ(t)擴(kuò)展為堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t):

將式(87)中標(biāo)量新息(scalar innovation)e(t)∈?擴(kuò)展為新息向量(innovation vector),即多新息

可以得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ的多新息隨機(jī)梯度算法(multi-innovation stochastic gradient algorithm,MISG 算法):

當(dāng)新息長度p＝1 時(shí),MISG 辨識算法退化為SG 辨識算法(87)～(89)。

3.3 遞階隨機(jī)梯度辨識算法

對于遞階辨識模型(84),定義關(guān)于子參數(shù)向量θi的梯度準(zhǔn)則函數(shù)

極小化準(zhǔn)則函數(shù)J4i(θi),可以獲得估計(jì)參數(shù)向量θi的梯度遞推關(guān)系:

因?yàn)橹挥衴(t)和φ(t)及其分量φi(t)是已知的,而虛擬子系統(tǒng)的輸出yi(t)是未知的,故將式(85)中yi(t)代入式(105)得到

上式右邊包含了其它子系統(tǒng)的未知子參數(shù)向量θj(j≠i),所以算法(106)～(107)無法實(shí)現(xiàn)。為了實(shí)現(xiàn)參數(shù)估計(jì)的遞推計(jì)算,根據(jù)遞階辨識原理進(jìn)行關(guān)聯(lián)項(xiàng)的協(xié)調(diào),式(107)中未知的θj用它在前一時(shí)刻(t－1)的估計(jì)(t－1)代替,可得

式(108)和式(106)構(gòu)成了估計(jì)系統(tǒng)(83)參數(shù)向量θ 的遞階隨機(jī)梯度算法(hierarchical stochastic gradient algorithm,HSG 算法):

如果式(109)中ri(t)用式(89)中的r(t)代替,那么HSG 算法(109)～(112)完全等同于隨機(jī)梯度算法(87)～(89)。線性回歸系統(tǒng)的遞階隨機(jī)梯度類算法與隨機(jī)梯度類算法的計(jì)算量沒有大的差別,同樣,線性回歸系統(tǒng)的遞階梯度類算法與遞推梯度類算法的計(jì)算量也沒有大的差別。遞階辨識的優(yōu)點(diǎn)主要體現(xiàn)在遞階最小二乘算法的計(jì)算效率上。

基于HSG 算法(109)～(112),在式(109)中引入收斂指數(shù)(convergence index,即

就得到修正遞階隨機(jī)梯度算法(modified HSG algorithm,M-HSG 算法)。

基于HSG 算法(109)～(112),在式(110)中引入遺忘因子(forgetting factor)λ,即

就得到遺忘因子遞階隨機(jī)梯度算法(forgetting factor HSG algorithm,FF-HSG 算法)。

基于HSG 算法(109)～(112),在式(109)中引入收斂指數(shù)(convergence index)ε,在式(110)中引入遺忘因子(forgetting factor)λ,即就得到遺忘因子修正遞階隨機(jī)梯度算法(FF-MHSG 算法)。

4 遞階多新息隨機(jī)梯度算法

眾所周知,盡管隨機(jī)梯度辨識算法的計(jì)算量小,但是收斂速度慢。為了提高隨機(jī)梯度算法參數(shù)估計(jì)的收斂速度,本書作者首次提出了能提高參數(shù)估計(jì)精度的多新息辨識理論[6]。這里基于HSG 算法(109)～(112),引入新息長度(innovation length),將式(109)中標(biāo)量新息(innovation)e(t)＝y(tǒng)(t)－擴(kuò)展為新息向量(innovation vector)

整數(shù)p≥1 為新息長度。定義堆積輸出向量(stacked output vector)Y(p,t),堆積信息矩陣(stacked information matrix)Φ(p,t)和堆積子信息矩陣Φi(p,t)如下:

聯(lián)立式(117)～(121)和(110)～(112),就得到辨識線性回歸系統(tǒng)(83)參數(shù)向量θ 的遞階多新息隨機(jī)梯度算法(hierarchical multi-innovation stochastic gradient algorithm,HMISG 算法):

當(dāng)新息長度p＝1時(shí),HMISG算法退化為HSG 算法(109)～(112)。

基于HMISG 算法(122)～(130),在式(122)中引入收斂指數(shù)ε,即

就得到修正遞階多新息隨機(jī)梯度算法(modified HMISG algorithm,M-HMISG 算法)。

基于HMISG 算法(122)～(130),在式(124)中引入遺忘因子λ,即

就得到遺忘因子遞階多新息隨機(jī)梯度算法(forgetting factor HMISG algorithm,FF-HMISG 算法)。

基于HMISG 算法(122)～(130),在式(122)中引入收斂指數(shù)ε,在式(124)中引入遺忘因子λ,即

就得到遺忘因子修正遞階多新息隨機(jī)梯度算法(FFM-HMISG 算法)。

5 遞階遞推梯度辨識方法

5.1 遞推梯度辨識算法

對于辨識模型(83),定義隨時(shí)間t 遞增的準(zhǔn)則函數(shù)為

定義堆積輸出信息向量Y(t)和堆積信息矩陣Φ(t)如下:

定義遞推關(guān)系:

讀者可以寫出引入收斂指數(shù)、加權(quán)因子、遺忘因子后的修正遞推梯度算法(M-RG 算法)、加權(quán)遞推梯度算法(W-RG 算法)、遺忘因子遞推梯度算法(FF-RG 算法)、加權(quán)修正遞推梯度算法(W-M-RG算法)、遺忘因子修正遞推梯度算法(FF-M-RG 算法)、加權(quán)遺忘因子修正遞推梯度算法(W-FF-M-RG算法)。

5.2 多新息遞推梯度算法

多新息辨識方法是考慮從t－p＋1到t的動(dòng)態(tài)數(shù)據(jù)窗里的p 組數(shù)據(jù)作為一個(gè)整體推導(dǎo)出的辨識算法。對于辨識模型(83),定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t)如下:

多新息梯度算法采用的隨時(shí)間t遞增的準(zhǔn)則函數(shù)為

定義堆積輸出信息向量Zt和堆積信息矩陣Ωt如下:

則準(zhǔn)則函數(shù)J6(θ)可以寫為

求準(zhǔn)則函數(shù)J6(θ)對參數(shù)向量θ 的一階偏導(dǎo)數(shù),可以得到準(zhǔn)則函數(shù)J6(θ)的梯度向量

在多新息梯度辨識算法(145)～(151)中引入收斂指數(shù)、加權(quán)因子、遺忘因子,便得到修正多新息梯度(M-MIG)算法、加權(quán)多新息梯度(W-MIG)算法、遺忘因子多新息梯度(FF-MIG)算法、加權(quán)修正多新息梯度(W-M-MIG)算法、遺忘因子修正多新息梯度(FF-M-MIG)算法、加權(quán)遺忘因子修正多新息梯度(W-FF-M-MIG)算法等。

多新息遞推梯度類辨識方法是我們首次提出的。它可以發(fā)展為CARMA 模型的多新息增廣梯度算法、CARAR 模型的多新息廣義梯度算法、CARARMA 模型的多新息廣義增廣梯度算法,以及輸出誤差模型的輔助模型多新息梯度算法、OEMA模型的輔助模型多新息增廣梯度算法、OEAR 模型的輔助模型多新息廣義梯度算法、OEARMA 模型的輔助模型多新息廣義增廣梯度算法等。

5.3 遞階遞推梯度辨識算法

這里介紹遞階遞推梯度辨識方法,簡稱遞階梯度辨識方法?；谶f階辨識模型(84),定義N 個(gè)隨時(shí)間t遞增的準(zhǔn)則函數(shù):

定義堆積輸出信息向量Y(t)和Yi(t),以及堆積信息矩陣Φ(t)和子信息矩陣Φi(t)如下:

使用負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J7i(θi),仿照RG 辨識算法的推導(dǎo),可得到基于梯度的遞推關(guān)系:

由于式(156)右邊包含了未知關(guān)聯(lián)參數(shù)θj(j≠i),所以這個(gè)算法無法實(shí)現(xiàn)。為了解決這個(gè)問題,應(yīng)用遞階辨識原理,用它們前一時(shí)刻的估計(jì)代替,得到式(160),聯(lián)立式(154)～(155)和(157),便得到辨識系統(tǒng)(83)參數(shù)向量θ 的遞階遞推梯度算法,簡稱遞階梯度算法(hierarchical gradient algorithm,HG 算法):

讀者可以寫出引入收斂指數(shù)、加權(quán)因子、遺忘因子后的修正遞階梯度(M-HG)算法、加權(quán)遞階梯度(W-HG)算法、遺忘因子遞階梯度(FF-HG)算法、加權(quán)修正遞階梯度(W-M-HG)算法、遺忘因子修正遞階梯度(FF-M-HG)算法、加權(quán)遺忘因子修正遞階梯度(W-FF-M-HG)算法。

6 遞階多新息梯度辨識算法

為簡化,遞階遞推辨識方法和多新息遞推辨識方法中一般都省略“遞推”二字,分別簡稱遞階辨識方法和多新息辨識方法,所以這里遞階多新息遞推梯度辨識方法簡稱遞階多新息梯度辨識方法。

多新息辨識方法是考慮從t－p＋1到t的動(dòng)態(tài)數(shù)據(jù)窗里的p 組數(shù)據(jù)作為一個(gè)整體推導(dǎo)出的辨識算法。對于遞階辨識模型(84),定義堆積輸出向量Y(p,t)和Yi(p,t),堆積信息矩陣Φ(p,t)和子信息矩陣Φi(p,t)如下:

設(shè)μi(t)≥0為收斂因子。根據(jù)負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J8i(θi),可得到下列梯度遞推關(guān)系:

由于特征值計(jì)算很復(fù)雜,故收斂因子也可簡單取為

由于式(167)右邊包含了未知關(guān)聯(lián)參數(shù)θj(j≠i),應(yīng)用遞階辨識原理,用它們前一時(shí)刻的估計(jì)代替,得到

取μi(t)＝1/ri(t),ri(t)＝tr[Ri(t)]＝ri(t－1)＋‖φi(t)‖2,ri(0)＝1或ri(0)＝0時(shí),聯(lián)立式(169),(172),(168),(164)～(166),便得到辨識系統(tǒng)(83)參數(shù)向量θ 的遞階多新息遞推梯度算法(hierarchical multi-innovation recursive gradient algorithm,HMIRG 算法):

讀者可寫出引入收斂指數(shù)、加權(quán)因子(加權(quán)矩陣)、遺忘因子后的修正遞階多新息梯度(MHMIG)算法、加權(quán)遞階多新息梯度(W-HMIG)算法、遺忘因子遞階多新息梯度(FF-HMIG)算法、加權(quán)修正遞階多新息梯度(W-M-HMIG)算法、遺忘因子修正遞階多新息梯度(FF-M-HMIG)算法、加權(quán)遺忘因子修正遞階多新息梯度(W-FF-M-HMIG)算法。

7 結(jié) 語

針對線性回歸模型,利用系統(tǒng)的觀測輸入輸出數(shù)據(jù),基于遞階辨識原理,對辨識模型進(jìn)行分解,得到系統(tǒng)的遞階辨識模型,推導(dǎo)出遞階(多新息)隨機(jī)梯度算法、遞階(多新息)梯度算法、遞階(多新息)最小二乘算法等。遞階辨識原理能夠用于參數(shù)多的大規(guī)模系統(tǒng)、結(jié)構(gòu)復(fù)雜的非線性系統(tǒng)的辨識,目的是簡化辨識方法和減小計(jì)算量。提出的分解辨識思想可以推廣到大規(guī)模線性隨機(jī)系統(tǒng)和復(fù)雜非線性隨機(jī)系統(tǒng)的辨識,其干擾可以是有色噪聲。