傳遞函數(shù)辨識(23):線性回歸系統(tǒng)的變間隔遞階遞推參數(shù)估計

丁鋒,劉喜梅

(1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無錫214122;2.青島科技大學(xué)自動化與電子工程學(xué)院,山東青島266061)

系統(tǒng)建模和參數(shù)估計是系統(tǒng)分析和設(shè)計的基礎(chǔ)。系統(tǒng)辨識學(xué)術(shù)專著[1-7]和連載論文[8-17]中的一些參數(shù)估計方法基本都是假設(shè)系統(tǒng)的觀測數(shù)據(jù)是均勻采樣的,而且在每個采樣點(diǎn)數(shù)據(jù)都是可得到的,即不存在數(shù)據(jù)丟失情形。然而實(shí)際系統(tǒng)由于種種原因,可能造成數(shù)據(jù)丟失或數(shù)據(jù)不可信,剔除不可信數(shù)據(jù)也就產(chǎn)生數(shù)據(jù)丟失。還有一種情況,數(shù)據(jù)本身很少能測量到,就是稀少量測數(shù)據(jù)系統(tǒng),它也是一類數(shù)據(jù)丟失較多的損失數(shù)據(jù)系統(tǒng)。

最近,連載論文研究了線性回歸系統(tǒng)的遞階遞推辨識方法和遞階遞推多新息辨識方法[17]、遞階(多新息)梯度迭代辨識方法和遞階(多新息)最小二乘迭代辨識方法[18]。本工作引入變間隔概念,基于線性回歸模型,研究損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng)的變間隔遞階遞推辨識方法,包括變間隔遞階隨機(jī)梯度類辨識方法、變間隔遞階遞推梯度類辨識方法、變間隔遞階最小二乘類辨識方法等[7]。提出的變間隔遞階遞推辨識方法可以推廣用于其他線性和非線性隨機(jī)系統(tǒng),以及信號模型的參數(shù)辨識[19-21]。

1 線性回歸系統(tǒng)的遞階辨識模型

《系統(tǒng)辨識:多新息辨識理論與方法》討論了變間隔遞推辨識方法、變間隔多新息遞推辨識方法[6],《系統(tǒng)辨識:輔助模型辨識思想與方法》討論了變間隔輔助模型遞推辨識方法、變間隔輔助模型多新息遞推辨識方法[4]。這里討論線性回歸系統(tǒng)的變間隔遞階隨機(jī)梯度辨識方法、變間隔遞階多新息隨機(jī)梯度辨識方法、變間隔遞階遞推梯度辨識方法、變間隔遞階多新息遞推梯度辨識方法、變間隔遞階最小二乘辨識方法、變間隔遞階多新息最小二乘辨識方法。變間隔辨識方法是本研究作者首次提出的,它是通過引入變間隔概念來處理損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng)的辨識問題[22-30]。

考慮下列線性回歸系統(tǒng),

其中y(t)∈?是系統(tǒng)輸出變量,v(t)∈?是零均值隨機(jī)白噪聲,?∈?n為待辨識的參數(shù)向量,φ(t)∈?n是由時刻t以前的輸出y(t)和時刻t及以前的輸入u(t)等變量構(gòu)成的回歸信息向量。假設(shè)維數(shù)n已知。不特別申明,設(shè)t≤0時,各變量的初值為零,這里意味著y(t)＝0,φ(t)＝0,v(t)＝0。

線性回歸系統(tǒng)(1)可分解為N個虛擬子系統(tǒng)(fictitious subsystem),即遞階辨識模型(hierarchical identification model,H-ID模型):

其中子系統(tǒng)參數(shù)向量?i和信息向量φi(t)與整個系統(tǒng)的參數(shù)向量和信息向量的關(guān)系如下:

虛擬子系統(tǒng)的輸出yi(t)∈?定義為

為方便起見,設(shè)t為當(dāng)前時刻,y(t)為當(dāng)前觀測輸出,φ(t)為當(dāng)前觀測信息向量,y(t)和φ(t)為當(dāng)前觀測數(shù)據(jù)。

2 損失數(shù)據(jù)系統(tǒng)與變間隔辨識方案

在實(shí)際中,某些觀測數(shù)據(jù)可能丟失,也就是說由于傳感器故障或硬件設(shè)備限制,在一些時刻點(diǎn)觀測數(shù)據(jù)得不到,這樣的系統(tǒng)稱為損失數(shù)據(jù)系統(tǒng)或稀少量測數(shù)據(jù)系統(tǒng)。換句話說,對每一個t＝0,1,2,…,觀測數(shù)據(jù)y(t)不總是可得到的系統(tǒng)稱為損失數(shù)據(jù)系統(tǒng)。

為了處理數(shù)據(jù)丟失和稀少量測數(shù)據(jù)情形,定義一個整數(shù)序列(integer sequence){ts:s＝0,1,2,…},滿足

且＝ts－ts－1≥1。假設(shè)當(dāng)t＝ts(s＝0,1,2,…)時,y(t)都可得到,即對所有s＝0,1,2,…,觀測y(ts)都可得到,也就是y(t0),y(t1),y(t2),…,都可得到。在這種情況下,數(shù)據(jù)集{y(ts):s＝0,1,2,…}包含所有可得到的(稀少)觀測數(shù)據(jù),而不可得到的輸出數(shù)據(jù){y(ts＋1),y(ts＋2),…,y(ts＋1－1):s＝0,1,2,…}是損失數(shù)據(jù)[5-6]。

2.1 稀少量測數(shù)據(jù)情形

與可得到的數(shù)據(jù)量相比,當(dāng)丟失的數(shù)據(jù)占大部分,就稱為稀少量測數(shù)據(jù)系統(tǒng),如圖1所示(圖中29個數(shù)據(jù)點(diǎn)中只有9個數(shù)據(jù)可得到);當(dāng)丟失的數(shù)據(jù)占小部分,就稱為損失數(shù)據(jù)系統(tǒng),如圖2所示(圖2中29個數(shù)據(jù)點(diǎn)中有25個數(shù)據(jù)可得到,只有4個數(shù)據(jù)不可得到,還有一個不可信數(shù)據(jù))。

圖1 稀少量測輸出數(shù)據(jù)情形Fig.1 A scarce output data pattern

對于圖1的稀少量測數(shù)據(jù)情形,可得到的觀測輸出為

這里t0＝0,t1＝1,t2＝3,t3＝6,t4＝10,t5＝15,t6＝16,t7＝21,t8＝28,…。這是稀少輸出量測可得到的一般框架。當(dāng)然包括對所有s＝1 時所有觀測輸出可得到的情形[5-6,30-31]。

2.2 損失數(shù)據(jù)情形

圖2是損失輸出數(shù)據(jù)情形(稀少損失數(shù)據(jù)),＋代表損失輸出數(shù)據(jù)或壞數(shù)據(jù)(異常數(shù)據(jù)或不可信數(shù)據(jù)),y(3),y(8),y(9),y(23),…是損失數(shù)據(jù);y(15),…是不可信數(shù)據(jù)。

圖2 損失輸出數(shù)據(jù)情形Fig.2 A missing output data pattern

比較圖1和圖2可知,稀少量測數(shù)據(jù)系統(tǒng)意味著大部分?jǐn)?shù)據(jù)丟失了,只有少部分?jǐn)?shù)據(jù)可得到;相反,損失數(shù)據(jù)系統(tǒng)意味著少部分?jǐn)?shù)據(jù)丟失了,大部分?jǐn)?shù)據(jù)可得到。如果系統(tǒng)的輸入數(shù)據(jù)在每一個時刻都可得到,當(dāng)＝q為大于1的整數(shù)時,y(qt)可得到,就得到雙率采樣數(shù)據(jù)系統(tǒng),且輸入輸出采樣數(shù)據(jù)比為q[32-34]。

2.3 變間隔辨識方案

盡管稀少量測數(shù)據(jù)系統(tǒng)也是損失數(shù)據(jù)系統(tǒng),但在參數(shù)辨識時,為了處理丟失數(shù)據(jù),需要利用變間隔的觀測數(shù)據(jù),在多新息辨識算法中需要定義不同的變間隔堆積輸出向量和變間隔堆積信息矩陣,所以區(qū)分稀少量測數(shù)據(jù)系統(tǒng)和損失數(shù)據(jù)系統(tǒng)是必要的。由于觀測數(shù)據(jù)的缺失,提出了變間隔辨識方案,其基本思想是利用可得到的觀測數(shù)據(jù),研制能處理丟失數(shù)據(jù)的變間隔遞推辨識方法和變間隔迭代辨識方法[32-34]。

3 變間隔遞階隨機(jī)梯度方法

3.1 變間隔隨機(jī)梯度辨識算法

對于線性回歸辨識模型(1),定義梯度準(zhǔn)則函數(shù)

極小化準(zhǔn)則函數(shù)J1(?),得到辨識系統(tǒng)(1)參數(shù)向量?的隨機(jī)梯度算法(SG 算法):

在數(shù)據(jù)缺失情形或稀少量測數(shù)據(jù)情形下,假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝0,1,2,…,不可得到的數(shù)據(jù)為y(ts＋i)和φ(ts＋i),i＝1,2,…,－1,此時SG 算法(4)～(6)不可實(shí)現(xiàn)。如果用ts代替式(4)～(6)中的t得到

從s＝1,2,3,…的遞推計算過程看,這個算法也不可實(shí)現(xiàn),因?yàn)楫?dāng)＞1時,算法中存在未知量(ts－1)。一個可行的辦法是用ts代替式(1)中的t,得到一個新的辨識模型

其中y(ts)∈?是可得到的輸出數(shù)據(jù),φ(ts)是可得到的回歸信息向量,v(ts)依舊是零均值隨機(jī)白噪聲。

對線性回歸辨識模型(10),定義梯度準(zhǔn)則函數(shù)

使用負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J2(?),可以得到辨識系統(tǒng)(1)參數(shù)向量?的變間隔隨機(jī)梯度算法(interval-varying stochastic gradient algorithm,V-SG 算法)[29]:

在初始條件(t0)＝1n/p0和r(t0)＝1下,利用可得到的觀測信息y(ts)和φ(ts),V-SG 算法(11)～(13)可以遞推計算參數(shù)估計向量(ts),在數(shù)據(jù)不可得到時,參數(shù)估計保持不變,即

3.2 變間隔遞階隨機(jī)梯度算法

用ts代替式(2)和(3)中的t,得到變間隔遞階辨識模型:

對于遞階辨識模型(15),定義關(guān)于子參數(shù)向量?i的梯度準(zhǔn)則函數(shù)

使用負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J3i(?i),可以獲得估計參數(shù)向量?i的梯度遞推關(guān)系:

注意到觀測y(ts)和φ(ts)及其分量φi(ts)是已知的,而虛擬子系統(tǒng)的輸出yi(ts)是未知的,故將式(16)中yi(ts)代入式(18)得到

式(20)右邊包含了其它子系統(tǒng)的未知子參數(shù)向量?j(j≠i),所以算法(19)～(20)無法實(shí)現(xiàn)。為了實(shí)現(xiàn)參數(shù)估計(ts)的遞推計算,根據(jù)遞階辨識原理進(jìn)行關(guān)聯(lián)項(xiàng)的協(xié)調(diào),將式(20)中未知的?j用它在前一時刻ts－1的估計(ts－1)代替,可得

式(21)和式(19)構(gòu)成了估計系統(tǒng)(1)參數(shù)向量?的變間隔遞階隨機(jī)梯度算法(interval-varying HSG algorithm,V-HSG 算法):

如果式(22)中ri(ts)用式(13)中的r(ts)代替,那么變間隔遞階隨機(jī)梯度算法(22)～(26)完全等同于變間隔隨機(jī)梯度算法(11)～(13)。

V-HSG 算法(22)～(26)隨s增加計算參數(shù)估計的步驟如下。

1)初始化,令t＝1,s＝0,t0＝0。設(shè)定N值和ni,置初值。

2)采集觀測數(shù)據(jù)y(t)和φ(t)。

3)如果觀測數(shù)據(jù)y(t)和φ(t)可得到,就跳到下一步;否則置(t)＝(ts),t增加1,即t＝t＋1,轉(zhuǎn)到步驟2)。

4)置s＝s＋1,ts＝t,＝ts－ts－1。從式(25)的φ(ts)中讀出子信息向量φi(ts),i＝1,2,…,N。

5)用式(24)計算ri(ts),i＝1,2,…,N。

6)用式(22)刷新參數(shù)估計向量(ts),i＝1,2,…,N,根據(jù)式(26)構(gòu)成參數(shù)估計向量(ts),根據(jù)式(23)令(t)＝(ts)。

7)t增加1,轉(zhuǎn)到步驟2)。

基于V-HSG 算法(22)～(26),在式(22)中引入收斂指數(shù)(convergence index)ε,即

就得到變間隔修正遞階隨機(jī)梯度算法(interval-varying modified HSG algorithm,V-M-HSG 算法)。

基于V-HSG 算法(22)～(26),在式(24)中引入遺忘因子(forgetting factor)λ,即

就得到變間隔遺忘因子遞階隨機(jī)梯度算法(interval-varying forgetting factor HSG algorithm,V-FFHSG 算法)。

基于V-HSG 算法(22)～(26),在式(22)中引入收斂指數(shù)(convergence index)ε,在式(24)中引入遺忘因子(forgetting factor)λ,即

就得到變間隔遺忘因子修正遞階隨機(jī)梯度算法(interval-varying FF-M-HSG algorithm,V-FF-M-HSG算法)。

4 變間隔遞階多新息隨機(jī)梯度方法

多新息辨識可以提高梯度算法對數(shù)據(jù)的利用效率,能提高參數(shù)估計精度和收斂速度。這里針對損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng),討論變間隔多新息隨機(jī)梯度辨識方法和變間隔遞階多新息隨機(jī)梯度辨識方法。

4.1 變間隔多新息隨機(jī)梯度辨識算法

下面討論變間隔多新息隨機(jī)梯度辨識方法,考慮損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng)。4.1.1 損失數(shù)據(jù)系統(tǒng)

設(shè)正整數(shù)p為新息長度。對于損失數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts),φ(ts),y(ts－1),φ(ts－1),y(ts－2),φ(ts－2),…,y(ts－p＋1),φ(ts－p＋1)。

根據(jù)辨識模型(10),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts)和堆積信息矩陣Φ(p,ts)如下:

這里基于V-SG 算法(11)～(14),引入新息長度(innovation length),將式(11)中標(biāo)量新息(innovation)e(ts)＝y(tǒng)(ts)－φT(ts)(ts－1)∈? 擴(kuò)展為新息向量(innovation vector)

因?yàn)镋(1,ts)＝e(ts),Φ(1,ts)＝φ(ts),Y(1,ts)＝y(tǒng)(ts),所以式(22)可以等價寫為

把(1,ts)換為(p,ts),得到

聯(lián)立式(31)～(34)和式(13),就得到辨識線性回歸損失數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔多新息隨機(jī)梯度算法(interval-varying MISG algorithm,V-MISG 算法):

當(dāng)新息長度p＝1時,V-MISG 算法退化為VSG 算法(11)～(13)。當(dāng)新息長度p＝1,間隔≡1時,V-MISG 算法退化為SG 算法(4)～(6)。

基于V-MISG 算法(35)～(41),在式(35)中引入收斂指數(shù)ε,即

就得到變間隔修正多新息隨機(jī)梯度算法(intervalvarying M-MISG algorithm,V-M-MISG 算法)。

基于V-MISG 算法(35)～(41),在式(38)～(39)中引入遺忘因子λ,即

就得到變間隔遺忘因子多新息隨機(jī)梯度算法(interval-varying FF-MISG algorithm,V-FF-MISG 算法)。

基于V-MISG 算法(35)～(41),在式(35)中引入收斂指數(shù)ε,在式(38)～(39)中引入遺忘因子λ,即

就得到變間隔遺忘因子修正多新息隨機(jī)梯度算法(interval-varying FF-M-MISG algorithm,V-FF-MMISG 算法)。

4.1.2 稀少量測數(shù)據(jù)系統(tǒng)

對于稀少量測數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝1,2,3,…。

設(shè)正整數(shù)p為新息長度。根據(jù)辨識模型(10),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts)和堆積信息矩陣Φ(p,ts)如下:

這里基于V-SG算法(11)～(14),引入新息長度(innovation length),將式(11)中標(biāo)量新息e(ts)＝y(tǒng)(ts)－φT(ts)(ts－1)∈?擴(kuò)展為新息向量E(p,ts),仿照線性回歸損失數(shù)據(jù)系統(tǒng)的變間隔多新息隨機(jī)梯度算法(35)～(41)的推導(dǎo),可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔多新息隨機(jī)梯度算法(V-MISG 算法):

基于稀少量測數(shù)據(jù)系統(tǒng)的V-MISG 算法(50)～(56),引入收斂指數(shù),加權(quán)因子ws≥0,遺忘因子0≤λ≤1,可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔加權(quán)遺忘因子修正多新息隨機(jī)梯度算法(V-W-FF-M-MISG 算法):

當(dāng)收斂指數(shù)ε,加權(quán)因子ws,遺忘因子λ取一些特殊值時,V-W-FF-M-MISG 算法(57)～(63)可以派生出變間隔多新息隨機(jī)梯度(V-MISG)算法、變間隔修正多新息隨機(jī)梯度(V-M-MISG)算法、變間隔加權(quán)多新息隨機(jī)梯度(V-W-MISG)算法、變間隔遺忘因子多新息隨機(jī)梯度(V-FF-MISG)算法、變間隔加權(quán)修正多新息隨機(jī)梯度(V-W-M-MISG)算法、變間隔遺忘因子修正多新息隨機(jī)梯度(V-FF-MMISG)算法等。

4.2 變間隔遞階多新息隨機(jī)梯度算法

以下討論變間隔遞階多新息隨機(jī)梯度辨識方法,考慮損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng)兩種情況。

4.2.1 損失數(shù)據(jù)系統(tǒng)

設(shè)正整數(shù)p為新息長度。對于損失數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts),φ(ts),y(ts－1),φ(ts－1),y(ts－2),φ(ts－2),…,y(ts－p＋1),φ(ts－p＋1)。

根據(jù)辨識模型(10)和(15),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts),堆積信息矩陣Φ(p,ts)和堆積子信息矩陣Φi(p,ts)如下:

這里基于V-HSG 算法(22)～(26),引入新息長度(innovation length),將式(22)中標(biāo)量新息(innovation)e(ts)＝y(tǒng)(ts)－φT(ts)(ts－1)∈?擴(kuò)展為新息向量(innovation vector)

因?yàn)镋(1,ts)＝e(ts),Φ(1,ts)＝φ(ts),Φi(1,ts)＝φi(ts),Y(1,ts)＝y(tǒng)(ts),所以式(22)可以等價寫為

把上式中的(1,ts)換為(p,ts),得到

聯(lián)立式(23)～(26)和(64)～(68),就得到辨識線性回歸損失數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔遞階多新息隨機(jī)梯度算法(interval-varying HMISG algorithm,V-HMISG 算法):

當(dāng)新息長度p＝1 時,V-HMISG 算法退化為V-HSG 算法(22)～(26)。當(dāng)新息長度p＝1,間隔≡1時,V-HMISG 算法退化為HSG 算法。

基于V-HMISG 算法(69)～(78),在式(69)中引入收斂指數(shù)ε,即

就得到變間隔修正遞階多新息隨機(jī)梯度算法(interval-varying M-HMISG algorithm,V-M-HMISG 算法)。

基于V-HMISG 算法(69)～(78),在式(72)和(73)中引入遺忘因子λ,即

就得到變間隔遺忘因子遞階多新息隨機(jī)梯度算法(interval-varying FF-HMISG algorithm,V-FFHMISG 算法)。

基于V-HMISG 算法(69)～(78),在式(69)中引入收斂指數(shù)ε,在式(72)和(73)中引入遺忘因子λ,即

就得到變間隔遺忘因子修正遞階多新息隨機(jī)梯度算法(interval-varying FF-M-HMISG algorithm,VFF-M-HMISG 算法)。

4.2.2 稀少量測數(shù)據(jù)系統(tǒng)

對于稀少量測數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝1,2,3,…。

設(shè)正整數(shù)p為新息長度。根據(jù)辨識模型(10)和(15),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts),堆積信息矩陣Φ(p,ts)和堆積子信息矩陣Φi(p,ts)如下:

基于HSG 算法(22)～(26),引入新息長度(innovation length),仿照線性回歸損失數(shù)據(jù)系統(tǒng)的遞階多新息隨機(jī)梯度算法(69)～(78)的推導(dǎo),可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔遞階多新息隨機(jī)梯度算法(V-HMISG 算法):

V-HMISG 算法(87)～(96)隨s增加計算參數(shù)估計的步驟如下。

1)初始化,令t＝1,s＝0,t0＝0。設(shè)定新息長度p,設(shè)定N和ni,置初值。假設(shè)y(t0－j)＝0,φ(t0－j)＝0,j＝0,1,…,p－1。

2)采集觀測數(shù)據(jù)y(t)和φ(t)。

3)如果觀測數(shù)據(jù)y(t)和φ(t)可得到,就跳到下一步;否則置(t)＝(ts),t增加1,即t＝t＋1,轉(zhuǎn)到步驟2)。

4)置s＝s＋1,ts＝t,＝ts－ts－1,從式(95)的φ(ts)中讀出子信息向量φi(ts),用式(92)構(gòu)造堆積輸出向量Y(p,ts),用式(93)構(gòu)造堆積信息矩陣Φ(p,ts)。用式(94)構(gòu)造堆積信息矩陣Φi(p,ts),i＝1,2,…,N。

5)用式(90)計算ri(ts),i＝1,2,…,N。用式(89)計算新息向量E(p,ts)。

6)用式(87)刷新參數(shù)估計向量(ts),i＝1,2,…,N,根據(jù)式(96)構(gòu)成參數(shù)估計向量(ts),根據(jù)式(88)令(t)＝(ts)。

7)t增加1,轉(zhuǎn)到步驟2)。

基于稀少量測數(shù)據(jù)系統(tǒng)的V-HMISG算法(87)～(96),引入收斂指數(shù),加權(quán)因子ws≥0,遺忘因子0≤λ≤1,可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔加權(quán)遺忘因子修正遞階多新息隨機(jī)梯度算法(V-W-FF-M-HMISG 算法):

有多種方式引入遺忘因子和加權(quán)因子。式(102)～(104)可以修改為

當(dāng)收斂指數(shù)ε,加權(quán)因子ws,遺忘因子λ取一些特殊值時,V-W-FF-M-HMISG 算法(97)～(106)可以派生出變間隔遞階多新息隨機(jī)梯度(VHMISG)算法、變間隔修正遞階多新息隨機(jī)梯度(VM-HMISG)算法、變間隔加權(quán)遞階多新息隨機(jī)梯度(V-W-HMISG)算法、變間隔遺忘因子遞階多新息隨機(jī)梯度(V-FF-HMISG)算法、變間隔加權(quán)修正遞階多新息隨機(jī)梯度(V-W-M-HMISG)算法、變間隔遺忘因子修正遞階多新息隨機(jī)梯度(V-FF-MHMISG)算法等。

5 變間隔遞階遞推梯度辨識方法

5.1 變間隔遞推梯度辨識算法

用ts代替式(1)中的t,得到變間隔辨識模型

對于變間隔辨識模型(110),定義隨時間s遞增的準(zhǔn)則函數(shù)為

定義堆積輸出信息向量Y(ts)和堆積信息矩陣Φ(ts)如下:

那么準(zhǔn)則函數(shù)J4(?)可以表示為

定義遞推關(guān)系:

令(ts)∈?n表示參數(shù)向量?在時刻t＝ts的遞推估計。使用梯度搜索,極小化準(zhǔn)則函數(shù)J4(?),可以得到辨識系統(tǒng)(1)參數(shù)向量?的變間隔遞推梯度算法(interval-varying recursive gradient algorithm,V-RG 算法)[5]:

讀者可以寫出引入收斂指數(shù)、加權(quán)因子、遺忘因子后的變間隔修正遞推梯度(V-M-RG)算法、變間隔加權(quán)遞推梯度(V-W-RG)算法、變間隔遺忘因子遞推梯度(V-FF-RG)算法、變間隔加權(quán)修正遞推梯度(V-W-M-RG)算法、變間隔遺忘因子修正遞推梯度(V-FF-M-RG)算法、變間隔加權(quán)遺忘因子修正遞推梯度(V-W-FF-M-RG)算法。

5.2 變間隔遞階遞推梯度算法

這里介紹變間隔遞階遞推梯度辨識方法,簡稱變間隔遞階梯度辨識方法。用ts代替式(2)和(3)中的t,得到變間隔遞階辨識模型:

令(ts)∈?ni是子參數(shù)向量?i在時刻t＝ts的估計(ts)∈?n是參數(shù)向量?在時刻t＝ts的估計,即?n。

基于辨識模型(110)和(118),定義N個隨時間ts遞增的準(zhǔn)則函數(shù):

定義堆積輸出信息向量Y(ts)和Yi(ts),以及堆積信息矩陣Φ(ts)和子信息矩陣Φi(ts)如下:

那么準(zhǔn)則函數(shù)J5i(?i)可以表示為

定義遞推關(guān)系:

使用負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J5i(?i),可以得到基于梯度的遞推關(guān)系[5]:

注意到式(125)右邊包含了未知關(guān)聯(lián)參數(shù)?j(j≠i),所以這個算法無法實(shí)現(xiàn)。為此應(yīng)用遞階辨識原理,用它們前一時刻的估計(ts－1)代替,得到式(130),聯(lián)立式(123)～(124)和(126),便得到辨識系統(tǒng)(1)參數(shù)向量?的變間隔遞階遞推梯度算法(interval-varying hierarchical recursive gradient algorithm,V-HRG 算法),簡稱變間隔遞階梯度算法(interval-varying hierarchical gradient algorithm,V-HG算法):

讀者可以寫出引入收斂指數(shù)、加權(quán)因子、遺忘因子后的變間隔修正遞階梯度(V-M-HG)算法、變間隔加權(quán)遞階梯度法(V-W-HG)算法、變間隔遺忘因子遞階梯度(V-FF-HG)算法、變間隔加權(quán)修正遞階梯度(V-W-M-HG)算法、變間隔遺忘因子修正遞階梯度(V-FF-M-HG)算法、變間隔加權(quán)遺忘因子修正遞階梯度(V-W-FF-M-HG)算法。

6 變間隔遞階多新息遞推梯度方法

這里針對損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng),討論變間隔多新息遞推梯度辨識方法、變間隔遞階多新息遞推梯度辨識方法。

6.1 變間隔多新息遞推梯度辨識算法

6.1.1 損失數(shù)據(jù)系統(tǒng)

多新息辨識方法是考慮最近的p組數(shù)據(jù)推導(dǎo)出的辨識算法,其中正整數(shù)p為新息長度。對于損失數(shù)據(jù)系統(tǒng),假設(shè)可得到的最新p組觀測數(shù)據(jù)為

設(shè)t＝ts為當(dāng)前時刻。根據(jù)變間隔辨識模型(110),利用最新可得到的p組觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts)和堆積信息矩陣Φ(p,ts)如下:

多新息梯度算法采用的隨時間s遞增的準(zhǔn)則函數(shù)為

定義堆積輸出信息向量Zt和堆積信息矩陣Ωt如下:

則準(zhǔn)則函數(shù)J6(?)可以寫為

求準(zhǔn)則函數(shù)J6(?)對參數(shù)向量?的一階偏導(dǎo)數(shù),可以得到準(zhǔn)則函數(shù)J6(?)的梯度向量

令(ts)∈?n表示參數(shù)向量?在時刻t＝ts的遞推估計。在?＝(ts－1)點(diǎn)的梯度為

仿照遞推梯度辨識算法的推導(dǎo),可以得到辨識線性回歸損失數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔多新息遞推梯度算法(interval-varying MIRG algorithm,V-MIRG 算法),簡稱變間隔多新息梯度算法(interval-varying multi-innovation gradient algorithm,V-MIG 算法):

在變間隔多新息梯度辨識算法(138)～(145)中引入收斂指數(shù)、遺忘因子,便得到變間隔修正多新息梯度(V-M-MIG)算法、變間隔遺忘因子多新息梯度(V-FF-MIG)算法、變間隔遺忘因子修正多新息梯度(V-FF-M-MIG)算法等。6.1.2 稀少量測數(shù)據(jù)系統(tǒng)

對于稀少量測數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝1,2,3,…。設(shè)正整數(shù)p為新息長度。根據(jù)變間隔辨識模型(110),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts)和堆積信息矩陣Φ(p,ts)如下:

仿照遞推梯度辨識算法的推導(dǎo),可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔多新息遞推梯度算法(V-MIRG 算法),或稱變間隔遞推多新息梯度算法(V-RMIG 算法),簡稱變間隔多新息梯度算法(V-MIG 算法):

在變間隔多新息梯度辨識算法(148)～(155)中引入收斂指數(shù)、加權(quán)因子、遺忘因子,便得到變間隔修正多新息梯度(V-M-MIG)算法、變間隔加權(quán)多新息梯度(V-W-MIG)算法、變間隔遺忘因子多新息梯度(V-FF-MIG)算法、變間隔加權(quán)修正多新息梯度(V-W-M-MIG)算法、變間隔遺忘因子修正多新息梯度(V-FF-M-MIG)算法、變間隔加權(quán)遺忘因子多新息梯度(V-W-FF-MIG)算法、變間隔加權(quán)遺忘因子修正多新息梯度(V-W-FF-M-MIG)算法等。

6.2 變間隔遞階多新息遞推梯度算法

6.2.1 損失數(shù)據(jù)系統(tǒng)

對于線性回歸損失數(shù)據(jù)系統(tǒng)的變間隔遞階辨識模型(110)和(118),考慮從ts－p＋1到ts的可得到的最新p組數(shù)據(jù),定義堆積輸出向量Y(p,ts)和Yi(p,ts),堆積信息矩陣Φ(p,ts)和子信息矩陣Φi(p,ts)如下:

定義多新息準(zhǔn)則函數(shù)為

定義堆積輸出信息向量Zi,t和堆積信息矩陣Ωi,t如下:

則準(zhǔn)則函數(shù)J7i(?i)可以寫為

求準(zhǔn)則函數(shù)J7i(?i)對參數(shù)向量?的一階偏導(dǎo)數(shù),可以得到準(zhǔn)則函數(shù)J7i(?i)的梯度向量

令(ts)∈?n表示參數(shù)向量?i在時刻ts的遞推估計。在?i＝(ts－1)點(diǎn)的梯度為

設(shè)μi(ts)≥0為收斂因子。根據(jù)負(fù)梯度搜索,極小化準(zhǔn)則函數(shù)J7i(?i),可以得到下列梯度遞推關(guān)系:

式(162)可以看作狀態(tài)為(ts),輸入為μi(ts)ξi(ts)的離散時間系統(tǒng),為了保證參數(shù)估計向量(ts)收斂,要求矩陣[Ini－μi(ts)Ri(ts)]的特征值均在單位圓內(nèi),且單位圓上沒有重特征值,即(ts)必須滿足－Ini≤Ini－μi(ts)Ri(ts)≤Ini,故收斂因子μi(ts)的一個保守選擇是

由于特征值計算很復(fù)雜,故收斂因子也可簡單取為

由于式(160)右邊包含了未知關(guān)聯(lián)參數(shù)?j(j≠i),應(yīng)用遞階辨識原理,用它們前一時刻的估計(ts－1)代替,得到

取μi(ts)＝1/ri(ts),ri(ts)＝tr[Ri(ts)]＝ri(ts－1)＋‖φi(ts)‖2,ri(t0)＝1或ri(t0)＝0時,聯(lián)立式(162),(165),(161),(156)～(159),便得到辨識線性回歸損失數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?i的變間隔遞階多新息遞推梯度算法,簡稱變間隔遞階多新息梯度算法(interval-varying hierarchical multi-innovation gradient algorithm,V-HMIG 算法):

讀者可以寫出引入收斂指數(shù)、遺忘因子后的變間隔遞階多新息梯度算法。

6.2.2 稀少量測數(shù)據(jù)系統(tǒng)

對于稀少量測數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝1,2,3,…。設(shè)正整數(shù)p為新息長度。

對于線性回歸稀少量測數(shù)據(jù)系統(tǒng)的變間隔遞階辨識模型(110)和(118),考慮從ts－p＋1到ts的可得到的最新p組數(shù)據(jù),定義堆積輸出向量Y(p,ts)和Yi(p,ts),堆積信息矩陣Φ(p,ts)和子信息矩陣Φi(p,ts)如下:

仿照線性回歸損失數(shù)據(jù)系統(tǒng)(1)的V-HMIG 算法的推導(dǎo),可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?i的變間隔遞階多新息梯度算法(V-HMIG 算法):

在變間隔遞階多新息梯度辨識算法(180)～(189)中引入收斂指數(shù)、加權(quán)因子、遺忘因子,便得到變間隔修正遞階多新息梯度(V-M-HMIG)算法、變間隔加權(quán)遞階多新息梯度(V-W-HMIG)算法、變間隔遺忘因子遞階多新息梯度(V-FF-HMIG)算法、變間隔加權(quán)修正遞階多新息梯度(V-W-M-HMIG)算法、變間隔遺忘因子修正遞階多新息梯度(V-FFM-HMIG)算法、變間隔加權(quán)遺忘因子遞階多新息梯度(V-W-FF-HMIG)算法、變間隔加權(quán)遺忘因子修正遞階多新息梯度(V-W-FF-M-HMIG)算法等。

變間隔多新息梯度類辨識方法、變間隔遞階多新息梯度類辨識方法也是首次在此提出的。它可以發(fā)展為FIR 模型和CAR 模型的變間隔多新息梯度算法、以及(自回歸)輸出誤差系統(tǒng)的變間隔輔助模型多新息梯度(V-AM-MIG)算法、變間隔輔助模型遞階多新息梯度(V-AM-HMIG)算法等。

7 變間隔遞階最小二乘辨識方法

7.1 變間隔最小二乘辨識算法

對于線性回歸辨識模型(1),定義和極小化準(zhǔn)則函數(shù)

可以得到辨識系統(tǒng)(1)參數(shù)向量?的遞推最小二乘算法(RLS算法)如下:

在數(shù)據(jù)缺失情形,假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝0,1,2,…,不可得到的數(shù)據(jù)為y(ts＋i)和φ(ts＋i),i＝1,2,…,－1,此時RLS算法(190)～(193)不可實(shí)現(xiàn)。如果用ts代替式(190)～(193)中的t得到

從s＝0,1,2,…的遞推計算過程看,這個算法也不可實(shí)現(xiàn),因?yàn)楫?dāng)＞1時,式(194)～(197)右邊存在未知量(ts－1)和P(ts－1)。一個辦法是用ts代替式(1)中的t,得到一個新的辨識模型

對于變間隔辨識模型(198),定義隨時間s遞增的準(zhǔn)則函數(shù)為

極小化準(zhǔn)則函數(shù)J9(?),可以得到辨識系統(tǒng)(1)參數(shù)向量?變間隔遞推最小二乘算法(interval-varying RLS algorithm,V-RLS算法):

借助增益向量L(ts)＝P(ts)φ(ts)∈?n,VRLS算法可等價表示為

在初始條件(t0)＝1n/p0和P(t0)＝p0In下,利用可得到的觀測信息y(ts)和φ(ts),V-RLS算法(201)～(204)可以遞推計算參數(shù)估計向量(ts),在數(shù)據(jù)不可得到時,參數(shù)估計保持不變,即

可以在變間隔遞推最小二乘算法中引入加權(quán)因子、遺忘因子,得到變間隔加權(quán)遞推最小二乘(V-WRLS)算法、變間隔遺忘因子遞推最小二乘(V-FFRLS)算法。

7.2 變間隔遞階最小二乘算法

用ts代替式(2)和(3)中的t,得到變間隔遞階辨識模型:

可得到的觀測是y(ts)和φ(ts)及其分量φi(ts),而虛擬子系統(tǒng)的輸出yi(ts)是未知的,

故將式(207)中yi(ts)代入式(209)得到

式(211)右邊包含了其它子系統(tǒng)的未知子參數(shù)向量?j(j≠i),所以算法(210)～(211)無法實(shí)現(xiàn)。為了實(shí)現(xiàn)參數(shù)估計(ts)的遞推計算,根據(jù)遞階辨識原理進(jìn)行關(guān)聯(lián)項(xiàng)的協(xié)調(diào),式(211)中未知的?j用它在前一時刻t＝ts－1的估計(ts－1)代替,可得

式(212)和式(210)構(gòu)成了估計子參數(shù)向量?i的變間隔遞階最小二乘算法(interval-varying hierarchical least squares algorithm,V-HLS算法):

定義增益向量(t)＝(ts),t＝ts,ts＋1,…,ts＋1－1,將矩陣求逆引理應(yīng)用到式(214),V-HLS算法可以等價表示為

定義塊對角協(xié)方差陣(block diagonal covariance matrix)

于是,估計線性回歸系統(tǒng)(1)參數(shù)向量?的變間隔遞階最小二乘算法(215)～(220)可以等價表示為

可以在變間隔遞階最小二乘算法中引入加權(quán)因子、遺忘因子,得到變間隔加權(quán)遞階最小二乘(V-WHLS)算法、變間隔遺忘因子遞階最小二乘(V-FFHLS)算法。

8 變間隔遞階多新息最小二乘方法

這里針對損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng),討論變間隔多新息最小二乘辨識方法、變間隔遞階多新息最小二乘辨識方法。

8.1 變間隔多新息最小二乘辨識算法

8.1.1 損失數(shù)據(jù)系統(tǒng)

令正整數(shù)p為新息長度。對于損失數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts),φ(ts),y(ts－1),φ(ts－1),y(ts－2),φ(ts－2),…,y(ts－p＋1),φ(ts－p＋1)。

根據(jù)變間隔辨識模型(198),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts)和堆積信息矩陣

借助多新息辨識理論,基于V-RLS 辨識算法(201)～(204),將式(201)中標(biāo)量新息

將式(202)～(203)中信息向量φ(ts)擴(kuò)展為

式(229)～(231)和(226)～(227)構(gòu)成了辨識線性回歸損失數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔多新息最小二乘算法(interval-varying multi-innovation least squares algorithm,V-MILS算法):

8.1.2 稀少量測數(shù)據(jù)系統(tǒng)

對于稀少量測數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝1,2,3,…。設(shè)正整數(shù)p為新息長度。根據(jù)變間隔辨識模型(198)和(206),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts)和堆積信息矩陣Φ(p,ts)如下:

基于V-RLS算法(201)～(204),引入新息長度(innovation length),仿照線性回歸損失數(shù)據(jù)系統(tǒng)的V-MILS算法(232)～(237)的推導(dǎo),可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔多新息最小二乘算法(V-MILS算法):

當(dāng)新息長度p＝1時,V-MILS辨識算法退化為V-RLS辨識算法(201)～(204)。

可以在V-MILS 算法中引入加權(quán)矩陣Ws∈?p×p≥0,引入遺忘因子0＜λ≤1,得到變間隔加權(quán)多新息最小二乘(V-W-MILS)算法、變間隔遺忘因子多新息最小二乘(V-FF-MILS)算法和變間隔加權(quán)遺忘因子多新息最小二乘(V-W-FF-MILS)算法。

8.2 變間隔遞階多新息最小二乘算法

8.2.1 損失數(shù)據(jù)系統(tǒng)

對于多新息辨識算法,令正整數(shù)p為新息長度。對于損失數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為

根據(jù)辨識模型(198)和(206),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts),堆積信息矩陣Φ(p,ts)和堆積子信息矩陣Φi(p,ts)如下:

借助多新息辨識理論,基于變間隔遞階最小二乘算法(215)～(220),將式(215)中標(biāo)量新息

式(250)～(252)和(246)～(248)構(gòu)成了辨識線性回歸損失數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔遞階多新息最小二乘算法(interval-varying hierarchical multi-innovation least squares algorithm,V-HMILS算法):

8.2.2 稀少量測數(shù)據(jù)系統(tǒng)

對于稀少量測數(shù)據(jù)系統(tǒng),假設(shè)可得到的觀測數(shù)據(jù)為y(ts)和φ(ts),s＝1,2,3,…。設(shè)正整數(shù)p為新息長度。根據(jù)辨識模型(198)和(206),利用可得到的觀測數(shù)據(jù)定義堆積輸出向量Y(p,ts),堆積信息矩陣Φ(p,ts)和堆積子信息矩陣Φi(p,ts)如下:

基于V-HLS算法(215)～(220),引入新息長度(innovation length),仿照線性回歸損失數(shù)據(jù)系統(tǒng)的V-MILS算法(253)～(261)的推導(dǎo),可以得到辨識線性回歸稀少量測數(shù)據(jù)系統(tǒng)(1)參數(shù)向量?的變間隔遞階多新息最小二乘算法(V-HMILS算法):

可以在V-HMILS算法中引入加權(quán)矩陣Ws∈?p×p≥0,引入遺忘因子0＜λ≤1,得到變間隔加權(quán)遞階多新息最小二乘(V-W-HMILS)算法、變間隔遺忘因子遞階多新息最小二乘(V-FF-HMILS)算法、變間隔加權(quán)遺忘因子遞階多新息最小二乘(VW-FF-HMILS)算法。

當(dāng)新息長度p＝1時,V-HMILS辨識算法退化為V-HLS辨識算法(215)～(220)。當(dāng)子系統(tǒng)數(shù)目N＝1時,V-HMILS算法退化為V-RLS算法(201)～(204)。當(dāng)新息長度p＝1,子系統(tǒng)數(shù)目N時,V-HMILS算法退化為RLS算法(190)～(193)。

V-HMILS算法(265)～(273)隨s增加計算參數(shù)估計的步驟如下。

2)采集觀測數(shù)據(jù)y(t)和φ(t)。

3)如果觀測數(shù)據(jù)y(t)和φ(t)可得到,就跳到下一步;否則置(t)＝(ts),t增加1,即t＝t＋1,轉(zhuǎn)到步驟2)。

4)置s＝s＋1,ts＝t,＝ts－ts－1,用式(269)構(gòu)造堆積輸出向量Y(p,ts),用式(270)構(gòu)造堆積信息矩陣Φ(p,ts)。從式(272)的φ(ts)中讀出子信息向量φi(ts),用式(271)構(gòu)造堆積信息矩陣Φi(p,ts),i＝1,2,…,N。

5)用式(267)計算增益矩陣Li(ts),用式(268)計算協(xié)方差陣Pi(ts),i＝1,2,…,N。

6)用式(265)刷新參數(shù)估計向量(ts),i＝1,2,…,N,根據(jù)式(273)構(gòu)成參數(shù)估計向量^?(ts),根據(jù)式(266)令(t)＝(ts)。

7)t增加1,轉(zhuǎn)到步驟2)。

9 結(jié)語

利用系統(tǒng)的觀測輸入輸出數(shù)據(jù),針對損失數(shù)據(jù)系統(tǒng)和稀少量測數(shù)據(jù)系統(tǒng),引入變間隔概念,基于遞階辨識原理,獲得系統(tǒng)的變間隔遞階辨識模型,針對線性回歸系統(tǒng),提出了變間隔遞階(多新息)隨機(jī)梯度辨識方法、變間隔遞階(多新息)遞推梯度辨識方法、變間隔遞階(多新息)最小二乘辨識方法等。這些變間隔遞推辨識方法可以推廣到有色噪聲干擾下的線性和非線性損失數(shù)據(jù)隨機(jī)系統(tǒng)和稀少量測數(shù)據(jù)隨機(jī)系統(tǒng)中[35-46]。