一種多新息分數(shù)階的辨識算法

查 琴， 王宏偉,2*

(1.新疆大學電氣工程學院， 烏魯木齊 830047; 2.大連理工大學控制科學與工程學院， 大連 116024)

分數(shù)階微積分是數(shù)學的一個分支，是整數(shù)階的連續(xù)過渡。它幾乎和整數(shù)階微積分一同提出，但當時的主要用途僅限于純數(shù)學理論領域。隨著人們對自然界和工程界不斷的認識和發(fā)展，傳統(tǒng)的整數(shù)階微積分已不能滿足人們在工程上的應用。分數(shù)階微積分特有的遍歷性，使其具有更豐富的動態(tài)性能，能夠把控全局信息。因此，學者們開始將分數(shù)階微積分廣泛應用于工程領域。如圖像去噪[1]、生物醫(yī)學[2]、經(jīng)濟系統(tǒng)[3]、預測控制[4]和信號處理領域[5]等。

實際工程中許多系統(tǒng)模型無法用已知物理規(guī)律建模，因此系統(tǒng)辨識進入了人們的視線。系統(tǒng)辨識利用輸入輸出數(shù)據(jù)建立模型，它的核心是自適應濾波算法。其中最小均方辨識算法(least mean square identification, LMSI)因其結構簡單，性能穩(wěn)定，計算量小等特點，成為目前主要的自適應濾波算法之一[6]。然而，傳統(tǒng)的LMSI收斂速度較慢，并不適用于對收斂速度要求較高的場合[7]。為了解決這一問題，文獻[8-9]中指出可引入分數(shù)階微積分以提高算法收斂性能，是將傳統(tǒng)LMSI算法與分數(shù)階微積分結合，使得辨識結果在收斂速度和精度上都有更令人滿意的表現(xiàn)[10-11]。通過引入分數(shù)階的概念，Chaudhary等[12-13]提出了分數(shù)階最小均方算法(fractional order least mean square identification, FLMSI)。即在LMSI的權值自適應機制中引入了分數(shù)階導數(shù)項，可以不斷地修正梯度方向，具有較好的跟蹤效果。文獻[14]將分數(shù)階微積分應用于Volterra級數(shù)LSMI，提出了一種分數(shù)階Volterra級數(shù)LSMI算法。文獻[15]引入動量項，提出了一種動量分數(shù)階最小均方算法(momentum fractional LMSI, MOFLMSI)。

以上算法雖然都引入了分數(shù)階計算機制，在一定程度上提高了辨識速度和精度，但是由于利用單新息對參數(shù)進行遞推估計，其性能仍不理想。為此，引入多新息理論[16]，基本思想是：將標量新息擴展為多新息向量，將新息向量擴展為新息矩陣，每次迭代時既使用當前數(shù)據(jù)，又使用過去的數(shù)據(jù)[17-20]。實際辨識所需的信息向量中包含很多不可測的特征變量，為了解決這一問題，建立輔助模型去逼近系統(tǒng)的不可測變量估計系統(tǒng)參數(shù)[21]，將輔助模型、分數(shù)階項、多新息和LMSI相結合，提出一種基于輔助模型的多新息分數(shù)階最小均方算法(auxiliary model LMSI algorithm with multi-innovation and fractional order, AM-MFLMSI)：保留分數(shù)階的記憶性和非局部特性，使其能充分利用歷史數(shù)據(jù)；引入多新息思想，提供更多的可調(diào)參數(shù)。以含有色噪聲的自回歸Box-Jenkins模型為例，用AM-MFLMSI算法估計其參數(shù)，描述了自回歸Box-Jenkins模型，引入分數(shù)階導數(shù)項，介紹了分數(shù)階參數(shù)辨識方法，引入多新息思想，介紹了多新息參數(shù)辨識方法，同時分析了算法性能，通過蒙特卡洛試驗進行仿真分析，驗證所提算法的可行性和有效性；最后一節(jié)給出了結論和未來研究的展望。

1 自回歸Box-Jenkins模型

1.1 問題的描述

考慮自回歸Box-Jenkins模型(autoregressive Box-Jenkins model，AR-BJ)來描述動態(tài)隨機系統(tǒng)，可表示為

(1)

式(1)中：u(t)和y(t)分別為系統(tǒng)的輸入和輸出數(shù)據(jù)；t為時間；v(t)為零均值、不相關隨機白噪聲(不可測)[22]；A(z)、B(z)、C(z)、D(z)和F(z)均為單位后移算子z-1的多項式[23]，z-1y(t)=y(t-1)，可分別表示為

A(z)=1+a1z-1+a2z-2+…+anaz-na

(2)

B(z)=b1z-1+b2z-2+…+bnbz-nb

(3)

C(z)=1+c1z-1+c2z-2+…+cncz-nc

(4)

D(z)=1+d1z-1+d2z-2+…+dndz-nd

(5)

F(z)=1+f1z-1+f2z-2+…+fnfz-nf

(6)

式中：階次na、nb、nc、nd和nf先驗已知，記n=na+nf+nb+nc+nd，且t≤0時，y(t)=0。圖1為系統(tǒng)自回歸Box-Jenkins模型。

圖1 自回歸Box-Jenkins(AR-BJ)系統(tǒng)Fig.1 A system described by autoregressive Box-Jenkins (AR-BJ)

圖1中，x(t)為系統(tǒng)不含噪聲的不可測量的輸出，w(t)為不可測噪聲項，可分別表示為

(7)

(8)

定義參數(shù)向量θ和信息向量φ(t)分別為

(9)

α=[a1,a2,…,ana]T∈Rna

(10)

ρ=[f1,f2,…,fnf,b1,b2,…,bnb]T∈Rnf+nb

(11)

ε=[c1,c2,…,cnc,d1,d2,…,dnd]T∈Rnc+nd

(12)

(13)

φy(t)=[-y(t-1),-y(t-2),…,

-y(t-na)]T∈Rna

(14)

φ(t)=[-x(t-1),-x(t-2),…,-x(t-nf),u(t-1),u(t-2),…,u(t-nb)]T∈Rnf+nb

(15)

ψ(t)=[-w(t-1),-w(t-2),…,-w(t-nc),v(t-1),v(t-2),…,v(t-nd)]T∈Rnc+nd

(16)

式中：系統(tǒng)的可測輸入、輸出數(shù)據(jù)為u(t)和y(t), 不可測變量為x(t)、w(t)和v(t)，也就是說，信息向量φy(t)是可測的，信息向量φ(t)和ψ(t)是未知的。

由式(7)、式(8)可得

x(t)=[1-F(z)]x(t)+B(z)u(t)=φT(t)ρ

(17)

w(t)=[1-C(z)]w(t)+D(z)u(t)=

ψT(t)ε+v(t)

(18)

將式(7)、式(8)代入式(1)可得

y(t)=[1-A(z)]y(t)+x(t)+w(t)=

φT(t)θ+v(t)

(19)

由于信息向量φ(t)包含了未知的φ(t)和ψ(t), 所以必須借助于輔助模型辨識思想，用輔助模型的輸出來構造這些未知向量的估計[21, 24]。

1.2 AR-BJ系統(tǒng)的輔助模型

用系統(tǒng)輸入u(t-i)和輔助模型的輸出xa(t-i)構造φ(t)的估計，即

(20)

由圖2可得

(21)

式(21)與式(7)具有相同的結構形式，這樣xa(t)可以寫成向量的形式，可表示為

(21)

式(21)中：φa(t)和ρa分別為輔助模型的信息向量和參數(shù)向量。

(22)

(23)

(24)

由式(19)可得

(25)

v(t)=y(t)-φT(t)θ(t)

(26)

(27)

(28)

2 基于輔助模型的分數(shù)階LMSI算法

在系統(tǒng)辨識中，很多回歸模型都可用式(19)表示，模型為權值和輸入變量乘積的代數(shù)和，即

(29)

式(29)中：wi(t)為權值；x(t-i)為輸入變量。

辨識目標一般表示為

(30)

式(30)中：e為估計值和真實值的誤差。

對于式(30)，經(jīng)過展開后有

(31)

對于式(31), 目標函數(shù)對權值wi求導數(shù)，可以得到權值的估值計算公式為

(32)

式(32)中：μ為整數(shù)階學習步長。

文獻[25]提出了基于分數(shù)階的最小均方算法，該算法為

(33)

式(33)中：fr為分數(shù)階，取0～1的實數(shù)；μfr為分數(shù)階學習步長。

對于式(33)分數(shù)階導數(shù)的計算，文獻[25]給出了Riemann-Liouville(R-L)和Caputo的fr>0階函數(shù)u(x)的分數(shù)階微積分定義，RL的分數(shù)階微積分定義為

(34)

同樣，Caputo的分數(shù)階微積分定義為

(35)

對于函數(shù)xm的fr的分數(shù)階導數(shù)，文獻[25]也給出了定義,即

(36)

(37)

式(33)相對應的分數(shù)階導數(shù)為

(38)

這樣，基于分數(shù)階的最小均方辨識算法可表示為

wi(t)+μe(t)x(t-i)+

(39)

寫成向量形式為

w(t+1)=w(t)+μe(t)x(t)+

(40)

式(40)中：°為Hadamard積，定義為兩個矩陣對應元素相乘，若A=[aij]∈Rm×n和B=[bij]∈Rm×n，則A°B=[aij]°[bij]=[aijbij]∈Rm×n；|w|為向量w的絕對值；x為輸入信號矩陣。

(41)

(42)

(43)

φy(t)=[-y(t-1),-y(t-2),…,-y(t-na)]T

(44)

-xa(t-nf),u(t-1),u(t-2),…,

u(t-nb)]T

(45)

(46)

(47)

(48)

(49)

(50)

3 基于輔助模型的多新息分數(shù)階LMSI 算法

對于式(41)～式(50)的分數(shù)階算法，其收斂速度較慢，辨識精度不高。主要原因是采用單新息進行參數(shù)估計，不能利用多新息和很多歷史數(shù)據(jù)，為此根據(jù)多新息辨識理論，推出了基于輔助模型的多新息分數(shù)階最小均方算法(AM-MFLMSI)。

3.1 AM-MFLMSI算法推導

(51)

Y(L,t)=[y(t),y(t-1),…,y(t-L+1)]T∈RL

(52)

(53)

式(40)可以等價為

(54)

(55)

(56)

(57)

(58)

Y(L,t)=[y(t),y(t-1),…,y(t-L+1)]T

(59)

(60)

(61)

φy(t)=[-y(t-1),-y(t-2),…,-y(t-na)]T

(62)

(63)

(64)

(65)

(66)

(67)

(68)

整個AM-MFLMSI算法設計流程圖如圖3所示。AM-MFLMSI算法步驟如下。

θl為第l次迭代時的參數(shù)估計向量；θl-1為第l-1次 迭代時的參數(shù)估計向量;γ為一個比較小的正數(shù)圖3 AM-MFLMSI算法設計流程圖Fig.3 Overall flowchart of the AM-MFLMSI algorithm

Step2采集數(shù)據(jù)樣本，通過式(56)～式(68)辨識系統(tǒng)的參數(shù)。

Step3令t=t+1，如果t

3.2 收斂性分析

為了驗證AM-MFLMSI的收斂性能，將參數(shù)估計誤差向量設為

(69)

(70)

將式(69)代入式(70)，則有

(71)

通過二項式展開可得

(72)

式(71)可以擴展為

(73)

V(t)=V(t-1)+μK-μRθ-μRV(t-1)+

(74)

為獲得參數(shù)的最優(yōu)值，需要使得K-Rθ=0, 則

V(t)=V(t-1)-μRV(t-1)-

1)]1-fr-β}°RV(t-1)

(75)

令

1)]1-fr-β}°R∈Rn×n

(76)

將式(76)代入式(75)，可得

fr,β]}V(t-1)

(77)

(78)

故收斂因子選擇范圍是

(79)

式(79)中：λmax為矩陣最大特征值。

4 仿真分析

(80)

分數(shù)階fr的取值在0～1，為了找到能辨識Box-Jenkins模型的合適的分數(shù)階數(shù)值，分別取不同的分數(shù)階fr=0.2, 0.4, 0.6, 0.8。當fr=1時，AM-FLMSI算法就退化為文獻[24]中提出的基于輔助模型的最小均方算法(auxiliary model LMSI algorithm, AM-LMSI)。圖4給出了AM-LMSI算法和不同分數(shù)階下的AM-FLMSI算法作用下的均方誤差MSE曲線。

由圖4可以看出，在迭代的過程中兩種算法參數(shù)辨識結果均收斂，但AM-FLMSI算法比AM-LMSI算法的收斂速度更快。在AM-FLMSI算法作用下，fr值越高，收斂速度越快。

雖然分數(shù)階越大收斂速度越快，但參數(shù)收斂時的迭代次數(shù)依然大于采樣次數(shù)N。為了提高參數(shù)收斂的速度和精度，在AM-FLMSI算法的基礎上引入多新息技術，得到AM-MFLMSI算法。

在AM-LMSI算法和AM-FLMSI算法作用下的相對誤差δ曲線和均方誤差(MSE)曲線分別如圖5、圖6所示。相對誤差函數(shù)為

(81)

為了驗證該算法的有效性，對Box-Jenkins模型分別取不同的新息長度L=2, 3, 5。每個新息長度取兩個分數(shù)階，階數(shù)fr=0.4, 0.8。仿真結果表明，隨著新息長度L的增加，加快了誤差收斂速度，提高了辨識精度。圖6均方誤差曲線表明，新息長度L越大，收斂速度越快，但是相應的穩(wěn)態(tài)性能會變差，所以L的選取并不一定越大越好。

通過上述分析可知，當選取新息長度L=5和分數(shù)階fr=0.4時，該系統(tǒng)有較快的收斂速度，較高的收斂精度以及相對較穩(wěn)定的收斂過程。由于存在不可測量項，故將輔助模型思想應用于文獻[18]中的MOFLMSI算法，得到基于輔助模型的MOFLMSI算法(auxiliary model LMSI algorithm with momentum fractional order, AM-MOFLMSI)。

圖4 不同分數(shù)階下的參數(shù)估計均方誤差MSEFig.4 MSE of parameter estimation based on different fractional order

圖5 不同新息和分數(shù)階下的參數(shù)估計相對誤差Fig.5 Relative error of parameter estimation based on different innovation and fractional order

分析可知，所提AM-MFLMSI算法和其他兩種算法相比，有如下優(yōu)點：①AM-MFLMSI更具有一般性，當新息長度L=1時，AM-MFLMSI退化為AM-FLMSI，當L=1且fr=1時，AM-MFLMSI退化為AM-LMSI；②與AM-MOFLMSI相比，AM-MFLMSI具有更快的收斂速度和更精確的辨識結果；與AM-FLMSI相比，在分數(shù)階相同的情況下，AM-MFLMSI誤差收斂速度更快，辨識結果更精確；③AM-MFLMSI在新息長度相同的情況下，分數(shù)階越大，誤差收斂速度越快，辨識結果越精確。

圖6 不同新息和分數(shù)階下的參數(shù)估計均方誤差MSEFig.6 MSE of parameter estimation based on different innovation and fractional order

圖7 3種算法參數(shù)估計相對誤差分布箱式圖Fig.7 Box-plot of relative error distribution in parameter estimation based on three algorithms

5 結論

利用輔助模型思想、分數(shù)階方法和多新息理論，提出了一種基于輔助模型的多新息分數(shù)階最小均方算法(AM-MFLMSI)，并證明了它的收斂性。通過選擇不同的新息長度L和分數(shù)階fr，比較分析了兩者對算法性能的影響。得出如下結論。

(1)仿真結果表明，在保證穩(wěn)態(tài)性能的前提下，選擇的新息長度L和分數(shù)階fr越大，收斂速度和精度就越高。

(2)3種算法的比較研究表明：所提的AM-MFLMSI算法具有最快的收斂速度和最高的辨識精度。

(3)目前，工業(yè)中存在著大量的非線性系統(tǒng)和多變量系統(tǒng)，如何將所提AM-MFLMSI算法擴展到工業(yè)實踐中是下一步要研究的方向。

表1 比較3種算法的參數(shù)估計和相對誤差Table 1 The estimated values against true values of Box-Jenkins models for comparison