基于分數(shù)階最大相關(guān)熵算法的混沌時間序列預(yù)測?

王世元 史春芬 錢國兵 王萬里

1)(西南大學電子信息工程學院,重慶 400715)

2)(非線性電路與智能信息處理重慶市重點實驗室,重慶 400715)

1 引 言

混沌系統(tǒng)對初始值敏感的特性使輸入信號的微小變化均能快速體現(xiàn)在輸出信號中,所以混沌模型更能反映現(xiàn)實世界的真實情況,即混沌理論提供了一種符合現(xiàn)實世界的非線性建模方法.隨著混沌理論和應(yīng)用技術(shù)研究的不斷深入,混沌時間序列的建模和預(yù)測已成為近年來混沌信號處理領(lǐng)域的一個重要熱點[1?5].然而,混沌系統(tǒng)對初始值敏感的特性使得混沌時間序列不能長期預(yù)測.但混沌時間序列是由確定性非線性系統(tǒng)產(chǎn)生的,其內(nèi)部存在確定性規(guī)律,所以混沌時間序列是短期可預(yù)測[6].由此可見,混沌時間序列預(yù)測是一個極具挑戰(zhàn)性的工作.高效的預(yù)測模型可廣泛應(yīng)用于混沌去噪,混沌加密以及混沌通信等領(lǐng)域中.Takens的嵌入定理[7]提供了預(yù)測混沌時間序列的理論依據(jù).基于Takens的嵌入定理和相空間重構(gòu)思想,混沌時間序列預(yù)測方法可分為全局預(yù)測方法[3]、局域預(yù)測法[4]和自適應(yīng)預(yù)測法[5]三大類.全局預(yù)測法采用全部已知數(shù)據(jù)擬合非線性函數(shù),但當非線性函數(shù)關(guān)系較復(fù)雜時,這種方法不能精確擬合非線性函數(shù).局域預(yù)測法僅利用相空間中部分數(shù)據(jù)擬合非線性函數(shù),即利用當前數(shù)據(jù)最近鄰域點的演化軌跡加權(quán)預(yù)測未來數(shù)據(jù),因只采用了部分數(shù)據(jù),所以局域預(yù)測法可提供較快的運算速度,但對未知數(shù)據(jù)區(qū)間的預(yù)測精度較差.自適應(yīng)預(yù)測法是近年來興起的混沌時間序列預(yù)測方法,在預(yù)測過程中只需較少的訓練樣本就能對混沌序列做出較好的預(yù)測結(jié)果.

自適應(yīng)濾波算法是一類經(jīng)典的自適應(yīng)算法,現(xiàn)已被廣泛應(yīng)用于噪聲消除、信道均衡和系統(tǒng)識別等領(lǐng)域中[8].根據(jù)不同的誤差準則可以生成不同的自適應(yīng)濾波算法,包括最小化均方算法(least mean square,LMS)[9]、仿射投影算法(affine projection algorithm,APA)[10]和遞歸最小二乘(recursive least squares,RLS)[11]算法.LMS算法因采用當前瞬時平方誤差作為誤差準則,其計算最為簡單,是廣泛應(yīng)用于實際的經(jīng)典自適應(yīng)濾波算法.盡管LMS算法具有低復(fù)雜度和易實現(xiàn)的特點,但其收斂速度較慢.APA算法利用過去一段時間和當前時刻的數(shù)據(jù)更新權(quán)重，因此相對于LMS算法,APA算法以增加一定的計算復(fù)雜度為代價提高了濾波器的預(yù)測速度和精度.基于最小二乘(least squares,LS)[12]的RLS算法利用所有輸入數(shù)據(jù)更新濾波系統(tǒng),因此具有更好的濾波性能,但其計算復(fù)雜度也更高.以上三種經(jīng)典的自適應(yīng)濾波算法均采用最小均方誤差(minimum mean square error,MMSE)準則.因此,在非高斯噪聲環(huán)境下它們不能獲得較理想的濾波性能.然而,實際環(huán)境中的大多數(shù)噪聲具有顯著的脈沖性特點.因此,提出了適應(yīng)非高斯噪聲的誤差準則及其相應(yīng)的自適應(yīng)濾波器,例如,基于最小誤差熵(minimum error entropy,MEE)[13]的自適應(yīng)濾波器.MEE是一種非凸的代價函數(shù),需要Parzen窗去估計每一個時刻的誤差分布[14],因此,基于MEE準則的自適應(yīng)濾波器具有較高的計算復(fù)雜度.為了減小其計算復(fù)雜度,提出了另一種基于最大相關(guān)熵準則(maximum correntropy criterion,MCC)[15]的自適應(yīng)濾波器.MCC因其計算效率高和處理非高斯信號能力較強，已被廣泛應(yīng)用于信號處理和機器學習等領(lǐng)域[15?17].與基于MMSE準則的自適應(yīng)濾波算法相比,當系統(tǒng)噪聲為非高斯噪聲或者輸入數(shù)據(jù)有較大的奇異值時,基于MCC準則的自適應(yīng)濾波算法具有較好的魯棒性.

隨著分數(shù)階微積分的不斷發(fā)展,作為分數(shù)維動力學基礎(chǔ)的分數(shù)階取得了極大的進展.整數(shù)階微積分僅僅決定函數(shù)的局部特征,而分數(shù)階微積分以加權(quán)的形式考慮了函數(shù)的整體信息,因此可以更準確地描述實際系統(tǒng)的動態(tài)響應(yīng),最終可實現(xiàn)預(yù)期的魯棒性、穩(wěn)定性、良好的動態(tài)性能和濾波精度[18].目前,分數(shù)階已被廣泛應(yīng)用在控制和信號處理等領(lǐng)域[19?21].在一個分數(shù)階系統(tǒng)中,輸入和輸出是根據(jù)一個非整數(shù)階的微分方程聯(lián)系,這里的非整數(shù)階數(shù)可以是正的、負的甚至是復(fù)數(shù).

受基于MCC準則的自適應(yīng)濾波算法的魯棒性以及分數(shù)階微積分的普適性的啟發(fā),本文根據(jù)混沌時間序列的短期可預(yù)測性在MCC準則的基礎(chǔ)上引入分數(shù)階,提出一種新的自適應(yīng)濾波算法——分數(shù)階最大相關(guān)熵(fractional-order maximum correntropy criterion,FMCC)算法,在增加一定計算量的前提下,FMCC算法能夠在混沌時間序列預(yù)測方面實現(xiàn)更快的收斂速度和更低的穩(wěn)態(tài)誤差,進而實現(xiàn)更好的預(yù)測結(jié)果.

2 背 景

2.1 最大相關(guān)熵算法

相關(guān)熵(correntropy)[22,23]是指兩個隨機變量X和Y相似度的非線性測量,定義為

其 中,k(·,·) 是 受 核 寬 度σ控 制 的Mercer核,PX,Y(x,y)表示X和Y的聯(lián)合概率密度函數(shù).由于高斯核[24,25]具有普適的逼近能力,因此通常將其作為相關(guān)熵的核函數(shù).高斯核的定義為

其中,e=x?y,且σ＞0.

然而,在實際應(yīng)用中,聯(lián)合概率密度函數(shù)PX,Y(x,y)總是未知的,且可使用的數(shù)據(jù)是有限的.因此,通常用樣本的估計量去近似表示(1)式中的期望,即

結(jié)合隨機梯度方法[11],MCC算法的權(quán)重更新方式為

其中,μMCC是MCC算法的學習步長.

結(jié)合(4)式和(5)式可以看出,當外界所加噪聲為脈沖噪聲時,(4)式代價函數(shù)的導數(shù)趨于零,即(5)式中的權(quán)重不更新.因此,MCC算法能夠有效抑制脈沖噪聲的影響,具有較好的魯棒性.

2.2 分數(shù)階微積分

分數(shù)階微積分理論幾乎與整數(shù)階微積分理論具有同樣長的發(fā)展歷史.因采用分數(shù)階微積分描述的系統(tǒng)能夠更接近實際系統(tǒng),所以近年來引起人們的廣泛興趣和深入研究.在分數(shù)階微積分的研究過程中,對分數(shù)階微分有多種定義,如Grunwald-Letnikov定義、Riemann-Liouville(RL)定義和Caputo定義[26,27].本文所用的是RL定義[27],包括積分和微分.

對于函數(shù)f(t),RL分數(shù)階積分的定義如下:

其中,Iv是指v階積分,實數(shù)v∈(0,1)表示階數(shù);Γ表示伽馬函數(shù).對于z?v+1＞0,伽馬函數(shù)?？杀硎緸?/p>

且

同樣,v階RL微分的定義可描述為

其中,Dv表示v階微分,n為整數(shù).

將(6)式代入(9)式即為

以函數(shù)f(t)=(t?b)α為例,它的分數(shù)階導數(shù)具體表示為

其中,b和α為常數(shù).

3 分數(shù)階最大相關(guān)熵算法

在采用隨機梯度更新權(quán)重的自適應(yīng)濾波器算法中,例如,LMS和MCC算法等,均需設(shè)置一個較小的學習步長用以保證算法收斂到一個較小的穩(wěn)態(tài)誤差.然而較小的學習步長同時會導致較慢的收斂速度,即增加算法收斂到最優(yōu)權(quán)重的迭代步數(shù).為解決這一問題，基于分數(shù)階的梯度更新方法能夠在增加一定計算復(fù)雜度的前提下提高濾波性能[19],目前,該方法已成功應(yīng)用于LMS算法中提高了其濾波性能和收斂速度.因此,本文在MCC準則的基礎(chǔ)上采用基于分數(shù)階的梯度更新方法生成新的濾波算法,即FMCC算法.將代入(4)式,可得FMCC算法的代價函數(shù),即

基于分數(shù)階的梯度更新方法是在(5)式一階微分的基礎(chǔ)上增加一項分數(shù)階微分[19].因此,基于代價函數(shù)(12)式,FMCC算法的權(quán)重更新公式可以表示為

其中,μFMCC1和μFMCC2分別是FMCC算法中一階微分和分數(shù)階微分的學習步長.

類似于(5)式,(13)式中的一階微分部分為

采用(10)式中定義的RL微分運算,結(jié)合(11)式可將(13)式中的分數(shù)階微分更新部分表示為[19]

其中,⊙表示點積.

因為微分計算后的常系數(shù)可歸結(jié)到步長系數(shù)中,所以在梯度更新中通常忽略該常系數(shù).將(14)式和(15)式中等式右邊的第一個常系數(shù)1/σ2分別歸入到步長μFMCC1和μFMCC2中,代入(13)式可得FMCC算法的最終權(quán)重更新公式:

從(16)式可以看出,和傳統(tǒng)的MCC算法相比,FMCC算法更靈活,有更多的調(diào)節(jié)參數(shù).μFMCC2和v可以用不同的強度進一步縮放對權(quán)重向量更新的影響,因此,可以進一步提升收斂速度,降低預(yù)測誤差.FMCC算法可以總結(jié)如下.

初始化參數(shù)的選擇:μFMCC1,μFMCC2,v.

結(jié)合{ui,di}(i＞1)數(shù)據(jù)對按下列步驟計算:

步驟1計算實際輸出:

步驟2計算預(yù)測誤差:

步驟3更新權(quán)重向量:

因此,從 FMCC算法的描述中,可以發(fā)現(xiàn)該算法具有以下特點:1)FMCC算法更新是基于最大相關(guān)熵準則,因此與基于MMSE準則的算法相比,借助最大相關(guān)熵準則的魯棒性,FMCC算法可以有效抑制非高斯噪聲的影響;2)與MCC算法相比,FMCC算法在權(quán)重更新時增加了分數(shù)階微分部分,因此能夠更好地找到最優(yōu)解,在以增加一定計算復(fù)雜度的前提下提高預(yù)測精度.

4 仿 真

為了驗證本文所提的FMCC算法的有效性,將FMCC算法用于混沌時間序列的預(yù)測.選用具有代表性的Mackey-Glass(MG)混沌時間序列[28]和Lorenz混沌時間序列[29]作為實例.本實驗所用噪聲是alpha噪聲[30].對于所有的仿真,所用alpha噪聲是穩(wěn)定分布的,其參數(shù)設(shè)置為:特征指數(shù)a=1.3,分散系數(shù)γ=0.01,對稱參數(shù)β=0和位置參數(shù)δ=0.為了評價濾波器的精度,定義均方誤差(mean square error,MSE)為

其中,di是濾波器的期望輸出,yi是濾波器的實際輸出,N=100是測試數(shù)據(jù)的個數(shù).為了消除仿真中的隨機性,本文取100次蒙特卡羅仿真實驗的平均值來計算MSE.

為了全面地評價本文提出的FMCC算法的有效性和可靠性,選用LMS算法[9]、MCC算法[15]和分數(shù)階最小均方(fractional-order least mean square,FLMS)算法[19]作為比較算法.其中,LMS算法和MCC算法分別是MMSE準則和MCC準則的代表算法,FLMS算法是分數(shù)階算法的代表算法.

4.1 Mackey-Glass混沌時間序列的預(yù)測

自 Mackey和 Glass發(fā)現(xiàn)時滯系統(tǒng)中的混沌現(xiàn)象以來,時滯系統(tǒng)便引起人們的廣泛關(guān)注,并常常被用為檢驗非線性系統(tǒng)模型性能的標準.MG混沌時間序列由以下時滯微分方程產(chǎn)生[28]

其中,c1=0.1,c2=0.2,p=10,τ為時滯參數(shù).MG方程能夠體現(xiàn)周期和混沌的動力學特性,已被用于各種生理系統(tǒng)的建模,如血液中電解質(zhì)、葡萄糖、氧氣在各種器官中的物理模型[28].當τ＞17時系統(tǒng)呈現(xiàn)混沌特性,且其τ值越大,混沌程度越高.本文所用時滯參數(shù)τ=30.該微分方程采用6 s的采樣周期進行離散化得到混沌時間序列.選取該混沌時間序列穩(wěn)態(tài)中的20000個數(shù)據(jù)點作為訓練數(shù)據(jù),后100個作為測試數(shù)據(jù).圖1是一段MG混沌時間序列及被噪聲污染后的序列圖.

仿真中,ui=[xi?7,xi?6,·,xi?1]T作為輸入來預(yù)測當前時刻的期望值xi.首先,討論分數(shù)階階數(shù)v對FMCC預(yù)測混沌時間序列性能的影響.圖2顯示了不同分數(shù)階階數(shù)v下FMCC預(yù)測MG混沌時間序列的均方誤差曲線.由圖2可知,當分數(shù)階的階數(shù)v取0.25時,算法的均方誤差曲線達到最小.因此,在以下的仿真中,分數(shù)階的階數(shù)設(shè)置為0.25.

圖1 MG混沌時間序列的一個部分Fig.1.Segment of the MG chaotic time series.

圖2 不同分數(shù)階下FMCC的均方誤差Fig.2.MSEs of FMCC under different fractional orders.

表1 基于100次蒙特卡羅仿真的混沌時間序列預(yù)測性能比較Table 1.Performance comparison of chaotic time series predication over 100 Monte Carlo runs.

表1顯示了不同算法在本例仿真中的均方誤差和100次蒙特卡羅仿真消耗計算時間的結(jié)果.由表1可以看出,在MG混沌時間序列預(yù)測的結(jié)果中,FMCC的預(yù)測性能優(yōu)于其他濾波器算法.和MCC和LMS這兩種在權(quán)重更新的過程中僅僅具有一階微分的算法相比,FMCC在增加一定計算時間的前提下,降低了混沌時間序列預(yù)測的穩(wěn)態(tài)MSE,即FMCC以增加一定計算量為代價提高了對混沌時間序列的預(yù)測精度.

最后,圖3顯示了FMCC,MCC,LMS和FLMS算法對MG混沌時間序列預(yù)測的均方誤差曲線,其中,LMS和MCC的步長參數(shù)均設(shè)置為μLMS=μMCC=0.002,FLMS和FMCC的兩個步長分別設(shè)置為μFLMS1=μFMCC1=0.002和μFLMS2=μFMCC2=0.004,核參數(shù)設(shè)置為σ=0.6.從圖3中可以看出,由于FLMS和LMS算法是基于MMSE準則,因此在alpha脈沖噪聲的環(huán)境下性能有所下降.而FMCC和MCC算法是基于最大相關(guān)熵準則,因此具有較好的魯棒性,能夠?qū)lpha噪聲產(chǎn)生較好的抑制作用.在其他參數(shù)一致的情況下,FMCC算法對混沌時間序列的預(yù)測性能優(yōu)于MCC.

圖3 在MG混沌時間序列預(yù)測時不同算法的MSE學習曲線Fig.3. Mean-square error curves of different algorithms in Mackey-Glass chaotic time series.

4.2 Lorenz混沌時間序列的預(yù)測

作為一個最經(jīng)典的混沌模型,Lorenz系統(tǒng)的研究縱貫整個混沌科學的發(fā)展,幾乎與所有混沌科學的重要發(fā)展都密切相關(guān)[31].因此Lorenz系統(tǒng)的研究對整個非線性科學的發(fā)展具有重要的意義.

Lorenz系統(tǒng)[29]可由三元一階常微分方程組表示為:

其中,η1=16,η3=4,η2=45.92. 利用步長為0.01的四階Runge-Kutta方法求解方程(19)的數(shù)值解.在第1001到18000個數(shù)據(jù)集中選取前8000個作為訓練數(shù)據(jù),后100個數(shù)據(jù)點作為計算MSE的測試數(shù)據(jù).類似于實例一,首先,討論分數(shù)階對FMCC預(yù)測性能的影響.圖4顯示了不同分數(shù)階階數(shù)v下FMCC對Lorenz混沌時間序列預(yù)測的均方誤差曲線.由圖4可知,當分數(shù)階階數(shù)v=0.5時,FMCC算法對Lorenz混沌時間序列預(yù)測的穩(wěn)態(tài)誤差最小,因此,在以下的仿真中,分數(shù)階的階數(shù)v=0.5.

圖4 不同分數(shù)階下FMCC的均方誤差Fig.4.MSEs of FMCC under different fractional orders.

圖5 在 Lorenz混沌時間序列預(yù)測時不同算法的MSE學習曲線Fig.5. Mean-square error curves of different algorithms in Lorenz chaotic time series.

圖5顯示了FMCC,MCC,FLMS和LMS在alpha噪聲環(huán)境中預(yù)測Lorenz混沌時間序列時的均方誤差曲線. 此時訓練數(shù)據(jù)的個數(shù)是8000,算法參數(shù)配置為:LMS和MCC的步長均設(shè)置為μLMS=μMCC=0.006,FLMS和FMCC的兩個步長分別設(shè)置為μFLMS1=μFMCC1=0.006和μFLMS2=μFMCC2=0.006,核參數(shù)設(shè)置為σ=0.7.從圖5可以看出,與其他濾波算法相比,FMCC算法對Lorenz混沌時間序列的預(yù)測速度最快,穩(wěn)態(tài)誤差最小.由于系統(tǒng)所加噪聲是非高斯噪聲,FLMS算法和LMS算法在非高斯噪聲環(huán)境中性能均較差.綜合以上兩種混沌時間序列的仿真結(jié)果可以看出,本文提出的FMCC在非高斯環(huán)境下對混沌時間序列的預(yù)測具有較好的魯棒性和預(yù)測精度.由于Lorenz和MG序列是具有代表性的混沌時間序列,因此FMCC算法可有效地拓展到其他混沌時間序列的預(yù)測.

5 結(jié) 論

本文利用分數(shù)階微分改進了MCC算法的權(quán)重更新方式,進而提出了一種用于混沌時間序列預(yù)測的FMCC算法.在增加一定計算復(fù)雜度的前提下,通過選擇合適的分數(shù)階階數(shù)v,FMCC算法能夠提高對混沌時間序列的預(yù)測精度.作為算法中的關(guān)鍵參數(shù),分數(shù)階的階數(shù)與預(yù)測精度之間的關(guān)系呈非線性,且與所處理的實際非線性物理系統(tǒng)相關(guān).因此,針對不同的非線性系統(tǒng),為達到最優(yōu)的預(yù)測精度可通過仿真實驗事先選定合適的分數(shù)階的階數(shù).仿真結(jié)果表明:與基于MMSE準則的LMS和FLMS算法相比,FMCC算法因采用最大相關(guān)熵準則,所以對非高斯噪聲具有較好的抑制作用和魯棒性,能夠在alpha噪聲中取得理想的預(yù)測結(jié)果;與MCC算法相比,FMCC算法因在傳統(tǒng)梯度更新方法中增加了分數(shù)階微分部分,能有效地提高預(yù)測精度.因此,FMCC算法可提高混沌時間序列的預(yù)測速度和預(yù)測精度,為混沌時間序列預(yù)測提供了一條有效的途徑.

[1]Tang Z J,Ren F,Peng T,Wang W B 2014Acta Phys.Sin.63 050505(in Chinese)[唐舟進,任峰,彭濤,王文博2014物理學報63 050505]

[2]Song T,Li H 2012Acta Phys.Sin.61 080506(in Chinese)[宋彤,李菡 2012物理學報 61 080506]

[3]Zhang J S,Xiao X C 2000Chin.Phys.Lett.17 88

[4]Farmer J D,Sidorowich J J 1987Phys.Rev.Lett.59 845

[5]Zheng Y F,Wang S Y,Feng J C,Tse C K 2016Digit.Signal Process.48 130

[6]Meng Q F,Zhang Q,Mou W Y 2006Acta Phys.Sin.55 1666(in Chinese)[孟慶芳,張強,牟文英 2006物理學報55 1666]

[7]Takens F 1981Lecture Notes Math.898 366

[8]Al-saggaf U M,Moinuddin M,Arif M,Zerguine A 2015Signal Process.111 50

[9]Gui G,Peng W,Adachi F 2014Int.J.Commun.Syst.27 2956

[10]Ozeki K,Umeda T 1984Electr.Commun.Jpn.67 19

[11]Van V S,Lazarogredilla M,Santamaria I 2012IEEE Trans.Neural Netw.Learn.Syst.23 1313

[12]Qiao B Q,Liu S M,Zeng H D,Li X,Dai B Z 2017Sci.China:Phys.Mech.60 040521

[13]Erdogmus D,Principe J C 2002IEEE Trans.Neural Netw.13 1035

[14]Hu T,Wu Q,Zhou D X 2016IEEE Trans.Signal Process64 6571

[15]Chen B D,Xing L,Liang J L,Zheng N N,Principe J C 2014Signal Process.Lett.21 880

[16]Shi L M,Lin Y 2014Signal Process.Lett.21 1385

[17]Chen B D,Principe J C 2012IEEE Trans.Process.Lett.19 491

[18]Chen Y,Li S G,Liu H 2016Acta Phys.Sin.65 170501(in Chinese)[陳曄,李生剛,劉恒 2016物理學報 65 170501]

[19]Shah S M,Samar R,Khan N M,Raja M A Z 2016Nonlinear Dyn.88 839

[20]Zhou Y,Ionescu C,Machado J A T 2015Nonlinear Dyn.80 1661

[21]Shah S M,Samar R,Raja M A Z,Chambers J A 2014Electron.Lett.50 973

[22]Santamaria I,Pokharel P P,Principe J C 2006IEEE Trans.Signal Process.54 2187

[23]Liu W,Pokharel P P,Principe J C 2007IEEE Trans.Signal Process.55 5286

[24]Aronszajn A 1950IEEE Trans.Am.Math.Soc.68 337

[25]Duan J W,Ding X,Liu T 2017Sci.China:Inf.Sci.60 1

[26]Huang S,Zhang R,Chen D 2016J.Computat.Nonlinear Dyn.11 031007

[27]Shoaib B,Qureshi I M 2014Chin.Phys.B23 050503

[28]Mackey M C,Glass L 1977Science197 87

[29]Lorenz E N 1963J.Atmos.Sci.20 130

[30]Li B B,Ma H S,Liu M Q 2014J.Electron.Inf.Technol.36 868(in Chinese)[李兵兵,馬洪帥,劉明騫2014電子與信息學報36 868]

[31]Stewart I 2000Nature406 948