量化核最小逆雙曲正弦自適應(yīng)濾波算法*

火元蓮 脫麗華 齊永鋒 張印

1)(西北師范大學(xué)物理與電子工程學(xué)院,蘭州 730000)

2)(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,蘭州 730000)

針對(duì)非線性問題,本文將核方法和雙曲正弦函數(shù)的逆相結(jié)合,提出了魯棒的核最小逆雙曲正弦算法.然后利用向量量化對(duì)輸入空間數(shù)據(jù)進(jìn)行量化,構(gòu)建出能夠抑制網(wǎng)絡(luò)規(guī)模增長(zhǎng)的量化核最小逆雙曲正弦算法,降低了原有算法的計(jì)算復(fù)雜度,給出了量化核最小逆雙曲正弦算法的能量守恒關(guān)系和收斂條件.Mackey-Glass短時(shí)混沌時(shí)間序列預(yù)測(cè)和非線性信道均衡環(huán)境的仿真結(jié)果表明,本文所提出的核最小逆雙曲正弦算法和量化核最小逆雙曲正弦算法在收斂速度、魯棒性和計(jì)算復(fù)雜度上具有優(yōu)勢(shì).

1 引言

在過去的幾十年中,核方法已經(jīng)成功的應(yīng)用于自適應(yīng)濾波領(lǐng)域來解決非線性問題.核自適應(yīng)濾波器[1](kernel adaptive filter,KAF)使用Mercer核[2],將數(shù)據(jù)從輸入空間映射到再生核希爾伯特空間(reproducing kernel Hilbert space,RKHS).在再生核希爾伯特空間中,通過計(jì)算所謂的內(nèi)核技巧[1],可以很容易地計(jì)算出內(nèi)積.核自適應(yīng)濾波算法在解決非線性問題和非線性信道均衡方面優(yōu)于普通的自適應(yīng)濾波算法.核自適應(yīng)濾波算法主要有:核最小均方(kernel least mean square,KLMS)[3]算法、核最小平均p范數(shù)(kernel maximum meanp-power,KLMP)[4]算法、核最小lncosh(kernel least lncosh,KLL)[5]算法、核最大相關(guān)熵準(zhǔn)則(kernel maximum correntropy criterion,KMCC)[6]算法以及一些改進(jìn)算法.這類算法的主要缺點(diǎn)是徑向基函數(shù)網(wǎng)絡(luò)隨著新數(shù)據(jù)樣本的增加而增長(zhǎng),從而增加了計(jì)算復(fù)雜度,需要更多的內(nèi)存.針對(duì)其問題,研究者們采用了各種稀疏化方法來抑制網(wǎng)絡(luò)增長(zhǎng),稀疏化數(shù)據(jù)的方法主要有近似線性依賴性(approximate linear dependency,ALD)準(zhǔn)則[7]、驚奇準(zhǔn)則(surprise criterion,SC)[8]、新穎性準(zhǔn)則(novelty criterion,NC)[9]和預(yù)測(cè)方差準(zhǔn)則[10]等.稀疏化方法可以減少網(wǎng)絡(luò)規(guī)模的增長(zhǎng),但在稀疏化過程中要丟棄冗余數(shù)據(jù),從而降低了濾波精度,因?yàn)檫@些數(shù)據(jù)也在參與網(wǎng)絡(luò)系數(shù)的更新.向量量化(vector quantization,VQ)[11]被用來解決該問題,并已成功應(yīng)用于當(dāng)前的核自適應(yīng)濾波算法,它的主要思想是通過量化來壓縮輸入空間,以抑制網(wǎng)絡(luò)規(guī)模的增長(zhǎng).文獻(xiàn)[12]提出了量化核最小均方算法(quantized kernel least mean square,QKLMS)算法.文獻(xiàn)[13]通過改進(jìn)核遞歸最小二乘(kernel recursive least squares,KRLS)算法,提出了量化核遞歸最小二乘(quantized kernel recursive least squares,QKRLS)算法.文獻(xiàn)[14]利用最大相關(guān)熵準(zhǔn)則(maximum correntropy criterion,MCC)[15,16]算法,為脈沖噪聲環(huán)境下的非線性系統(tǒng)模型,提出了量化核最大相關(guān)熵準(zhǔn)則(quantized kernel maximum correntropy criterion,QKMCC)算法.

文獻(xiàn)[17]利用雙曲正弦函數(shù)的逆構(gòu)造了新的代價(jià)函數(shù),并證明了該自適應(yīng)濾波算法在非高斯環(huán)境下的性能表現(xiàn)良好.受此啟發(fā),本文將雙曲正弦函數(shù)的逆放到再生核希爾伯特空間中,構(gòu)造了核最小逆雙曲正弦(kernel least inverse hyperbolic sine,KLIHS)算法.同時(shí)為了進(jìn)一步降低該算法的計(jì)算復(fù)雜度,利用向量量化方法來抑制其網(wǎng)絡(luò)規(guī)模的增長(zhǎng),提出了量化核最小逆雙曲正弦(quantized kernel least inverse hyperbolic sine,QKLIHS)算法,并研究了QKLIHS 算法在Alpha 穩(wěn)定分布環(huán)境[18?20]下的非線性信道均衡[21]問題和Mackey-Glass 短期混沌時(shí)間序列預(yù)測(cè)[22]問題中的性能.仿真結(jié)果表明,KLIHS和QKLIHS 算法在收斂速度和穩(wěn)態(tài)誤差方面比KLMS,KMCC,KLMP,KLL和QKLMS算法有更好的性能.

2 量化核最小均方算法

核技巧就是將任意核從輸入空間U映射到特征空間F的一種方法,基于Mercer 定理,其可以表示為

其中x(n)表示輸入信號(hào)在n時(shí)刻的值;x(n)′表示輸入信號(hào)在下一時(shí)刻的值.本文采用核寬為h的高斯核,表示為

QKLMS 算法是由KLMS 算法應(yīng)用量化方法得到的.KLMS 算法的權(quán)值更新方程可以寫為

其中?(n)是權(quán)重向量;μ是步 長(zhǎng);e(n)=d(n)??T(n ?1)φ(n)是n時(shí)刻的預(yù)測(cè)誤差;d(n)是期望信號(hào);φ(n)是核自適應(yīng)濾波器輸入.

用量化方法量化φ(n),則QKLMS 算法的權(quán)值更新方程可以寫為

其中Q[·] 表示在高維RKHS 中的量化運(yùn)算.由于特征空間F的維數(shù)通常比較高,這使得計(jì)算很困難,因此需要將量化放到輸入空間U進(jìn)行計(jì)算,即對(duì)輸入信號(hào)x(n)進(jìn)行量化,那么QKLMS 算法的權(quán)值更新方程可以寫為

其中ω[·]是輸入空間U的量化運(yùn)算.為了便于后續(xù)的推導(dǎo),定義φp(n)=Q[φ(n)],xp(n)=ω[x(n)].

3 量化核最小逆雙曲正弦算法

3.1 核最小逆雙曲正弦算法

Inverse hyperbolic sine(IHS)是雙曲正弦函數(shù)的逆,其代價(jià)函數(shù)可以寫成如下形式:

其中sinh為雙曲正弦函數(shù).利用梯度下降法,(6)式的導(dǎo)數(shù)形式可以寫為

利用負(fù)隨機(jī)梯度,可以推導(dǎo)出該KLIHS的權(quán)重更新方程為

其中μ表示步長(zhǎng),逐項(xiàng)遞推得到如下形式:

在這里?(0)=0,則權(quán)重更新公式為

濾波器n+1 時(shí)刻的輸出為

所以KLIHS 算法如表1 所列.

表1 KLIHS 算法Table 1.KLIHS algorithm.

3.2 量化核最小逆雙曲正弦算法

量化核最小逆雙曲正弦(QKLIHS)算法是通過量化(8)式中的φ(n)得到的,可以表示為

與QKLMS 類似,要把特征空間F的量化轉(zhuǎn)換到輸入空間U.故QKLIHS 算法的學(xué)習(xí)可以表示為

量化過程中當(dāng)接收到新的輸入數(shù)據(jù)x(n)時(shí),首先需要去計(jì)算x(n)與當(dāng)前字典C(n ?1)的歐幾里得距離,可以表示為:

其中∥ ·∥表示范數(shù);Cj(n ?1)表示字典C(n ?1)中的第j個(gè)元素.接下來就要去判斷該數(shù)據(jù)是否要加入“字典”作為該字典的一個(gè)新的中心,量化閾值γ≥0用來當(dāng)做判斷的標(biāo)準(zhǔn).如果dis(x(n),C(n ?1))>γ,將輸入數(shù)據(jù)x(n)加入到字典C(n ?1)中,并加入相對(duì)應(yīng)的系數(shù)向量,可以表示為

否則,即

此時(shí)輸入數(shù)據(jù)x(n)不會(huì)被加入到字典C(n ?1)中,但是會(huì)將字典C(n ?1)中與x(n)的歐幾里得距離的最近的元素Cj?(n ?1)作為x(n)的量化值,并且更新Cj?(n ?1)的系數(shù),可以表示為

因此,獲得新的樣本{ x(n),d(n)}時(shí),QKLIHS算法的輸出為

綜上,QKLIHS 算法的流程如表2 所列.

表2 QKLIHS 算法Table 2.QKLIHS algorithm.

3.3 能量守恒關(guān)系

對(duì)本文提出的QKLIHS 算法的能量守恒關(guān)系進(jìn)行推導(dǎo).已知未知系統(tǒng)的輸出為

其中v(n)是噪聲,輸出誤差為

將(18)式代入(19)式得

結(jié)合(21)式和(22)式消除e(n):

對(duì)(23)式兩邊取內(nèi)積:

則能量守恒關(guān)系為

其中

如果κ(xp(n),x(n))→1,γ →1,則能量守恒關(guān)系為

3.4 收斂性能分析

(21)式可表示為

(27)式的內(nèi)積為

對(duì)(28)式兩邊取期望

算法收斂必須滿足:

那么

基于上述情況,步長(zhǎng)(算法收斂的充分必要條件)滿足:

4 算法仿真

本節(jié)中給出了Mackey-Glass 短時(shí)混沌時(shí)間序列預(yù)測(cè)和非線性信道均衡兩個(gè)例子來驗(yàn)證所提出的KLISH,QKLISH 算法的性能.對(duì)于所有的模擬,進(jìn)行了200 次蒙特卡羅運(yùn)行以減少干擾.所有實(shí)驗(yàn)高斯核核寬h=1.0,訓(xùn)練數(shù)據(jù)的大小為1000,測(cè)試數(shù)據(jù)的大小為100.Alpha 穩(wěn)定分布模型來模擬非高斯噪聲環(huán)境如圖1.為了評(píng)估濾波精度,均方誤差(MSE)被定義為其中S=100為測(cè)試數(shù)據(jù)的大小.

圖1 α=1.3 時(shí)的Alpha 穩(wěn)定分布噪聲(非高斯環(huán)境)Fig.1.When α=1.3,alpha stable distribution noise(non-Gaussian environment).

4.1 短時(shí)混沌時(shí)間序列預(yù)測(cè)

Mackey-Glass 短時(shí)混沌時(shí)間序列由下列延遲微分方程生成:

其中參數(shù)設(shè)置為:a=0.2,b=0.1,c=10.根 據(jù)Take ns 嵌入定理,用之前的7 個(gè)數(shù)據(jù)u(i)=[x(i?7),x(i ?6),···,x(i ?1)]T作為輸入量,預(yù)測(cè)當(dāng)前的輸入x(i).

1)不同核自適應(yīng)濾波算法對(duì)比.把本文的KLIHS算法和KLMS,KLMP,KLL,KMCC 算法性能進(jìn)行對(duì)比,結(jié)果如圖2 所示.表3 給出了各算法達(dá)到穩(wěn)態(tài)時(shí)候的穩(wěn)態(tài)誤差的均值和標(biāo)準(zhǔn)偏差.

表3 在短時(shí)混沌時(shí)間序列預(yù)測(cè)下不同算法的均值±標(biāo)準(zhǔn)偏差Table 3.The mean standard deviation of different algorithms under short-term chaotic time series prediction.

圖2 在短時(shí)混沌時(shí)間序列預(yù)測(cè)下不同算法的性能比較Fig.2.Performance comparison of different algorithms under short-time chaotic time series prediction.

從圖2和表3 可以看出,在非高斯噪聲環(huán)境下KLMS 算法不具有魯棒性,而本文算法和KLMP,KLL,KMCC 算法都具有魯棒性,并且都能達(dá)到比較好的穩(wěn)態(tài)誤差,同時(shí)本文算法的收斂速度比其他幾種算法都要快.由此可得本文所提的KLIHS 算法在短時(shí)混沌時(shí)間序列預(yù)測(cè)環(huán)境下性能較好.

2)討論量化閾值γ取不同值時(shí)對(duì)算法性能的影響.文中γ分別取0,0.5,0.9,1.2和2.0,QKLIHS算法的學(xué)習(xí)曲線和網(wǎng)絡(luò)尺寸大小分別如圖3和圖4所示.從圖3和圖4中可以看出,當(dāng)量化閾值γ為0時(shí),QKLIHS 算法的網(wǎng)絡(luò)尺寸和迭代次數(shù)成正比,此時(shí)的QKLIHS 算法退化為KLIHS 算法.隨著γ的增大,網(wǎng)絡(luò)尺寸減小,該算法性能也隨之下降.為了更清晰地分析不同量化閾值對(duì)算法性能的影響,表4 給出了在短時(shí)混沌時(shí)間序列預(yù)測(cè)環(huán)境下,不同量化閾值的QKLIHS 算法達(dá)到穩(wěn)態(tài)時(shí)的均方誤差和網(wǎng)絡(luò)尺寸.由表4 分析可知,量化閾值從0 變化到1.2,QKLIHS 算法的均方誤差增大了不到0.01,但該算法的網(wǎng)絡(luò)尺寸卻從1000 變到101,降低了10 倍.當(dāng)γ≤1.2時(shí),在保證基本不損失穩(wěn)態(tài)誤差性能的基礎(chǔ)下,最大程度地降低算法的計(jì)算復(fù)雜度.

圖3 在短時(shí)混沌時(shí) 間序列預(yù)測(cè)下 不同量化閾值 γ的QKLIHS 算法的性能比較Fig.3.Performance comparison of QKLIHS algorithms with different quantization thresholds γ under short-time chaotic time series prediction.

圖4 在短時(shí)混沌時(shí)間序列預(yù)測(cè)下不同量化閾值 γ的QKLIHS算法的網(wǎng)絡(luò)尺寸比較Fig.4.Network size comparison of QKLIHS algorithms with different quantization thresholds γ under short-time chaotic time series prediction.

表4 在短時(shí)混沌時(shí)間序列預(yù)測(cè)下不同量化閾值的QKLI HS 算法的均方誤差與網(wǎng)絡(luò)尺寸比較Table 4.Comparison of mean square error and network size of QKLIHS algorithm with different quantization thresholds γ under short-time chaotic time series prediction.

4.2 非線性信道均衡

非線性信道模型由線性濾波器和無記憶非線性模型組成.圖5為一個(gè)非線性信道的方框圖,其中u(n)∈{?1,1}為信道輸入,x(n)=u(n)+0.5u(n ?1)為線性濾波器的輸出,r(n)=x(n)?0.9x(n)2+v(n)為非線性信道的輸出,其中v(n)為噪聲.信道均衡的目標(biāo)是構(gòu)造一個(gè)逆濾波器以盡可能低的錯(cuò)誤率恢復(fù)原始信號(hào).可以將其看做一個(gè)簡(jiǎn)單的回歸問題,其樣本為{([r(n),r(n+1),···,r(n+l),u(n ?D)])},l是時(shí)間嵌入長(zhǎng)度,D是均衡滯后時(shí)間.實(shí)驗(yàn)中,l=3,D=2.

圖5 非線性信道Fig.5.Nonlinear channel.

1)不同核自適應(yīng)濾波算法對(duì)比.上述五種不同算法的學(xué)習(xí)曲線如圖6 所示.從圖6 可以看出,本文的算法和其他的四種算法能達(dá)到相同的穩(wěn)態(tài)誤差,并且都有較好的魯棒性,但是本文算法的收斂速度優(yōu)于其他四種算法.綜上所述,本文所提出的算法在非線性信道均衡環(huán)境下性能較好.

圖6 在非線性信道均衡下不同算法的性能比較Fig.6.Performance comparison of different algorithms under nonlinear channel equalization.

2)討論量化閾值γ取不同值時(shí)對(duì)算法性能的影響.文中γ分別取0,0.5,0.9,1.2和2.0,不同量化閾值的QKLIHS 算法的學(xué)習(xí)曲線和網(wǎng)絡(luò)尺寸大小分別如圖7和圖8 所示.從圖7和圖8 中可以看出,當(dāng)量化閾值γ=0時(shí),QKLIHS 算法退化為KLIHS算法,此時(shí)網(wǎng)絡(luò)尺寸和迭代次數(shù)成正比.當(dāng)γ逐漸增大,網(wǎng)絡(luò)尺寸減小,算法性能下降.為了更清晰地看出穩(wěn)態(tài)誤差的差距,給出了在當(dāng)前仿真下的均方誤差和網(wǎng)絡(luò)尺寸,如表5 所列.分析表5 可以得到,在γ≤1.2時(shí),網(wǎng)絡(luò)尺寸的減小的程度遠(yuǎn)遠(yuǎn)大于穩(wěn)態(tài)誤差增加的程度.因此,QKLIHS 算法可以在保證基本不損失穩(wěn)態(tài)誤差性能的基礎(chǔ)下,能最大程度地降低算法的計(jì)算復(fù)雜度.

表5 在非線性信道均衡下不同量化閾值 γ的QKLIHS算法的穩(wěn)態(tài)誤差均值與網(wǎng)絡(luò)尺寸Table 5.Steady-state error mean and network size of QKLIHS algorithm with different quantization threshold γ under nonlinear channel equalization.

圖7 在非線性信道 均衡下不同量化閾值 γ的QKLIHS算法的性能比較Fig.7.Performance comparison of QKLIHS algorithms with different quantization thresholds γ under nonlinear channel equalization.

圖8 在非線性信道 均衡下不同量化閾值 γ的QKLIHS算法的網(wǎng)絡(luò)尺寸比較Fig.8.Network size comparison of QKLIHS algorithms with different quantization thresholds γ under nonlinear channel equalization.

5 結(jié)論

將核方法和雙曲正弦函數(shù)的逆相結(jié)合,提出了一種適用于非高斯環(huán)境的魯棒核最小逆雙曲正弦算法.同時(shí)考慮到該算法網(wǎng)絡(luò)尺寸線性增長(zhǎng)的問題,進(jìn)一步利用向量量化方法,推導(dǎo)出了能夠抑制網(wǎng)絡(luò)規(guī)模增長(zhǎng)的量化核最小逆雙曲正弦算法,給出了該算法的能量守恒關(guān)系和收斂條件.仿真結(jié)果表明,提出的核最小逆雙曲正弦算法的性能優(yōu)于KLMS,KLMP,KMCC和KLL 算法,且量化核最小逆雙曲正弦算法在保證濾波精度的前提下,能夠有效地減少網(wǎng)絡(luò)尺寸,降低了算法的計(jì)算復(fù)雜度.