基于最小誤差熵的分布式算法研究*

徐 暢，郭 瑩

（沈陽工業(yè)大學(xué)，遼寧 沈陽 110870）

0 引 言

自適應(yīng)濾波算法一直被應(yīng)用于實(shí)際系統(tǒng)的信號(hào)處理中。近幾年，分布式自適應(yīng)網(wǎng)絡(luò)上的算法[1］更是被廣泛研究，使其成為自適應(yīng)濾波領(lǐng)域的一個(gè)研究熱點(diǎn)。這些分布式算法因其節(jié)約能量和通信資源、提高算法魯棒性[2］的優(yōu)點(diǎn)，在無線傳感器網(wǎng)絡(luò)、分布式協(xié)同估計(jì)等領(lǐng)域均有許多應(yīng)用[3］。

為了從分布在一片地理區(qū)域的節(jié)點(diǎn)中收集數(shù)據(jù)并估計(jì)未知參數(shù)，研究了幾種分布式估計(jì)算法。根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，可以分為增量協(xié)作模式[4-5］和擴(kuò)散協(xié)作模式[6-8］。在增量協(xié)作模式中，把所有節(jié)點(diǎn)規(guī)劃成一個(gè)環(huán)形的循環(huán)結(jié)構(gòu)。循環(huán)路徑需要在節(jié)點(diǎn)上定義，信息按順序從一個(gè)節(jié)點(diǎn)發(fā)送到其相鄰的節(jié)點(diǎn)。這種協(xié)作模式盡管需要的通信量和能量較少，但對(duì)于由許多節(jié)點(diǎn)構(gòu)成的分布式網(wǎng)絡(luò)來說，把所有的節(jié)點(diǎn)組成一個(gè)環(huán)形結(jié)構(gòu)是不現(xiàn)實(shí)的，且其對(duì)鏈路故障[9］也很敏感。此外，擴(kuò)散協(xié)作模式因其易于實(shí)施和有較好的穩(wěn)健性而被廣泛使用。在擴(kuò)散協(xié)作模式中，網(wǎng)絡(luò)中的節(jié)點(diǎn)用于估計(jì)未知系統(tǒng)。也就是說，網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)可以通過組合方法在其鄰居節(jié)點(diǎn)處共享和融合信息。這種協(xié)作模式的優(yōu)點(diǎn)是不受分布式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的限制，充分利用了網(wǎng)絡(luò)的聯(lián)通性。

特別地，基于融合步驟和自適應(yīng)的先后順序，提出了擴(kuò)散最小均方（Diffusion Least Mean Square，DLMS）算法的兩種形式[10］，即ATC DLMS（Adaptthen-Combine LMS）和 CTA DLMS（Combine-then-Adapt LMS）。值得注意的是，ATC DLMS在所有情況下性能都要優(yōu)于CTA DLMS。因此，本文所有的算法都是基于ATC DLMS討論的。

然而，在現(xiàn)實(shí)的信號(hào)分析應(yīng)用中，往往把誤差或噪聲假設(shè)為高斯是不成立的，呈非高斯分布的情況同樣非常普遍[11-12］。在許多工程技術(shù)應(yīng)用和自然環(huán)境中，噪聲往往表現(xiàn)出一種脈沖狀的非高斯性，且具有很大的幅度，使得信號(hào)受到這種噪聲的強(qiáng)干擾。目前，多數(shù)基于MSE準(zhǔn)則為代價(jià)函數(shù)的這一類自適應(yīng)濾波算法，在非高斯噪聲下的性能顯著下降，會(huì)出現(xiàn)不能收斂甚至失調(diào)的情況，無法滿足自適應(yīng)濾波的需求。

因此，本文研究了非高斯噪聲下的分布式算法，同時(shí)為了抑制其所帶來的影響，又將符號(hào)函數(shù)和最小誤差熵（Minimum Error Entropy，MEE）準(zhǔn)則[13］應(yīng)用到分布式擴(kuò)散算法中，得到了擴(kuò)散符號(hào)最小均方（Diffusion Sign LMS，DSLMS）算法。同時(shí)，將比例歸一化最小均方（Proportionate Normalized LMS，PNLMS）算法[14］中比例矩陣的思想應(yīng)用到誤差熵中，提出了一種擴(kuò)散比例最小誤差熵（Diffusion Proportionate MEE，DPMEE）算法，使算法對(duì)稀疏度不同的系統(tǒng)具有廣泛的適用性。最后，對(duì)算法進(jìn)行仿真驗(yàn)證，證明了本文所提算法在非高斯噪聲干擾下仍具有良好的性能。

1 傳統(tǒng)算法準(zhǔn)則分析

1.1 DLMS

假設(shè)由N個(gè)傳感器節(jié)點(diǎn)組成的無線傳感器網(wǎng)絡(luò)隨機(jī)分布在一片地理區(qū)域內(nèi)，如圖1所示。在i時(shí)刻節(jié)點(diǎn)k的觀測(cè)數(shù)據(jù)信號(hào)模型為{dk,i,uk,i}，并與其鄰居節(jié)點(diǎn)集合Nk（其中Nk是包括其自身節(jié)點(diǎn)k的鄰居節(jié)點(diǎn)的集合）合作生成估計(jì)wk,i。網(wǎng)絡(luò)中節(jié)點(diǎn)k在時(shí)刻i的期望信號(hào)為：

其中，uk,i表示輸入向量，w0是待估計(jì)的未知向量，vk,i是在時(shí)間和空間上都相互獨(dú)立且方差為的背景噪聲。

圖1 由N個(gè)節(jié)點(diǎn)組成的分布式網(wǎng)絡(luò)

在文獻(xiàn)[10］中已經(jīng)引入了ATC方案用于DLMS。DLMS包含3個(gè)階段，即自適應(yīng)階段、交換階段和融合階段。在自適應(yīng)階段，用測(cè)量數(shù)據(jù){dk,i,uk,i}進(jìn)行LMS算法更新節(jié)點(diǎn)k在時(shí)刻i-1的局部估計(jì)值wk,i-1，并得到新的估計(jì)值φk,i，更新公式為：

其中，T表示轉(zhuǎn)置，μk是節(jié)點(diǎn)k的步長(zhǎng)。

在交換階段，所有節(jié)點(diǎn)k與其鄰居節(jié)點(diǎn)l交換估計(jì)值φk,i。融合階段中，利用鄰居節(jié)點(diǎn)l的估計(jì)值φl,i進(jìn)行融合，得到融合估計(jì)值wk,i，融合方程為：

其中，cl,k是連接節(jié)點(diǎn)k與其鄰居節(jié)點(diǎn)l的權(quán)重。

1.2 MEE

假設(shè)存在一個(gè)線性系統(tǒng)，其輸入向量可以用X(n)=[xn-M+1,…,xn-1,xn］T來表示。當(dāng)系統(tǒng)將輸入向量X(n)傳遞給一個(gè)參數(shù)化向量W*=(,,…,)T（其中M表示自適應(yīng)濾波器長(zhǎng)度）信道時(shí)，系統(tǒng)的期望信號(hào)可以表示為：

其中v(n)表示在n時(shí)刻的測(cè)量噪聲。

瞬時(shí)誤差的計(jì)算公式為：

其中y(n)表示自適應(yīng)濾波器的輸出信號(hào)。假設(shè)誤差e(n)是一個(gè)隨機(jī)變量，且概率密度函數(shù)為pe(·)，那么誤差的二次Renyi熵可以表示為：

其中表示二次信息勢(shì)能。

由于式（6）中的概率密度函數(shù)無法具體得知，因此在實(shí)際中經(jīng)常通過基于Parzen窗估計(jì)的方法計(jì)算pe(ε)。假設(shè)所定義誤差的數(shù)據(jù)集為{e(1),…,e(NN)}，其概率密度函數(shù)的估計(jì)值為：

其中NN是樣本數(shù)，Kσ(·)代表高斯核函數(shù)，σ代表核寬度參數(shù)，定義如下：

因此，根據(jù)所收集的樣本數(shù)可以求出二次Renyi熵的估計(jì)值，結(jié)果如下：

因此，基于MEE準(zhǔn)則下的最優(yōu)權(quán)重向量可以通過式（10）得到：

V(e)的非參數(shù)估計(jì)可以表示為：

基于式（11），MEE下的權(quán)重向量更新方程為：

2 新算法的提出及分析

2.1 α-穩(wěn)定分布

本文采用α-穩(wěn)定分布[15］描述非高斯噪聲。α-穩(wěn)定分布噪聲模型的特征函數(shù)定義為：

其中：

α-穩(wěn)定分布的特征函數(shù)主要包括4個(gè)參數(shù)。其中，α∈(0,2］表示特征指數(shù)，控制著該分布脈沖的嚴(yán)重程度，α值越小，其脈沖強(qiáng)度越大；δ∈(-∞,+∞)表示位置參數(shù)，控制著α-穩(wěn)定分布的均值或中值；β∈[-1,1］表示對(duì)稱參數(shù)，當(dāng)β=0時(shí)，服從α-穩(wěn)定分布的隨機(jī)變量的概率密度函數(shù)關(guān)于位置參數(shù)δ對(duì)稱；γ＞0表示分散系數(shù)，其作用與高斯函數(shù)分布的方差類似，控制著α-穩(wěn)定分布隨機(jī)變量值的離散程度。當(dāng)β=0、δ=0時(shí)，稱α-穩(wěn)定分布為對(duì)稱α-穩(wěn)定分布，即SαS。而當(dāng)α=2、β=0時(shí)，該分布演變?yōu)楦咚狗植?；?dāng)α=1、β=0時(shí)，表示為柯西分布。圖2是標(biāo)準(zhǔn)SαS分布在不同α下的概率密度函數(shù)曲線圖。

圖2 α不同時(shí)的概率密度函數(shù)

2.2 非高斯噪聲下的DSLMS

為了減少算法的計(jì)算量和通信量，本文將分布式估計(jì)和符號(hào)函數(shù)相結(jié)合，提出一種在非高斯背景下性能更穩(wěn)定的算法——DSLMS算法。

若對(duì)式（2）中的噪聲信號(hào)進(jìn)行符號(hào)運(yùn)算，則得到符號(hào)-誤差算法的更新方程為：

若對(duì)式（3）中的估計(jì)信號(hào)進(jìn)行符號(hào)運(yùn)算，則得到符號(hào)-數(shù)據(jù)算法的更新方程為：

其中，文獻(xiàn)[16］已說明符號(hào)-數(shù)據(jù)改變了融合階段時(shí)鄰居節(jié)點(diǎn)的估計(jì)值，使得其魯棒性不如符號(hào)-誤差算法。而符號(hào)-誤差是對(duì)誤差進(jìn)行兩級(jí)量化，盡管計(jì)算量較小，但其較大的量化誤差會(huì)導(dǎo)致信號(hào)的性能大幅度下降，穩(wěn)態(tài)值也會(huì)變大。

但當(dāng)以上算法的背景噪聲呈非高斯分布時(shí)，由于其脈沖性很強(qiáng)，嚴(yán)重影響了DLMS的性能，而符號(hào)函數(shù)卻對(duì)脈沖噪聲有很好的抑制效果，使得DSLMS的穩(wěn)健性優(yōu)于DLMS。

2.3 DPMEE

傳統(tǒng)算法設(shè)計(jì)中，二階統(tǒng)計(jì)量常常被用于分布式算法的代價(jià)函數(shù)中。其中，MSE理論是二階統(tǒng)計(jì)矩特性的最典型代表，因?yàn)槠渚哂杏?jì)算量低、分析簡(jiǎn)單以及在高斯噪聲模型下會(huì)取得較好的收斂性能。但是，針對(duì)一些存在非高斯、脈沖噪聲的背景，本文引入了MEE準(zhǔn)則。在理想的分布式網(wǎng)絡(luò)中，MEE準(zhǔn)則對(duì)獨(dú)立于輸入和理想輸出信號(hào)的背景噪聲不敏感，但其在處理非高斯問題上具有明顯優(yōu)勢(shì)。

基于MEE的權(quán)重向量更新方程，可以推導(dǎo)出分布式估計(jì)下的DMEE的更新方程，則節(jié)點(diǎn)k在i時(shí)刻的瞬時(shí)誤差計(jì)算為：

其中節(jié)點(diǎn)k的V(ek)的非參數(shù)估計(jì)可以表示為：

將PLMS算法中成比例的方法引入DMEE中，可得到DPMEE的迭代公式。因此，擴(kuò)散PMEE下的自適應(yīng)階段的更新方程推導(dǎo)如下：

其中Δek(i,j)=ek,i-ek,j，yk,i和yk,j代表系統(tǒng)在i和j時(shí)刻的輸出信號(hào)，Gk,i表示成比例對(duì)角矩陣，定義如下：

對(duì)角矩陣Gk,i中的控制元素為：

其中ξ是用來防止權(quán)系數(shù)都為零時(shí)導(dǎo)致該算法啟動(dòng)更新，ρ用來防止當(dāng)某個(gè)權(quán)系數(shù)很小時(shí)導(dǎo)致該系數(shù)停止更新，取值一般在和之間。

2.4 收斂性能分析

為了便于分析，將式（18）用下面矩陣的形式來表示：

因此，式（18）改寫為：

引入先驗(yàn)誤差向量eai和后驗(yàn)誤差向量epi，并定義如下：

其中：

先驗(yàn)誤差向量eai和后驗(yàn)誤差向量epi有以下關(guān)系：

因此，式（2）可以用表示為：

其中：

結(jié)合式（33），得到：

其中：

Ri是一個(gè)維對(duì)稱矩陣。假設(shè)它是可逆的，可以推導(dǎo)出：

對(duì)式（41）兩邊取平方，可以得出：

經(jīng)過計(jì)算，得出：

其中：

通過對(duì)式（43）兩邊求期望，并推導(dǎo)出能量守恒等式：

然后，推出：

其中：

由于μk≥0，因此均方收斂的充分條件可以表示為：

可以看出，式（54）中的權(quán)誤差能量是逐漸遞減的，因此DPMEE算法將不會(huì)發(fā)散。

3 仿真實(shí)驗(yàn)

3.1 仿真條件

假設(shè)由N=20個(gè)傳感器節(jié)點(diǎn)組成的分布式網(wǎng)絡(luò)的仿真結(jié)構(gòu)如圖3所示，以下分布式估計(jì)算法的仿真實(shí)驗(yàn)都是基于此網(wǎng)絡(luò)進(jìn)行的。擴(kuò)散算法的融合參數(shù)采用鄰近準(zhǔn)則[17］的計(jì)算方法，即其中l(wèi)∈Nk且cl,k=0，l?Nk。本文假設(shè)自適應(yīng)濾波器的長(zhǎng)度和未知系統(tǒng)的長(zhǎng)度相同，均為50。輸入信號(hào)uk(i)為零均值、單位方差的高斯過程，協(xié)方差矩陣Ru,k=。本文的噪聲采用α-穩(wěn)定分布的非高斯噪聲。每個(gè)仿真均是通過10次實(shí)驗(yàn)得到的平均結(jié)果。

圖3 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

3.2 性能指標(biāo)及參數(shù)設(shè)置

本文以MSD作為評(píng)價(jià)算法性能的指標(biāo)，即仿真實(shí)驗(yàn)中設(shè)定的參數(shù)條件如表1所示。

表1 實(shí)驗(yàn)中的參數(shù)設(shè)置

3.3 仿真結(jié)果與分析

圖4中（a）和（b）分別是仿真中用的稀疏信道和非稀疏信道。

圖4 仿真中用的信道

圖5 是當(dāng)α值不同時(shí)的非高斯噪聲，其中圖5（a）為α=1.0時(shí)，圖 5（b）為α=1.5時(shí)，圖 5（c）為α=2.0時(shí)。

圖5 仿真中的α穩(wěn)定分布

3.3.1 各類算法在稀疏信道中的性能比較

圖6為DLMS、DSLMS和本文改進(jìn)的新算法（DPMEE）在稀疏信道且存在非高斯噪聲條件下的收斂曲線。當(dāng)干擾噪聲為非高斯噪聲即α=1.0時(shí)，傳統(tǒng)DLMS失效，DSLMS盡管很快收斂，但MSD較大、穩(wěn)健性較差。從圖6可以看出，本文提出的新算法即DPMEE的MSD更低，穩(wěn)健性要優(yōu)于DSLMS。

圖6 非高斯噪聲條件下各個(gè)算法在稀疏信道比較

3.3.2 各類算法在非稀疏信道中的性能比較

圖7為DLMS、DSLMS和本文改進(jìn)的新算法（DPMEE）在非稀疏系統(tǒng)且存在非高斯噪聲條件下的收斂曲線。DPMEE和其他算法相比，盡管MSD最低，但其性能效果相比在稀疏信道下有所下降?？梢姡瑢?shí)驗(yàn)仿真進(jìn)一步說明了DPMEE更適用于稀疏環(huán)境。

圖7 非高斯噪聲條件下各個(gè)算法在非稀疏信道比較

3.3.3 噪聲參數(shù)不同時(shí)各類算法的性能比較

假設(shè)未知系統(tǒng)為稀疏信道時(shí)，各算法在不同α下的收斂曲線如圖8和圖9所示。從圖8的實(shí)驗(yàn)結(jié)果可以看出，與DLMS和DSLMS相比，DPMEE的穩(wěn)健性最優(yōu)且MSD最低。但是，當(dāng)α=1.5時(shí)，DSLMS和DPMEE的穩(wěn)態(tài)值雖較大，但性能沒有在α=1.0時(shí)優(yōu)異。DLMS只有當(dāng)α=2.0時(shí)，系統(tǒng)噪聲分布從非高斯變?yōu)楦咚?，性能才?yōu)于DSLMS和DPMEE。可見，實(shí)驗(yàn)進(jìn)一步說明了DPMEE更適用于存在非高斯噪聲的環(huán)境。

圖8 各算法在α=1.5下的性能比較

圖9 各算法在α=2.0下的性能比較

4 結(jié) 語

本文提出了一種適合于非高斯噪聲干擾的分布式自適應(yīng)濾波算法，即把符號(hào)函數(shù)和比例最小誤差熵分別應(yīng)用到分布式擴(kuò)散算法中。本文給出了分布式擴(kuò)散策略的算法，引入了最小誤差熵準(zhǔn)則（MEE）的概念，同時(shí)將比例矩陣的思想加入到誤差熵中，提高了算法在稀疏性不同的系統(tǒng)中的適用性。此外，將符號(hào)函數(shù)引入到擴(kuò)散最小均方算法中，充分利用了其對(duì)噪聲為非高斯的抗干擾能力。最后，將三種算法在不同條件下的系統(tǒng)稀疏性、噪聲進(jìn)行仿真。結(jié)果表明，提出的新算法DPMEE在系統(tǒng)為稀疏信道時(shí)對(duì)非高斯噪聲的抑制能力、收斂速度和穩(wěn)態(tài)性能均優(yōu)越于其他算法。