加權(quán)隨機匯池網(wǎng)絡(luò)中遞歸最小二乘算法研究

韓 博，劉 佳，耿金花，段法兵

(青島大學(xué)復(fù)雜性科學(xué)研究所，山東 青島 266071)

0 引言

生物信息處理和多傳感器信息融合是目前信息處理技術(shù)研究的熱點問題，這些自然或人工系統(tǒng)中匯池函數(shù)的功能是對多源信息進行歸納推理。2007年Zozor等[1]將超閾值隨機共振模型[2-3]擴展到耳蝸神經(jīng)網(wǎng)絡(luò)、分布式傳感網(wǎng)絡(luò)等匯池網(wǎng)絡(luò)中，提出了隨機匯池網(wǎng)絡(luò)模型，網(wǎng)絡(luò)節(jié)點不再局限于簡單的量化器，將隨機擾動加入到匯池網(wǎng)絡(luò)各個節(jié)點，利用隨機噪聲增強和優(yōu)化網(wǎng)絡(luò)響應(yīng)性能，即隨機共振現(xiàn)象[4-5]，隨機匯池網(wǎng)絡(luò)擴大了經(jīng)典的隨機共振機制應(yīng)用范圍，在人工傳感器、通信網(wǎng)絡(luò)、生物神經(jīng)網(wǎng)絡(luò)、模數(shù)轉(zhuǎn)換器電路和數(shù)字化波束形成等[1,6]領(lǐng)域取得重要進展。2015年許麗艷等[7-9]提出了一種基于隨機匯池網(wǎng)絡(luò)的最優(yōu)加權(quán)譯碼方案，與非加權(quán)方案相比，此方案可以得到更小的均方誤差性能，在非穩(wěn)態(tài)輸入情況下，結(jié)合卡爾曼濾波和最小均方算法，許麗艷等[7-9]推導(dǎo)了自適應(yīng)權(quán)值遞推算法[9]。文獻[10-11]中給出了最優(yōu)加權(quán)隨機匯池網(wǎng)絡(luò)下的隨機參數(shù)估計理論分析和自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)模型下的最小均方算法，揭示了自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)在信號參數(shù)估計領(lǐng)域具有很好的應(yīng)用前景。但是文獻[10-11]中的自適應(yīng)算法還需要知道信號的統(tǒng)計知識，在實際應(yīng)用中還存在著很大缺陷，本文在文獻[10-11]的基礎(chǔ)上對最優(yōu)加權(quán)隨機匯池網(wǎng)絡(luò)下的自適應(yīng)遞歸最小二乘算法進行了深入的探究，進一步豐富了該網(wǎng)絡(luò)下自適應(yīng)算法基礎(chǔ)。

實際應(yīng)用中，我們往往知道信號模型但是缺乏信號和背景噪聲的先驗統(tǒng)計知識，系統(tǒng)性能指標(biāo)無法求取集平均意義下的理論均值，最小二乘估計方法通過使給定的數(shù)據(jù)和假定的期望信號之差的平方和最小化來對信號參數(shù)進行估計，其中數(shù)據(jù)是由含有未知參數(shù)的模型產(chǎn)生的，這種方法不需要預(yù)先知道輸入信號和期望信號的統(tǒng)計信息，而是通過輸入信號和期望信號的測量值去逼近實際參數(shù)的一種估計方法[12]。由于最小二乘法沒有對觀測數(shù)據(jù)做任何假設(shè)，因此在系統(tǒng)辨識、信號處理、人工智能等大量社會和工程領(lǐng)域[13-15]中應(yīng)用范圍十分廣泛。遞歸最小二乘是最小二乘方法的一種自然推廣，它隨著接收到的數(shù)據(jù)增多，按照數(shù)據(jù)順序進行處理而實時得到參數(shù)的估計，并且大量減少了計算的復(fù)雜度。在自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)中，由于輸入信號在同一時刻由多條支路噪聲進行了擾動并經(jīng)過了非線性變換，關(guān)于遞歸最小二乘算法的有效性和性能研究還未見報道。本文推導(dǎo)了自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)下的遞歸最小二乘算法，對其收斂性和性能進行了理論分析，并與文獻[11]的最小均方(LMS)算法在仿真中做了對比。理論和實驗表明，在穩(wěn)態(tài)和非穩(wěn)態(tài)輸入環(huán)境下，該算法都能夠快速收斂，學(xué)習(xí)曲線與理論分析較為符合，同時隨著噪聲強度的改變，還觀測到超閾值隨機共振現(xiàn)象，本文提出的遞歸最小二乘算法對于隨機匯池網(wǎng)絡(luò)的實際應(yīng)用和所涌現(xiàn)的復(fù)雜特征具有重要的理論意義。

圖1 自適應(yīng)加權(quán)隨機匯池網(wǎng)絡(luò)模型Fig.1 Adaptive weighted stochastic pooling networks model

1 模型與算法

1.1 加權(quán)隨機匯池網(wǎng)絡(luò)模型

1.2 遞歸最小二乘法算法

最小二乘法算法的代價函數(shù)采用累積誤差平方和

(1)

(2)

(3)

引入指數(shù)加權(quán)因子的累積誤差平方和[16]

(4)

(5)

代入式(3)可以得到權(quán)向量遞推公式為

wk=wk-1+gkεk

(6)

(7)

由以上分析，基于先驗誤差的遞歸最小二乘算法步驟為

4)權(quán)系數(shù)更新：wk=wk-1+gkεk。

1.3 遞歸最小二乘法收斂性和性能分析

(8)

(9)

(10)

用遞歸的方法可以得到上式的解為[16]：

(11)

(12)

考慮數(shù)據(jù)時刻k→，由于依賴于過去所有的輸入信號分量，當(dāng)?shù)螖?shù)增加時，對任何單個的貢獻可以忽略，另外由于正交原理，ei可以認(rèn)為與所有元素不相關(guān)。這意味著式(12)右面最后一項會很小可以近似為零。當(dāng)λ=1時，相關(guān)矩陣服從復(fù)數(shù)Wishatr分布[17]，則其中C為節(jié)點輸出信號集平均自相關(guān)矩陣，在k→時上式為0，式(12)右邊第一項趨于0，而在0<λ<1時，式(12)右邊第一項也是趨于0。我們還可以看出權(quán)值w-1和時間自相關(guān)矩陣的初始化對權(quán)誤差均值的影響隨著k的增大而減小，在k→時式(12)趨于0。因此遞歸最小二乘法在統(tǒng)計平均意義上收斂。

雖然權(quán)系數(shù)wk的估計隨著數(shù)據(jù)增加漸近收斂到wo，我們需要將所有權(quán)的誤差作為一個整體進行分析，這里定義權(quán)向量協(xié)方差矩陣

(13)

下面對于λ=1和0<λ<1兩種情況分別進行討論。利用式(7)，可得[18]：

(14)

把式(14)代入式(13)可以得到

(15)

(16)

其中，σi是C-1的特征值。由式(16)可知，k→時隨著時間的增長逐漸減小，Dk趨向于0。當(dāng)0<λ<1時，由式(11)可得[18]

(17)

(18)

(19)

(20)

瞬時超量均方誤差為

(21)

2 實驗結(jié)果

圖2 遺忘因子λ取值對MSE學(xué)習(xí)曲線的影響Fig.2 Learning curve of MSE versus the factor λ

圖3 噪聲強度對MSE學(xué)習(xí)曲線的影響Fig.3 Effect of noise levels on the learning curve

圖4 噪聲強度對MSE的影響Fig.4 Effects of noise levels on Mean Square Error

圖5 非穩(wěn)態(tài)輸入信號下權(quán)值w收斂過程Fig.5 Convergence process of weightsfor nonstationary signals

在圖5中對比了遞歸最小二乘算法和LMS算法在非穩(wěn)態(tài)隨機過程中權(quán)值收斂表現(xiàn)，設(shè)輸入隨機信號xk的標(biāo)準(zhǔn)差σx在n/2時刻由0.2突變?yōu)?.5，噪聲強度ση=0.2，選取遞歸最小二乘算法的遺忘因子λ=0.999，LMS算法的步長μ=0.001。由于相同節(jié)點函數(shù)下各節(jié)點權(quán)值wi,k相同[10]，我們只給出了其中任一個節(jié)點權(quán)值隨著數(shù)據(jù)量的變化。如圖5所示，可以看出在兩種節(jié)點函數(shù)下(上面為雙曲正切函數(shù)，下面為閾值函數(shù))，遞歸最小二乘算法都能夠使得權(quán)系數(shù)很快收斂到穩(wěn)態(tài)最優(yōu)值，即使輸入信號統(tǒng)計性質(zhì)發(fā)生改變，也能夠有效的跟蹤信號的變化。LMS算法在開始的穩(wěn)態(tài)條件下收斂速度明顯慢于遞歸最小二乘法，尤其是在節(jié)點函數(shù)為雙曲正切函數(shù)的情況下需要迭代步數(shù)很大才能達到收斂狀態(tài)，雖然輸入信號xk發(fā)生突變后能更快跟蹤信號的變化，但權(quán)值波動較大，不如遞歸最小二乘法穩(wěn)定。

3 結(jié)論

本文研究了加權(quán)隨機匯池網(wǎng)絡(luò)中隨機參數(shù)估計的遞歸最小二乘算法，理論證明了算法的收斂性，即權(quán)系數(shù)平均意義上收斂到最優(yōu)權(quán)值，并對算法性能表現(xiàn)進行了詳細分析：在平穩(wěn)的輸入信號下，均方偏差和超量均方誤差隨著數(shù)據(jù)的增加而逐漸減小，最終趨向于零，而在非平穩(wěn)的輸入信號下，引入遺忘因子后，均方偏差和超量均方誤差常常不收斂到零，對比來說，在統(tǒng)計意義上后者權(quán)系數(shù)不如前者精確。通過實驗分析得出，在平穩(wěn)和非穩(wěn)態(tài)輸出信號下，遞歸最小二乘算法都能夠快速達到收斂狀態(tài)并且有效跟蹤信號的變化，同時隨著噪聲強度的變化，實驗證實了此模型下的噪聲有益性，并觀測到了超閾值隨機共振現(xiàn)象。以上研究為加權(quán)隨機匯池網(wǎng)絡(luò)在實際中的應(yīng)用奠定了理論基礎(chǔ)，對該網(wǎng)絡(luò)下非平穩(wěn)信號的估計性能的研究具有實際意義。但是，遞歸最小二乘算法中的噪聲有益性研究還有一些待解決問題，比如如何獲得網(wǎng)絡(luò)估計性能最佳的時噪聲強度或分布，以及如何進一步理論分析非穩(wěn)態(tài)信號下的遞歸最小二乘算法跟蹤性能等問題，這些都值得我們以后繼續(xù)深入研究。