基于定步長(zhǎng)自然梯度算法盲混合信號(hào)分離技術(shù)研究

李留青，陳中良

（黃淮學(xué)院 河南 駐馬店 463000）

基于定步長(zhǎng)自然梯度算法盲混合信號(hào)分離技術(shù)研究

李留青，陳中良

（黃淮學(xué)院 河南 駐馬店 463000）

本文利用自然梯度算法對(duì)盲混合方波、正弦波、調(diào)幅波和噪聲等信號(hào)進(jìn)行盲分離實(shí)驗(yàn)，通過(guò)仿真，驗(yàn)證了自然梯度盲分離算法在復(fù)雜信號(hào)分離中的準(zhǔn)確性。比較了不同步長(zhǎng)下，自然梯度算法的分離性能，得出步長(zhǎng)的選擇對(duì)算法收斂性及穩(wěn)態(tài)誤差的重要性，文章分析了算法在步長(zhǎng)變化情況下的收斂速度，穩(wěn)態(tài)性能等。

盲信號(hào)；分離技術(shù)；自然梯度算法；穩(wěn)態(tài)性能；收斂速度

盲分離技術(shù)[1]是指源信號(hào)未知以及在進(jìn)行盲混合過(guò)程未知的情況下，將盲混合在一起的信號(hào)分離出混合前源信號(hào)的一種方法。在當(dāng)今的信號(hào)處理研究領(lǐng)域中，信號(hào)的盲源分離研究是目前一個(gè)具有極大挑戰(zhàn)性的信號(hào)分離研究的熱點(diǎn)，“雞尾酒會(huì)”問(wèn)題，是人們對(duì)盲分離問(wèn)題的深入研究[2]。當(dāng)人們?cè)谝粋€(gè)噪音嘈雜的環(huán)境中，如果若干人在同一時(shí)間同時(shí)說(shuō)話，如何實(shí)現(xiàn)僅憑探測(cè)器檢測(cè)到的噪音加語(yǔ)音的混合語(yǔ)音信號(hào)，就能從混合語(yǔ)音信號(hào)中分離出人們所需要的聲音信號(hào)呢？這就是信號(hào)分離研究的熱點(diǎn)：盲源分離問(wèn)題[3]。盲分離問(wèn)題的有非線性混合、線性瞬時(shí)混合和線性卷積混合3種基本模型。無(wú)監(jiān)督學(xué)習(xí)法是進(jìn)行盲分離最常用的方法，該方法首先根據(jù)一定的理論，來(lái)構(gòu)造出合適的目標(biāo)函數(shù)，在確定了目標(biāo)函數(shù)后，然后通過(guò)合適的尋優(yōu)算法就能夠求解得到需要的解混矩陣。本文研究一種固定步長(zhǎng)的自然梯度盲分離算法在不同類型信號(hào)的盲混合模型中的分析和應(yīng)用，并研究步長(zhǎng)在算法性能中的作用。

1 盲分離模型

1.1 ICA模型

圖 1 為 ICA 盲源分離模型圖[4]，圖中 S1（t），S2（t）， ...，Sn（t）表示未知的源信號(hào)，混合系統(tǒng)A是信號(hào)的傳輸通道，N表示噪聲，x1（t），x（t），...，xm（t）表示觀測(cè)到的混合信號(hào)，W 是需要求解的分離系統(tǒng)，通過(guò)分離系統(tǒng)能夠很好的得到未知源信號(hào)的最佳估計(jì)，y1（t），y2（t），...，yn（t）即為所求源信號(hào)的最佳估計(jì)。

圖1 盲信號(hào)分離框圖Fig.1 Fanaticism separation diagram

如果從噪聲信號(hào)有無(wú)的角度來(lái)分，可分為：有噪模型和無(wú)噪模型兩類。由于有噪模型、線性卷積混合和非線性混合模型，其混合方式和算法較復(fù)雜，因此，針對(duì)本文研究對(duì)象選擇線性瞬時(shí)混合有噪模型。

ICA模型進(jìn)行盲源分離的數(shù)學(xué)表達(dá)式如（1）所示：

式（1）中，s表示一組源信號(hào)，由n個(gè)獨(dú)立信號(hào)源組成的。

s=[s1（t），s2（t），…，sn（t）]T，在經(jīng)過(guò)未知傳輸通道 A 后，通過(guò)傳感器接收到的觀測(cè)信號(hào) x=[x1（t），x2（t），…，xm（t）]T，共有m個(gè)觀測(cè)信號(hào)，假設(shè)m≥n，這里系統(tǒng)簡(jiǎn)化為m=n。式中，s是一個(gè)由n個(gè)獨(dú)立源信號(hào)構(gòu)成的矩陣，A是一個(gè)未知的m×m混合矩陣，與混合系統(tǒng)模型密切相關(guān)[5]。

式（1）中，x是觀測(cè)到了混合信號(hào)矩陣，W是求解出的的解混矩陣，Y則是通過(guò)ICA方法得到的源信號(hào)s的估計(jì)。因此說(shuō)，運(yùn)用ICA方法進(jìn)行盲源分離的關(guān)鍵就在于如何求解出解混矩陣W。

1.2 ICA求解一般過(guò)程

ICA求解的一般過(guò)程主要包括：1）預(yù)處理；2）確立優(yōu)化目標(biāo)函數(shù)；3）選擇最優(yōu)的優(yōu)化算法共3個(gè)步驟。其中目標(biāo)函數(shù)的選取很關(guān)鍵，它決定了ICA的一致性和魯棒性等等。并且目標(biāo)函數(shù)的選取及收斂速度以及對(duì)計(jì)算機(jī)的內(nèi)存要求等息息相關(guān)。

常用的目標(biāo)函數(shù)有：高階累積量、負(fù)熵、互信息、最大似然估計(jì)，程序基于最大似然估計(jì)進(jìn)行目標(biāo)函數(shù)的選取。對(duì)于ICA問(wèn)題的求解來(lái)說(shuō)，在選取了合適的目標(biāo)函數(shù)之后，下一步工作就是要選擇合適的優(yōu)化算法來(lái)對(duì)已經(jīng)選好的目標(biāo)函數(shù)進(jìn)行學(xué)習(xí)，使其達(dá)到最大值或最小值，從而求得合適的解混矩陣w，使得分離出的獨(dú)立分量，與各個(gè)源信號(hào)盡可能的相等。從不同的角度來(lái)進(jìn)行優(yōu)化算法分類，可以分成很多類別，本文設(shè)計(jì)程序利用最大似然估計(jì)最為目標(biāo)函數(shù)的選取，基于梯度的自然梯度優(yōu)化算法進(jìn)行盲混合信號(hào)的分離實(shí)踐。

2 算法分析

隨機(jī)梯度算法是一種常用來(lái)求目標(biāo)函數(shù)L（W）極值的方法，其工作步驟：

Step1：選取一初始解混矩陣，將其代入目標(biāo)函數(shù)，求出L（W）在 W（0）處的梯度，

Step2：在負(fù)梯度方向（如果求解最大值，則取正梯度方向），增加一個(gè)合適的步長(zhǎng)，計(jì)算出新的分離矩陣形W（1），重復(fù)上述步驟。故求解W的隨機(jī)梯度算法的計(jì)算公式為：

式（1）是常見(jiàn)的一種梯度下降法的迭代公式，對(duì)選取的目標(biāo)函數(shù)L（W）不同時(shí)，可以得到不同的迭代公式。因此，本文目標(biāo)函數(shù)選用最大似然估計(jì)，將Y=Wx代入最大似然估計(jì)公式：

通過(guò)對(duì)其求導(dǎo)，得到：

將式（4）帶入式（1）可得到，解混矩陣W的迭代公式為：

式（5）是隨機(jī)梯度算法的離線批處理迭代公式，如果用瞬時(shí)值替代期望值，可得到隨機(jī)梯度算法的在線自適應(yīng)迭代公式：

當(dāng)選取目標(biāo)函數(shù)L（W）不同時(shí)，得到迭代公式是不同的。這里，μ（k）為步長(zhǎng)；g（·）為給定的非線性函數(shù)；通常，該函數(shù)與源信號(hào)概率密度函數(shù)密切相關(guān)，對(duì)于超高斯信號(hào)，g（·）=tanh（y），對(duì)于亞高斯信號(hào)，g（·）=y3。

Infomax算法可有效的分離了多個(gè)超高斯分布的源信號(hào)。但是，這一算法的主要缺點(diǎn)是：收斂速度慢，同時(shí)由于涉及分離矩陣W的求逆，一旦W在更新過(guò)程中條件數(shù)變差，算法就可能發(fā)散。對(duì)這一問(wèn)題，Amari提出了基于黎曼（Riemann）空間的自然梯度算法。對(duì)于在矩陣空間中討論的ICA問(wèn)題來(lái)說(shuō)，自然梯度與隨機(jī)梯度之間存在如下關(guān)系：

經(jīng)過(guò)整理，用瞬時(shí)值 φ（y）yT代替期望值 E{φ（y）xT}時(shí)，自然梯度算法可表示為：

與隨機(jī)梯度相比，自然梯度算法可以避免對(duì)矩陣進(jìn)行求逆運(yùn)算，實(shí)際數(shù)量明顯降低，同時(shí)也加快了收斂速度。通過(guò)實(shí)踐證明，自然梯度算法是一種具有很好分離效果的學(xué)習(xí)算法，同時(shí)該算法并不要求對(duì)觀測(cè)信號(hào)進(jìn)行白化處理，從而使信號(hào)處理步驟簡(jiǎn)化，已經(jīng)成為了一種很常用的學(xué)習(xí)算法。

在本文中，采用以全局傳輸矩陣中元素獨(dú)立性表示的串音誤差來(lái)衡量分離性能的優(yōu)劣。串音誤差是由Amari最先提出來(lái)的，表示分離矩陣W的逆矩陣和混合矩陣A的偏離程度，串音誤差定義為：

式（9）中，gij表示全局傳輸矩陣G=WA的元素。E是一個(gè)不小于0的數(shù)，僅當(dāng)信號(hào)完全分離時(shí)E=0，實(shí)際中，當(dāng)算法收斂后，串音誤差是一個(gè)非常小的值[8]。

4 仿真實(shí)驗(yàn)

假設(shè)初始信號(hào)由方波信號(hào)、正弦波信號(hào)、調(diào)幅波信號(hào)以及噪聲信號(hào)等構(gòu)成，如圖2所示，采樣頻率為1 MHz。

圖2 初始新號(hào)波形Fig.2 Initial new waveform

采樣4 000個(gè)點(diǎn)進(jìn)行觀測(cè)分析計(jì)算，初始信號(hào)通過(guò)隨機(jī)矩陣盲混合后，其波形雜亂無(wú)章，很難識(shí)別，如圖3所示。

圖3 盲混合信號(hào)波形Fig.3 Blind mixed signal waveform

在對(duì)采集到的觀測(cè)信號(hào)進(jìn)行盲分離時(shí)，采用初始步長(zhǎng)μ=0.005的自然梯度算法對(duì)盲混合信號(hào)進(jìn)行分離實(shí)踐。算法中，采用非線性函數(shù)y3。分離結(jié)果波形如圖4所示。

圖4 分離波形圖Fig.4 Separate waveform figure

從圖4可以看出，本文算法能夠準(zhǔn)確的分離出盲混合后的信號(hào)。串音誤差如圖5所示。

圖5 串音誤差（步長(zhǎng) =0.005）Fig.5 Crosstalk error （step length=0.005）

從串音誤差圖5可以看出，算法在迭代1 200次后基本實(shí)現(xiàn)收斂，穩(wěn)態(tài)后最大串音誤差為1.959。為了研究步長(zhǎng)對(duì)分離性能的影響，采用步長(zhǎng)0.01的自然梯度盲分離算法。算法同樣能夠?qū)崿F(xiàn)對(duì)信號(hào)的盲分離，其串音誤差如圖6所示。

由圖6串音誤差圖中可以看出，步長(zhǎng)為0.01時(shí)，迭代不到1 000次即實(shí)現(xiàn)收斂，說(shuō)明選擇較大步長(zhǎng)時(shí)，算法收斂速度快，但穩(wěn)態(tài)性能較差，穩(wěn)態(tài)后最大串音誤差為3.453。由此看出，梯度算法對(duì)步長(zhǎng)的選擇十分敏感，微小的差異都會(huì)帶來(lái)不同的分離結(jié)果。通過(guò)仿真試驗(yàn)可以看出，梯度算法的步長(zhǎng)選擇是一個(gè)關(guān)鍵的問(wèn)題。今后將從步長(zhǎng)自適應(yīng)的角度進(jìn)一步對(duì)自然梯度在盲混合信號(hào)分離中的作用進(jìn)行研究。

圖6 串音誤差（步長(zhǎng)μ=0.01）Fig.6 Crosstalk error （step length=0.01）

5 結(jié)束語(yǔ)

本文介紹了自然梯度算法在盲混合信號(hào)分離中的作用，通過(guò)仿真實(shí)驗(yàn)表明，該算法能夠?qū)γせ旌系男盘?hào)進(jìn)行有效分離，通過(guò)實(shí)驗(yàn)分析，自然梯度算法在盲分離時(shí)，具有等變化性，其順序及相位不能確定，另外，由于算法的計(jì)算量、收斂速度和穩(wěn)態(tài)性能是相互矛盾的，在步長(zhǎng)的選取上要進(jìn)行綜合考慮，這也是今后研究的方向之一。

[1]馬建倉(cāng)，牛奕龍，陳海洋.盲信號(hào)處理[M].北京：國(guó)防工業(yè)出版社，2006.

[2]Choi S，Cichocki A.Adaptive Blind Separation of Speech Signals:Cocktail Party Problem，Korea:In Pro[C]//International Conference on Speech Processing，1997：617-622.

[3]A Bronkhorst.The Cocktail Party Phenomenon:A Review of Research on Speech Intelligibility in Multiple-talker Conditions[J].ACUST ICA，2000，86（1）：117-128.

[4]史習(xí)智.盲信號(hào)處理——理論與實(shí)踐[M].上海:上海交通大學(xué)出版社，2008.

[5]Hyvarinen A，Karhunen J.獨(dú)立成分分析[M].周宗潭，董國(guó)華，等譯.北京:電子工業(yè)出版社，2007.

[6]Hyv?rinen A，Oja E.A Fast Fixed-Point Algorithm for Independent Component Analysis[J].Neural Computation，1997，9（7）：1483-1492.

[7]楊福生，洪波.獨(dú)立分量分析的原理與應(yīng)用[M].2版.北京:清華大學(xué)出版社，2006：20-24.

[8]Amari S，Cichocki A，Yang H H.A new learning algorithm for blind signal separation[C]//in Advances in Neural Information Processing Systems.NIPS’1995.Cambridge，MA:MIT Press，1995：757-763.

Research of natural gradient algorithm blind signal separation

LI Liu-qing，CHEN Zhong-liang
（Huanghuai University， Zhumadian 463000， China）

In this paper， using the natural gradient algorithm for blind mixed Fang Bo，sine wave， amplitude modulation wave and noise signal blind separation experiments， simulation， verified the accuracy of the natural gradient blindseparation algorithm in complex signal separation.Comparison of differentsteps，the separation performance of the natural gradient algorithm，thestep size selection on the importance of convergence and steady-state error，this paper analyzes the convergence speed in step variationalgorithm，steady-state performance etc.

blind signal； separation technology； natural gradient algorithm；steady state performance； convergence speed

TN911.6

A

1674-6236（2014）15-0027-03

2014-04-09 稿件編號(hào)：201404095

河南省科技攻關(guān)計(jì)劃項(xiàng)目（122102210510）

李留青（1981—），女，河南駐馬店人，講師。研究方向：計(jì)算機(jī)應(yīng)用。