EM算法下的快速收斂參數(shù)預(yù)估策略

蘇嘉庚

EM算法又稱為期望最大化算法，是求參數(shù)極大似然估計(jì)的一種迭代優(yōu)化策略，優(yōu)勢(shì)非常明顯，簡(jiǎn)單、收斂，但是也存在缺點(diǎn)，為實(shí)現(xiàn)快速受限參數(shù)預(yù)估，需要對(duì)EM算法最初改進(jìn)，研究中重點(diǎn)分析EM算法下快速收斂參數(shù)估計(jì)策略相信隨著研究不斷深入，EM算法將會(huì)得到更大的改進(jìn)。

【關(guān)鍵詞】EM算法 收斂參數(shù)估計(jì) 收斂速度

在通信中，快速可靠的同步參數(shù)估計(jì)是關(guān)鍵步驟之一，EM算法是一種求解參數(shù)最大似然估計(jì)的迭代算法，EM算法收斂速度與缺失數(shù)據(jù)的信息量有關(guān)，在每次迭代后健概率密度函數(shù)值均能夠得到提高，本文分析EM算法下快速收斂參數(shù)預(yù)估策略。

1 EM算法收斂速度

EM算法最大優(yōu)點(diǎn)在于收斂穩(wěn)定，，在吉布斯不等式中l(wèi)og（x）0，f（x）=g（x），H（f/g）=-∫f（x）dx+∫g（xdx），只有f（x）與g（x）相等時(shí)，式子才會(huì)成立。

EM算法估計(jì)序列設(shè)定為{θ（k）}，log（p（x）lθ（k+1））≥log（p（x）/θ（k）），已知Q（θlθ（k）=∫[logp（z/θ] p（y/x，θ（k）dy，由Bayes統(tǒng)計(jì)先驗(yàn)函數(shù)關(guān)系式p（z/θ）=p（x/θ）p（y/x，θ），θ在分布均勻情況下，能夠觀測(cè)到X密度，logp（z/θ）給定觀測(cè)到的數(shù)據(jù)后密度，log（p（zlθ））+C=log（p（xlθ））+log（P（ylx，θ））+C，log（p（zlθ）=Z（θ）+log ho（Y），得到l（θ）=Q（θ/θ（k）-∫[loghθ（Y）]hk（Y）dy，M極大化，Q（θ（k+1）/θ（k），X）=maxθQ（θ/θ（k），X），可以看到Q一直都在增大?！襩og[hk（Y）/hk+1（Y）]hk（Y）dy>0。EM算法在E與M交替運(yùn)算下，可以認(rèn)為估計(jì)參數(shù)序列收斂到似然估計(jì)。在每次迭代中，計(jì)算似然函數(shù)，選擇函數(shù)最大化θ（k+1）代替θ，構(gòu)成標(biāo)準(zhǔn)EM算法。

EM算法映射了一個(gè)映射函數(shù)，如果收斂到映射的一個(gè)不動(dòng)點(diǎn)，θ（k+1）一θ≈Φ（θ（k） （θ（k）-θ*），如果P=1算法線性收斂。迭代算法收斂率與矩陣最大特征跟有關(guān)，收斂速度與缺失信息比例量有關(guān)。

2 EM算法改進(jìn)

EM算法執(zhí)行算法能夠達(dá)到似然函數(shù)最優(yōu)質(zhì)的，適應(yīng)性和可操作性都較強(qiáng)，為了使其更好的適用于多個(gè)領(lǐng)域，EM算法進(jìn)行了多個(gè)方面的改進(jìn)。在E步算法改進(jìn)中，假設(shè)第i此迭代開始已經(jīng)有了估計(jì)值，從b（x1，pi）中抽取隨機(jī)數(shù)，計(jì)算Q函數(shù)，Q（θ/θ（i））=（x1+x4-y）logθ+ （x2+x3）log（1-θ）.在M步中，θ（i+1）=（159-y）/（197-y），采用Matlab編程實(shí)現(xiàn)ECEM算法，結(jié)果與EM算法估計(jì)結(jié)果想接近，m值過大時(shí)，計(jì)算速度下降。

在M法算法改進(jìn)中， 為避免出現(xiàn)迭代M步，采用簡(jiǎn)單條件來代替M不，計(jì)算函數(shù)Q極值，設(shè)計(jì)簡(jiǎn)單優(yōu)化問題，在每一次CM步中增加函數(shù)，為保證算法的收斂性，需要保證每一次循環(huán)都搜索函數(shù)最大值點(diǎn)，保證EM的收斂性。迭代算法收斂率與矩陣最大特征值類似，隨著缺失信息比例的增加，收斂速度下降。ECM算法迭代速度與EM相接近，但是考慮到迭代次數(shù)，ECM算法要更快。根據(jù)ECM算法理論，因此需要選擇約束條件，將自然將θ分成S個(gè)子向量，在8個(gè)CM步下求函數(shù)Q極值，這種策略就是迭代條件模式。

3 快速收斂參數(shù)估計(jì)方法

提出基于EM算法迭代中，用符號(hào)后驗(yàn)概率，修正虛高先驗(yàn)概率，降低缺失數(shù)據(jù)熵，降低參數(shù)估計(jì)CRB，并進(jìn)行驗(yàn)證。信號(hào)模型為r（t）=s（t，b）+n（t），令b=[r0，r1，r2，…，rk-1]，忽略待估計(jì)b不相關(guān)項(xiàng)，數(shù)似然函數(shù)lnp（r/a，b）=-2Re{ΣakYk（v，t）e-jθ}+Σak2。EM算法收斂速度屬于現(xiàn)行的估計(jì)誤差在e（i+1）r=C（r）ei（r），缺失數(shù)量越小，迭代誤差越小，因此C（r）=I（r）Im（r），式子兩邊取條件期望，得到平均誤差，Er/b[e（i+1）（r）]=McEr/b[e（i）（r）]，式中Mc為收斂速度。EM收斂到ML估計(jì)值平均毒素與函數(shù)有關(guān)，Mc在[0，1]之間。由于a、b相互獨(dú)立，CRB-1（b）=-[∫p（r，a/b）б2logp（r，a/b）drda/бb2]=MCRB-1（b），隨著CRBr（b）的降低，Mc越小參數(shù)估計(jì)平均誤差變小，降低CRBr（b）能夠加快收斂速率。利用符號(hào)后驗(yàn)證得到CRB精確表達(dá)式，由于待估參數(shù)b與缺失數(shù)據(jù)以概率和估計(jì)值的行賄出現(xiàn)，隨著估計(jì)值的準(zhǔn)確，符號(hào)后驗(yàn)概率也更加精確。

定義符號(hào)后驗(yàn)概率Ckm=p（a=am/b），表示m個(gè)星座點(diǎn)概率，設(shè)定Φ={Ckm，b}，對(duì)于Ckm，定義為Q/=Q1+λ（∑Ck，m-1），求偏導(dǎo)，бQ//бCk，m=p（a=am/r，bi-1）/c/k，m=0，將符號(hào)后驗(yàn)概率看做未知參數(shù)，得到c/km=p（a=am/r，bi-1），修正方法不會(huì)概念其性質(zhì)，仍然收斂，修正后對(duì)EM算法性能沒有影響。

性能仿真中，以數(shù)字接受QPSK載波估計(jì)為例，觀測(cè)模型rk=akejθ+vk，k=0，1，2，…，N-1，式中ak為QPSK信號(hào)，N為觀察數(shù)據(jù)長度，通過讀好后驗(yàn)概率比較未知符號(hào)先驗(yàn)分布和載波相位估計(jì)CRB降低香味估計(jì)，向DA方式性能逼近。相位估計(jì)中，考慮未編碼QPSK信號(hào)，符號(hào)長度1000，比較相位估計(jì)MCRB與先驗(yàn)概率勻后相位估計(jì)標(biāo)準(zhǔn)，結(jié)果表明，性能沒有變化，在Eb/E0>/kb時(shí)，香味估計(jì)標(biāo)準(zhǔn)差在10-3以內(nèi)，接近MCRB，可以看出EM算法能夠滿足突發(fā)模式需求。SNR=10dB，初始相偏∏/4，仿真表明，修正先驗(yàn)概率時(shí)收斂速度顯著得到提高。

4 結(jié)語

綜上所述，本文研究中通過EM算法迭代中用符號(hào)后驗(yàn)概率修正符號(hào)先驗(yàn)概率，降低缺失數(shù)據(jù)對(duì)參數(shù)的影響，仿真結(jié)果顯示本文估計(jì)方法估計(jì)性能沒有下降，收斂速度得到提高，能夠用于突發(fā)數(shù)據(jù)的同步參數(shù)估計(jì)。

參考文獻(xiàn)

[1]邢長征，苑聰.一種快速、貪心的高斯混合模型EM算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（20）：111-115.

[2]劉波.基于EM的突發(fā)通信參數(shù)估計(jì)技術(shù)研究[D].鄭州：解放軍信息工程大學(xué)，2009.

[3]王戈，于宏毅，沈智翔等.一種基于EM算法的快速收斂參數(shù)估計(jì)方法[J].吉林大學(xué)學(xué)報(bào)：工學(xué)版，2013，43（02）：532-537.

作者簡(jiǎn)介

蘇嘉庚（1986-），男，河北省石家莊市人。CCF會(huì)員，碩士研究生/助教，2014年畢業(yè)于河北師范大學(xué)數(shù)信學(xué)院。研究方向?yàn)橹饕芯糠较驗(yàn)閿?shù)據(jù)挖掘、智能信息處理。

作者單位

石家莊郵電職業(yè)技術(shù)學(xué)院 河北省石家莊市 050021