改進(jìn)Laplace先驗(yàn)下的復(fù)數(shù)域多任務(wù)貝葉斯壓縮感知方法*

張啟雷,孫 斌

(1. 國(guó)防科技大學(xué) 電子科學(xué)學(xué)院, 湖南 長(zhǎng)沙 410073; 2. 北京跟蹤與通信技術(shù)研究所, 北京 100094)

稀疏貝葉斯學(xué)習(xí)(sparse Bayesian learning,SBL)理論已經(jīng)發(fā)展成為信號(hào)處理領(lǐng)域的一個(gè)重要分支[1-4]。SBL理論與壓縮感知相結(jié)合催生了一類(lèi)重要的稀疏信號(hào)重構(gòu)算法,即貝葉斯壓縮感知(Bayesian compressive sensing,BCS)方法[5-7]。BCS方法的應(yīng)用領(lǐng)域相當(dāng)廣泛,包括陣列設(shè)計(jì)、波束形成和雷達(dá)成像等[8-10]。

SBL又被稱(chēng)為相關(guān)向量機(jī)(relevance vector machine,RVM),具有良好的全局最優(yōu)和局部最優(yōu)特性[3]。研究表明,SBL等價(jià)于一種加權(quán)的1范數(shù)算法,因此是一類(lèi)精確性和魯棒性更好的稀疏重構(gòu)算法[11]。文獻(xiàn)[5]將SBL理論應(yīng)用到壓縮感知領(lǐng)域,并提出了BCS技術(shù)。隨后,BCS被進(jìn)一步擴(kuò)展到多任務(wù)壓縮感知領(lǐng)域[6]。文獻(xiàn)[7]基于分層Laplace先驗(yàn)分布,提出了一種改進(jìn)的BCS方法。基于上述研究,實(shí)數(shù)域的BCS理論框架已經(jīng)基本完善了。然而,現(xiàn)有的實(shí)數(shù)域BCS方法無(wú)法直接解決復(fù)數(shù)域稀疏信號(hào)重構(gòu)問(wèn)題。

為了利用BCS理論實(shí)現(xiàn)復(fù)數(shù)域稀疏信號(hào)重構(gòu),文獻(xiàn)[12-13]給出了一種直觀(guān)的解決思路,即將復(fù)數(shù)分解為實(shí)部和虛部,分別利用現(xiàn)有的實(shí)數(shù)域BCS方法進(jìn)行求解,最后將兩部分結(jié)果合成為復(fù)數(shù)。在此基礎(chǔ)上, 文獻(xiàn)[14]假設(shè)復(fù)數(shù)的實(shí)部和虛部具有相同的稀疏特性,提出了一種復(fù)數(shù)域多任務(wù)BCS(complex multitask Bayesian compressive sensing, CMT-BCS)算法。然而,由于復(fù)數(shù)分解,測(cè)量矩陣和信號(hào)的維度都被擴(kuò)大了,上述算法的存儲(chǔ)量和計(jì)算量明顯增加。此外,復(fù)數(shù)分解不可避免地破壞了原始復(fù)數(shù)信號(hào)的內(nèi)部結(jié)構(gòu),因此稀疏重構(gòu)結(jié)果難以令人滿(mǎn)意。

與上述算法不同,本文直接在復(fù)數(shù)域推導(dǎo)并構(gòu)建BCS理論框架。首先,基于改進(jìn)的分層Laplace先驗(yàn)和多任務(wù)學(xué)習(xí)模型,建立了復(fù)數(shù)域貝葉斯壓縮感知模型;其次,通過(guò)邊緣積分消除了測(cè)量噪聲方差的影響,提出了一種復(fù)數(shù)域貝葉斯壓縮感知方法;再次,利用矩陣分解理論,推導(dǎo)了一種基于遞歸操作的快速算法;最后,利用數(shù)值仿真實(shí)驗(yàn)驗(yàn)證了本文提出的改進(jìn)Laplace先驗(yàn)下的復(fù)數(shù)域多任務(wù)貝葉斯壓縮感知(complex multitask Bayesian compressive sensing algorithm using modified Laplace priors, CMBCS-MLP)方法的有效性。

1 問(wèn)題描述

1.1 多任務(wù)學(xué)習(xí)模型

本文考慮一種多任務(wù)學(xué)習(xí)場(chǎng)景,假設(shè)不同任務(wù)之間是統(tǒng)計(jì)相關(guān)的,且共享相同的先驗(yàn)參數(shù)。復(fù)數(shù)域多任務(wù)貝葉斯測(cè)量模型可以表示為

yi=Φixi+ni

(1)

其中:i=1,2,…,L表示任務(wù)索引,L代表任務(wù)數(shù)目;yi∈Ni表示復(fù)數(shù)域壓縮觀(guān)測(cè)數(shù)據(jù),Φi∈Ni×M表示復(fù)數(shù)域測(cè)量矩陣,xi∈M表示復(fù)數(shù)域原始信號(hào),ni∈Ni代表復(fù)數(shù)域測(cè)量噪聲,Ni?M。

根據(jù)BCS理論框架,如果xi滿(mǎn)足某種合適的稀疏先驗(yàn)分布,則可以利用貝葉斯原理得到該信號(hào)的后驗(yàn)概率,進(jìn)而從壓縮后的觀(guān)測(cè)數(shù)據(jù)yi中恢復(fù)出稀疏原始信號(hào)xi[1-3]。

1.2 改進(jìn)的分層Laplace先驗(yàn)

根據(jù)貝葉斯理論觀(guān)點(diǎn),所有的未知變量均可以看作滿(mǎn)足一定概率分布的統(tǒng)計(jì)量[1,15]。

首先,假設(shè)ni滿(mǎn)足零均值復(fù)高斯分布,且方差為σ2。令β=σ-2,則復(fù)數(shù)域觀(guān)測(cè)數(shù)據(jù)的條件概率分布函數(shù)可以表示為

p(yi|xi,β)=CN(yi|Φixi,β-1)

(2)

其中,CN(·)代表多變量復(fù)高斯分布,先驗(yàn)參數(shù)β滿(mǎn)足Gamma先驗(yàn)分布

(3)

然后,假設(shè)原始信號(hào)xi滿(mǎn)足某種稀疏先驗(yàn)分布。文獻(xiàn)[7]已經(jīng)證明,相比于RVM中的先驗(yàn)分布[1],分層Laplace分布是一種性能更優(yōu)的先驗(yàn)分布。然而,直接沿用文獻(xiàn)[7]提出的分層Laplace先驗(yàn)設(shè)置得到的BCS算法受測(cè)量噪聲方差,即先驗(yàn)參數(shù)β的影響。如果β的初始值設(shè)置不合理,BCS算法存在性能惡化的危險(xiǎn)。然而,通過(guò)改進(jìn)原始信號(hào)xi的先驗(yàn)分布形式,可以消除參數(shù)β的影響,進(jìn)而得到一種改進(jìn)的BCS算法[6]。

第一層,假設(shè)xi滿(mǎn)足特殊的多變量零均值復(fù)高斯分布

(4)

其中,α為先驗(yàn)參數(shù),|xi,m|表示xi的第m個(gè)元素的絕對(duì)值。 第二層,假設(shè)α先驗(yàn)參數(shù)滿(mǎn)足一種特殊的Gamma分布

(5)

其中,αm>0,且λ>0。 綜上,原始信號(hào)xi的先驗(yàn)分布可以表示為

可以看出,經(jīng)過(guò)分層先驗(yàn)設(shè)置,復(fù)數(shù)域原始信號(hào)xi滿(mǎn)足Laplace先驗(yàn)分布。第三層,假設(shè)超先驗(yàn)參數(shù)λ滿(mǎn)足一種特殊分布p(λ)=1/λ[7]。

綜上,圖1給出了基于改進(jìn)的分層Laplace先驗(yàn)的復(fù)數(shù)域多任務(wù)學(xué)習(xí)貝葉斯模型圖?？梢钥闯?該貝葉斯模型分為三層:底層為復(fù)數(shù)域多任務(wù)信號(hào)模型,中間層為由多個(gè)任務(wù)共享的先驗(yàn)參數(shù),頂層為超先驗(yàn)參數(shù),用來(lái)控制中間層的先驗(yàn)參數(shù)。本文中先驗(yàn)參數(shù)和超先驗(yàn)參數(shù)同稱(chēng)為超參數(shù)(hyper-parameters)。

圖1 基于改進(jìn)Laplace先驗(yàn)的復(fù)數(shù)域多任務(wù)貝葉斯壓縮感知模型圖Fig.1 The graphical model of complex multitask Bayesian compressive sensing using modified Laplace priors

2 CMBCS-MLP方法

2.1 貝葉斯推斷

根據(jù)BCS理論,原始信號(hào)的稀疏重構(gòu)是通過(guò)使其后驗(yàn)概率最大得到的。圖1中未知變量的后驗(yàn)概率分布可以表示為

(7)

其中,{xi}和{yi}分別代表原始信號(hào)集和觀(guān)測(cè)數(shù)據(jù)集。通常,很難直接得到p({xi},α,β,λ|{yi})的解析表達(dá)式[1]。然而,根據(jù)貝葉斯原理

p({xi},α,β,λ|{yi})

=p({xi}|{yi},α,β,λ)·p(α,β,λ|{yi})

(8)

根據(jù)式(8),可以得到一種實(shí)用的貝葉斯推斷方法。

假設(shè)超參數(shù)α和β已知,則原始信號(hào)xi的后驗(yàn)概率分布可以表示為

(9)

根據(jù)式(2)和式(4),可以得到

p(xi|yi,α,β)=CN(xi|μi,β-1Σi)

(10)

其中

(11)

A=diag(α1,α2,…,αM)是對(duì)角矩陣。

進(jìn)而,基于1.2節(jié)建立的特殊先驗(yàn)分布,可以通過(guò)邊緣積分消去參數(shù)β的影響,即

(12)

可以看出,通過(guò)邊緣積分消去超參數(shù)β之后,xi的后驗(yàn)概率分布從式(10)給出的多變量復(fù)高斯分布變?yōu)槭?12)給出的多變量Student-t分布[6]。 根據(jù)Student-t分布的性質(zhì),xi的后驗(yàn)期望仍然為μi。 然而,相比于高斯分布,Student-t分布具有更尖銳的峰值和更長(zhǎng)的拖尾[1,6],這意味著改進(jìn)后的算法具有更好的稀疏重構(gòu)性能。 此外,消除了測(cè)量噪聲方差的影響之后,式(12)中給出的稀疏重構(gòu)算法魯棒性更好。

2.2 超參數(shù)估計(jì)

本節(jié)基于經(jīng)驗(yàn)貝葉斯(empirical Bayesian)方法[1],給出超參數(shù)估計(jì)方法。 為了估計(jì)超參數(shù)α和λ,需要利用所有的觀(guān)測(cè)數(shù)據(jù)集{yi}。 根據(jù)貝葉斯原理,p(α,λ|{yi})∝p({yi},α,λ),且

(13)

因此,通過(guò)使p({yi},α,λ)最大化可以得到上述超參數(shù)的點(diǎn)估計(jì)值。

根據(jù)式(2)和式(3),可以得到

=CN(yi|0,β-1Bi)

(14)

(15)

為了方便推導(dǎo),下面將p({yi},α,λ)的對(duì)數(shù)值作為代價(jià)函數(shù)

L(α,λ)=lnp({yi},α,λ)

(16)

其中,C為常數(shù)。對(duì)L(α,λ)分別關(guān)于αm和λ求導(dǎo),并令導(dǎo)數(shù)為零,可以得到兩者的點(diǎn)估計(jì)值為

(17)

然而,需要指出的是,上述迭代算法涉及矩陣求逆運(yùn)算,運(yùn)算量較大。尤其對(duì)于高維度的信號(hào),該算法的運(yùn)算量是難以承受的。因此,為了提高該算法的實(shí)用性,有必要研究其快速算法。

3 基于矩陣分解理論的快速算法

如前所述,在迭代算法中,最主要的計(jì)算量來(lái)自式(11)中Σi的求解,不僅涉及矩陣求逆運(yùn)算,還需要在每次迭代中更新α中全部的元素。事實(shí)上,文獻(xiàn)[2]已經(jīng)證明,更新α中單個(gè)元素也可以實(shí)現(xiàn)代價(jià)函數(shù)L(α,λ)的有效更新。因此,通過(guò)序貫地增加、刪除或重新估計(jì)α中的某一個(gè)元素,可以實(shí)現(xiàn)超參數(shù)α的有效估計(jì),最終找到原始信號(hào)xi中所有有效的xi,m,即實(shí)現(xiàn)稀疏重構(gòu)。

3.1 算法推導(dǎo)

根據(jù)矩陣分解理論[2],矩陣Bi可以寫(xiě)為

(18)

(19)

只考慮L(α,λ)中α的影響,則可以得到

L(α)=L(α-m)+(αm)

(20)

其中,L(α-m)與αm無(wú)關(guān),而(αm)可以表示為

(21)

其中

(22)

因此,可以得到

(23)

理論上,令式(23)等于零可以得到αm的點(diǎn)估計(jì)值。然而,除αm=∞這個(gè)解之外,很難得到αm的其他解析解。文獻(xiàn)[2]已經(jīng)證明,通常αm?si,m,因此可以得到

(24)

其中

(25)

通過(guò)求解式(24),可以得到αm的近似解為

(26)

基于式(26),可以得到一種基于遞歸操作的復(fù)數(shù)域多任務(wù)貝葉斯壓縮感知快速算法。在每次的遞歸操作中,只需要更新一個(gè)候選的αm,因此μi和Σi的更新很高效,同時(shí)λ也可以同步更新。實(shí)際中,通常選擇使(αm)值最大的αm作為候選參數(shù),可以獲得更快的收斂速度[5-7]。

3.2 誤差分析

在上述推導(dǎo)中,為了得到αm的解析解,假設(shè)αm?si,m,進(jìn)而得到近似等式(24),因此必須分析該假設(shè)帶來(lái)的近似誤差。

在式(23)的基礎(chǔ)上,進(jìn)一步求解代價(jià)函數(shù)L(α)的二階導(dǎo)數(shù)可得

(27)

然而,上述分析是建立在假設(shè)αm?si,m的基礎(chǔ)之上的。雖然文獻(xiàn)[2]和文獻(xiàn)[6]已經(jīng)證明了該假設(shè)的有效性,但只能保證式(26)給出的近似解位于(αm)的局部最大值點(diǎn)附近,因此上述近似處理是次優(yōu)的。盡管如此,已有文獻(xiàn)[2,5-7]和本文的數(shù)值仿真均表明上述快速算法的精確性和有效性是足夠的。

3.3 計(jì)算復(fù)雜度分析

本節(jié)基于矩陣分解理論推導(dǎo)了一種基于遞歸操作的快速算法,相比于第2節(jié)的迭代算法,可以有效降低計(jì)算復(fù)雜度。

針對(duì)第2節(jié)給出的迭代算法,最主要的計(jì)算量來(lái)自式(11)中的矩陣求逆。矩陣Σi的維度為M×M,因此求逆運(yùn)算的計(jì)算復(fù)雜度為Ο(M3)[5]。隨著M的增大,該計(jì)算復(fù)雜度急劇增加。本節(jié)提出的快速算法采取遞歸操作,每次只針對(duì)α中的一個(gè)元素進(jìn)行計(jì)算,直到找到α中所有的有效元素,操作次數(shù)近似等于壓縮觀(guān)測(cè)數(shù)據(jù)的維度Ni。詳細(xì)分析表明[2]:基于遞歸操作的快速算法的計(jì)算復(fù)雜度為Ο(NiM2)。由于Ni?M,因此相比于第2節(jié)的迭代算法,本節(jié)給出的快速算法計(jì)算復(fù)雜度大大降低。

4 數(shù)值仿真

單任務(wù)學(xué)習(xí)可以視作多任務(wù)學(xué)習(xí)的特例, CMBCS-MLP方法同樣適用于單任務(wù)學(xué)習(xí)場(chǎng)景,此時(shí)令L=1即可。首先,面向單任務(wù)學(xué)習(xí)場(chǎng)景,針對(duì)兩種不同的復(fù)數(shù)域信號(hào)進(jìn)行稀疏重構(gòu)實(shí)驗(yàn),并與文獻(xiàn)[12-13]給出的實(shí)數(shù)域BCS方法 (記為RBCS)和文獻(xiàn)[14]提出的CMT-BCS方法的重構(gòu)結(jié)果進(jìn)行對(duì)比。為了便于對(duì)比,在仿真中,a=100/E{VAR(yi)},b=1,其中VAR(·)代表求方差,E{·}代表求均值。

第一種信號(hào)為復(fù)數(shù)域均勻尖峰信號(hào),長(zhǎng)度M=512,其實(shí)部和虛部分別包含30個(gè)位置隨機(jī)出現(xiàn)的尖峰,尖峰幅度為1或-1。測(cè)量矩陣Φi的生成分為兩步:首先,生成服從復(fù)高斯分布CN(0,1),維度為Ni×M的復(fù)矩陣,Ni=100;然后,對(duì)該復(fù)矩陣沿行進(jìn)行幅度歸一化處理。測(cè)量噪聲ni的實(shí)部和虛部均滿(mǎn)足零均值高斯分布,且標(biāo)準(zhǔn)差為σ=0.005。稀疏重構(gòu)實(shí)驗(yàn)的結(jié)果如圖2所示,由于篇幅所限,圖中只給出了復(fù)數(shù)域信號(hào)的幅度。其中RBCS、CMT-BCS、CMBCS-MLP方法的重構(gòu)誤差分別為eRBCS=1.226 7、eCMT-BCS=0.255 3、eCMBCS-MLP=0.016 9。

(a) 原始信號(hào)(a) Original signal

(b) RBCS方法重構(gòu)結(jié)果(b) Reconstruction result using RBCS

(c) CMT-BCS方法重構(gòu)結(jié)果(c) Reconstruction result using CMT-BCS

(d) CMBCS-MLP方法重構(gòu)結(jié)果(d) Reconstruction result using CMBCS-MLP圖2 復(fù)數(shù)域均勻尖峰信號(hào)重構(gòu)結(jié)果 (Ni=100, M=512)Fig.2 Reconstruction result of complex uniform spikes(Ni=100, M=512)

第二種信號(hào)為復(fù)數(shù)域非均勻尖峰信號(hào),長(zhǎng)度M=512,其實(shí)部和虛部分別包含30個(gè)位置隨機(jī)出現(xiàn)的尖峰,尖峰的幅度滿(mǎn)足零均值高斯分布,且與均勻尖峰信號(hào)的功率相等。測(cè)量矩陣Φi和測(cè)量噪聲ni的生成方法與前文相同。稀疏重構(gòu)實(shí)驗(yàn)的結(jié)果如圖3所示。其中RBCS、CMT-BCS、CMBCS-MLP方法的重構(gòu)誤差分別為eRBCS=0.023 5、eCMT-BCS=0.099 5、eCMBCS-MLP=0.015 5。

(a) 原始信號(hào)(a) Original signal

(b) RBCS方法重構(gòu)結(jié)果(b) Reconstruction result using RBCS

(c) CMT-BCS方法重構(gòu)結(jié)果(c) Reconstruction result using CMT-BCS

(d) CMBCS-MLP方法重構(gòu)結(jié)果(d) Reconstruction result using CMBCS-MLP圖3 復(fù)數(shù)域非均勻尖峰信號(hào)重構(gòu)結(jié)果(Ni =100,M=512)Fig.3 Reconstruction result of complex non-uniform spikes(Ni=100,M=512)

由圖2和圖3可以看出,針對(duì)兩種不同的復(fù)數(shù)域稀疏信號(hào), CMBCS-MLP方法均給出了最優(yōu)的重構(gòu)結(jié)果。然而,圖2和圖3給出的結(jié)果僅是隨機(jī)過(guò)程的一次實(shí)現(xiàn),不具有普遍意義。此外,除重構(gòu)精度外,計(jì)算耗時(shí)也是重構(gòu)算法的重要指標(biāo)。分別針對(duì)上述兩種復(fù)數(shù)域稀疏信號(hào),利用蒙特卡羅方法開(kāi)展重構(gòu)實(shí)驗(yàn),實(shí)驗(yàn)重復(fù)次數(shù)為100次。不同BCS算法的重構(gòu)性能如表1所示?？梢钥闯? CMBCS-MLP在重構(gòu)精度和計(jì)算耗時(shí)兩個(gè)方面均是最優(yōu)算法,而RBCS算法的性能最差。雖然CMT-BCS針對(duì)復(fù)數(shù)域均勻尖峰信號(hào)給出了較好的重構(gòu)結(jié)果,但計(jì)算耗時(shí)是最長(zhǎng)的;而對(duì)復(fù)數(shù)域非均勻尖峰信號(hào),CMT-BCS的重構(gòu)誤差和計(jì)算耗時(shí)兩項(xiàng)指標(biāo)均是最差的。究其原因是,RBCS和CMT-BCS算法人為破壞了復(fù)數(shù)信號(hào)的內(nèi)部結(jié)構(gòu),造成算法魯棒性較差、耗時(shí)較長(zhǎng);而本文提出的CMBCS-MLP算法直接在復(fù)數(shù)域進(jìn)行重構(gòu),克服了上述缺陷,因此算法魯棒性較好,計(jì)算耗時(shí)較短。

最后,通過(guò)多任務(wù)學(xué)習(xí)模型來(lái)驗(yàn)證CMBCS-MLP方法在多任務(wù)學(xué)習(xí)中的優(yōu)勢(shì)。假設(shè)兩個(gè)復(fù)數(shù)域均勻尖峰信號(hào)的參數(shù)與前文相同,長(zhǎng)度均為M=512。一個(gè)特殊的設(shè)置在于這兩個(gè)復(fù)數(shù)域信號(hào)有80%的尖峰位于相同的位置,即二者的相似性為80%。兩個(gè)信號(hào)的測(cè)量次數(shù)分別為N1=70和N2=75。測(cè)量矩陣Φi和測(cè)量噪聲ni的生成方法與前文相同。稀疏重構(gòu)實(shí)驗(yàn)的結(jié)果如圖4所示?？梢钥闯?由于觀(guān)測(cè)數(shù)據(jù)較少,觀(guān)測(cè)噪聲較大,采用單任務(wù)學(xué)習(xí)CMBCS-MLP方法重構(gòu)結(jié)果誤差較大,無(wú)法恢復(fù)原始信號(hào);而多任務(wù)學(xué)習(xí)CMBCS-MLP方法充分利用了兩個(gè)復(fù)數(shù)域信號(hào)之間的相似性,準(zhǔn)確恢復(fù)了兩個(gè)原始信號(hào)。

(a) 原始信號(hào)x1和x2(a) Original signal x1 and x2

(b) 單任務(wù)算法重構(gòu)結(jié)果 x1和x2(b) Reconstruction results of x1 and x2 using single-task algorithm

(c) 多任務(wù)算法重構(gòu)結(jié)果x1和x2(c) Reconstruction results of x1 and x2 using multitask algorithm圖4 多任務(wù)學(xué)習(xí)場(chǎng)景下的CMBCS-MLP方法重構(gòu)結(jié)果(Ni=100,M=512)Fig.4 Reconstruction result of CMBCS-MLP for the multitask learning setting (Ni=100,M=512)

5 結(jié)論

現(xiàn)有的BCS理論框架是在實(shí)數(shù)域推導(dǎo)和建立的,因此無(wú)法直接用于復(fù)數(shù)域稀疏信號(hào)重構(gòu)。針對(duì)這個(gè)問(wèn)題,本文直接在復(fù)數(shù)域推導(dǎo)BCS方法。基于改進(jìn)的分層Laplace先驗(yàn)和多任務(wù)學(xué)習(xí)模型,本文在復(fù)數(shù)域推導(dǎo)了一種CMBCS-MLP方法,并基于矩陣分解理論給出了其快速算法。理論分析和數(shù)值仿真表明:針對(duì)復(fù)數(shù)域稀疏信號(hào)重構(gòu)問(wèn)題,相比于現(xiàn)有的實(shí)數(shù)域BCS方法,CMBCS-MLP方法具有更好的精確性和魯棒性。下一步研究的重點(diǎn)在于將CMBCS-MLP方法應(yīng)用到具體的復(fù)數(shù)域信號(hào)處理問(wèn)題中,進(jìn)一步拓展BCS技術(shù)的應(yīng)用范疇。