分塊稀疏信號1-bit壓縮感知重建方法?

豐卉孫彪 馬書根2)

1)(天津大學(xué)電氣自動化與信息工程學(xué)院,天津 300072)

2)(立命館大學(xué)機器人系,滋賀 5258577)

分塊稀疏信號1-bit壓縮感知重建方法?

豐卉1)孫彪1)?馬書根1)2)

1)(天津大學(xué)電氣自動化與信息工程學(xué)院,天津 300072)

2)(立命館大學(xué)機器人系,滋賀 5258577)

1-bit壓縮感知,變分貝葉斯推斷,分塊稀疏

1 引 言

近年來,由于壓縮感知理論[1,2]能夠在遠低于內(nèi)奎斯特采樣數(shù)量的條件下對信號進行精確重建,引起了研究人員的廣泛關(guān)注.目前,壓縮感知已經(jīng)在頻譜感知[3]、超分辨成像[4?6]、圖像處理[7]、神經(jīng)信號采集[8?11]等領(lǐng)域獲得了廣泛應(yīng)用.壓縮感知過程可以表示為

其中x∈RN×1表示原始信號,y∈RM×1表示壓縮采樣值,M?N,Φ∈RM×N表示測量矩陣,n∈RM×1表示測量噪聲.

傳統(tǒng)壓縮感知假設(shè)壓縮采樣值具有無限高的精度,但是在實際應(yīng)用場景中,壓縮采樣值必須經(jīng)過量化才能進行傳輸和保存.常用的量化級有8 bit,12 bit等.隨著量化級的提高,壓縮感知的硬件實現(xiàn)難度也會相應(yīng)增加.1-bit壓縮感知[12,13]是壓縮感知中的特例,只保留壓縮采樣值的符號信息,顯著減少了壓縮采樣數(shù)據(jù)量.1-bit壓縮感知過程表示如下:

1-bit壓縮感知的目的是利用最小數(shù)量的bit數(shù)對信號進行重建,在1-bit壓縮感知中,bit總數(shù)等于量化深度與1-bit壓縮采樣數(shù)量的乘積,由于量化深度為1,即使當采樣數(shù)量M的值比較大時,bit總數(shù)也會相對較低,因此存在M>N.至今為止,研究人員已經(jīng)提出了一系列1-bit壓縮感知重建算法,典型算法有符號匹配追蹤(matching sign pursuit)算法[14],二進制迭代硬閥值(binary iterative hard thresholding,BIHT)算法[15],量化變分消息傳遞(quantized variational message passing,QVMP)[16]等.值得注意的是,這些算法都是針對稀疏信號的重建算法,當信號難以進行稀疏表達時,這些算法則無法對信號進行精確重建.常見的化學(xué)氣體濃度信號[17,18],腦電圖信號[19]、光電容積脈搏波(photoplethysmography,PPG)信號[20]等信號無法使用常見的稀疏基(如離散余弦變換基、離散小波變換基等)進行稀疏表達,從而限制了1-bit壓縮感知方法的應(yīng)用.

本文提出了一種基于分塊稀疏信號模型的1-bit壓縮感知重建方法.該方法利用分塊稀疏的統(tǒng)計特性對信號進行數(shù)學(xué)建模,利用變分期望最大化(variational expectation maximization,VEM)算法進行信號重建.在PPG信號上的重建實驗表明,該算法能夠在較低采樣數(shù)據(jù)量前提下精確重建原始信號.

本文中黑體大寫斜體字母(例如A)表示矩陣,黑體小寫斜體字母(例如x)表示向量,非黑體字母(例如c)表示標量.對于向量x,xi表示向量x的第i個元素,表示?2范數(shù). 對于方陣A1,···,Ag,diag{A1,···,Ag}表示塊對角線為A1,···,Ag的塊對角矩陣.對于隨機變量a,p(a)表示其概率密度函數(shù).N(μ,Σ)表示均值為μ,方差為Σ的高斯分布.

2 基于分塊稀疏信號模型的1-bit壓縮感知重建算法

2.1 分塊稀疏模型

信號的分塊模型可以表示為

其中γi是非零參數(shù),表示控制信號x的分塊稀疏性的參數(shù),當γi=0時,對應(yīng)的分塊內(nèi)的元素為零;Bi∈Rdi×di是正定矩陣,表示分塊內(nèi)部的相關(guān)性結(jié)構(gòu).假設(shè)塊與塊之間不相關(guān),x的先驗分布可以表示為

假設(shè)測量噪聲n服從高斯分布:

其中λ是大于零的標量.

根據(jù)文獻[22],1-bit壓縮采樣值z的似然函數(shù)可以表示為

其中σ(y)?=1/(1+exp(?y))是logistic函數(shù).

2.2 變分貝葉斯推斷

在貝葉斯壓縮感知框架中,通過貝葉斯推斷以及最大后驗估計進行信號重建,但是在1-bit壓縮感知中通過貝葉斯推斷難以得到準確的后驗估計,因此,本文采用變分貝葉斯推斷方法[23]進行信號重建.1-bit壓縮采樣值z的邊緣概率密度函數(shù)表示為

其中

本文中,x,n是需要估計的變量,x是表征原始信號的隨機變量,n是表征測量噪聲的隨機變量,二者相互獨立;θ?={x,n},其中q(θ)表示概率密度函數(shù);KL(q∥p)表示KL散度(Kullback-Leibler divergence),最大化L(q)等價于最小化KL(q∥p),因此通過最大化L(q)近似估計后驗概率p(θ|z)得到q(θ).

我們的目的是通過最大化L(q)尋找p(x|z),p(n|z)的近似估計q(x)以及q(n).其中

根據(jù)(8)式可知,由于p(z|x,n)中存在logistic函數(shù),L(q)中的積分部分難以計算,因此通過最大化L(q)的下界近似得到q(x)以及q(n).通過Jaakkola-Jordan不等式[24]得到

根據(jù)文獻[23],在變分推斷中,q(θ)是變量x,n的聯(lián)合分布函數(shù),x是具有分塊稀疏先驗的隨機變量,n是具有高斯先驗的隨機變量,變量x,n相互獨立,因此有分解形式q(θ)=q(x,n)=q(x)q(n),并且有

進一步通過VEM算法,對未知變量和超參數(shù)進行推斷.在E步中,近似估計后驗分布;在M步中,由于是L(q)的下界,因此通過最大化下界逐步逼近L(q)的最大值.具體步驟如下.

E步:首先更新q(x),根據(jù)(15)和(17)式,q(x)可以近似估計為

其中μn表示后驗分布q(n)的均值.

其次,更新q(n),q(n)可以近似估計為

通過(24)式可知q(n)服從高斯分布,均值μn和方差矩陣Σn可以表示為

M步:通過將q(θ;Θold)代入?L(q,Θ),Θ可以通過以下方式進行估計:

因此,

通過對變量λ求導(dǎo)得到

使導(dǎo)數(shù)為零,可以得到

因此

通過對變量γi以及Bi求導(dǎo)得到

使導(dǎo)數(shù)為零,可以得到

為了進一步提升算法性能,根據(jù)文獻[21],對Bi進行正則化.將分塊xi內(nèi)元素建模為一階自回歸過程,并且具有平滑先驗,即

其中xi,k表示分塊xi中的第k個元素,1 6k6di,r是自相關(guān)系數(shù),r∈(?1,1),并且表征信號的平滑程度,r=m1/m0,m1是Bi的主對角線平均值,m0是Bi的副對角線平均值.假設(shè)p(ωi,k)=N(0,γi),進一步可以得到p(xi,k)=N(0,γi),在該假設(shè)下,對應(yīng)的分塊元素的協(xié)方差?Bi為對稱Toeplitz矩陣,即

因此,用Toeplitz矩陣?Bi正則化Bi不僅使其需要估計的參數(shù)變少,并且Toeplitz矩陣對一階自回歸模型建模時,可以表征信號的平滑程度,當信號具備平滑先驗時,其重建性能就會得到提高.且

因此,

通過對變量δi求導(dǎo)得到

使導(dǎo)數(shù)為零,可以得到

本文算法如表1所列.

表1 本文算法步驟Table 1.The proposed algorithm procedures.

本文的算法在(2)式所示的1-bit壓縮感知模型上進行重建.算法不但可以在時域中進行重建,也可以在變換域中進行重建.當信號在時域中重建時,算法通過z,Φ得到時域重建信號?x;當信號在變換域Ψ中進行重建時,x=Ψs,令?=ΦΨ,算法通過z,?得到變換域中的重建信號?s,通過變換?x=Ψ?s得到時域信號.根據(jù)以上描述可知,本文算法既可以在時域重建信號,也可在變換域重建信號.為了評估算法在時域和變換域重建的性能,在實驗結(jié)果及分析中,分別進行了時域和變換域重建實驗.

3 實驗結(jié)果與分析

為了驗證算法的有效性,采用PPG信號片段作為待壓縮信號.PPG信號可以用于開發(fā)便攜、可穿戴心率傳感設(shè)備.在實際情況中,人體運動狀態(tài)的改變會引入運動偽跡,尤其是劇烈運動時運動偽跡會嚴重干擾PPG信號,難以進行合適的稀疏表達.本文采用手腕處采集得到的PPG信號[25,26],采樣頻率為31.75 Hz,選取PPG信號長度N=128.

本文選擇以下算法作為對比算法.

圖1 (網(wǎng)刊彩色)不同算法的重建效果,M=256 (a)PPG信號片段;(b)PPG信號1-bit壓縮采樣值分布;(c)BIHT重建效果;(d)QVMP重建效果;(e)R1-BCS重建效果;(f)本文算法(時域)重建效果;(g)本文算法(DCT域)重建效果Fig.1.(color online)Reconstruction of different algorithms:(a)PPG signal fragment;(b)distribution of 1-bit compressed samplings;(c)reconstruction of BIHT;(d)reconstruction of QVMP;(e)reconstruction of R1-BCS;(f)reconstruction of the proposed algorithm(time domain);(g)reconstruction of the proposed algorithm(DCT domain).

1)QVMP[16].QVMP是一種變分貝葉斯反量化算法,QVMP不能直接在時域中對信號進行重建,因此本文將QVMP在變換域中進行信號重建:

其中,Ψ是已知的稀疏變換矩陣,s是稀疏系數(shù),QVMP算法首先得到,隨后得到重建信號

2)BIHT[15]. BIHT是一種迭代算法,同QVMP,只能在變換域中進行信號重建.

3)R1-BCS[27].R1-BCS是一種基于高斯-伽馬先驗的變分貝葉斯算法,同上,只能在變換域中進行信號重建.

實驗中,以上算法均選取離散余弦變換(discrete cosine transform,DCT)矩陣作為稀疏變換矩陣.采用重建信噪比(reconstruction signal noise ratio,RSNR)作為信號重建精度的考察指標,RSNR定義為

本文選擇的測量矩陣為高斯隨機矩陣,并且對測量矩陣的每一列進行歸一化.

圖1是本文中提出的1-bit壓縮感知重建方法和其他1-bit壓縮感知重建方法的效果圖,1-bit壓縮采樣值的數(shù)量M=2N.如圖1所示,其中圖1(a)是PPG片段的示意圖;圖1(b)是1-bit壓縮采樣值z=sign(Φx+n)的分布;圖1(c)表示BIHT算法的信號重建效果,從RSNR以及重建信號可以看出,BIHT算法應(yīng)用在PPG信號實驗中,性能相對較差;圖1(d)和圖1(e)分別表示QVMP算法和R1-BCS算法的重建效果,其重建效果明顯優(yōu)于BIHT;圖1(f)和圖1(g)表示本文算法的重建效果,圖1(f)是在時域中的重建效果,圖1(g)是在余弦變換域中的重建效果.實驗結(jié)果表明,本文提出的算法重建效果明顯優(yōu)于其他算法.圖2顯示了不同數(shù)量的1-bit壓縮采樣值對算法重建性能的影響,可以看出,1-bit壓縮采樣值數(shù)量越多,算法的重建性能越好.在圖2中,M=0.5N,N,···,3.5N,4N,隨著M的增加,所有的算法的性能明顯得到提高.本文算法在DCT域中和其他算法相比,重建效果明顯優(yōu)于其他算法.由于本文算法能夠在時域中對信號進行重建,因此,將時域的重建效果與其他算法在DCT域中的重建效果進行比較,實驗結(jié)果證明,在時域中重建信號,本文的算法依舊優(yōu)于其他算法在DCT域中的重建效果.傳統(tǒng)壓縮感知需要尋找合適的稀疏表達,當信號難以找到合適的稀疏表達,傳統(tǒng)壓縮感知方法重建效果不佳,本文的分塊稀疏模型利用元素間的相關(guān)性對信號進行建模,通過變分貝葉斯推斷方法獲得模型參數(shù),重建原始信號,從而避免了稀疏表達的過程,因而對非稀疏信號有更好的重建性能.本文提出的算法在時域中重建,和重建效果較好的R1-BCS算法相比,RSNR提高了1.5 dB,在DCT域中重建,RSNR和R1-BCS算法相比提高了3.9 dB.由于在DCT域中重建信號,正則化后的?Bi更精確地表達分塊內(nèi)部的相關(guān)性,因此在DCT域中重建效果較其在時域中的重建效果更好.實驗結(jié)果證明,本文算法無論在時域還是稀疏域,都可以對信號進行重建,并且當信號難以確定合適的稀疏表達時,本文的算法可以獲得比其他算法更加精確的結(jié)果.

圖2 (網(wǎng)刊彩色)不同數(shù)量的1-bit壓縮采樣值對應(yīng)的RSNR趨勢變化Fig.2.(color online)The RSNR trend of different 1-bit compressed samplings.

圖3是不同壓縮采樣值數(shù)量對應(yīng)的算法執(zhí)行時間.從圖3來看,本文的算法在執(zhí)行時間和其他算法相比有所不足.這是由于本文算法在執(zhí)行過程中存在多步矩陣求逆運算,影響了算法的執(zhí)行效率.隨著1-bit壓縮采樣值數(shù)量的增加,算法在執(zhí)行過程中涉及到的矩陣的維數(shù)相應(yīng)增加,使得矩陣求逆運算需要更多的時間.圖4是當M=2N時,不同算法的收斂速度.如圖4(a)所示,隨著迭代次數(shù)的增加,本文的算法在迭代次數(shù)為40時,算法已經(jīng)達到收斂,而其他算法明顯還需要更多的迭代次數(shù),尤其是BIHT和QVMP算法,如圖4(b)所示,這兩種算法達到收斂所需要的迭代次數(shù)遠高于其他算法.

圖3 (網(wǎng)刊彩色)不同數(shù)量的1-bit壓縮采樣值對應(yīng)算法執(zhí)行時間變化Fig.3.(color online)The execution time of different 1-bit compressed samplings.

圖4 (網(wǎng)刊彩色)(a)M=256,不同算法的收斂速度;(b)M=256,BIHT,QVMP算法的收斂速度Fig.4.(color online)(a)M=256,the convergence rate of different algorithms;(b)M=256,the convergence rate of BIHT and QVMP.

4 討 論

傳統(tǒng)的1-bit壓縮感知信號重建方法主要目標集中在重建稀疏信號,當信號難以找到合適的稀疏表達時,傳統(tǒng)的1-bit壓縮感知信號重建方法效果不佳,而在實際應(yīng)用中,存在很多信號難以找到合適的稀疏表達,傳統(tǒng)的1-bit壓縮感知方法無法得到應(yīng)用,本文的算法基于分塊稀疏模型,利用分塊內(nèi)部元素之間的相關(guān)性,對分塊稀疏模型進行高斯建模,對分塊稀疏模型的概率建模避免了尋找稀疏表達過程.通過變分貝葉斯推斷得到重建信號的近似后驗概率分布,并且用VEM算法對超參數(shù)進行了估計.通過實驗驗證,算法存在一定的優(yōu)勢.

5 結(jié) 論

本文提出了一種針對分塊稀疏信號的1-bit壓縮感知重建算法,該算法利用分塊稀疏的統(tǒng)計特性對信號進行數(shù)學(xué)建模,之后采用變分貝葉斯方法進行信號重建.該算法和其他傳統(tǒng)1-bit壓縮感知重建算法相比,重建性能具有明顯的優(yōu)越性.

[1]Donoho D L 2006IEEE Trans.Inf.Theory52 1289

[2]Candes E J,Romberg J,Tao T 2006IEEE Trans.Inf.Theory52 489

[3]Zhang J C,Fu N,Qiao L Y,Peng X Y 2014Acta Phys.Sin.63 030701(in Chinese)[張京超,付寧,喬立巖,彭喜元2014物理學(xué)報63 030701]

[4]Li L Z,Yao X R,Liu X F,Yu W K,Zhai G J 2014Acta Phys.Sin.63 224201(in Chinese)[李龍珍,姚旭日,劉雪峰,俞文凱,翟光杰2014物理學(xué)報63 224201]

[5]Li S D,Chen W F,Yang J,Ma X Y 2016Acta Phys.Sin.65 038401(in Chinese)[李少東,陳文峰,楊軍,馬曉巖2016物理學(xué)報65 038401]

[6]Li S D,Chen Y B,Liu R H,Ma X Y 2017Acta Phys.Sin.66 038401(in Chinese)[李少東,陳永彬,劉潤華,馬曉巖2017物理學(xué)報66 038401]

[7]Ning F L,He B J,Wei J 2013Acta Phys.Sin.62 174212(in Chinese)[寧方立,何碧靜,韋娟 2013物理學(xué)報 62 174212]

[8]Sun B,Zhao W F,Zhu X S 2017J.Neural Eng.14 036018

[9]Sun B,Feng H,Chen K F,Zhu X S 2016IEEE Access4 5169

[10]Sun B,Feng H 2017IEEE Signal Process.Lett.24 863

[11]Sun B,Ni Y M 2017IEEE Commun.Lett.21 1775

[12]Boufounos P T,Baraniuk R G 2008Proceedings of the 42nd Annual Conference Information Sciences and SystemsPrinceton,USA,March 19–21,2008 p16

[13]Sun B,Jiang J J 2011Acta Phys.Sin.60 110701(in Chinese)[孫彪,江建軍 2011物理學(xué)報 60 110701]

[14]Boufounos P T 2009Proceedings of the 43rd Asilomar Conference Signals,Systems and ComputersPaci fic Grove,USA,November 1–4,2009 p1305

[15]Jacques L,Laska J N,Boufounos P T,Baraniuk R G 2013IEEE Trans.Inf.Theory59 2082

[16]Yang Z,Xie L,Zhang C 2013IEEE Trans.Signal Process.61 2815

[17]Meng Q H,Li F 2006Robot28 89(in Chinese)[孟慶浩,李飛2006機器人28 89]

[18]Cao M L,Meng Q H,Zeng M,Sun B,Li W,Ding C J 2014Sensors14 11444

[19]Zhang Z,Jung T P,Makeig S,Rao B 2013IEEE Trans.Biomed.Eng.60 221

[20]Zhang Z L 2014Proceedings of IEEE Global Conference on Signal and Information ProcessingAtlanta,USA,December 3–5,2014 p698

[21]Zhang Z L,Rao B 2013IEEE Trans.Signal Process.61 2009

[22]Tipping M 2001J.Mach.Learn.Res.1 211

[23]Tzikas D G,Likas A C,Galatsanos N P 2008IEEE Signal Process.Mag.25 131

[24]Bishop C M,Tipping M E 2000Proceedings of the 16th Conference Uncertainty in Artificial IntelligenceSan Francisco,USA,June 30–July 3,2000 p46

[25]Sun B,Feng H,Zhang Z L 2016Proceedings of the 41st IEEE International Conference on Acoustics,Speech,and Signal ProcessingShanghai,China,March 20–25,2016 p809

[26]Sun B,Zhang Z L 2015IEEE Sens.J.15 7161

[27]Li F,Fang J,Li H,Huang L 2015IEEE Signal Process.Lett.22 857

One-bit compressed sensing reconstruction for block sparse signals?

Feng Hui1)Sun Biao1)?Ma Shu-Gen1)2)

1)(School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China)

2)(Department of Robotics,Ritsumeikan University,Shiga-ken 5258577,Japan)

14 March 2017;revised manuscript

15 May 2017)

Data compression is crucial for resource-constrained signal acquisition and wireless transmission applications with limited data bandwidth.In such applications,wireless data transmission dominates the energy consumption,and the limited telemetry bandwidth could be overwhelmed by the large amount of data generated from multiple sensors.Conventional data compression techniques are computationally intensive,consume large silicon area and o ff set the energy bene fits from reduced data transmission.Recently,compressed sensing(CS)has shown potential in achieving compression performance comparable to previous methods but it has simpler hardware.Especially,one-bit CS theory proves that the signs of compressed measurements contain sufficient information about signal reconstruction,gives that the signals are sparse or compressible in specific dictionaries,thus demonstrating its potential in energy-constrained signal recording and wireless transmission applications.However,the sparsity assumption is too restrictive in many actual scenarios,especially when it is difficult to seek sparse representation for signals.In this paper,a novel one-bit CS method is proposed to reconstruct the signals that are difficult to represent with traditional sparse models.It is capable of recovering signal with comparable compression ratio but avoiding the dictionary selection procedure.

The proposed method consists of two parts.1)The block sparse model is adopted to enforce the structured sparsity of the signals.It not only overcomes the drawbacks of conventional sparse models but also enhances the signal representation accuracy.2)The probabilistic model of one-bit CS procedure is constructed.Because of the existence of logistic function in probabilistic model of one-bit CS,the Bayesian inference cannot be used to proceed,and the variational Bayesian inference algorithm is developed to reconstruct the original signals from one-bit measurements.

Various experiments on different quantities of compressed measurements and iterations are carried out to evaluate the recovery performance of the proposed approach.The photoplethysmography(PPG)signals recorded from subject wrist(dorsal locations)by using PPG sensors built in a wristband are selected as the validation data because they are difficult to represent with traditional sparse dictionaries.The experimental results reveal that the proposed approach outperforms the state-of-the-art one-bit CS method in terms of both reconstruction accuracy and convergence rate.

Compared with prior method on one-bit CS,the proposed method shows competitive or superior performance in three aspects.Firstly,by adopting the block sparse model,the proposed method improves the capability to compress signals that are difficult to represent with traditional sparse models,thus making it more practical for long term and real applications.Secondly,by embedding the statistical properties of the one-bit measurements into the recovery algorithm,the proposed method outperforms other one-bit CS methods in terms of both reconstruction performance and convergence speed.Finally,energy and computational efficiency of the proposed method make it an ideal candidate for resource-constrained,large scale,multiple channel signal acquisition and transmission applications.

one-bit compressed sensing,variational Bayesian inference,block sparse

PACS:02.30.Zz,02.50.–r,87.16.dt,84.40.UaDOI:10.7498/aps.66.180202

*Project supported by the National Natural Science Foundation of China(Grant Nos.61401303,51578189).

?Corresponding author.E-mail:sunbiao@tju.edu.cn

(2017年3月14日收到;2017年5月15日收到修改稿)

1-bit壓縮感知理論指出:對稀疏信號進行少量線性投影并對投影信號進行1-bit量化,該1-bit信號包含足夠的信息,從而能對原始信號進行高精度重建.然而,當信號難以進行稀疏表達時,傳統(tǒng)1-bit壓縮感知算法無法精確重建原始信號.前期研究表明,分塊稀疏模型作為一種特殊的結(jié)構(gòu)型稀疏模型,對于難以用傳統(tǒng)稀疏模型進行表達的信號具有較好的表達作用.本文提出了一種針對分塊稀疏信號的1-bit壓縮感知重建方法,該方法利用分塊稀疏的統(tǒng)計特性對信號進行數(shù)學(xué)建模,通過變分貝葉斯推斷方法進行信號重建并在光電容積脈搏波(photoplethysmography)信號上進行了實驗驗證.實驗結(jié)果表明,與現(xiàn)有1-bit壓縮感知重建方法相比,本文方法重建精度更高,且收斂速度更快.

10.7498/aps.66.180202

?國家自然科學(xué)基金(批準號:61401303,51578189)資助的課題.

?通信作者.E-mail:sunbiao@tju.edu.cn