基于生成模型的塊稀疏偏差建模①

斯那雨追，余鵬彬，王建軍

西南大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院， 重慶 400715

傳統(tǒng)的信號(hào)采樣方式是基于Nyquist采樣框架實(shí)現(xiàn)的， 根據(jù)香農(nóng)采樣定理， 若要從采樣的離散信號(hào)中無失真地恢復(fù)模擬信號(hào)， 則要求采樣速率必須達(dá)到信號(hào)帶寬的兩倍以上[1-2]. 然而， 在現(xiàn)實(shí)世界中， 信號(hào)采集的成本很高. 為了解決這一問題， 文獻(xiàn)[3]提出了壓縮感知理論， 其核心思想是將壓縮與采樣相結(jié)合， 突破了香農(nóng)采樣定理的瓶頸， 使得高分辨率信號(hào)的采集成為可能. 從數(shù)學(xué)角度出發(fā)， 壓縮感知的核心思想為一個(gè)線性測量過程. 選取測量矩陣A∈Rm×n(m?n)， 可以得到信號(hào)x的測量信號(hào)y. 數(shù)學(xué)表達(dá)式如下：

y=Ax+ε

(1)

為了使得欠定方程有唯一解， 即便是在無噪聲的情況下， 通常需要對(duì)未知向量x進(jìn)行一些結(jié)構(gòu)性假設(shè)， 最常見的結(jié)構(gòu)性假設(shè)是x是稀疏的. 如果信號(hào)在某一個(gè)正交空間具有稀疏性， 就能以較低的頻率采樣該信號(hào)， 并可能以高概率精確重建該信號(hào). 經(jīng)典的變換方法包括離散余弦變換(DCT)[8]、傅里葉變換(FFT)[9]、離散小波變換(DWT)[10]等. 在上述環(huán)境中， 如果矩陣A滿足某些條件， 如限制等距性質(zhì)(RIP)[11]或限制特征值條件(REC)[12]， 則可以保證x從y中有效恢復(fù).

s.t.A(G(z)+ω)=y

(2)

在本文中， 我們研究了基于生成模型的壓縮感知塊稀疏偏差模型. 在該方法中， 我們使用2.1范數(shù)來約束偏差向量， 其中G： RkRn是生成函數(shù)，ω∈Rn，A∈Rm×n是測量矩陣，y∈Rm是觀測向量. 本文關(guān)心的模型是

s.t.A(G(z)+ω)=y

(3)

(4)

其中λ是拉格朗日常數(shù). 我們給出了理論結(jié)果和仿真， 在理論上， 本文首先提出了針對(duì)塊稀疏信號(hào)的塊約束等距性質(zhì)(B-RIP)和塊有限等距性質(zhì)(B-S-REC)， 如果測量矩陣具有這兩個(gè)性質(zhì)， 則最優(yōu)解碼的重構(gòu)誤差存在上界. 最后推導(dǎo)出在生成函數(shù)條件下以高概率成功恢復(fù)所需的測量次數(shù). 在實(shí)驗(yàn)方面， 為了進(jìn)一步驗(yàn)證本文提出的Block Sparse-Gen的有效性和優(yōu)越性， 使用兩個(gè)數(shù)據(jù)集(MNIST和CelebA)和兩個(gè)生成模型(VAE和DCGAN)進(jìn)行了一系列實(shí)驗(yàn). 在測量次數(shù)相對(duì)較少的情況下， 該方法的重建誤差遠(yuǎn)小于基于LASSO的恢復(fù)、基于生成模型的恢復(fù)和稀疏生成.

1 相關(guān)定義

定義1BS(0)={x： ‖x-0‖2.0≤l}， 其中

定義2(Block-RIP)對(duì)于參數(shù)α∈(0， 1) 和一個(gè)給定的分塊τ={τ1，τ2， …，τN}， 如果對(duì)于所有的x∈BS(0)滿足下面的不等式， 則我們說矩陣A∈Rm×n滿足B-RIP(，α)，

(5)

定義3(Block-REC)對(duì)于參數(shù)γ>0和一個(gè)給定的分塊τ={τ1，τ2， …，τN}， 如果對(duì)于所有的x∈BS(0)滿足下面的不等式， 則我們說矩陣A∈Rm×n滿足B-REC(，γ)，

‖Ax‖2≥γ‖x‖2

(6)

定義4(Block-S-REC)令S?Rn， 對(duì)于參數(shù)γ>0，δ≥0和一個(gè)給定的分塊τ={τ1，τ2， …，τN}， 如果對(duì)于所有的x1，x2∈S滿足下面的不等式， 則我們說矩陣A∈Rm×n滿足B-S-REC(S，γ，δ)，

‖A(x1-x2)‖2≥γ‖x1-x2‖2-δ

(7)

2 主要結(jié)論及證明

(8)

為了證明引理1， 首先定義如下記號(hào). 考慮到要在我們的分析中考慮測量噪聲， 我們將矩陣A的ε型管集定義為

TA(ε)={ω： ‖Aω‖2≤ε}

(9)

(10)

記

(11)

為了證明引理1， 我們先陳述并證明下面的引理2和引理3.

(12)

對(duì)于某些給定的常數(shù)C0，τ，t≥0. 這樣的解碼器存在的充分條件由下式給出

(13)

(14)

(15)

這意味著

x-Δ(Ax+ε)∈TA(2εmax)

結(jié)合混合范數(shù)空間屬性， 我們有

(16)

(17)

(18)

可以將η寫為η=ηT+ηT2+…+ηTs. 再根據(jù)η∈TA(ε)， 將AηT表達(dá)為AηT=-A(ηT2+…+ηTs)+γ， 其中‖γ‖2≤ε. 因此，

(19)

根據(jù)(18)，(19)兩個(gè)不等式可以得到

(20)

在兩邊加上‖η′Tc‖2并根據(jù)三角不等式可以得到

(21)

(22)

結(jié)合(21)式可得

(23)

引理1的證明結(jié)合引理2和引理3， 令a=2，b=1， 我們可以直接推導(dǎo)出引理1.

(24)

為了證明引理4， 我們先闡述下面的引理5和引理6.

(25)

則A至少以1-e-Ω(δ2m)的概率滿足B-RIP(l，δ) .

(26)

則A至少以1-e-Ω(δ2m)的概率滿足B-S-REC(G(Bk(r))，1-δ，τ) .

(27)

‖G(z1)-G(z′1)‖2≤τ

‖G(z2)-G(z′2)‖2≤τ

(28)

再次由三角不等式， 可以得到

(29)

由文獻(xiàn)[13]引理8.3， 我們有以概率1-e-Ω(m)滿足

‖AG(z′1)-AG(z1)‖2=O(τ)

‖AG(z2)-AG(z′2)‖2=O(τ)

將這一事實(shí)應(yīng)用于(29)式， 則可以得到

‖AG(z′1)-AG(z′2)+Aυ‖2≤‖AG(z1)-AG(z2)+Aυ‖2+O(τ)

(30)

(1-δ)‖G(z′1)-G(z′2)+υ‖2≤‖AG(z′1)-AG(z′2)+Aυ‖2

(31)

(32)

(33)

以下不等式

(1-δ)‖G(z1)-G(z2)+υ‖2≤‖A(G(z1)-G(z2)+υ)‖2+O(τ)

(34)

至少以1-e-Ω(δ2m)的概率成立. 引理4得證.

結(jié)合引理1和引理4， 我們可以得到如下所述定理1的結(jié)果.

(35)

假設(shè)Δ是滿足引理1的解碼器， 則我們至少以1-e-Ω(δ2m)的概率有

(36)

對(duì)于任意的x∈Rn， ‖ε‖2≤εmax， 其中C0，C1，γ，τ′的定義參見引理1.

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

MNIST數(shù)據(jù)集中每個(gè)圖像的大小為28×28像素， 并且每個(gè)像素值為0或者1. 對(duì)于這個(gè)數(shù)據(jù)集， 我們根據(jù)Block Sparse-Gen 來訓(xùn)練VAE， 以恢復(fù)原始圖像. 由于圖像包含單個(gè)通道， 因此輸入尺寸為28×28=784， 學(xué)習(xí)率為0.1，λ=0.1. 在CelebA數(shù)據(jù)集中， 將人臉圖像裁剪為64×64像素大小， 使每個(gè)圖像輸入的尺寸為64×64×3=12 288， 并將每個(gè)像素值縮放為[-1， 1]. 對(duì)于這個(gè)數(shù)據(jù)集， 考慮根據(jù)Block Sparse-Gen模型訓(xùn)練一個(gè)DCGAN來恢復(fù)原始圖像， 同時(shí)會(huì)將結(jié)果與其他模型和算法進(jìn)行比較. 對(duì)于Block Sparse-VAE， 使用LASSO作為基準(zhǔn)， 并將其與基于生成模型的算法(VAE)和添加了稀疏偏差的生成模型(Sparse-VAE)進(jìn)行比較. 對(duì)于Block Sparse-DCGAN， 我們將結(jié)果與LASSO的結(jié)果進(jìn)行了比較， LASSO的結(jié)果包含兩個(gè)變換域： 二維離散余弦變換和小波變換. 類似地， 還將結(jié)果與基于生成模型的算法(DCGAN)和添加了稀疏偏差的生成模型(Sparse-DCGAN)進(jìn)行比較.

3.2 重建結(jié)果

為了探索每種算法的重建效果， 對(duì)于MNIST數(shù)據(jù)集， 我們在圖1展示重建的均方誤差結(jié)果. 可以看出， 與理論結(jié)果類似， 隨著采樣數(shù)的增加， 均方誤差明顯減少， 并且Block Sparse-VAE模型相比其他的模型能夠更可靠地重構(gòu)未知樣本. 類似地， 我們給出了CelebA數(shù)據(jù)集的恢復(fù)結(jié)果， 如圖2所示. 與MNIST數(shù)據(jù)集類似， 本文算法明顯優(yōu)于LASSO等模型. 尤其是當(dāng)測量次數(shù)較少時(shí)， 具有獨(dú)到的優(yōu)勢. 圖3和圖4展示了MNIST數(shù)據(jù)集在測量次數(shù)為80時(shí)的恢復(fù)效果以及CelebA數(shù)據(jù)集在測量次數(shù)為1 000時(shí)的恢復(fù)效果. 我們發(fā)現(xiàn)除LASSO外， 其他方法恢復(fù)效果明顯較好. 這足以說明一個(gè)與理論一致的結(jié)果， 即在測量次數(shù)較少的情況下， 基于生成模型的恢復(fù)方法的強(qiáng)先驗(yàn)完全優(yōu)于基于LASSO的稀疏向量恢復(fù)方法. 另外可以發(fā)現(xiàn)我們提出模型的恢復(fù)效果優(yōu)于其他的模型， 顯示了所提分塊方法的有效性和優(yōu)越性.

圖1 MNIST

圖2 CelebA

圖3 MNIST數(shù)據(jù)集恢復(fù)效果(m=80)

圖4 CelebA數(shù)據(jù)集恢復(fù)效果(m=1 000)

4 結(jié)論

本文對(duì)基于生成模型的稀疏偏差建模進(jìn)行了推廣， 提出了Block-Sparse Gen模型. 針對(duì)此模型， 我們提出了Block-S-REC條件， 結(jié)合Block-RIP條件推導(dǎo)了在生成函數(shù)的稀疏偏差范圍內(nèi)最優(yōu)解碼器的誤差上界， 并給出了原始信號(hào)高概率有效恢復(fù)的測量值次數(shù)

此結(jié)果在d=1時(shí)退化為稀疏生成(Sparse-Gen)的情況. 在數(shù)值實(shí)驗(yàn)中， 我們提出的模型減少了成功恢復(fù)的測量值條件， 提高了恢復(fù)效果.