圖像顯著性啟發(fā)的傅里葉頻域變密度壓縮采樣

黃 海 肖 亮 印 佳 王光亮

圖像顯著性啟發(fā)的傅里葉頻域變密度壓縮采樣

黃 海 肖 亮 印 佳 王光亮

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 江蘇 南京 210094)

考慮到在傳統(tǒng)的傅里葉頻域中星形采樣方法的采樣區(qū)域針對(duì)性不強(qiáng)、重建效果不佳等缺點(diǎn)，提出一種基于傅里葉頻域中圖像顯著性信息的變密度壓縮采樣方法。在傳統(tǒng)星形采樣的基礎(chǔ)上，通過變化密度，在傅里葉頻域中顯著性區(qū)域相對(duì)密集采樣，同時(shí)在非顯著性區(qū)域相對(duì)稀疏采樣，以達(dá)到更好地恢復(fù)圖像顯著特征信息的目的。實(shí)驗(yàn)結(jié)果表明，基于相同的信號(hào)重構(gòu)算法，在采樣率相同的條件下，該方法重建圖像的結(jié)構(gòu)相似度(SSIM)、峰值信噪比(PSNR)，以及相對(duì)誤差(ReErr)均優(yōu)于傳統(tǒng)的星形采樣方法。

顯著性信息 變密度 傅里葉頻域 壓縮采樣

0 引 言

傳統(tǒng)的信號(hào)獲取和處理過程主要包括采樣、壓縮、傳輸和解壓縮四個(gè)部分。其中采樣過程必須遵循奈奎斯特采樣定律，而這種采樣方式數(shù)據(jù)量大，且先采樣后壓縮的過程會(huì)浪費(fèi)大量的傳感元、存儲(chǔ)空間和時(shí)間。為了解決這種缺點(diǎn)，Donoho、Candes等人在2006年提出一種新的信號(hào)處理理論——壓縮感知(CS)理論[1,2]，該理論基于信號(hào)的稀疏表示，將數(shù)據(jù)采集和數(shù)據(jù)壓縮合二為一，突破了奈奎斯特采樣定律的限制，有效緩解了信號(hào)采集的壓力。

目前，基于傅里葉頻域的采樣方法主要有星形、雙星形和環(huán)星形采樣，其中星型采樣方法在壓縮感知采樣階段被廣泛應(yīng)用[3,4]。該方法利用傅里葉頻域中圖像頻譜能量集中分布的特點(diǎn)，采用等角度間距的星型采樣模式。然而，該星形均勻采樣模式僅僅考慮了圖像頻譜能量分布特性，沒有考慮到圖像本身所包含的特征信息。針對(duì)這種缺點(diǎn)，文獻(xiàn)[5,6]已經(jīng)分別提出了兩種不同的針對(duì)圖像顯著性信息進(jìn)行壓縮采樣的方法。另外，文獻(xiàn)[7]中已經(jīng)討論并得出了基于傅里葉頻域中雙星形采樣模式的重構(gòu)圖像效果優(yōu)于星形采樣模式的結(jié)論。

為了更加有效地突出圖像本身包含的重要顯著特征信息，彌補(bǔ)傳統(tǒng)星形采樣方法的針對(duì)性不足，根據(jù)文獻(xiàn)[7]中得出的結(jié)論，本文提出一種新的基于傅里葉頻域中圖像顯著性信息的變密度壓縮采樣VDCS(Variable Density Compressive Sampling)方法。利用已有的圖像顯著性算法，在原始圖像信號(hào)顯著圖的傅里葉頻域中，根據(jù)頻譜圖亮度的變化，即梯度模的大小變化，區(qū)分顯著性與非顯著性區(qū)域。根據(jù)劃分的有效區(qū)域，對(duì)顯著性區(qū)域和非顯著性區(qū)域分別進(jìn)行針對(duì)性信號(hào)采樣，即在顯著性區(qū)域相對(duì)密集采樣，非顯著性區(qū)域相對(duì)稀疏采樣。通過一系列對(duì)比實(shí)驗(yàn)，表明了該方法的合理性及有效性。

1 壓縮感知理論

壓縮感知理論就是在已知測量值y和測量矩陣Φ∈CM×N(M

y=Φx

(1)

從而得到原始信號(hào)x。而對(duì)于任意離散信號(hào)x∈RN，在一般情況下，信號(hào)本身含有重要特征信息的數(shù)量是遠(yuǎn)遠(yuǎn)小于信號(hào)本身信息的數(shù)量，且含有大量重復(fù)性信息，這就意味著這些信號(hào)是可以壓縮的，或是在某種稀疏基上是可以進(jìn)行稀疏表示的。因此我們?cè)O(shè)x在正交基 Ψ=[ψ1,ψ2,…,ψN]∈CN×N下可線性表示為：

x=Ψu

(2)

那么就存在唯一u，使得滿足式(2)，其中Ψ為稀疏基矩陣，u為線性表示系數(shù)，u=ΨTx為x的Ψ域表示。若‖u‖0=K?N，我們稱原始信號(hào)x在Ψ域中具有K稀疏性。

將式(2)代入式(1)中后，則可以得到：

y=ΦΨu=Au

(3)

式中A=ΦΨ∈CM×N稱為傳感矩陣。對(duì)于壓縮感知問題，我們需要在編碼端設(shè)計(jì)一個(gè)很好的傳感矩陣A，以確保測量值y能夠包含信號(hào)x中足夠多的有效信息。然后在解碼端通過一個(gè)有效的重構(gòu)算法，求解出系數(shù)向量u，進(jìn)而得到重構(gòu)信號(hào)x。

為保證重構(gòu)出可靠的原始信號(hào)，Candes等人指出[8]，矩陣Φ必須滿足約束等距性(RIP)條件，但是為滿足約束等距性，直接構(gòu)造一個(gè)矩陣Φ是不容易的。在文獻(xiàn)[9]中提到了隨機(jī)獨(dú)立同分布的高斯矩陣在很大的概率上是滿足RIP條件的。

由于式(3)是欠定的，所以在求解u時(shí)會(huì)得到無數(shù)個(gè)解。因此，由測量值y來計(jì)算系數(shù)向量u，可轉(zhuǎn)化為如下有約束的l0范數(shù)最小化問題，即：

minu‖u‖0s.tAu=y

(4)

然而最小l0范數(shù)是一個(gè)NP難問題，通常是將該問題進(jìn)行凸化，將l0范數(shù)轉(zhuǎn)化為l1范數(shù)問題，即基追蹤問題[10]:

minu‖u‖1s.tAu=y

(5)

目前很多重構(gòu)算法都能對(duì)于式(5)進(jìn)行有效地求解，且能達(dá)到一個(gè)比較好的重建效果，如性能較好的正交匹配追蹤算法(OMP)[11]、RecPF[3]等。

2 圖像顯著性傅里葉頻域中壓縮采樣

2.1 圖像視覺的顯著性

從信息理論的角度出發(fā)，可以將圖像信息H(Image)分為兩個(gè)部分：

H(Image)=H(Innovation)+H(Prior_Knowledge)

其中H(Innovation)表示信息變化的部分，H(Prior_Knowledge)表示應(yīng)該抑制的冗余信息部分。一幅圖像中包含的大部分重要信息即為圖像顯著變化的部分，并且根據(jù)人類視覺對(duì)圖像中特征變化明顯的部分更為敏感的這一特性，圖像信號(hào)中顯著變化的區(qū)域更顯出其重要性。

目前圖像顯著性檢測的方法有很多，其中應(yīng)用較為廣泛的有Itti[12，13]模型等。文獻(xiàn)[12]中提出了一種實(shí)現(xiàn)模擬人類視覺注意機(jī)制的方法，利用圖像像素點(diǎn)在亮度、方向、顏色等多尺度圖像特征與其周邊背景之間的對(duì)比，組合為一個(gè)點(diǎn)的顯著值，得到的單一視覺顯著圖，即由所有像素點(diǎn)的顯著值構(gòu)成。

但是Itti模型是一種基于空域的圖像顯著性檢測模型，相對(duì)于頻域方法，運(yùn)算速度相對(duì)比較慢。2007年Hou等人[14]提出了一種基于頻域的方法，即譜殘差SR(Spectral Residual)方法。該方法利用圖像振幅譜的自然對(duì)數(shù)減去振幅譜的自然對(duì)數(shù)平均值，得到圖像的顯著性部分。SR模型具有運(yùn)算式簡潔、復(fù)雜度低等優(yōu)點(diǎn)，能夠快速計(jì)算出顯著區(qū)域。因此本文采用SR方法生成圖像的顯著圖。

給定一幅圖像I(x)：

Am(f)=R(F[I(x)])

(6)

P(f)=J(F[I(x)])

(7)

L(f)=log(Am(f))

(8)

R(f)=L(f)-hn(f)×L(f)

(9)

其中F表示傅里葉變換，Am(f)表示圖像振幅譜，P(f)對(duì)應(yīng)為圖像相位譜，hn是一個(gè)n×n均值濾波的卷積核，R(f)為殘差譜。

基于上述分析，本文使用SR方法生成圖像的顯著圖。這里我們以CameraMan圖像為例，如圖1(a)所示。其采用SR方法得到的顯著圖如圖1(b)所示。

圖1 SR方法生成的顯著圖

2.2 傅里葉頻域中顯著性區(qū)域變密度壓縮采樣

文獻(xiàn)[3]中提出的RecPF算法是一種比較經(jīng)典的重構(gòu)算法。其采樣過程是在傅里葉頻域中，采用星型即從中心點(diǎn)向四周均勻發(fā)散一定數(shù)量的徑向射線方法，如圖2所示。由此構(gòu)成測量矩陣ΦT:

(10)

其中：

T表示徑向射線的個(gè)數(shù)，u，v為矩陣Φ的橫縱坐標(biāo)值，lθi表示過中心點(diǎn)的水平射線逆時(shí)針旋轉(zhuǎn)θi角度得到的射線。這種采樣方法在頻域的中心點(diǎn)區(qū)域采樣密度相對(duì)于周邊較大，但此方法僅考慮原始圖像傅里葉頻域中心點(diǎn)區(qū)域，忽略了圖像頻域信號(hào)中其他重要區(qū)域。

圖2 傳統(tǒng)傅里葉域中采樣

由式(9)得到的殘差譜R(f)以及式(7)所得的相位譜P(f)，我們可以得到圖像顯著圖傅里葉變換后的振幅譜：

O(u,v)=R(F(G)× [exp(R(f)+P(f))]2)

(11)其中G為2維高斯低通濾波器。為了便于觀察，我們對(duì)振幅譜O(u,v)使用對(duì)數(shù)變換進(jìn)行視覺增強(qiáng)。圖3為CameraMan圖像顯著圖傅里葉變換視覺增強(qiáng)后的頻譜圖。其中高亮部分為高頻區(qū)域，即梯度幅值較大的點(diǎn)，反映出顯著圖中某一點(diǎn)與鄰域點(diǎn)的差異比較大。這部分區(qū)域保存了原圖像中大量顯著變化的信息，即視覺敏感部分。為了更好地重建圖像，增加對(duì)該頻譜圖中高亮部分的采樣點(diǎn)的個(gè)數(shù)是有一定必要性的，因此對(duì)于此部分區(qū)域采樣率的設(shè)置應(yīng)相對(duì)高于其他區(qū)域。

圖3 使用對(duì)數(shù)變換進(jìn)行視覺增強(qiáng)后的顯著圖頻譜

TaoWan等人在文獻(xiàn)[7]中討論了基于傅里葉變換域內(nèi)三種采樣方法：星形、雙星形和環(huán)星形采樣，并得出雙星形采樣方法重建圖像效果最佳的結(jié)論?；诖耍覀?cè)诟道锶~頻域中提出一種變密度采樣方法。選取采樣點(diǎn)滿足不等式:

(12)

其中M為掩碼矩陣，

圖4 傅里葉域中變密度采樣

因此，對(duì)于這種疊加方式的選取，我們?cè)O(shè)定一種圖像顯著性信息變密度壓縮采樣(VDCS)的算法,流程如圖5所示。

圖5 圖像顯著性傅里葉頻域中變密度采樣流程圖

具體算法步驟如下：

1) 以原始圖像信號(hào)生成顯著圖的頻譜圖像為基礎(chǔ)，即圖3，計(jì)算該頻譜圖中平均幅度值:

(13)

其中Aij為大小M×N的頻譜圖像中第i行j列的值，并設(shè)置圖像頻譜幅度閾值T=t·Aavg，其中t為變動(dòng)系數(shù)。

2) 判斷頻譜圖像中幅度值是否大于閾值T，并構(gòu)成掩碼矩陣M，其中大于閾值T的點(diǎn)設(shè)置為1，否則為0。

3) 設(shè)置式(11)中徑向射線的個(gè)數(shù)T。

4) 為保證采樣率一致，計(jì)算變密度ρ∈(0,1)，使之滿足式(12)。

上述算法中1)設(shè)定閾值的變動(dòng)系數(shù)t可根據(jù)實(shí)際情況進(jìn)行合理設(shè)置。為了能夠得到4)中合適的變密度ρ，我們選定ρ∈(0,1)，使得保證在顯著性區(qū)域能夠選取足夠多的點(diǎn)，并使變密度ρ以步長0.01遞增或遞減，直至滿足式(12)。

3 實(shí)驗(yàn)結(jié)果及分析

為了更好地驗(yàn)證本文變密度壓縮采樣方法的合理性與有效性，本文設(shè)計(jì)兩組對(duì)比實(shí)驗(yàn)。第一組實(shí)驗(yàn)為分別使用傳統(tǒng)星形采樣和本文所提出的變密度采樣方法進(jìn)行信號(hào)采樣，然后均使用RecPF算法進(jìn)行圖像壓縮感知重建，并比較重構(gòu)后圖像質(zhì)量；第二組實(shí)驗(yàn)在保證采樣率相同的前提下，調(diào)整圖像頻譜幅度閾值中的變動(dòng)系數(shù)t，觀察重構(gòu)圖像的質(zhì)量變化。實(shí)驗(yàn)編程軟件采用Matlab 2010b，計(jì)算機(jī)為Intel(R) Xeon(R) CPU 2.79 GHz，內(nèi)存4 GB。

本文選擇Cameraman、Lena、Barbara和Mandrill四幅大小為256×256像素的標(biāo)準(zhǔn)灰度圖進(jìn)行對(duì)比實(shí)驗(yàn)，并以相對(duì)誤差(ReErr)、峰值信噪比(PSNR)及結(jié)構(gòu)相似度(SSIM)作為評(píng)價(jià)標(biāo)準(zhǔn),比較重構(gòu)圖像的質(zhì)量。其中ReErr、PSNR定義為：

(14)

(15)

表1顯示了在徑向射線個(gè)數(shù)T為49，采樣率低于20%的前提下，使用傳統(tǒng)星形采樣與本文變密度采樣重構(gòu)圖像信號(hào)質(zhì)量的對(duì)比。

表1 實(shí)驗(yàn)數(shù)據(jù)對(duì)比

由表中數(shù)據(jù)可以看出變密度頻域采樣在PSNR、ReErr、SSIM等三個(gè)方面都優(yōu)于傳統(tǒng)星形采樣，上述實(shí)驗(yàn)結(jié)果證實(shí)了變密度采樣的有效性及優(yōu)越性。

為了進(jìn)一步體現(xiàn)出顯著圖頻譜中顯著性區(qū)域的采樣數(shù)對(duì)重構(gòu)圖像質(zhì)量的影響，針對(duì)本文所提出的方法，在滿足低于特定采樣率的前提下，調(diào)整圖像頻譜幅度閾值中的變動(dòng)系數(shù)t。以圖像CameraMan、Lena為測試圖像，為了更加方便與傳統(tǒng)星形采樣模型作對(duì)比，用星形模型分別取CameraMan、Lena、Boat測試圖像的采樣點(diǎn)個(gè)數(shù)為13258、11217、13501。重構(gòu)后圖像PSNR分別為29.45、32.77、31.21，SSIM分別為0.8723、0.9017、0.8659。采用本文方法實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同閾值下的實(shí)驗(yàn)數(shù)據(jù)

續(xù)表2

根據(jù)表2中的數(shù)據(jù)，繪制PSNR、SSIM隨閾值系數(shù)增加而變動(dòng)的折線圖，如圖6所示。

圖6 PSNR、SSIM隨閾值系數(shù)變動(dòng)曲線

由表2以及圖6所示，Boat圖像在閾值系數(shù)為0.5、0.6時(shí)，采樣點(diǎn)個(gè)數(shù)過大，這是由于沒有找到變密度ρ滿足式(12)所致，因此我們需要忽略上述兩點(diǎn)。綜上，我們發(fā)現(xiàn)實(shí)驗(yàn)的采樣點(diǎn)個(gè)數(shù)均少于傳統(tǒng)星形采樣點(diǎn)的個(gè)數(shù)，但圖像重構(gòu)的質(zhì)量從PSNR、SSIM評(píng)價(jià)標(biāo)準(zhǔn)上卻均優(yōu)于星形采樣模型，由此更加說明對(duì)傅里葉域中顯著性區(qū)域的變密度采樣的有效性。

由表中數(shù)據(jù)以及折線圖可以看出，重構(gòu)圖像的PSNR、SSIM均隨著閾值系數(shù)的增加而增加，達(dá)到一定峰值后呈下降趨勢，這說明閾值的選取對(duì)實(shí)驗(yàn)結(jié)果的影響比較大。當(dāng)閾值越大，顯著區(qū)域點(diǎn)的選取越少，重構(gòu)圖像的質(zhì)量就相對(duì)越低。但當(dāng)閾值越小時(shí)，選取顯著區(qū)域的點(diǎn)越多，非顯著區(qū)域點(diǎn)越少，而重構(gòu)圖像的質(zhì)量反而有所下降，這說明過少的選取非顯著性區(qū)域的采樣點(diǎn)，對(duì)重構(gòu)圖像的質(zhì)量也有一定的消極影響。因此，合理地選取閾值對(duì)圖像重構(gòu)的質(zhì)量有很大的影響，其直接關(guān)系到顯著區(qū)域中采樣點(diǎn)所占總采樣點(diǎn)個(gè)數(shù)的比例，從而關(guān)系到圖像重構(gòu)后的質(zhì)量。

4 結(jié) 語

對(duì)于傳統(tǒng)的傅里葉域中星形采樣方法，由于其采樣點(diǎn)位置針對(duì)性不強(qiáng)，重建質(zhì)量不佳的問題，本文提出了一種新的改進(jìn)方法：基于傅里葉頻域中圖像顯著性區(qū)域變密度采樣。該方法在傅里葉域中采樣時(shí)，通過調(diào)整閾值，合理地選取顯著性區(qū)域，并利用變動(dòng)密度ρ，根據(jù)式(12)在該區(qū)域中相對(duì)密集采樣，而在非顯著性區(qū)域相對(duì)稀疏采樣。對(duì)于壓縮感知問題，分別使用傳統(tǒng)星形采樣和本文提出的變密度采樣方法，并使用相同的壓縮感知重建算法進(jìn)行實(shí)驗(yàn)比較。從仿真實(shí)驗(yàn)結(jié)果分析，在不高于傳統(tǒng)方法采樣率的情況下，本文方法在PSNR、ReErr以及SSIM等評(píng)價(jià)標(biāo)準(zhǔn)上都是優(yōu)于傳統(tǒng)星形采樣方法。

[1] Donoho D L. Compressed sensing[J].Information Theory,IEEE Transactions on,2006,52(4):1289-1306.

[2] Candès E J. Compressive sampling[C]//Proceedings of the International Congress of Mathematicians:Madrid,August 22-30,2006: invited lectures. 2006:1433-1452.

[3] Yang J,Zhang Y,Yin W. A fast TVL1-L2 minimization algorithm for signal reconstruction from partial Fourier data[J].IEEE Journal of Selected Topics in Signal Processing,2009,4(2):288-297.

[4] Guo W,Yin W.Edgecs: Edge guided compressive sensing reconstruction[C]//Proc. of SPIE Vol. 2010,7744:77440L-1.

[5] Yu Y,Wang B,Zhang L.Saliency-based compressive sampling for image signal[J].IEEE Signal Processing Letters,2010,12(11):973-976.

[6] 王瑞，余宗鑫，杜林峰,等.結(jié)合圖像信號(hào)顯著性的自適應(yīng)分塊壓縮采樣[J]. 中國圖象圖形學(xué)報(bào)，2013,18(10)：1255-1260.

[7] Wan T,Canagarajah N,Achim A. Compressive image fusion[C]//Image Processing,2008. ICIP 2008 15th IEEE International Conference on, IEEE,2008:1308-1311.

[8] Candes E J,Tao T. Decoding by linear programming[J].Information Theory,IEEE Transactions on,2005,51(12):4203-4215.

[9] Candès E J,Romberg J,Tao T. Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information[J].Information Theory,IEEE Transactions on,2006,52(2):489-509.

[10] Chen S S,Donoho D L,Saunders M A. Atomic decomposition by basis pursuit[J].SIAM journal on scientific computing,1998,20(1):33-61.

[11] Tropp J A,Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J].Information Theory,IEEE Transactions on,2007,53(12):4655-4666.

[12] Itti L,Koch C,Niebur E. A model of saliency-based visual attention for rapid scene analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1998,20(11):1254-1259.

[13] Itti L,Koch C. Computational modelling of visual attention[J]. Nature reviews neuroscience,2001,2(3):194-203.

[14] Hou X,Zhang L. Saliency detection: A spectral residual approach[C]//Computer Vision and Pattern Recognition,2007 CVPR’07 IEEE Conference on， IEEE,2007:1-8.

[15] Wang Z,Bovik A C,Sheikh H R,et al. Image quality assessment: From error visibility to structural similarity[J]. Image Processing,IEEE Transactions on,2004,13(4):600-612.

VARIABLE DENSITY COMPRESSIVE SAMPLING INSPIRED BY IMAGE SALIENCY IN FOURIER FREQUENCY DOMAIN

Huang Hai Xiao Liang Yin Jia Wang Guangliang

(SchoolofComputerScience,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Considering the shortcomings of traditional star shape sampling method in Fourier frequency domain,for example,the sampling region is not targeted,the quality of reconstruction effect is not well,etc.,we propose a new variable density compressive sampling method which is based on the image salient information in Fourier frequency domain. Based on traditional star shape sampling method,by changing the density we sample relatively densely in saliency region of Fourier frequency domain while relatively sparse in non-saliency region,so as to achieve the goal of better restoring the salient feature information of image. Experimental results show that based on the same signal reconstruction algorithm and under the condition of same sampling rate,the structural similarity (SSIM),peak signal-to-noise ratio (PSNR) and the relative error (ReErr) of the reconstructed image using the proposed method are all superior to the traditional star shape sampling method.

Saliency information Variable density Fourier frequency domain Compressed sensing

2014-08-20。國家自然科學(xué)基金項(xiàng)目(61171165)。黃海，碩士生，主研領(lǐng)域：壓縮感知。肖亮，教授。印佳，碩士生。王光亮，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.04.039