基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知*

?

基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知*

左覓文，常侃**，施靜蘭，覃團發(fā)

(廣西大學(xué) 計算機與電子信息學(xué)院，南寧 530004)

摘要：針對現(xiàn)有基于自適應(yīng)采樣率的分塊視頻壓縮感知方案的單幀總采樣率不可控的問題，提出了一種新的自適應(yīng)采樣率分配方案。首先，對當(dāng)前幀圖像塊進行固定預(yù)采樣；然后，根據(jù)預(yù)采樣的測量值來估計圖像塊的變化程度，并計算該圖像塊與當(dāng)前幀圖像的復(fù)雜度比例；接下來，根據(jù)復(fù)雜度比例分配圖像塊自適應(yīng)采樣率，并將固定預(yù)采樣及自適應(yīng)采樣的測量值合并為最終測量值。實驗結(jié)果表明，與固定采樣率算法相比，提出的方案在相同采樣率下可獲得1 dB左右的峰值信噪比增益。所提方案可獲得高質(zhì)量的重構(gòu)圖像，且總采樣率可控，因此增強了自適應(yīng)采樣分塊視頻壓縮感知方案的有效性和實用性。

關(guān)鍵詞：視頻壓縮感知；自適應(yīng)采樣率；幀間相關(guān)性

1引言

由Candès和Donoho等人提出的壓縮感知(CompressiveSensing,CS)理論[1]突破了香農(nóng)(Shannon)采樣定理的瓶頸。該理論可用遠低于奈奎斯特采樣定理要求的速率采樣信號，并且又能完美恢復(fù)信號[2]。壓縮感知理論被提出后在信號獲取、遙感成像、超分辨率、圖像復(fù)原、人臉識別、醫(yī)學(xué)圖像處理等許多領(lǐng)域得到了應(yīng)用并受到了廣泛的關(guān)注。

近年來，視頻壓縮感知(CompressiveVideoSensing,CVS)技術(shù)的出現(xiàn)，使得低復(fù)雜度視頻信號獲取成為可能。同時，一些較為實用的方案，例如分塊壓縮感知[3]、殘差重構(gòu)方案[4-5]等，則有效地推進了CVS技術(shù)的應(yīng)用進程。CVS方案主要分為視頻信號壓縮感知測量和視頻信號重構(gòu)兩部分。一般測量過程運算量較低，而重構(gòu)過程則需要迭代求解復(fù)雜度相對較高的最優(yōu)化問題。為了獲得更高的重構(gòu)質(zhì)量，許多學(xué)者都致力于重構(gòu)算法的研究，許多的重構(gòu)算法被提出，常見的有迭代閾值法、貪婪算法、凸優(yōu)化算法等。然而，在測量過程中能否合理地分配采樣率也會影響到重構(gòu)質(zhì)量?；诖?，自適應(yīng)采樣率視頻壓縮感知系統(tǒng)被提出，目前國內(nèi)外已有學(xué)者提出了不同的自適應(yīng)采樣率方案，例如GarrettWarnell[6]提出的自適應(yīng)采樣率方案將圖像分為前景和背景，根據(jù)關(guān)注度的不同分配不同的采樣率，但是這種方案犧牲背景的重構(gòu)質(zhì)量，對整個視頻重構(gòu)質(zhì)量的提高沒有起到太大的作用。武明虎等[7]提出的自適應(yīng)方案根據(jù)視頻信號本身的局部稀疏度和遠程稀疏度自適應(yīng)分配采樣率，但是該算法重構(gòu)得到的質(zhì)量不是很理想?；趲g相關(guān)性，練秋生等[8]提出了新的自適應(yīng)采樣率方案，通過閾值將視頻圖像分為三種不同的塊：近似變化塊、緩慢變化塊、快速變化塊，并給它們分配不同的采樣率。此方案在提高了圖像重構(gòu)質(zhì)量的同時并未明顯增加算法復(fù)雜度，算法有效性有了明顯的提升。但是，該方案的閾值不能根據(jù)序列自適應(yīng)調(diào)整，在一定程度上影響了算法的性能。我們在文獻[8]的基礎(chǔ)上，通過綜合應(yīng)用序列內(nèi)的空間、時間相關(guān)性，實現(xiàn)了不同種類圖像塊的自適應(yīng)分類[9]。但是，上述所有自適應(yīng)采樣方案，均無法在給定的目標(biāo)采樣率下實現(xiàn)各圖像塊的自適應(yīng)采樣率分配，也即總采樣率不可控。因此，在實際傳輸帶寬受限的情況下上述變采樣率方案是不實用的。

為了進一步提升變采樣率方案的實用性，本文提出了一種基于幀間相關(guān)性的自適應(yīng)采樣率分配方案，將圖像塊采樣分為固定預(yù)采樣部分與基于圖像塊復(fù)雜度比列的自適應(yīng)采樣部分，能夠在給定總采樣率的條件下實現(xiàn)各圖像塊的采樣率自適應(yīng)分配，以適應(yīng)各類實際傳輸環(huán)境。

2自適應(yīng)采樣率分配視頻壓縮感知方案

2.1算法總體框架

為實現(xiàn)總采樣率可控，本文提出一種基于幀間相關(guān)性的兩級自適應(yīng)CVS框架，如圖1所示。該框架中，對參考幀采用固定采樣率測量，對非參考幀采用變采樣率測量。對于某給定非參考幀，總的測量值包括固定采樣率測量值以及自適應(yīng)采樣率測量值。假設(shè)非參考幀圖像塊的平均采樣率為S，則有S=F+A，其中F為固定采樣率，A為平均自適應(yīng)采樣率。

圖1　基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知方案

2.2參考幀的測量

Yt=ΦBXt。

(1)

式中，Xt∈Rn×N、Yt∈Rm×N的每一列向量分別代表各個塊的像素向量和測量向量，m/n是采樣率。

參考幀將用于后續(xù)非參考幀的估計，因此其重建質(zhì)量影響著整個視頻序列的有效重建。在提出方案中，對參考幀采用固定高采樣率進行測量，以保證其重建質(zhì)量。

2.3非參考幀的自適應(yīng)測量

2.3.1衡量圖像塊的變化程度

(2)

但是在實際的視頻壓縮感知系統(tǒng)中，僅已知視頻像素的測量值而未知原始的視頻像素值，因此不能采用公式(2)來判斷幀間相關(guān)性大小。借鑒文獻[8]的方案，采用前后幀相同位置圖像塊的測量值的殘差能量大小來判斷圖像塊的變化程度：

(3)

2.3.2圖像塊采樣率的自適應(yīng)分配

在固定預(yù)采樣階段，給各圖像塊分配固定采樣率F來獲得預(yù)測量值。固定采樣率不僅能確保最低視頻幀重構(gòu)質(zhì)量，還可以用于估計圖像塊的變化程度。自適應(yīng)采樣率分配如下:

Ai=Wi×N×A。

(4)

非參考幀的重構(gòu)質(zhì)量不僅跟測量值的多少成正比，而且還受到它與參考幀之間差別的影響?；诖丝紤]，本文提出如下公式來計算Wi的值：

(5)

2.3.3總測量向量的生成

本文設(shè)定固定采樣率和自適應(yīng)采樣率如下：

F=C×S，

(6)

A=(1-C)×S。

(7)

式中，C是分割參數(shù)。為了確保固定采樣部分的測量值能夠真實地反應(yīng)非參考幀與參考幀的差異，C值不應(yīng)該設(shè)定過小。當(dāng)整個采樣率S較大時，可將參數(shù)C設(shè)置小值；反之，應(yīng)將參數(shù)C設(shè)置大值以保證最基本的重構(gòu)質(zhì)量。

(8)

(9)

可以發(fā)現(xiàn)，固定預(yù)采樣率測量值是最終測量值中的一部分，并且這部分測量值用于重構(gòu)圖像，這樣可以避免造成測量值的浪費，同時也降低了整個系統(tǒng)的計算復(fù)雜度。

3視頻壓縮感知實施流程

在發(fā)送端，對單個非參考幀的自適應(yīng)采樣流程如圖2所示。

圖2非參考幀的自適應(yīng)采樣流程

Fig.2Adaptivesamplingalgorithmfornon-referenceframes

流程具體描述如下：

步驟1：將圖像分成N個B×B大小的圖像塊，并且令i=1；

步驟2：對第i塊圖像塊進行固定預(yù)采樣率F采樣；

步驟3：根據(jù)公式(3)計算測量值的殘差能量作為判斷該塊的變化程度的依據(jù)；

步驟4：根據(jù)公式(4)和公式(5)來分配自適應(yīng)部分的采樣率Ai；

步驟6：如果 i≥N 則結(jié)束整個壓縮采樣過程；否則，令 i=i+1，重新執(zhí)行步驟2。

在接收端，對參考幀各圖像塊進行直接重構(gòu)，對非參考幀中各圖像塊采用多假設(shè)預(yù)測重構(gòu)算法[5]進行重構(gòu)。

4實驗結(jié)果

我們對CIF格式的container、news、flower、city、football、bus這6組標(biāo)準(zhǔn)視頻序列進行仿真實驗。對于每一組序列，分塊的大小B為8，參考幀的采樣率為0.5，非參考幀的采樣率S取值0.1、0.2、0.3、0.4、0.5，閾值C為0.5，殘差重構(gòu)采用離散小波域(DiscreteWaveletTransform,DWT)下基于塊的SPL方法(Block-BasedCSwithSmoothedPLReconstruction，BCS_SPL)[10]。

將本文算法簡稱為ASIFC(AdaptiveSamplingbasedonInter-FrameCorrelation)，圖3展示了ASIFC針對6個測試序列在5個采樣率下非參考幀重建圖像的平均峰值信噪比(PeakSignaltoNoiseRatio，PSNR)，作為比較基準(zhǔn)，在圖中也同時列出了文獻[5]提出的多假設(shè)預(yù)測固定采樣率(簡稱MH-SPL)的性能。從圖中可知,與固定采樣率MH-SPL相比，本文方案加入了幀間相關(guān)性，根據(jù)圖像塊不同的變化程度合理分配采樣率，在相同采樣率下獲得比MH-SPL更高的PSNR。

(a)container

(c)flower

(e)football

圖4為container序列部分主觀質(zhì)量重構(gòu)效果圖，可以看到本文方案中該序列主要運動的船體部分重構(gòu)質(zhì)量明顯提高，船體邊緣的塊效應(yīng)明顯降低。從圖5中我們可以看到本文方案ASIFC有效提高了news序列的主要運動區(qū)域的重構(gòu)質(zhì)量?？梢姳疚姆桨父鶕?jù)圖像塊的變化程度來分配采樣率的方案是有效的，能夠在一定程度上抑制塊效應(yīng)的產(chǎn)生，提高視頻的重構(gòu)質(zhì)量。

圖4　0.1采樣率下“container”序列重構(gòu)結(jié)果

圖5　0.2采樣率下“news”序列重構(gòu)結(jié)果

為了進一步驗證提出的自適應(yīng)方案的性能，本文還與文獻[8]提出的方案VS-MHFP1作比較。其中本文方案ASIFC與VS-MHFP1中的各個參數(shù)與前述實驗參數(shù)設(shè)置保持一致。此外，VS-MHFP1的5個閾值參數(shù)按照文獻[8]設(shè)定為l1=0.003、l2=0.15，S1=0.05、S2=0.2、S3=0.5，其中l(wèi)1、l2為判定非參考幀圖像塊的閾值，小于l1的圖像塊為近似不變塊，大于l2的圖像塊為快速變化塊，介于l1與 l2之間的圖像塊為緩慢變化塊，S1、S2、S3分別為近似不變塊、緩慢變化塊、快速變化塊的采樣率。

表1為兩種方案下非參考幀重構(gòu)質(zhì)量對比。從表1中可以觀察到：

(1)本文方案ASIFC中，變化比較緩慢的序列container、news、flower的重構(gòu)質(zhì)量差于VS-MHFP1，原因在于，VS-MHFP1方案不考慮總采樣率是否可控，針對不同序列，由VS-MHFP1算法生成的總采樣率差異很大(例如container和bus)；但是，帶來的好處是，給予各圖像塊自適應(yīng)分配采樣率的自由度較高。相比之下，本文算法雖無需事先設(shè)定多個閾值，但是各幀采樣率可控，且為了保證最低重建質(zhì)量而設(shè)置了固定采樣率部分，因此在一定程度上限制了各圖像塊分配采樣率的自由度。特別是在測試變換緩慢的序列時，由于固定采樣率部分的存在，使得自適應(yīng)部分的可調(diào)整空間較為有限；

(2)針對變化比較快的序列city、football、bus，本文方案的重構(gòu)質(zhì)量相對VS-MHFP1 有0.5dB左右的峰值信噪比增益，原因在于，VS-MHFP1根據(jù)閾值強制性地將圖像塊分為近似不變塊、緩慢變化塊、快速變化塊3類，并分配不同的采樣率。由于閾值不能根據(jù)序列特性自適應(yīng)分配，在本實驗給定的閾值下，VS-MHFP1方案對city、football、bus序列的采樣率分配不夠合理。另一方面，本文算法的固定采樣率部分保證了各圖像塊的最低重構(gòu)質(zhì)量，且各圖像塊的復(fù)雜度計算自適應(yīng)進行，無需通過閾值判定，因此獲得了更好的重建質(zhì)量。

表1　非參考幀重構(gòu)PSNR比較

5結(jié)束語

本文提出了一種基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知方案，通過幀間相關(guān)性的大小自適應(yīng)分配圖像塊的采樣率。根據(jù)實驗結(jié)果可知，本文提出的方案能夠獲得比現(xiàn)有固定采樣率方案MH-SPL更高的重構(gòu)質(zhì)量，而跟現(xiàn)有的自適應(yīng)采樣率方案VS-MHFP1相比，雖然在較低的單幀總采樣率下，重構(gòu)質(zhì)量會受到視頻圖像塊的自適應(yīng)采樣自由度的影響而降低，但是在較高的單幀總采樣率下能夠提高視頻的重構(gòu)質(zhì)量。另外，本文方案解決了現(xiàn)有自適應(yīng)采樣率方案中總采樣率不可控這一問題，在算法實用性上強于已有的其他算法。下一步工作的重點將研究視頻壓縮感知重構(gòu)方案。

參考文獻：

[1]Candes E,Rober J，Tao T.Roubust uncertainty principles: exact signalreconstru-ction from highly incomplete frequencyinformation[J].IEEE Transactions on Information Theory,2006,52(2): 489-509.

[2]石光明,劉丹華,高大化，等.壓縮感知理論及其研究進展[J].電子學(xué)報，2009，37(5): 1070-1081.

SHI Guangming，LIU Dahua，GAO Dahua，et al,Advances in Theory and Application of Compressed Sensing[J].Acta Electronica Sinica,2009,37(5):1070-1081.(in Chinese)

[3]Gan L.Block compressed sensing of natural images[C]//Proceedings of the 15th International Conference on Digital Signal Processing.Cardiff,UK：IEEE,2007: 403- 406.

[4]常侃，覃團發(fā)，唐振華.基于多重假設(shè)的視頻壓縮感知分層重建[J].數(shù)據(jù)采集與處理，2013，28(6):732-738.

CHANG Kan,QIN Tuanfa,TANG Zhenhua.Multi-hypothesis Based Hierarchical Reconstruction for Compressed Video Sensing[J].Journal of Data Acquisition and Processing，2013，28(6):732-738.(in Chinese)

[5]Tramel E W,Fowler J E.Video compressed sensing with multihypothesis[C]//Proceedings of the IEEE Data CompressionConference.Snowbird,UT:IEEE,2011: 193-202.

[6]Warnell G,Reddy D, Chellappa R.Adaptive rate compressive sensing for ba-ckground subtraction [C]//Proceedings of 2012 IEEE International Conference on Acoustics,Speech,and Signal Processing. Kyoto:IEEE,2012:1477-1480.

[7]武明虎,朱秀昌.自適應(yīng)采樣率分配的分布式壓縮感知視頻編碼[J].南京郵電大學(xué)學(xué)報,2013,33(1): 62-67.

WU Minghu,ZHU Xiuchang.Dynamic Measurement Rate Allocation for Distributed Compressive Video Sensing[J].Journal of Nanjing University of Posts and Telecommunications,2013,33(1):62-67.(in Chinese)

[8]練秋生，田天，陳書貞，等.基于變采樣率的多假設(shè)預(yù)測分塊視頻壓縮感知[J].電子與信息學(xué)報，2013，35(1):203-208.

LIAN Qiusheng,TIAN Tian,CHEN Shuzhen,et al.Block Compressed Sensing of Video Based on Variable Sampling Rates and Multihypothesis Predictions[J].Journal of Electronics & Information Technology,2013,35(1):203-208.(in Chinese)

[9]左覓文，常侃，施靜蘭，等.基于空時相關(guān)性的變采樣率分塊視頻壓縮感知[J].電訊技術(shù)，2013，53(11):1489-1493.

ZUO Miwen,CHANG Kan,SHI Jinglan,et al.Adaptive block compressive video sensing scheme based on spatial-temporal correlation[J].Telecommunication Engineering,2013,53(11) :1489-1493.(in Chinese)

[10]Mun S,Fowler J E.Block compressedsensing of images using directional tra-nsforms[C]//Proceedings of 2009 International Conference on Image Processing.Cairo,Egypt:IEEE,2009: 3021-3024.

左覓文(1991—)，女，湖北孝感人，廣西大學(xué)碩士研究生，主要研究方向為壓縮感知、視頻編碼；

ZUO Miwen was born in Xiaogan,Hubei Province，in 1991.She is now a graduate student.Her research concerns compressed sensing and video coding.

Email：miwenzuo@163.com

常侃(1983—)，男，廣西南寧人，2010年于北京郵電大學(xué)獲博士學(xué)位，現(xiàn)為廣西大學(xué)計算機與電子信息學(xué)院副教授，主要研究方向為壓縮感知和視頻編碼與傳輸；

CHANG Kan was born in Nanning,Guangxi Zhuangzu Autonomous Region，in 1983.He received the Ph.D. degree from Beijing University of Posts and Telecommunications in 2010.He is now an associate professor.His research interests include compressed sensing,video coding and transmission.

Email：pandack0619@163.com

施靜蘭(1990—)，女，廣西南寧人，廣西大學(xué)碩士研究生，主要研究方向為壓縮感知和稀疏表示；

SHI Jinglan was born in Nanning,Guangxi Zhuangzu Autonomous Region,in 1990.She is now a graduate student.Her research concerns compressed sensing and sparse representation.

Email：hui7154@163.com

覃團發(fā)(1966—)，男，廣西賓陽人，1997年于南京大學(xué)獲博士學(xué)位，現(xiàn)為廣西大學(xué)計算機與電子信息學(xué)院副院長、教授、中國電子學(xué)會高級會員、中國通信學(xué)會高級會員，主要研究方向為無線多媒體通信、網(wǎng)絡(luò)編碼、視頻編碼和圖像檢索。

QIN Tuanfa was born in Binyang,Guangxi Zhuangzu Autonomous Region,in 1966.He received the Ph.D. degree from Nanjing University in 1977.He is now a professor and vice Dean of School of Computer and Electronic Information,Guangxi University.He is also a senior member of China Institute of Electronics and China Communication Institute.His research interests include wireless multimedia communications,network coding,video encoding and image retrieval.

Email：tfqin@gxu.edu.cn

引用格式：左覓文，常侃，施靜蘭，等.基于幀間相關(guān)性的自適應(yīng)采樣率分塊視頻壓縮感知[J].電訊技術(shù)，2015,55(4):360-365.[ZUOMiwen,CHANGKan,SHIJinglan,etal.AdaptiveRateBlockCompressiveVideoSensingBasedonInter-frameCorrelation[J].TelecommunicationEngineering,2015,55(4):360-365.]

AdaptiveRateBlockCompressiveVideoSensingBased

onInter-frameCorrelation

ZUOMiwen,CHANGKan,SHIJinglan,QINTuanfa

(SchoolofComputerandElectronicInformation,GuangxiUniversity,Nanning530004,China)

Abstract：The existing adaptive block compressive video sensing(CVS) schemes can not adaptively allocate sampling rate for each image block under a given target sampling rate for the whole frame. Therefore, a new adaptive sampling scheme is proposed. Firstly, a fixed part of sampling rate is allocated to every block in a frame. Secondly, the variation of a block is estimated according to the pre-sampled measurements, and the complexity ratio of this block is also calculated. Afterwards, the adaptive part of sampling rate is allocated according to the complexity ratio of a block, and the final measurements are formed by combining the fixed part and the adaptive part of measurements. Experimental result shows that compared with non-adaptive scheme, the proposed method can get about 1 dB peak signal to noise ratio(PSNR) increment. Since the proposed method can achieve high quality of reconstructed images under any given target sampling rates, it increases the effectiveness and the practicality of the adaptive rate-based block CVS schemes.

Key words：compressive video sensing (CVS)；adaptive sampling rate；inter-frame correlation

作者簡介：

中圖分類號：TN919.8

文獻標(biāo)志碼：A

文章編號：1001-893X(2015)04-0360-06

通訊作者：**pandack0619@163.comCorresponding author：pandack0619@163.com

收稿日期：*2014-10-13；修回日期：2015-04-08Received date:2014-10-13；Revised date：2015-04-08基金項目：國家自然科學(xué)基金資助項目(61261023，61401108);廣西自然科學(xué)基金資助項目(2013GXNSFBA019272);廣西教育廳科學(xué)研究項目(201203YB001)Foundation Item:The National Natural Science Foundation of China(No.61401108);The Natural Science Foundation of Guangxi(2013GXNSFBA019272); The Foundation of Education Commission of Guangxi(2013YB001)

doi:10.3969/j.issn.1001-893x.2015.04.002