CVS中基于殘差結(jié)構(gòu)特征的塊分類重構(gòu)算法*

楊春玲 李文豪

(華南理工大學(xué) 電子信息學(xué)院， 廣東 廣州 510640)

CVS中基于殘差結(jié)構(gòu)特征的塊分類重構(gòu)算法*

楊春玲 李文豪

(華南理工大學(xué) 電子信息學(xué)院， 廣東 廣州 510640)

現(xiàn)有最好的視頻壓縮感知重構(gòu)算法大都采用“預(yù)測(cè)-殘差重構(gòu)”策略，可有效利用幀內(nèi)和幀間的相關(guān)性獲得較好的性能，但是殘差重構(gòu)均直接采用SPL算法，忽略了殘差信號(hào)自身的結(jié)構(gòu)特征，限制了性能的進(jìn)一步提升.針對(duì)該問(wèn)題，文中提出了一種基于預(yù)測(cè)殘差結(jié)構(gòu)特征的塊分類重構(gòu)算法，首先利用殘差塊觀測(cè)值的平均能量對(duì)殘差塊進(jìn)行分類，然后對(duì)不同類的殘差塊采用不同的重構(gòu)算法.仿真實(shí)驗(yàn)表明，用于運(yùn)動(dòng)較快的視頻序列時(shí)，文中方案與SPL算法相比可以獲得更好的重構(gòu)質(zhì)量.

視頻壓縮感知；殘差重構(gòu)；平均能量；殘差塊分類

近十年來(lái)，壓縮感知理論在信號(hào)處理領(lǐng)域受到極大的關(guān)注，該理論指出：對(duì)于在某個(gè)變換域ψ下稀疏或近似稀疏的N維信號(hào)，可以通過(guò)它的M(M

將壓縮感知理論應(yīng)用于圖像信號(hào)采集被稱之為圖像壓縮感知，文獻(xiàn)[3]使用分塊壓縮感知(BCS)方法對(duì)圖像進(jìn)行分塊觀測(cè)和處理，具有快速高效的優(yōu)點(diǎn)，是目前最受關(guān)注的圖像壓縮感知框架；在此框架基礎(chǔ)上，文獻(xiàn)[4]進(jìn)一步提出結(jié)合平滑處理和迭代Landweber投影的BCS-SPL重構(gòu)算法，該算法能夠很好地權(quán)衡計(jì)算復(fù)雜度和重構(gòu)質(zhì)量，是目前圖像壓縮感知中比較被認(rèn)可的重構(gòu)算法，由于它的快速和高效，亦被廣泛應(yīng)用于視頻壓縮感知的殘差重構(gòu)中.

將壓縮感知理論應(yīng)用于視頻信號(hào)的采集和處理被稱之為視頻壓縮感知(CVS)，視頻壓縮感知算法雖然可以采取逐幀獨(dú)立重構(gòu)、立體重構(gòu)[5]以及幀差重構(gòu)[6- 7]等多種策略[8]，但是都不如“預(yù)測(cè)-殘差重構(gòu)”策略，它能夠更好地利用幀內(nèi)和幀間的相關(guān)性，因此現(xiàn)有重構(gòu)質(zhì)量最好的視頻壓縮感知算法都基于該框架進(jìn)行[9- 12].由于視頻信號(hào)不僅具有幀內(nèi)相關(guān)性而且還具有幀間相關(guān)性，而逐幀獨(dú)立重構(gòu)是將視頻信號(hào)的每一幀單獨(dú)處理,忽略了幀間相關(guān)性,導(dǎo)致重構(gòu)質(zhì)量很差；立體重構(gòu)利用時(shí)域相關(guān)性輔助選取或設(shè)計(jì)合適的稀疏變換，從而提升重構(gòu)質(zhì)量，該思路中比較有代表性的是文獻(xiàn)[5]，其利用幀間相關(guān)性構(gòu)造自適應(yīng)的局部KLT變換基以獲得比單一固定稀疏基更好的稀疏性，但是該方法計(jì)算復(fù)雜度較高；幀差重構(gòu)是利用幀間相關(guān)性對(duì)更稀疏的幀差進(jìn)行重構(gòu)，文獻(xiàn)[6]利用幀差的聚類稀疏性對(duì)幀差進(jìn)行二值化下的膨脹和腐蝕等操作，能夠有效去除噪聲并恢復(fù)損失的幀差信息，但是幀差都來(lái)自于關(guān)鍵幀和非關(guān)鍵幀之差，導(dǎo)致在大GOP條件下或?qū)τ趲g相關(guān)性變差的運(yùn)動(dòng)較快的序列，重構(gòu)質(zhì)量下降；文獻(xiàn)[7]提出基于幀差空域稀疏性的最小總變分(TV)重構(gòu)方案，雖然幀差來(lái)自于相鄰兩幀，較文獻(xiàn)[6]有所改進(jìn)，但是只對(duì)幀間變化極小的視頻序列有作用.

預(yù)測(cè)-殘差重構(gòu)作為一種分布式視頻壓縮感知框架，其主要研究非關(guān)鍵幀的重構(gòu)方法，它首先利用幀間相關(guān)性對(duì)當(dāng)前非關(guān)鍵幀進(jìn)行預(yù)測(cè)，然后再對(duì)預(yù)測(cè)后的殘差進(jìn)行重構(gòu)，是目前性能最好的視頻壓縮感知重構(gòu)方案.現(xiàn)有的視頻壓縮感知重構(gòu)算法大都只關(guān)注如何提高預(yù)測(cè)精度[9- 15]，而忽略了作為該策略重要組成部分的殘差重構(gòu).文獻(xiàn)[13]首先提出利用最小平方問(wèn)題求解的像素域多假設(shè)(MH)預(yù)測(cè)模型；文獻(xiàn)[14]進(jìn)一步提出添加Tikhonov約束的觀測(cè)域多假設(shè)預(yù)測(cè)模型，該模型使預(yù)測(cè)更加準(zhǔn)確；文獻(xiàn)[15]使用多假設(shè)預(yù)測(cè)系數(shù)稀疏的約束替換Tikhonov約束，但是該假定在某些情況下會(huì)導(dǎo)致預(yù)測(cè)質(zhì)量下降.為了進(jìn)一步提高預(yù)測(cè)精度，文獻(xiàn)[9]提出混合預(yù)測(cè)方案，對(duì)圖像塊進(jìn)行篩選并使用不同預(yù)測(cè)模型進(jìn)行預(yù)測(cè)；在該方案基礎(chǔ)上文獻(xiàn)[10]添加假設(shè)集篩選和更新等步驟來(lái)優(yōu)化假設(shè)塊集合；同時(shí)文獻(xiàn)[11]提出多參考幀的假設(shè)集優(yōu)化方案以進(jìn)一步利用幀間相關(guān)性，文獻(xiàn)[12]又提出兩階段的觀測(cè)域-像素域多假設(shè)預(yù)測(cè)方案，可以有效提高預(yù)測(cè)精度和去除塊效應(yīng).文獻(xiàn)[9- 15]均直接采用適合于自然圖像壓縮感知的BCS-SPL重構(gòu)算法進(jìn)行殘差重構(gòu)，忽視了殘差信號(hào)自身的結(jié)構(gòu)特征，導(dǎo)致殘差重構(gòu)對(duì)最終性能的貢獻(xiàn)不大.

殘差重構(gòu)作為“預(yù)測(cè)-殘差重構(gòu)”的重要組成部分，對(duì)最終重構(gòu)質(zhì)量有著至關(guān)重要的影響，但基于該框架的殘差重構(gòu)都是采用SPL重構(gòu)算法[4].而SPL重構(gòu)算法是一種圖像壓縮感知的重構(gòu)算法，適合于圖像的結(jié)構(gòu)特征，視頻預(yù)測(cè)殘差信號(hào)不再具有自然圖像的結(jié)構(gòu)特征，因此用SPL重構(gòu)算法對(duì)預(yù)測(cè)殘差進(jìn)行重構(gòu)性能不佳.針對(duì)該問(wèn)題，文中深入研究殘差信號(hào)的結(jié)構(gòu)特征和不同結(jié)構(gòu)特征殘差塊所對(duì)應(yīng)的最優(yōu)重構(gòu)算法，提出了一種基于預(yù)測(cè)殘差信號(hào)結(jié)構(gòu)特征的塊分類重構(gòu)算法(BCSC)，可應(yīng)用于運(yùn)動(dòng)較快的視頻序列，以提升重構(gòu)質(zhì)量.在BCSC算法中，首先根據(jù)殘差塊觀測(cè)值的平均能量對(duì)殘差塊分類，然后對(duì)各類殘差塊采用相應(yīng)的重構(gòu)算法進(jìn)行殘差重構(gòu).

1 預(yù)測(cè)-殘差重構(gòu)與BCS-SPL算法

1.1 “預(yù)測(cè)-殘差重構(gòu)”框架

現(xiàn)有重構(gòu)質(zhì)量最好的視頻壓縮感知算法都是基于“預(yù)測(cè)-殘差重構(gòu)”框架，該框架具體如圖1所示，其中關(guān)鍵幀采用MH-BCS-SPL算法[16]進(jìn)行獨(dú)立重構(gòu)，非關(guān)鍵幀通過(guò)預(yù)測(cè)和殘差重構(gòu)得到.

在該框架下，預(yù)測(cè)精度會(huì)影響殘差重構(gòu)的質(zhì)量，反過(guò)來(lái)殘差重構(gòu)也會(huì)影響下一步或下一幀的預(yù)測(cè)精度，可見(jiàn)殘差重構(gòu)質(zhì)量對(duì)視頻壓縮感知的重構(gòu)性能影響較大.目前廣泛用于該框架的殘差重構(gòu)算法是BCS-SPL圖像壓縮感知重構(gòu)算法.

圖1 “預(yù)測(cè)-殘差重構(gòu)”框架

1.2 BCS-SPL算法

圖像壓縮感知的BCS-SPL算法由于其高效快速的優(yōu)點(diǎn)，也被用在視頻壓縮感知的殘差重構(gòu)，算法框圖如圖2所示[4].

圖2 BCS-SPL算法框圖

其中維納濾波用來(lái)消除塊效應(yīng)，而凸投影(文獻(xiàn)[4]中的Landweber投影)的表達(dá)式為

(1)

(2)

在該算法中，雖然可以選擇Contourlet變換(CT)、離散小波變換(DWT)、離散余弦變換(DCT)和雙樹(shù)離散小波變換(DDWT)等不同的稀疏基[4]，

且基于DCT或DDWT稀疏基的BCS-SPL算法常用于殘差重構(gòu)，但是由于殘差信號(hào)不再具有自然圖像的結(jié)構(gòu)特征，不同殘差塊具有不同的結(jié)構(gòu)特征，因此選擇單一稀疏基或同一種重構(gòu)方法都不夠合理.

2 基于殘差結(jié)構(gòu)特征的重構(gòu)算法

首先從理論上分析多假設(shè)預(yù)測(cè)后的殘差觀測(cè)值和殘差信號(hào)之間的平均能量關(guān)系，并進(jìn)行仿真驗(yàn)證，然后從平均能量的角度對(duì)殘差塊的特征進(jìn)行分析并探究BCS-SPL算法的缺點(diǎn)，最后提出基于平均能量的殘差塊分類標(biāo)準(zhǔn)以及適用各類殘差塊特征的重構(gòu)方案.

2.1 觀測(cè)值和殘差信號(hào)平均能量的關(guān)系特征

由于運(yùn)動(dòng)較快的視頻序列幀間變化很大，在多假設(shè)預(yù)測(cè)模型下，對(duì)包含不同快慢運(yùn)動(dòng)的圖像塊進(jìn)行預(yù)測(cè)得到的殘差信號(hào)具有不同的特征：運(yùn)動(dòng)較慢的背景區(qū)域因?yàn)榫哂休^強(qiáng)幀間相關(guān)性，所以預(yù)測(cè)比較準(zhǔn)確；而運(yùn)動(dòng)較快的過(guò)渡區(qū)域以及運(yùn)動(dòng)物體由于幀間相關(guān)性較弱，所以預(yù)測(cè)質(zhì)量相對(duì)較差.

觀測(cè)矩陣φ采用隨機(jī)高斯矩陣時(shí)，它的每個(gè)元素φi,j相互獨(dú)立且均服從正態(tài)N(0,σ2)分布，對(duì)于N維殘差信號(hào)xr，其M維觀測(cè)值yr滿足式(2)，對(duì)于yr中的第i個(gè)元素,

(3)

(4)

(5)

(6)

由以上的推導(dǎo)可知，利用隨機(jī)高斯觀測(cè)矩陣得到的殘差觀測(cè)值yr的平均能量Ea和殘差信號(hào)xr的平均能量整體上呈正比關(guān)系.

利用實(shí)際視頻信號(hào)驗(yàn)證殘差觀測(cè)值yr的平均能量和殘差信號(hào)xr的平均能量之間的關(guān)系，仿真實(shí)驗(yàn)結(jié)果見(jiàn)圖3.分別對(duì)QCIP的Soccer和Ice標(biāo)準(zhǔn)視頻序列的前兩幀進(jìn)行處理，第1幀為關(guān)鍵幀，采樣率為0.70，采用MH-BCS-SPL算法[16]進(jìn)行獨(dú)立重構(gòu)，第2幀利用文獻(xiàn)[12]中的第1階段多假設(shè)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，然后對(duì)預(yù)測(cè)殘差信號(hào)xr和yr殘差觀測(cè)值平均能量進(jìn)行統(tǒng)計(jì).其中分塊大小均為16，采樣率分別為0.10、0.15和0.20，分別對(duì)應(yīng)圖3中(a)-(f)，圖中橫坐標(biāo)K表示殘差塊按它的yr平均能量排列后的殘差塊序號(hào).

從圖3的實(shí)驗(yàn)結(jié)果可以看出，殘差觀測(cè)值yr和xr殘差信號(hào)的平均能量整體上確實(shí)呈正比關(guān)系.

圖3 觀測(cè)值yr和殘差信號(hào)xr平均能量的關(guān)系

2.2 殘差塊結(jié)構(gòu)特征分析

對(duì)于商務(wù)英語(yǔ)專業(yè)的學(xué)生來(lái)說(shuō)，確定一個(gè)研究方向，選取有價(jià)值的問(wèn)題進(jìn)行分析論述，認(rèn)真完成畢業(yè)論文是必要的。畢業(yè)論文字?jǐn)?shù)在3 000～5 000詞左右，要求能夠用英語(yǔ)對(duì)實(shí)際論點(diǎn)進(jìn)行論證，并且有一定的創(chuàng)新性。鼓勵(lì)學(xué)生采用商務(wù)報(bào)告的形式，例如商業(yè)計(jì)劃書(shū)、營(yíng)銷方案等進(jìn)行寫(xiě)作。

由上述分析可知，一般情況下，大能量殘差塊的觀測(cè)值能量也較大，小能量殘差快的觀測(cè)值能量也較小.筆者深入研究發(fā)現(xiàn)，不同能量的殘差塊結(jié)構(gòu)特征非常不同.

2.2.1 較大能量殘差塊的特征分析

研究中發(fā)現(xiàn)，平均能量較大的預(yù)測(cè)殘差塊對(duì)應(yīng)的圖像塊往往屬于運(yùn)動(dòng)物體和背景的過(guò)渡區(qū)域，而這些區(qū)域的圖像塊具有分段平滑的特性.圖4中給出了Soccer標(biāo)準(zhǔn)視頻序列第2幀的原始圖像、預(yù)測(cè)圖像和重構(gòu)圖像的視覺(jué)效果圖，并在圖中標(biāo)記了3個(gè)預(yù)測(cè)殘差能量較大的區(qū)域A、B、C，從圖4中可以看出，采用SPL算法進(jìn)行殘差重構(gòu)后的圖像會(huì)丟失邊緣細(xì)節(jié)信息(對(duì)應(yīng)區(qū)域A)，或引入一些高頻噪聲(對(duì)應(yīng)區(qū)域B和C).

圖4 Soccer視頻序列第2幀視覺(jué)效果Fig.4 Visual effect of the second frame of Soccer video sequence

為進(jìn)一步分析這些圖像塊所具有的結(jié)構(gòu)特征以及SPL算法不適用這些殘差塊的原因，圖5中放大了圖4中標(biāo)記區(qū)域的圖像塊，分別為第6、7、24和87塊，它們?cè)?.15采樣率下的平均能量分別為41.64、39.31、23.73和33.05，并給出得到的預(yù)測(cè)塊、殘差塊、使用重構(gòu)算法進(jìn)行殘差重構(gòu)得到的殘差塊和最終結(jié)果；同時(shí)在圖6中給出這些殘差塊和使用SPL重構(gòu)算法進(jìn)行殘差重構(gòu)得到的殘差塊的幅值分布圖.從圖5和圖6中可以明顯看出，這些圖像塊具有分段平滑的特性，其預(yù)測(cè)塊也具有一定的分段平滑性，殘差塊也是分段平滑的.圖5中還可以看出，采用SPL算法進(jìn)行重構(gòu)的殘差塊不再具有很好的分段平滑性；同時(shí)從最終結(jié)果可以看出，第7塊中運(yùn)動(dòng)物體的輪廓很不清晰，而其他塊的背景部分也引入了高頻噪聲.這是因?yàn)椴捎肧PL重構(gòu)算法對(duì)殘差進(jìn)行重構(gòu)，存在兩個(gè)明顯的問(wèn)題：一是維納濾波雖然可以去除殘差塊與塊之間的塊效應(yīng)，但會(huì)弱化殘差塊內(nèi)的邊緣信息，模糊掉分段平滑圖像塊的邊緣，這個(gè)結(jié)果是比較致命的；二是，SPL算法是一種迭代重構(gòu)算法，在初始重構(gòu)中會(huì)引入高頻噪聲，對(duì)于平均能量較大的殘差塊，初始重構(gòu)噪聲比較大，對(duì)DDWT作為稀疏基的不同頻帶分別進(jìn)行閾值處理時(shí)，初始重構(gòu)引入的大能量殘差塊的高頻噪聲很難通過(guò)閾值處理有效消除.

圖5 較大能量殘差塊的結(jié)構(gòu)特征

由以上分析可見(jiàn)，能量較大的殘差塊采用SPL重構(gòu)算法重構(gòu)性能很差，需要探究合適其結(jié)構(gòu)特征的重構(gòu)算法，該問(wèn)題在下一小節(jié)有詳細(xì)的研究.

2.2.2 較小能量殘差塊的特征分析

平均能量較小的殘差塊對(duì)應(yīng)的預(yù)測(cè)圖像塊比較準(zhǔn)確，采用SPL算法對(duì)這類殘差塊的重構(gòu)性能也不好.這是由于這類殘差塊一般只有個(gè)別像素的幅度值比較大，而其他像素的幅度值都接近于0，因此該類殘差塊在空間域具有一定的稀疏性，在變換域就不具有稀疏性了，采用SPL算法進(jìn)行殘差重構(gòu)不適合這類殘差塊特征.圖7給出了Soccer標(biāo)準(zhǔn)視頻序列第2幀第11個(gè)殘差塊(平均能量為1.50)的幅值分布圖及SPL重構(gòu)信息的分布.由圖7可見(jiàn)，該殘差塊只有極個(gè)別幅值較大，整體幅值分布在0附近，表明它在空間域具有一定的稀疏性.SPL重構(gòu)中不僅沒(méi)有重構(gòu)出大幅值點(diǎn)，而且重構(gòu)結(jié)果還引入了噪聲.因此這類圖像塊采用空間域的壓縮感知重構(gòu)算法會(huì)有更好的重構(gòu)效果.

2.3 殘差塊分類及分類殘差重構(gòu)方案

根據(jù)上述分析可知，殘差觀測(cè)值yr和殘差信號(hào)

xr的平均能量大小整體呈正比關(guān)系，而且不同平均能量大小的觀測(cè)值yr對(duì)應(yīng)的殘差信號(hào)又具有不同特征.對(duì)于觀測(cè)值yr平均能量較大的殘差塊往往具有分段平滑特性，而采用BCS-SPL算法重構(gòu)會(huì)丟失殘差塊中的邊緣細(xì)節(jié)信息并且對(duì)背景引入高頻噪聲，因此重構(gòu)方法應(yīng)該確保殘差重構(gòu)的結(jié)果也具有分段平滑的特性.對(duì)于m×n維的殘差塊xr，它的總變分定義為

(7)

根據(jù)該定義可知，基于總變分最小的重構(gòu)算法可以降低相鄰像素之間的變化劇烈程度，因此該類算法對(duì)本身具有分段平滑特性的信號(hào)有很好的重構(gòu)性能[17- 19]，所以文中提出利用求解殘差信號(hào)總變分最小化對(duì)這類殘差塊進(jìn)行重構(gòu)，并使用文獻(xiàn)[20]中的對(duì)數(shù)障礙法求解該優(yōu)化問(wèn)題.

(8)

s.t.‖φ xr-yr‖2≤ε.

式中，ε為閾值.

對(duì)于觀測(cè)值yr平均能量較小的殘差塊，因?yàn)閷?duì)應(yīng)的預(yù)測(cè)塊已比較準(zhǔn)確，該類殘差塊中往往只有較少的大值，而其他像素點(diǎn)的幅值都接近于0，在空域有一定的稀疏性，在變換域就不具有稀疏性了，所以文中提出利用像素域稀疏信號(hào)重構(gòu)方法對(duì)該類殘差塊進(jìn)行重構(gòu).較好的像素域重構(gòu)算法有IHT[21]、FIHT[22]、CoSaMP[23]以及CGIHT[24- 25].其中CGIHT算法在IHT算法與FIHT算法的基礎(chǔ)上引入共軛梯度，從而在一定時(shí)間復(fù)雜度下有效提升了算法的收斂速度，同時(shí)在低采樣率下具有比CoSaMP算法更好的重構(gòu)質(zhì)量，因此最終選擇CGIHT算法重構(gòu)這類殘差塊.

基于以上分析，文中提出基于殘差觀測(cè)值yr平均能量的殘差塊分類標(biāo)準(zhǔn)，并提出適應(yīng)各類殘差塊特征的重構(gòu)方案，具體如圖8所示，其中變量t1和t2為劃分殘差塊類型的閾值.

在該方案中，閾值t1和t2的選擇會(huì)影響到最終重構(gòu)質(zhì)量，因?yàn)轭A(yù)測(cè)精度會(huì)影響所有殘差塊的平均能量，同時(shí)殘差塊的結(jié)構(gòu)特征又和平均能量的絕對(duì)大小有關(guān)，所以在文中通過(guò)大量的仿真實(shí)驗(yàn)及分析選擇固定的閾值進(jìn)行殘差塊分類.

圖6 較大能量殘差塊的幅值分布圖

圖7 Soccer視頻序列第2幀第11個(gè)殘差塊的幅值分布圖

圖8 殘差塊分類標(biāo)準(zhǔn)和重構(gòu)方案

Fig.8 Classifying criterion and reconstruction scheme of resi-dual blocks

3 仿真結(jié)果與分析

利用本文提出的重構(gòu)算法分別對(duì)QCIF(176×144)格式和CIF(352×288)格式的視頻序列做了仿真實(shí)驗(yàn).下面分別對(duì)這兩部分仿真實(shí)驗(yàn)結(jié)果進(jìn)行分析討論.

3.1 對(duì)QCIF格式視頻序列的實(shí)驗(yàn)結(jié)果分析

由圖9可以看出，文中提出的BCSC重構(gòu)方案的重構(gòu)質(zhì)量均好于SPL的結(jié)果.其對(duì)于Soccer視頻序列最大的性能增益為0.65 dB(對(duì)應(yīng)采樣率為0.25)，對(duì)于Ice視頻序列最大的增益為0.58 dB(對(duì)應(yīng)采樣率為0.20).所提算法重構(gòu)性能的提升主要得益于觀測(cè)值yr平均能量較大的殘差塊的準(zhǔn)確重構(gòu)，因?yàn)檫@些殘差塊具有分段平滑性，所以在TV下更稀疏，而觀測(cè)值yr平均能量較小的殘差塊重構(gòu)性能提升不大，這是因?yàn)閷?duì)應(yīng)的圖像塊預(yù)測(cè)比較準(zhǔn)確.另外，由圖9可見(jiàn)，隨著采樣率增大所提算法的增益先上升后下降，這是因?yàn)樵诓蓸勇蕵O低的情況下殘差觀測(cè)值的信息較少，重構(gòu)性能難以提升，而在采樣率較高的情況下由于預(yù)測(cè)結(jié)果更加準(zhǔn)確所以通過(guò)殘差重構(gòu)能夠進(jìn)一步提升的性能也受到了限制.

圖9 SPL和BCSC的PSNR對(duì)比

從圖9中還可以看出，兩個(gè)標(biāo)準(zhǔn)視頻序列在不同的稀疏基下進(jìn)行殘差重構(gòu)時(shí)質(zhì)量不同，且Soccer視頻序列在DDWT變換域得到更好的重構(gòu)效果，而Ice視頻序列在DCT域得到的重構(gòu)效果更好.這和預(yù)測(cè)圖像的特征以及不同稀疏基的閾值處理方式有關(guān)：Soccer視頻序列預(yù)測(cè)殘差的塊效應(yīng)較少，在DDWT表示信號(hào)更加稀疏，因此取得了較好的重構(gòu)效果；而Ice視頻序列塊效應(yīng)較多，DDWT的稀疏性不好，因此重構(gòu)效果不如DCT域的重構(gòu)效果好.

然后，進(jìn)一步給出Ice視頻序列在0.25采樣率下第2個(gè)GOP非關(guān)鍵幀的PSNR對(duì)比圖，如圖10所示.其中“_mc”和“_r”分別為運(yùn)動(dòng)估計(jì)和殘差重構(gòu)得到的結(jié)果.

圖10 QCIF格式Ice視頻序列在0.25采樣率下第2個(gè)GOP非關(guān)鍵幀的PSNR對(duì)比

Fig.10 Comparison of PSNR of the 2nd GOP of Ice video sequence at a sampling rate of 0.25

由圖10可見(jiàn)，文中提出的BCSC重構(gòu)算法可以得到更好的重構(gòu)結(jié)果，而且預(yù)測(cè)性能也有所提升.這是因?yàn)椴捎枚鄥⒖紟姆绞竭M(jìn)行預(yù)測(cè)[12]，預(yù)測(cè)和殘差重構(gòu)的質(zhì)量相互影響，在第18幀以及第32幀預(yù)測(cè)結(jié)果相同的情況下，使用文中方案進(jìn)行殘差重構(gòu)能夠更好地提升性能，這使得第19幀以及第31幀在更精確的參考幀上進(jìn)行預(yù)測(cè)，因此它們的預(yù)測(cè)結(jié)果也最好.

圖11給出了Ice視頻序列在0.25采樣率下第26幀的視覺(jué)效果圖，圖11(b)和(c)為分別采用基于DCT和DDWT的BCS-SPL算法進(jìn)行殘差重構(gòu)的最終結(jié)果(30.55 dB和29.89 dB)，圖11(d)為采用文中方案進(jìn)行殘差重構(gòu)的最終結(jié)果(31.84 dB).從圖11中所標(biāo)記的D和E兩個(gè)區(qū)域可明顯看出，采用文中提出的BCSC方案進(jìn)行殘差重構(gòu)可以獲得比SPL算法更好的視覺(jué)效果.從區(qū)域D可以看出，采用BCSC方案并沒(méi)有在背景中引入高頻噪聲，從區(qū)域E可以看出，采用BCSC方案很好地保留了圖像中的邊緣信息.

圖11 QCIF格式Ice視頻序列在0.25采樣率下第26幀視覺(jué)效果對(duì)比

Fig.11 Comparison of visual effect of the 26th frame of Ice video sequence at a sampling rate of 0.25

3.2 對(duì)CIF格式視頻序列的實(shí)驗(yàn)結(jié)果分析

對(duì)CIF格式的Soccer和Ice標(biāo)準(zhǔn)視頻序列的前289幀和前225幀分別進(jìn)行仿真實(shí)驗(yàn)，非關(guān)鍵幀的平均PSNR結(jié)果見(jiàn)圖12，并和文獻(xiàn)[11]的仿真結(jié)果進(jìn)行了對(duì)比.仿真實(shí)驗(yàn)中文獻(xiàn)[11]采用基于DDWT的BCS-SPL算法進(jìn)行殘差重構(gòu)，文中采用BCSC算法進(jìn)行殘差重構(gòu)，其他實(shí)驗(yàn)條件完全相同：GOP大小為16，關(guān)鍵幀采樣率為0.70，并采用MH-BCS-SPL[16]算法進(jìn)行獨(dú)立重構(gòu)，非關(guān)鍵幀采用觀測(cè)域多假設(shè)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)[11- 12].

圖12 CIF格式視頻序列的PSNR對(duì)比

從實(shí)驗(yàn)結(jié)果可以看出，在實(shí)驗(yàn)條件完全相同的情況下，殘差重構(gòu)采用BCSC方案，要明顯優(yōu)于SPL方案.PSNR最大增益為1.45 dB，這是因?yàn)閷?duì)于運(yùn)動(dòng)較快的視頻序列BCSC可以有效去除高頻噪聲或保留圖像的邊緣信息.

4 結(jié)語(yǔ)

針對(duì)大多數(shù)采用“預(yù)測(cè)-殘差重構(gòu)”策略的視頻壓縮感知算法忽略殘差信號(hào)特征的問(wèn)題，文中首先從理論上分析了殘差信號(hào)和殘差觀測(cè)值的平均能量的關(guān)系，并對(duì)不同平均能量的殘差塊的結(jié)構(gòu)特征進(jìn)行了深入分析，然后提出了基于觀測(cè)值平均能量的殘差塊分類方法和殘差塊分類重構(gòu)算法(BCSC).本文提出的BCSC殘差重構(gòu)算法用于運(yùn)動(dòng)較快的視頻序列，可以有效解決直接采用SPL算法丟失邊緣信息和對(duì)背景引入高頻噪聲的問(wèn)題，提升視頻信號(hào)的重構(gòu)質(zhì)量.在該研究思路下需進(jìn)一步對(duì)殘差信號(hào)更合理的分類方法和基于不同預(yù)測(cè)模型得到的殘差信號(hào)所具有的空間特征等開(kāi)展深入的研究.

[1] 石光明，劉丹華，高大化，等.壓縮感知理論及其研究進(jìn)展 [J].電子學(xué)報(bào)，2009，37(5)：1070- 1081． SHI Guang- ming，LIU Dan- hua，GAO Da- hua，et al. Advances in theory and application of compressed sensing [J]. Acta Electronica Sinica，2009，37(5)：1070- 1081．

[2] QAISAR S，BILAL R M，IQBAIL W，et al. Compressive sensing：from theory to application，a survey [J]. Journal of Communications and Networks，2013，15(5)：443- 456．

[3] GAN Lu. Block compressed sensing of natural images[C]∥ Proceedings of 2007 15th International Conference on IEEE Digital Signal Processing. Cardiff：IEEE，2007:403- 406．

[4] MUN S，F(xiàn)OWLER J E. Block compressed sensing of images using directional transforms[C]∥Proceedings of 2009 16th International Conference on IEEE Image Processing(ICIP). Cairo：IEEE，2009：3021- 3024．

[5] LIU YING，LI MING，PADOS D A. Motion- aware decoding of compressed- sensed video [J].IEEE Transactions on Circuits and System for Video Technology，2013，23(3)：438- 444．

[6] WANG S，SHAHRASHI B，RAHNAVARD N. SRL1：structured reweighted l1 minimization for compressive sampling of videos[C]∥Proceedings of IEEE International Symposium on Information Theory Proceedings (ISIT).Istanbul：IEEE，2013：301- 305．

[7] ZHENG Jing，JACOBS E L. Video compressive sensing using spatial domain sparsity [J]. Optical Engineering，2009，48(8)：1- 10．

[8] 李然，干宗良，崔子冠，等. 聯(lián)合時(shí)空特征的視頻分塊壓縮感知重構(gòu) [J]. 電子與信息學(xué)報(bào)，2014，36(2)：285- 292． LI Ran，GAN Zong- liang，CUI Zi- guan，et al. Block compressed sensing reconstruction of video combined with temporal- spatial characteristic [J]. Journal of Electronics and Information Technology，2014，36(2)：285- 292．

[9] CHEN Jian，CHEN Yunzheng，QIN Dong，et al. An elastic net-based hybrid hypothesis method for compressed video sensing [J]. Multimedia Tools and Applications，2013，74(6)：2085- 2108．

[10] KUO Y，CHEN Jian. A scheme for distributed compressed video sensing based on hypothesis set optimization techniques [J]. Multidimensional Systems and Signal Processing，2017，28(1)：129- 148．

[11] 楊春玲，歐偉楓. CVS中基于多參考幀的最優(yōu)假設(shè)預(yù)測(cè)算法 [J]. 華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)，2016，44(1)：1- 8． YANG Chun- ling，OU Wei- feng.Multi- reference frames- based optimal multi- hypothesis prediction algorithm for compressed video sensing [J]. Journal of South China University of Technology(Natural Science Edition)，2016，44(1)：1- 8．

[12] OU Weifeng，YANG Chunling，LI Wenhao，et al. A two- stage multi-hypothesis reconstruction scheme in compressed video sensing [C]∥Proceedings of ICIP2016. Phoenix：IEEE，2016:2494- 2498．

[13] MUN S，F(xiàn)OWLER J E. Residual reconstruction for block- based compressed sensing of video[C]∥Proceedings of Data Compression Conference.Snowbird：IEEE，2011：183- 192．

[14] TRAMEL E W，F(xiàn)OWLER J E. Video compressed sen-sing with multihypothesis[C]∥Proceedings of Data Compression Conference.Snowbird:IEEE，2011：193- 202．

[15] DO T T，CHEN YI，NGUYEN D T，et al. Distributed compressed video sensing[C]∥Proceedings of IEEE Conference on Image Processing.Cairo:IEEE，2009：1393- 1396．

[16] CHEN Chen，TRAMEL E W，F(xiàn)OWLER J E. Compressed- sensing recovery of images and video using multihtpothesis predictions[C]∥Proceedings of Asilomar Conference on SSCPG.Pacific Grove：IEEE，2011：1193- 1198．

[17] ZHANG Jian，LIU Shaohui，ZHAO Debin. Improved total variation based image compressive sensing recovery by nonlocal regularization[C]∥Proceedings of IEEE International Symposium on Circuit and Systems. Beijing：IEEE，2013：2836- 2839．

[18] DONG W，YANG X，SHI G. Compressive sensing via reweighted TV and nonlocal sparsity regularization [J]. IET Electronics Letters，2013，49(3)：184- 186．

[19] CANH T N，DINH K Q，JEON B. Total variation reconstruction for Kronecker compressive sensing with a new regularization[C]∥Proceedings of Picture Coding Symposium (PCS). San Jose：IEEE，2013：261- 264．

[20] CANDES E，ROMBERG J. l1- magic：recovery of sparse signals via convex programming[EB/OL]. (2016- 03- 13)[2016- 05- 10].www.acm.caltech.edu/llmagic/downloads/llmagic．

[21] BLUMENSATH T，DAVIES M E.Iterative hard thresholding for compressed sensing [J].Applied Computational Harmonic Analysis，2009，27(3)：265- 274．

[22] WEIKe. Fast iterative hard thresholding for compressed sensing [J]. IEEE Signal Processing Letters，2015，22(5)：593- 597．

[23] NEEDELL D，TROPP J A. CoSaMP：iterative signal recovery from incomplete and inaccurate samples [J].Applied Computational Harmonic Analysis，2009，26(3)：301- 321．

[24] BLANCHARD J D，TANNER J，Wei K. CGIHT：conjugate gradient iterative hard thresholding for compressed sensing and matrix completion [J]. Information and Inference，2015，4(4):289- 327．

[25] BLANCHARD J D，TANNER J，WEI K. Conjugate gradient iterative hardthresholding：observed noise stability for compressed sensing [J].IEEE Transactions on Signal Processing，2015，63(2)：528- 537．

Residual Structure Characteristics-Based Block Classifying Reconstruction Algorithm for CVS

YANGChun-lingLIWen-hao

(School of Electronic and Information Engineering, South China University of Technology, Guangzhou 510640, Guangdong, China)

Most existing compressed video sensing (CVS) algorithms with best reconstruction performance adopt a“prediction-residual reconstruction”strategy, which helps obtain high reconstruction quality by taking good advantage of intra-frame and inter-frame correlation. However, all of them ignore the residual structure characteristics and simply use SPL reconstruction algorithm which is only suitable for natural image compressed sensing. In order to solve this problem, a block classifying reconstruction algorithm on the basis of residual structure characteristics is proposed, which firstly classifies residual blocks according to their average energy and then adopts suitable algorithms to reconstruct residual blocks corresponding to their structure characteristics. Simulated results show that the proposed algorithm helps achieve higher reconstruction quality than SPL algorithm for video sequences with fast movements．

compressed video sensing; residual reconstruction; average energy; residual block classification

2016- 05- 25

廣東省自然科學(xué)基金資助項(xiàng)目(2016A030313455) Foundation item: Supported by the Natural Science Foundation of Guangdong Province of China(2016A030313455)

楊春玲(1970-)，女，博士，教授，主要從事圖像/視頻壓縮感知研究.E-mail：eeclyang@scut.edu.cn

1000- 565X(2017)03- 0001- 10

TN 919.8

10.3969/j.issn.1000-565X.2017.03.001